WO2022230160A1

WO2022230160A1 - 内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法

Info

Publication number: WO2022230160A1
Application number: PCT/JP2021/017141
Authority: WO
Inventors: 潤羽根
Original assignee: オリンパスメディカルシステムズ株式会社
Priority date: 2021-04-30
Filing date: 2021-04-30
Publication date: 2022-11-03
Also published as: CN117241718A; JPWO2022230160A1; US20240057847A1

Abstract

内視鏡システム（１）は、挿入部（２ｂ）と、撮像部（３０）と、実寸法決定情報取得部（１１２）と、内腔構造算出部（１２０）と、寸法推定部（１３０）と、を含む。挿入部（２ｂ）は、被写体となる内腔に挿入される。撮像部は、単眼であり、挿入部に設けられ、被写体の撮像画像を取得する。実寸法決定情報取得部は、内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報を取得する。内腔構造算出部は、撮像画像と実寸法決定情報に基づいて、内腔の３次元構造と、３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報と、を算出する。寸法推定部は、３次元構造寸法情報に基づき、３次元構造における特定部位（２００）の実寸法である特定部位寸法情報を出力する。

Description

内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法

　本発明は、内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法等に関する。

　従来、ポリープや癌等の病変のサイズを、治療の実施判断や治療方法の判断に用いられる。そのため、内視鏡を被検体の体内に挿入して検査を行う際に、発見した病変のサイズを把握できることが好ましい。特許文献１には、１対の対物レンズによる内視鏡画像を用いた画像処理により計測を行う計測内視鏡装置について開示されている。

特開平１０－２４８８０６号公報

　しかし、内視鏡は体内への挿入するものであるため小型化が要求される。特許文献１のように複数の光学系を有する内視鏡は外径が大きく、極めて限られた用途にしか用いることができず、内視鏡は単眼式であることが一般的である。単眼式の内視鏡を用いると、近いものは大きく見え、遠いものは小さく見えるため、医師らの判断次第で、病変のサイズの測定誤差が大きくなる可能性がある。

　本開示の一態様は、被写体となる内腔に挿入される挿入部と、前記挿入部に設けられ、前記被写体の撮像画像を取得する単眼の撮像部と、前記内腔の少なくとも一部に係る実寸法決定情報を取得する実寸法決定情報取得部と、前記撮像画像と前記実寸法決定情報に基づいて、前記内腔の３次元構造と、前記３次元構造の少なくとも一部に係る寸法情報である３次元構造寸法情報と、を算出する内腔構造算出部と、前記３次元構造寸法情報に基づき、前記３次元構造における特定部位の寸法である特定部位寸法情報を出力する寸法推定部と、を含む内視鏡システムに関係する。

　本開示の他の態様は、被写体となる内腔に挿入される挿入部に設けられた単眼の撮像部によって取得された前記被写体の撮像画像と、前記内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報と、を取得する取得部と、前記撮像画像と前記実寸法決定情報に基づいて、前記内腔の３次元構造と、前記３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報とを算出する内腔構造算出部と、前記３次元構造寸法情報に基づき、前記３次元構造における特定部位の実寸法である特定部位寸法情報を出力する寸法推定部と、を含む内腔構造算出システムに関係する。

　本開示のさらに他の態様は、被写体となる内腔に挿入される挿入部に設けられた単眼の撮像部によって取得された前記被写体の撮像画像を取得することと、前記内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報を取得することと、前記撮像画像と前記実寸法決定情報に基づいて、前記内腔の３次元構造と、前記３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報とを算出することと、前記３次元構造寸法情報に基づき、前記３次元構造における特定部位の実寸法である特定部位寸法情報を出力することと、を含む内腔構造情報の作成方法に関係する。

内視鏡システムの構成例を説明するブロック図。内視鏡の例を説明する斜視図。本実施形態の手法を適用したモニタの表示例を示す図。内視鏡システムの別の構成例を説明するブロック図。特定部位範囲設定部を説明するモニタの表示例を示す図。内視鏡システムの別の構成例を説明するブロック図。磁気センサを説明する図。内視鏡システムの別の構成例を説明するブロック図。内腔構造情報の取得の処理例を説明するフローチャート。管腔構造情報の例を説明する図。管腔構造情報の取得の別の処理例を説明するフローチャート。複数の特徴点と、先端部の位置姿勢の関係を説明する模式図。３次元構造寸法情報を算出する処理例を説明するフローチャート。比較対象物を説明するモニタの表示例を示す図。３次元構造寸法情報を算出する別の処理例を説明するフローチャート。ＴＯＦセンサを説明する図。本実施形態の手法を適用したモニタの別の表示例を示す図。計測点間の距離を算出する手法を説明する図。本実施形態の手法を適用したモニタの別の表示例を示す図。特定部位の寸法の測定方法を説明する図。特定部位の寸法の測定方法を説明する別の図。特定部位の寸法の測定方法を説明する別の図。開口部から特定部位までの長さを測定する方法を説明する図。

　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

　図１、図２、図３を用いて本実施形態の内視鏡システム１について説明する。図１は、本実施形態の内視鏡システム１の構成例を説明するブロック図である。内視鏡システム１は、挿入部２ｂと、内腔構造算出システム１００を含む。挿入部２ｂは撮像部３０を含む。内腔構造算出システム１００は、取得部１１０と、内腔構造算出部１２０と、寸法推定部１３０を含む。取得部１１０は、実寸法決定情報取得部１１２を含む。つまり、本実施形態の内視鏡システム１は、挿入部２ｂと、撮像部３０と、取得部１１０と、内腔構造算出部１２０と、寸法推定部１３０を含む。なお、内視鏡システム１の構成は図１に限定されず、他の構成要素を追加するなどの種々の変形実施が可能であり、詳細は後述する。

　図２は、本実施形態の内視鏡２の例を説明する斜視図である。内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、信号線などを含むユニバーサルケーブル２ｃとを有する。内視鏡２は、管状の挿入部２ｂを内腔に挿入する管状挿入装置である。ユニバーサルケーブル２ｃの先端にはコネクタが設けられ、内視鏡２は、そのコネクタにより、図６で後述する光源装置４等に着脱可能に接続される。また、図示は省略するが、ユニバーサルケーブル２ｃ内には、ライトガイドが挿通されており、内視鏡２は、当該光源装置からの照明光を、ライトガイドを通して挿入部２ｂの先端から出射する。なお、以降の説明は、患者Ｐａの大腸内へ術者が内視鏡２を挿入する場合について例示するが、内視鏡２が挿入される場所は大腸に限定されない。また、術者は例えば医師であり、医師は例えば内視鏡医である。

　図２に示すように、挿入部２ｂは、挿入部２ｂの先端から基端に向かって、先端部１１と、湾曲可能な湾曲部１２と、可撓管部１３とを有している。挿入部２ｂは、被写体となる患者Ｐａの内腔に挿入される。先端部１１の基端部は湾曲部１２の先端に接続され、湾曲部１２の基端部は可撓管部１３の先端に接続されている。挿入部２ｂの先端部１１は、内視鏡２の先端部であり、硬い先端硬質部である。

　湾曲部１２は、操作部２ａに設けられた湾曲操作部材１４に対する操作に応じて、所望の方向に湾曲可能である。湾曲操作部材１４は、例えば左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂを含む。湾曲部１２を湾曲させ、先端部１１の位置と向きを変え、被検体内の観察部位を視野内に捉えると、照明光は観察部位に照射される。湾曲部１２は、挿入部２ｂの長手軸方向に沿って連結された複数の湾曲駒を有している。よって、術者は、挿入部２ｂを大腸等の内腔に押し込みながら、あるいは内腔から引き抜きながら、湾曲部１２を様々な方向に湾曲させることによって、患者Ｐａの大腸内を観察できる。

　左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂは、湾曲部１２を湾曲するために、挿入部２ｂ内に挿通された操作ワイヤを牽引及び弛緩させる。湾曲操作部材１４は、さらに、湾曲した湾曲部１２の位置を固定する固定ノブ１４ｃを有している。なお、操作部２ａには、湾曲操作部材１４の他にも、レリーズボタン、送気送水ボタン等の各種操作ボタンも設けられている。

　可撓管部１３は、可撓性を有しており、外力に応じて曲がる。可撓管部１３は、操作部２ａから延出されている管状部材である。

　また、図２には図示していないが、挿入部２ｂの先端部１１には、単眼の撮像部３０が設けられている。単眼の撮像部３０は、すなわち結像光学系を１つ有し、被写体を、視差のない画像として撮像する撮像装置である。即ち、ステレオ光学系等のように互いに視差のある２つの光学系を用いるのではなく、１つの光学系によって被写体を１つの像に結像し、その結像を撮像素子によって撮像する撮像装置である。光源装置４の照明光により照明された大腸内の観察部位は、撮像部３０により撮像される。すなわち、単眼の撮像部３０は、挿入部２ｂの先端部１１に設けられ、複数の時点において被検体内を撮像して複数の時点の撮像画像を取得する。なお撮像部３０が設けられる位置は挿入部２ｂの先端部１１に限定されない。例えば被写体からの光を導光することによって、先端部１１よりも基端側の位置に撮像部３０が設けられてもよい。

　取得部１１０は、被写体となる内腔に挿入される挿入部２ｂに設けられた単眼の撮像部３０によって取得された被写体の撮像画像を取得する。具体的には、例えば撮像部３０により得られた撮像信号が、ユニバーサルケーブル２ｃ内の信号線を経由して、図６で後述する画像処理装置３に送信され、画像処理装置３によって画像処理された撮像画像のデータが、取得部１１０に送信される。取得部１１０に送信される。なお、取得部１１０は、画像処理モジュールを含み、撮像部３０により得られた撮像信号に基づいて画像処理を行う構成にしてもよく、種々の変形実施が可能である。

　実寸法決定情報取得部１１２は、実寸法決定情報を取得するインターフェースである。実寸法決定情報は、内腔の少なくとも一部に係る実寸法を決定する情報である。内腔の少なくとも一部に係る実寸法とは、被写体である内腔が存在する実空間上における実寸法であり、例えば所定の外部センサから送信されたデータに基づく情報である。所定の外部センサとは、例えば図６で後述する磁気センサ１６であるが、位置センサ等であってもよい。また、実寸法決定情報取得部１１２は、画像処理モジュール等を含み、撮像部３０によって取得された被写体の撮像画像に基づいて、実寸法を求める処理を行うことで、実寸法決定情報を取得してもよい。実寸法決定情報の取得方法の詳細は後述する。

　内腔構造算出部１２０は、取得部１１０から送信された撮像画像と実寸法決定情報に基づいて、内腔の３次元構造と、３次元構造寸法情報と、を算出する。内腔の３次元構造とは撮像された２次元の内腔画像に基づいて、仮想空間内に構築された内腔の３次元構造モデルである。内腔構造算出部１２０は、後述する手法により、撮像された２次元の内腔画像に基づいて、内腔の３次元構造を形成するが、当該３次元構造の寸法は、３次元構造モデルが構築された仮想空間上における寸法であり、実空間上の実寸法として把握することはできない。そこで、本実施形態の内腔構造算出部１２０は、撮像画像と実寸法決定情報に基づく３次元構造寸法情報をさらに算出する。３次元構造寸法情報の具体的な算出の手法は後述する。３次元構造寸法情報は、３次元構造の少なくとも一部に係る実寸法を決定する情報であり、言い換えれば、仮想空間上における３次元構造の少なくとも一部に関する寸法を、実寸法決定情報を用いて実寸法に換算した情報である。つまり、前述の実寸法決定情報は、仮想空間上における寸法と、実空間上における実寸法とを対応付ける情報、即ち、仮想空間上における寸法を、実空間上における実寸法に換算するための情報である。なお、実寸法決定情報は、後述する特定部位２００の実寸法が把握できる程度の情報であればよいが、特定部位２００を含む領域より広い領域の実寸法が把握できる情報であってもよい。また、特定部位２００は、例えば癌やポリープ等の病変であるが、内腔において、術者が観察の対象としたい部位や実寸法のサイズを知りたい部位であれば病変に限定されない。

　寸法推定部１３０は、３次元構造寸法情報に基づき、３次元構造における特定部位２００の実寸法である特定部位寸法情報を出力する。例えば寸法推定部１３０は、内腔構造算出部１２０より送信された３次元構造寸法情報に基づいて、特定部位の寸法をモニタ１５０に出力する。寸法推定部１３０は、モニタ１５０に各種画像を表示する表示用プロセッサや、当該表示用プロセッサ上の動作する表示モジュールにより実現することができる。

　なお内腔構造算出システム１００の各部は、下記のハードウェアにより構成される。内腔構造算出システム１００の各部とは、具体的には取得部１１０、実寸法決定情報取得部１１２、内腔構造算出部１２０、寸法推定部１３０である。また、内腔構造算出システム１００の各部は、図４で後述する特定部位設定部１４０を含んでもよいし、図８で後述する特徴点抽出部１２２や３次元位置算出部１２４を含んでもよい。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。

　また内腔構造算出システム１００の各部のうち一部又は全部は、下記のプロセッサにより実現されてもよい。内腔構造算出システム１００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、内腔構造算出システム１００の各部のうち一部又は全部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。さらに、内腔構造算出システム１００の各部の全部または一部をクラウドコンピューティングで実現し、後述する各処理をクラウドコンピューティング上で行うこともできる。

　また、本実施形態の内腔構造算出システム１００の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、取得部１１０は、画像取得モジュールとして実現される。内腔構造算出部１２０は、内腔構造の算出に必要な情報の取得モジュールや、当該情報に基づく演算を行う演算モジュールとして実現される。寸法推定部１３０は、表示処理モジュールとして実現される。

　また、本実施形態の内腔構造算出システム１００の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。内腔構造算出システム１００は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、内腔構造算出システム１００の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図９等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。

　図３は、本実施形態の内視鏡システム１を適用した場合における、モニタ１５０の表示例である。術者は、内視鏡システム１を用いて、ベッドに仰向けで横になっている患者Ｐａに対して内視鏡検査を行い、内視鏡２が撮像する画像がモニタ１５０に表示されている。Ａ１に示すように、挿入部２ｂに設けられた撮像部３０によって撮像された内腔画像を含む画面がモニタ１５０に表示される。前述の通り、撮像部３０は単眼であるため、術者は当該内腔画像を、二次元の画像としてしかとらえることができない。さらに、当該内腔画像は近いものは大きく見え、遠いものは小さく見えることから、術者は特定部位２００のサイズ正確に把握することが難しい。そのため、術者がモニタ１５０を見た印象に基づいて判断した特定部位２００のサイズと、特定部位２００の実際のサイズが大きく異なることが起こり得る。この点、本実施形態において、特定部位２００の実寸法を計測することができるので、例えばＡ２に示すように、特定部位２００の実寸法情報を示す画面を表示することが可能になる。

　なお、術者と患者Ｐａが一緒にモニタ１５０の画面を見ることができるようにしてもよい。これにより、術者と患者Ｐａは、互いに特定部位２００についての詳細な情報を共有することができる。また、１つのモニタ１５０に１種類の画面を表示し、内容ごとに切り替えられるようにしてもよいし、複数のモニタ１５０を設けて、内容ごとに分けて表示してもよく、種々の変形実施が可能である。

　このように、本実施形態の内視鏡システム１は、挿入部２ｂと、撮像部３０と、実寸法決定情報取得部１１２と、内腔構造算出部１２０と、寸法推定部１３０と、を含む。挿入部２ｂは、被写体となる内腔に挿入される。撮像部３０は、単眼であり、挿入部２ｂに設けられ、被写体の撮像画像を取得する。実寸法決定情報取得部１１２は、内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報を取得する。内腔構造算出部１２０は、撮像画像と実寸法決定情報に基づいて、内腔の３次元構造と、３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報と、を算出する。寸法推定部１３０は、３次元構造寸法情報に基づき、３次元構造における特定部位２００の実寸法である特定部位寸法情報を出力する。このようにすることで、従来の単眼の撮像系からなる内視鏡を用いて、特定部位２００のサイズを計測することができる。一般に内視鏡２の撮像部３０は単眼であるため、対象となる観察部位を二次元の画像としてしかとらえることができない。一方、撮像部３０を複眼式にすることは、外径が大きくなることから、極めて限られた用途にしか用いることができないからである。そのため、単眼式の光学系を用いて、さらに観察部位の三次元情報を取得する内視鏡システムは、今まで提案されていなかった。その点、本実施形態の手法を適用することにより、特定部位２００のサイズを計測できる内視鏡システム１を、より広い用途で使用することができる。また、特定部位２００のサイズ計測において医師らの経験的な判断が不要なことや、処置後に病変を計測する必要が無いことから、医師の負担を軽減することができる。

　また、本実施形態の手法は、内腔構造算出システム１００として実現してもよい。つまり、本実施形態の内腔構造算出システム１００は、取得部１１０と、内腔構造算出部１２０と、寸法推定部１３０と、を含む。取得部１１０は、被写体となる内腔に挿入される挿入部２ｂに設けられた単眼の撮像部３０によって取得された被写体の撮像画像と、内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報と、を取得する。内腔構造算出部１２０は、撮像画像と実寸法決定情報に基づいて、内腔の３次元構造と、３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報とを算出する。寸法推定部１３０は、３次元構造寸法情報に基づき、３次元構造における特定部位２００の実寸法である特定部位寸法情報を出力する。このようにすることで、上記と同様の効果を得ることができる。

　また、本実施形態の手法は、内腔構造情報の作成方法として実現してもよい。つまり、本実施形態の内腔構造情報の作成方法は、被写体となる内腔に挿入される挿入部２ｂに設けられた単眼の撮像部３０によって取得された被写体の撮像画像を取得することを含む。また、本実施形態の内腔構造情報の作成方法は、内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報を取得することを含む。また、本実施形態の内腔構造情報の作成方法は、撮像画像と実寸法決定情報に基づいて、内腔の３次元構造と、３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報とを算出することを含む。また、本実施形態の内腔構造情報の作成方法は、３次元構造寸法情報に基づき、３次元構造における特定部位２００の実寸法である特定部位寸法情報を出力することを含む。このようにすることで、上記と同様の効果を得ることができる。

　また、図３のＡ３に示すように、特定部位２００の３次元構造モデルである特定部位構造２００Ａを、モニタ１５０にさらに出力してもよい。つまり、寸法推定部１３０は、内腔の３次元構造と、特定部位寸法情報に基づいて、特定部位構造２００Ａを出力する処理を行う。つまり、本実施形態の内視鏡システム１において、寸法推定部１３０は、特定部位寸法情報と、特定部位の３次元構造に係る情報を関連づけて出力する。このようにすることで、特定部位２００の形状とサイズを把握することができるので、ユーザは特定部位２００の詳細をより正確に把握することができる。ここでのユーザは術者であるが、患者Ｐａを含んでもよい。例えば図３に示すように、内視鏡２を操作する術者とベッド上の患者Ｐａがともにモニタ１５０の表示された特定部位２００のサイズの情報を見ることにより、術者と患者Ｐａの特定部位２００に対して正確に認識合わせをすることができる。

　なお前述では、実寸法決定情報は特定部位２００の実寸法が把握できる程度の情報で足りる旨説明したが、実寸法決定情報によって、撮像部３０によってされた内腔部分の３次元構造全体の実寸法が把握できてもよい。つまり、本実施形態の内視鏡システム１の内腔構造算出部１２０は、実寸法決定情報に基づいて、実寸法が設定された３次元構造情報を算出する。これにより、内腔全体の３次元構造の実寸法を把握することができるので、特定部位２００に関する状況をより詳細に把握することができる。例えば、特定部位２００である病変のサイズが、観察した内腔部分のサイズと比較することができるので、術者は当該病変の重度をより正確に把握することができる。なお、この場合、寸法推定部１３０は、内腔の３次元構造から、特定部位構造２００Ａを含む所定領域を抽出する処理を行い、当該所定領域と特定部位寸法情報をモニタ１５０に出力することで、図３のＡ２やＡ３に示した表示が実現できる。

　また、本実施形態の内視鏡システム１の構成は図１に限定されない。例えば、本実施形態の内視鏡システム１は、図４に示すように、特定部位設定部１４０をさらに含んでもよい。つまり、本実施形態の内視鏡システム１の特定部位設定部１４０は、取得部１１０から送信された撮像画像に基づき、特定部位２００を設定する。特定部位設定部１４０は、取得部１１０、実寸法決定情報取得部１１２、内腔構造算出部１２０、寸法推定部１３０と同様プロセッサや画像処理モジュールにより実現できる。

　図５は、特定部位設定部１４０を説明するための、モニタ１５０の表示例である。例えば、術者は、患者Ｐａに対する内視鏡検査を行い、撮像画像から病変と疑われる箇所を発見したとする。術者は、モニタ１５０におけるＢ１に示す画面上で、特定部位２００の範囲を設定する選択を行う。具体的には、例えば術者は、手動モードにより特定部位２００を設定するか、自動モードにより特定部位２００を設定するかについての選択を行う。つまり、本実施形態の内視鏡システム１において、特定部位設定部１４０は、第１設定モードと、第１設定モードとは特定部位２００の設定手法が異なる第２設定モードと、を有する。そして、術者は、特定部位２００の設定手法が互いに異なる複数の設定モードから１つの設定モードを選択する。以上のように、本実施形態の内視鏡システム１において、特定部位設定部１４０は、複数の設定モードから選択可能である。このようにすることで、特定部位２００を適切に設定することができる。なお、手動モード及び自動モードはそれぞれ複数種類あってもよい。

　例えばＢ２に示す画面に特定部位２００が表示されている場合において、術者が自動モードを選択したとする。これにより、例えばＢ３に示すように、特定部位２００の周囲を囲む特定部位範囲表示Ｅｘが表示される。例えば特定部位設定部１４０は、特定部位２００である病変の範囲を特定した情報を生成し、寸法推定部１３０に送信し、寸法推定部１３０はその旨をモニタ１５０に表示することで、Ｂ３に示す表示が実現できる。つまり、本実施形態の内視鏡システム１において、特定部位設定部１４０は、撮像画像上の特定部位をユーザが視認可能に呈示する。ここでのユーザは、例えば術者である。このようにすることで、特定部位２００と特定部位２００以外の境界が明確になるので、特定部位２００のサイズを明確にすることができる。

　手動モードによる特定部位２００の設定は、例えば、術者が不図示の入力部を入力操作することによって、特定部位範囲表示Ｅｘを表示することにより、行われる。つまり、手動モードにおいて、個々の術者が、観察される内腔の色や明るさ、滑らかさ、形状等に基づいて、特定部位２００と特定部位２００以外との境界を経験的に判断することによって、特定部位範囲表示Ｅｘが設定される。一方、自動モードによる特定部位２００の設定は、例えば、推論アルゴリズムが記述されたプログラムと当該推論アルゴリズムに用いられるパラメータを含む学習済モデルからの指示に基づく推論処理により、特定部位２００と特定部位２００以外との間の境界が判断される。それにより、特定部位設定部１４０は特定部位範囲表示Ｅｘの情報を自動で生成し、寸法推定部１３０によって特定部位範囲表示Ｅｘをモニタ１５０に自動で表示することを実現できる。つまり、特定部位設定部１４０は、不図示のメモリを含み、当該メモリには当該学習済モデルが記憶され、術者が自動モードを選択すると、当該メモリから当該学習済モデルが読み出される。

　学習済モデルは、内視鏡システム１の外部に存在する不図示の学習装置によって生成されるが、当該学習装置を内視鏡システム１に含んでもよい。学習段階では、各々の症例ごとに、特定部位２００を含む撮像画像と、手動モードで決定した特定部位範囲表示Ｅｘのデータを学習装置に入力するなどにより、学習済モデルが更新される。

　また、推論アルゴリズムとしては、例えばニューラルネットワークを採用できる。ニューラルネットワークにおけるノード間接続の重み係数がパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて認識結果を出力する出力層と、を含む。画像認識処理に用いられるニューラルネットワークとして、畳み込みニューラルネットワーク（Convolutional Neural Network;ＣＮＮ）が好適であるが、他のニューラルネットワーク技術を採用してもよい。また推論アルゴリズムはニューラルネットワークに限らず、画像認識に用いられる様々な機械学習技術を採用できる。なお、これらの技術は公知につき、説明は省略する。

　以上のことから、本実施形態の内視鏡システム１において、特定部位設定部１４０は、自動で、特定部位２００を設定する識別器を有する。このようにすることで、術者の判断によらずに特定部位２００の範囲を自動で設定するため、特定部位範囲表示Ｅｘの設定の誤差を小さくすることができる。また、術者の判断を要しないため、術者の負担を軽減することができる。

　また、本実施形態において、撮像画像が複数の色情報を含む場合、当該複数の色情報から、第１の色情報と、第１の色情報と異なる第２の色情報に分離し、推論アルゴリズムのパラメータに用いてもよい。より具体的には、例えば内腔の色が赤色に近く、特定部位２００である病変が青色に近い色であることが既知である場合、青色を第１の色情報として特定部位２００の領域を推論するパラメータとして用いる。同様に、赤色を第２の色情報として特定部位２００以外の領域を推論するパラメータとして用いる。つまり、本実施形態の内視鏡システム１において、撮像画像は、複数の色情報に分離可能であり、特定部位設定部１４０は、複数の色情報に含まれる、第１の色情報を用いて、特定部位の設定を行う。このようにすることで、特定部位２００と特定部位２００以外の境界をより正確に推論することができるので、自動モードにおける特定部位範囲表示Ｅｘをより正確に表示することができる。

　また、特定部位範囲表示Ｅｘが表示されたとき、Ｂ４に示すように、特定部位２００の範囲を設定した旨の表示をするとともに、特定部位範囲表示Ｅｘが適切に表示されているかについて、術者に確認を求める表示を行う。術者は、例えば特定部位範囲表示Ｅｘが適切に表示されていると判断した場合は、その旨の入力操作を行う。また、特定部位範囲表示Ｅｘが適切に表示されていない場合、術者は、特定部位２００の範囲を再度設定する選択を行うことができる。特定部位範囲表示Ｅｘが適切に表示されていない場合とは、例えば、特定部位範囲表示Ｅｘが示す領域が、術者がモニタ１５０上で見定めた特定部位２００の領域と著しく異なる位置に表示されている場合等である。術者は、例えば同一画像に対して別の設定モードで特定部位２００の範囲を再度設定することができる。機械学習が対応できていない等の理由により、手動モードでないと特定部位２００が設定できない場合があるからである。つまり、特定部位設定部１４０は、第１設定モードで撮像画像に対して特定部位２００を設定した後、第１設定モードで特定部位２００を設定した撮像画像と同じ撮像画像に対して第２設定モードで特定部位２００の設定をやり直し可能である。また、術者は、別の画像で特定部位２００の範囲を再度設定することを選択することもできる。再度の撮像を行うことで、特定部位２００の表示の様相が変わると、自動モードによる特定部位２００の設定結果が変わり得るからである。つまり、特定部位設定部１４０は、第１設定モードで特定部位２００を設定した撮像画像を第１撮像画像としたとき、第１撮像画像とは異なる第２撮像画像に対して、特定部位２００の設定をやり直し可能である。第２撮像画像は、第１撮像画像に写る特定部位２００と同じ特定部位２００が写る撮像画像である。以上のように、本実施形態の内視鏡システム１において、特定部位設定部１４０は、特定部位２００の設定を同一画像の異なる設定モードまたは、別画像で、やり直し可能である。このようにすることで、特定部位２００の範囲の設定をより適切に行うことができる。

　本実施形態の内視鏡システム１の構成は以上に限定されない、例えば図６に示すように、内視鏡システム１は、さらに、画像処理装置３、光源装置４、内腔構造検出装置５、磁気センサ１６、磁場発生装置７を含む構成にしてもよい。

　画像処理装置３は、受信した撮像信号に対して所定の画像処理を行い、撮像画像を生成するビデオプロセッサである。生成された撮像画像の映像信号は、画像処理装置３からモニタ１５０へ出力され、ライブの撮像画像が、モニタ１５０上に表示される。これにより、例えば術者は、挿入部２ｂの先端部１１を患者Ｐａの肛門から挿入した場合において、患者Ｐａの大腸内を観察することができる。

　挿入部２ｂの先端部１１には、磁気センサ１６が配置されている。具体的には、磁気センサ１６は、先端部１１の撮像部３０の近傍に配置され、撮像部３０の視点の位置と姿勢を検出するための検出装置である。磁気センサ１６は、例えば図７に示すように、２つのコイル１６ａ、１６ｂを有する。円筒状の２つのコイル１６ａ、１６ｂの２つの中心軸は、互いに直交している。よって、磁気センサ１６は、６軸のセンサであり、先端部１１の位置座標と配向を検出する。ここでの配向とはオイラー角を表す。なお、磁気センサ１６は、図７に示す例に限られず、コイル１６ａ、１６ｂの組合せや配置を変更する等の変形実施が可能である。例えば挿入部２ｂの径が大きくならないことを優先する場合、性能や検出軸数に制限が生じ得るが、２つのコイル１６ａ、１６ｂが交差する角度を変更してもよい。また、例えば、磁気センサ１６は、１つのコイル１６ａから構成してもよい。磁気センサ１６の信号線２ｅが、内視鏡２から延出し、内腔構造検出装置５に接続されている。

　磁場発生装置７が所定の磁場を発生し、磁気センサ１６は、磁場発生装置７が発生する磁場を検出する。磁場発生装置７は、信号線７ａにより内腔構造検出装置５と接続されている。磁場の検出信号は、信号線２ｅを経由して内視鏡２から内腔構造検出装置５へ供給される。なお、磁気センサ１６に代えて先端部１１に磁場発生素子を設け、磁場発生装置７に代えて、患者Ｐａの外部に磁気センサ１６を設けるようにして、先端部１１の位置及び姿勢を検出するようにしてもよい。ここでは、磁気センサ１６により、先端部１１の位置及び姿勢、言い換えれば撮像部３０により取得される撮像画像の視点の位置及び向きがリアルタイムで検出される。

　光源装置４は、通常光観察モード用の通常光を出射可能な光源装置である。なお、内視鏡システム１が通常光観察モードの他に特殊光観察モードも有している場合は、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを選択的に出射する。光源装置４は、画像処理装置３に設けられた観察モードを切り換えるための切換スイッチの状態に応じて、通常光と特殊光のいずれかを照明光として出射する。

　内腔構造検出装置５は、プロセッサ５１と、記憶装置５２と、インターフェース５３と、画像取込部５４と、位置姿勢検出部５５と、駆動回路５６を含む。内腔構造検出装置５の各部は、バス５８により互いに接続されている。

　プロセッサ５１は、ＣＰＵとメモリを有し、内腔構造検出装置５内の各部の処理を制御する制御部である。メモリは、ＲＯＭ、ＲＡＭなどを含む記憶部である。ＲＯＭには、ＣＰＵにより実行される各種処理プログラム及び各種データが記憶されている。ＣＰＵは、ＲＯＭ及び記憶装置５２に格納された各種プログラムを読み出して実行することができる。

　記憶装置５２には、内腔構造算出プログラムが格納されている。内腔構造算出プログラムは、先端部１１の位置及び姿勢の情報と、撮像画像とから内腔構造情報を算出するソフトウエアプログラムである。ＣＰＵが内腔構造算出プログラムを読み出して実行することにより、プロセッサ５１は、撮像部３０により得られた撮像画像と磁気センサ１６に検出された先端部１１の３次元配置とに基づいて、内腔の３次元構造を算出する内腔構造算出部を構成する。

　インターフェース５３は、プロセッサ５１によって算出された内腔構造情報を、内腔構造算出システム１００に出力する。インターフェース５３は、例えば内腔構造算出システム１００との通信を行う通信インターフェースである。

　画像取込部５４は、画像処理装置３において得られた撮像画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の撮像画像を、画像処理装置３から取得する。なお、ここでは、画像取込部５４は、１秒間に３０枚の撮像画像を取り込んでいるが、フレームレートよりも長い周期で撮像画像を取得するようにしてもよい。例えば画像取込部５４は、１秒間に３枚等の撮像画像を取り込んでもよい。

　位置姿勢検出部５５は、磁場発生装置７を駆動する駆動回路５６を制御して、磁場発生装置７に所定の磁場を発生させる。位置姿勢検出部５５は、その磁場を磁気センサ１６により検出し、その検出された磁場の検出信号から、撮像部３０の位置座標（ｘ、ｙ、ｚ）と配向（ｖｘ、ｖｙ、ｖｚ）のデータを生成する。配向とはオイラー角を表す。即ち、位置姿勢検出部５５は、磁気センサ１６からの検出信号に基づいて、撮像部３０の位置と姿勢を検出する検出装置である。より具体的には、位置姿勢検出部２５は、時間経過に伴う３次元配置の変化の情報である３次元配置時間変化情報を検出する。よって、位置姿勢検出部２５は、複数の時点の挿入部２ｂの３次元配置情報を取得する。

　以上の説明は、内腔構造算出システム１００の外部装置である内腔構造検出装置５によって、内腔の３次元構造を算出する例であるが、本実施形態の手法はこれに限定されず、内腔構造算出システム１００が内腔の３次元構造を算出してもよい。図８は内視鏡システム１の他の構成例を示すブロック図である。図８の内視鏡システム１において、内腔構造算出部１２０は、各撮像画像中の複数の特徴点Ｆを抽出する特徴点抽出部１２２と、複数の特徴点Ｆの撮像画像上の位置に基づき、各特徴点Ｆの３次元空間内の位置を算出する３次元位置算出部１２４を含む。特徴点抽出部１２２と３次元位置算出部１２４は、図６のプロセッサ５１と同等のプロセッサ及びプロセッサ５１上で動作するプログラムモジュールにより実現できる。なお、図８において、画像処理装置３、光源装置４、磁場発生装置７等の図示は省略する。

　次に、図９、図１０、図１１、図１２を用いて、内腔構造を算出する手法について説明する。以下の説明は、図６に示す内視鏡システム１の各部によって行われるが、図８に示す内視鏡システム１によっても実現できる。例えば、図９や図１１のフローチャートの各処理は、以下の説明ではプロセッサ５１が行うことで実現できるが、内腔構造算出部１２０、特徴点抽出部１２２や３次元位置算出部１２４等を構成するプロセッサが適宜行うことでも実現できる。

　図９は、内腔構造の算出処理の流れの例を示すフローチャートである。はじめに、術者は、挿入部２ｂの先端部１１を、所定位置に配置した状態で、不図示の入力装置に対して所定の操作を行う。所定位置とは、例えば図１０のように内腔が大腸である場合、Ｃ１に示す肛門である。当該操作に基づいて、プロセッサ５１は、位置姿勢検出部５５からの位置と姿勢のデータを、内腔構造を算出するときの先端部１１の基準位置と基準姿勢として設定する（ステップＳ１）。例えば術者は、先端部１１を所定位置に当てた状態で、３次元空間内の所定位置における先端部１１の基準位置と基準姿勢を初期値とする設定を行う。以下の処理で算出される内腔構造は、ここで設定された基準位置と基準姿勢に基づいて算出される。

　基準位置と基準姿勢の設定後、術者は、先端部１１を、特定位置まで挿入する。特定位置とは、例えば図１０のＣ２に示す大腸の最奥部である。挿入部２ｂの先端部１１がＣ２に示す特定位置にある状態から、空気を送気して大腸内を拡張させ、術者は挿入部２ｂを引きながら、Ｃ１に示す所定位置に向かって移動させ、途中で挿入部２ｂの引き抜きを停止させたりしながら、湾曲部１２を種々の方向に湾曲させて大腸の内壁を観察する。術者が大腸の内壁を観察しているときに、大腸の内腔構造が算出される。

　画像取込部５４は、画像処理装置３から３０分の１秒毎に供給される撮像画像から所定の周期Δｔ毎の撮像画像を取得する（ステップＳ２）。周期Δｔは、例えば０．５秒である。ＣＰＵは、撮像画像を取得したときの位置姿勢検出部５５の出力する先端部１１の位置と姿勢の情報を取得する（ステップＳ３）。

　プロセッサ５１は、ステップＳ２で取得した１枚の撮像画像とその前に取得済の１枚以上の撮像画像とにおける複数の特徴点Ｆ等の３次元空間内の位置情報を算出する（ステップＳ４）。算出された複数の特徴点Ｆ等の位置情報の集合が、内腔構造の情報となる。後述するように、各特徴点Ｆの位置情報は、画像情報からＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの手法を用いて算出してもよいし、三角測量の原理を用いて算出してもよい。各特徴点Ｆの位置の算出方法については後述する。

　なお、最初の１枚の撮像画像が取得されたときは、その前の取得済の撮像画像はないので、所定枚数の撮像画像が取得されるまでは、ステップＳ４の処理は実行されない。

　プロセッサ５１は、算出された複数の特徴点Ｆ等の位置情報を追加することによって、内腔構造情報を作成或いは更新する（ステップＳ５）。

　図１０に示すように、内視鏡２により観察した領域における１以上の特徴点Ｆの集合等によって、ステップＳ５で作成される内腔構造情報が構成される。内腔構造情報は、３Ｄデータである。図１０は、内腔構造情報を所与の視点から見たときの画像を表す。例えば内腔構造情報を表示する場合、ユーザは視点位置を変更する指示を入力することによって、３６０度の所望の方向から見たからときの内腔の構造を確認することができる。

　また図１０では内腔における凹凸まで考慮した内腔構造情報を例示したが、内腔構造情報はより簡略化された情報であってもよい。例えば、内腔構造情報は円筒モデルであってもよい。内腔を円筒であると仮定することによって、処理負荷を軽減することが可能になる。例えば磁気センサ１６等のセンサを用いない場合、内腔の形状を円筒とすることによる計算量の削減効果が大きい。また、簡略化の仕方として、屈曲の無い直線状の内腔や単純な屈曲のみを想定したり、標準的な内腔構造の部位ごとの長さや径等のサイズのみ異なる構造モデルを想定したりしても良い。

　内腔構造検出装置５のインターフェース５３は、生成された内腔構造情報を内腔構造算出システム１００に出力する（ステップＳ６）。またステップＳ６において、インターフェース５３は、内腔構造情報をモニタ１５０に表示する制御を行ってもよい。次に、プロセッサ５１は、挿入部２ｂが患者から抜去されたか否かを判定する（ステップＳ７）。例えばユーザは、挿入部２ｂを抜去した場合に、不図示の入力装置を用いて観察終了を表すユーザ入力を行う。プロセッサ５１は、当該ユーザ入力に基づいてＳ７に示す判定を行う。抜去が行われていない場合（ステップＳ７でＮｏ）、処理はステップＳ２に戻る。

　以上のように、内腔構造算出部１２０は、算出された３次元空間内の各特徴点Ｆの位置から内腔の３次元構造を算出する。このようにすることで、撮像画像に基づいた３次元構造を生成することができる。

　ステップＳ４の特徴点Ｆ等の位置の算出は、種々の方法がある。以下に、いくつかの方法について説明する。プロセッサ５１は、ＳＬＡＭ，ＳｆＭなどの手法を利用して、連続する複数の画像上の特徴点Ｆの位置を算出してもよい。

　内腔構造情報の生成において、非線形最小二乗法を用いて、画像から、内部パラメータ、外部パラメータ及び世界座標点群を最適化するバンドル調整を適用可能である。例えば、推定された各パラメータを用いて、抽出された複数の特徴点Ｆの世界座標点を透視投影変換し、再投影誤差が最小になるように、各パラメータと各世界座標点群が求められる。

　先端部１１についての外部パラメータは、５点及び８点アルゴリズムを解くことによって算出される。特徴点Ｆの位置は、先端部１１の位置と三角測量法に従って算出される。画像平面上に投影された３Ｄ点の座標と、再投影誤差による特徴点Ｆとの誤差Ｅは、次の式（１）により表される。

　ここで、Ｌは、Ｋ個の画像上の特徴点Ｆの数であり、Ｐｓｊは、画像平面上に三角測量と先端部１１のパラメータにより推定された３Ｄ点Ｐｉの座標位置であり、Ｐｉは、画像上の対応する特徴点Ｆの座標位置である。先端部１１の位置座標は、ＬＭ（Levenberg-Marquartdt）法を用いて、式（１）の誤差Ｅの関数を最小化するように算出される。

　なお、図４、図５の説明において、撮像画像が複数の色情報を含む場合、当該複数の色情報から、第１の色情報と、第１の色情報と異なる第２の色情報に分離してもよいことを前述したが、図９のフローチャートに、画像情報を第１の色情報と第２の色情報に分離する処理を追加してもよい。また、分離した第２の色情報に基づいてステップＳ３以降の処理を行ってもよい。図１１のフローチャートについても同様である。つまり、本実施形態の内視鏡システム１において、内腔構造算出部１２０は、複数の色情報に含まれ、かつ第１の色情報を含まない第２の色情報を用いて、３次元構造と、３次元構造寸法情報とを出力する。このようにすることで、観察対象である内腔に近い色からなる画像に基づいて３次元構造等を生成することから、３次元構造の推定の精度を向上させることができる。

　図１１は、各特徴点Ｆの３次元空間内の位置算出をバンドル調整により行う方法のフローチャートである。プロセッサ５１は、前述の所定位置が初期位置と設定されたときを、時刻ｔをｔ０とし、ソフトウエアカウンタのカウント値ｎを、０とする（ステップＳ１１）。

　プロセッサ５１は、時刻ｔ０における撮像画像と、先端部１１の位置と姿勢の情報を取得する（ステップＳ１２）。撮像画像は、画像処理装置３から取得される。先端部１１の位置と姿勢の情報は、位置姿勢検出部５５から取得される。

　プロセッサ５１は、初期位置における先端部１１の位置と姿勢を決定する（ステップＳ１３）。例えば、所定位置（ｘ、ｙ、ｚ）が（０，０，０）に、姿勢（ｖｘ、ｖｙ、ｖｚ）が（０，１，０）に決定される。ステップＳ１１とステップＳ１３が、図９のステップＳ１に対応する。

　プロセッサ５１は、時刻（ｔ０＋ｎΔｔ）における撮像画像と、先端部１１の位置と姿勢の情報を取得する（ステップＳ１４）。ステップＳ１２とステップＳ１４が、図９のステップＳ２に対応する。なお、先端部１１の位置と姿勢の情報は、修正してもよい。例えば、カルマンフィルタを用いて、先端部１１が過去に通ったパスが修正され、その修正されたパスに基づいて、過去の先端部１１の位置が修正される。

　プロセッサ５１は、ｎがｋになると、各撮像画像における複数の特徴点Ｆを抽出し、ｋ個の時点における先端部１１の位置と姿勢すなわち先端部１１の３次元配置を既知として、得られた撮像画像に含まれるｍ個の特徴点Ｆの位置を、上述したバンドル調整により算出する（ステップＳ１５）。よって、ステップＳ１５における各内視鏡画像における複数の特徴点Ｆの抽出処理が、各撮像画像中の複数の特徴点Ｆを抽出する特徴点抽出部を構成する。ステップＳ１５では、複数の時点の撮像画像に共通して映されている特徴点Ｆが抽出される。ステップＳ１５における各特徴点Ｆの３次元空間内の位置の算出処理が、抽出された複数の特徴点Ｆの撮像画像中の位置と、挿入部２ｂの３次元配置とから、特徴点Ｆの３次元空間内の位置を算出する３次元位置算出部を構成する。より具体的には、複数の時点の挿入部２ｂの３次元配置情報と、複数の時点の撮像画像に共通して映されている特徴点Ｆの撮像画像上の位置とに基づき、特徴点Ｆの３次元空間内の位置が算出される。そして、バンドル調整により各特徴点Ｆの３次元空間内の位置は決定される。

　以上のことから、本実施形態の内視鏡システム１において、特徴点抽出部１２２は、複数の時点の撮像画像に共通して映されている特徴点を抽出する。また、３次元位置算出部１２４は、撮像部３０の位置及び向きの少なくとも一部の情報を抽出する位置センサである磁気センサ１６の出力に基づき、複数の時点の挿入部２ｂの３次元配置情報を取得する。また、３次元位置算出部１２４は、複数の時点の挿入部２ｂの３次元配置情報と、複数の時点の撮像画像に共通して映されている特徴点Ｆの撮像画像上の位置とに基づき、特徴点Ｆの３次元空間内の位置を算出する。

　図１２は、連続して取得された複数の撮像画像上の特徴点Ｆと、先端部１１の位置と姿勢の関係を説明するための模式図である。図１２において、白い三角形Ｐｗは、先端部１１の実際の位置と姿勢を示し、黒い三角形Ｐｂは、先端部１１の推定された位置と姿勢を示す。先端部１１は、実線に沿って実際に移動したことを示している。推定された先端部１１は、点線に沿って移動している。時間経過に伴って、先端部１１の位置は移動し、先端部１１の姿勢は変化している。

　また、図１２において、白い四角形ｐｗは、特徴点Ｆの実際の位置を示し、黒い四角形ｐｂは、特徴点Ｆの推定すなわち算出された位置を示す。特徴点Ｆは、例えば、撮像画像中において形状や色が特徴的で、判別あるいは追跡が容易な箇所である。

　大腸の３次元内腔構造を得るには、大腸の腸管の内壁上の複数の特徴点Ｆの座標を求め、求めた複数の座標の集合により、あるいはそれらの座標を繋ぎ合わせることにより３次元モデルが生成される。すなわち、内腔の３次元構造は、３次元空間内の算出された各特徴点Ｆの位置から決定される。

　図１２において、各時点における先端部１１の位置と姿勢の情報は、６軸分の情報を含むため、ｋ個の時点における先端部１１の位置と姿勢の情報は、６ｋ個の情報を含む。各特徴点Ｆの位置は、３軸分の情報を含むため、ｍ個の特徴点Ｆの位置の情報は、３ｍ個の情報を含む。よって、ＳＬＡＭ、ＳｆＭ等の手法を用いる場合、決定すべきパラメータの個数は（６ｋ＋３ｍ）個となる。

　本実施形態の手法においては、上述したとおり、内視鏡２の先端部１１に磁気センサ１６が設けられ、内腔構造検出装置５は、磁気センサ１６によって検出された位置姿勢情報を取得する位置姿勢検出部５５を含んでもよい。この場合、先端部１１の位置及び姿勢に対応する６ｋ個のパラメータは既知となる。プロセッサ５１による最適化演算は、３ｍ個のパラメータを算出に限定されるため、最適化演算の処理量を軽減できる。よって処理の高速化が可能である。またパラメータ数の削減によって検出誤差の蓄積が抑制されるため、生成される３次元モデル構造がずれていくことを抑制できる。

　また、内視鏡２の挿入部２ｂの先端部１１が内腔の内壁に押し当てられたり、汚れた洗浄水に浸ってしまったり、撮像画像がぶれるなどして適切な連続した撮像画像が得られなかった場合があっても、先端部１１の位置と姿勢の情報は得られている。よって、連続した撮像画像が得られなかった場合が生じても、３ｍ個のパラメータを算出できる可能性は高まる。結果として、内腔構造の算出のロバスト性が高まる。

　図１１に戻り説明を続ける。プロセッサ５１は、作成済の内腔構造情報に、新たに算出された特徴点Ｆの位置情報を追加して、内腔構造情報を更新する（ステップＳ１６）。ステップＳ１６は、図９のステップＳ５に対応する。

　プロセッサ５１は、過去に算出した特徴点Ｆの位置情報を修正する（ステップＳ１７）。新たに算出して得られた３ｍ個の特徴点Ｆのうち、過去に算出された特徴点Ｆの位置情報は、新たに算出された位置情報を用いて、例えば平均値演算により、過去に算出された位置情報を修正する。なお、ステップＳ１７の処理は、行わなくてもよく、新たに算出された特徴点Ｆの位置情報で、過去に算出された各特徴点Ｆの位置情報を更新するようにしてもよい。

　ステップＳ１７の後、プロセッサ５１は、ｎを１だけインクリメントし（ステップＳ１８）、検査終了のコマンドが入力されたかを判定する（ステップＳ１９）。検査終了のコマンドは、例えば、挿入部２ｂが大腸から抜去された後に、術者が入力装置に入力する所定のコマンドである。当該コマンドが入力されると（ステップＳ１９でＹＥＳ）、処理が終了する。

　検査終了のコマンドが入力されないとき（ステップＳ１９でＮＯ）、処理はステップＳ１４へ移行する。その結果、プロセッサ５１は、撮像画像の最後の取得時刻から周期Δｔだけ後の撮像画像を取得し（ステップＳ１４）、ステップＳ１５以降の処理を実行する。

　以上の処理を行うことによって、内腔構造情報が出力される。ただし、これらの手法による内腔構造情報は各特徴点Ｆ間の位置関係が相対的に求められていることから、絶対的な寸法値の情報を得ることはできない。

　なお、本実施形態において、図９～図１２で説明した内腔構造の算出処理の手法に、図４、図５で説明した特定部位範囲表示Ｅｘの設定手法をさらに組み合わせることもできる。つまり、撮像画像に基づいて、特定部位２００の範囲が設定されるとともに、内腔構造の算出処理により特徴点Ｆが抽出されるので、当該特定部位２００の範囲内にある特徴点Ｆも抽出される。そして、内腔の３次元構造の各特徴点Ｆの位置が算出されることにより、特定部位２００の内部における特徴点Ｆの位置も算出される。言い換えれば、抽出された特定部位２００の特徴点Ｆと、３次元構造内の特徴点Ｆとの対応付けによって、特定部位２００の位置が算出される。以上のように、本実施形態の内視鏡システム１は、撮像画像から特定部位２００を抽出するとともに、特定部位２００が写る撮像画像から特徴点Ｆを抽出する特定部位設定部１４０をさらに含み、特定部位設定部１４０は、抽出した特徴点Ｆと、３次元構造内の特徴点Ｆとの対応付けによって、３次元構造における特定部位２００の位置を設定する。

　次に、３次元構造寸法情報を算出する手法について説明する。図１３は、３次元構造寸法情報を算出する処理例を説明するフローチャートである。内腔構造算出システム１００は、内腔画像を取得する（ステップＳ２１）。具体的には、例えば取得部１１０は、画像処理装置３から送信された撮像画像を取得する。その後、内腔構造算出システム１００は、３次元構造を生成する（ステップＳ２２）。具体的には、図９～図１２で前述したいずれかの手法を用いて複数の特徴点Ｆ等の３次元空間内の位置情報を算出し、内腔の３次元構造を生成する。

　次に、内腔構造算出システム１００は、実寸法を較正する（ステップＳ２３）。具体的には、例えば撮像範囲に、予め寸法情報の少なくとも一部が既知の比較対象物を配置する。ここでの比較対象物は、例えば、先端部１１から内腔に挿入され、観察や診断または治療等に用いられる処置具であるが、他に先端部１１に装着するキャップ等であってもよく、少なくとも一部が撮像の視野に入ればよい。例えば、図１４に示すように、病変である特定部位２００の周囲にＯリング３００を配置した場合、当該Ｏリング３００を比較対象物としてもよい。なお、Ｏリング３００の配置の手法は図１４の例に限られず、例えばＯリング３００を特定部位２００の近辺に、特定部位２００を囲わずに配置してもよい。また、Ｏリング３００のサイズは、特定部位２００のサイズより小さくてもよい。この場合、前述のステップＳ２１における内腔画像はＯリング３００の画像を含み、ステップＳ２２における３次元構造はＯリング３００の３次元構造を含む。言い換えれば、実寸法決定情報取得部１１２は、内腔の撮像画像に基づいて、既知であるＯリング３００の実寸法を、実寸法決定情報として取得し、内腔構造算出部１２０は、当該実寸法決定情報に基づいて、ステップＳ２２で生成した３次元構造の実寸法を較正する処理を行う。なお、術者がワイヤ状やナイフ状・棒状等の処置具等を内腔の内壁に押し付けることで、内腔構造算出システム１００はステップＳ２３の処理を行ってもよい。前述のように、特定部位２００の周囲に配置する比較対象物は、寸法が既知であればよいからである。以上のように、本実施形態の内視鏡システム１の実寸法決定情報取得部は、撮像画像に映り、寸法が既知の比較対象物の撮像画像上の大きさを実寸法決定情報として取得する。このようにすることで、３次元構造の絶対寸法値を把握することができる。

　その後、内腔構造算出システム１００は、３次元構造の構築が更に必要か否かについて判断し、必要であれば（ステップＳ２４でＹＥＳ）ステップＳ２１へ戻り、不要であれば（ステップＳ２４でＮＯ）、距離情報を算出する（ステップＳ２５）。例えば術者が特定部位２００である病変を発見した場合、当該病変を最適に撮像できていると判断するまでは観察を継続するので、内腔の３次元構造は構築され続ける。そして、術者が当該病変を最適に撮像できていると判断した場合、図５で前述した手法により、特定部位２００の算出を行う。

　なお、ステップＳ２１～ステップＳ２３までの処理のループは、所定期間内に行われることが望ましい。図１５で後述するステップＳ３１、ステップＳ３２、ステップＳ３３、ステップＳ３４及びステップＳ３５からなる処理のループについても同様である。所定期間とは、例えば撮像対象である大腸は蠕動運動、振子運動または分節運動等に伴い定期的に変形するが、当該変形が起きたときから次の変形が起きるまでの期間である。ステップＳ２１～ステップＳ２３の処理が完了する前に大腸等が変形すると、適切な３次元構造が構築できなくなるからである。つまり、本実施形態の内視鏡システム１において内腔構造算出部１２０は、所定の時間内に撮影された撮像画像と、所定の時間内に取得された実寸法決定情報とに基づいて、３次元構造と、３次元構造寸法情報を出力する。このようにすることで、適切に内腔の３次元構造を形成することができる。また、絶対寸法値が含まれる３次元構造が得られた後に変形した場合、観察対象に変形の様子を追従することができる。

　図１５は、３次元構造寸法情報を算出する別の処理例を説明するフローチャートである。図１５の処理例は、撮像画像と絶対値寸法情報を取得し、絶対値寸法を含む３次元構造を求める処理例である。内腔構造算出システム１００は、図１３のステップＳ２１と同様に、内腔画像を取得する（ステップＳ３１）。その後、内腔構造算出システム１００は、センサの検出結果を取得するタイミングであるか否かについて判断する処理を行い、センサの検出結果を取得するタイミングであれば（ステップＳ３２でＹＥＳ）、センサの検出結果を取得する（ステップＳ３３）。ステップＳ３３の処理の詳細は後述する。内腔構造算出システム１００は、前述のステップＳ３３の処理を行った後、または、センサの検出結果を取得するタイミングでない場合（ステップＳ３２でＮＯ）、特徴点Ｆ間の距離を算出する（ステップＳ３４）。そして、内腔構造算出システム１００は、図１３のステップＳ２２と同様の手法により、３次元構造を生成する（ステップＳ３５）。ステップＳ３５の時点で、生成された３次元構造は絶対値寸法情報を含む点で、図１５の処理例は図１３の処理例と異なる。その後、図１３のステップＳ２４とステップＳ２５と同様に、内腔構造算出システム１００は、３次元構造の構築が更に必要か否かについて判断し、必要であれば（ステップＳ３６でＹＥＳ）ステップＳ３１へ戻り、不要であれば（ステップＳ３６でＮＯ）、距離情報を算出する（ステップＳ３７）。

　次に、図１５のステップＳ３３の詳細について説明する。ステップＳ３３のセンサは、例えば位置センサである磁気センサ１６である。ステップＳ３３は、具体的には、例えば内腔構造算出部１２０は、位置センサである磁気センサ１６からの出力情報に基づいて、実寸法決定情報である先端部１１の位置及び向きに関する情報を、言い換えれば撮像部３０の位置又は向きに関する情報を、実寸法決定情報取得部１１２を通じて取得する。そして、ステップＳ３４において、内腔構造算出部１２０は、ステップＳ３１で取得した内腔画像から抽出される特徴点Ｆに、撮像部３０の位置又は向きに関する情報を組み入れることにより、実寸法を含む内腔の３次元構造を生成する。つまり、実寸法決定情報取得部１１２は、撮像部３０の位置及び向きに関する情報のうち少なくとも一部の情報を抽出する位置センサである磁気センサ１６の出力に係る情報を、実寸法決定情報として取得する。このようにすることで、相対的にしか得られない３次元構造に対して絶対的な寸法情報を加えることができる。

　また、磁気センサ１６に限らず、形状センサと挿入量・捩り量センサを用いて先端部１１の位置及び向きを検出してもよい。形状センサは、図示は省略するが、例えば光ファイバを利用して、特定箇所の曲率から曲げ量を検出する曲げセンサであるファイバセンサである。挿入量・捩り量センサは、図示は省略するが、挿入部２ｂが挿通可能な孔を有する円筒形状を有し、当該孔の内周面には、挿入部２ｂの軸方向の挿入量を検出するためのエンコーダと、挿入部２ｂの軸周りの回転量を検出するエンコーダとが配設されている。術者は、形状センサと挿入量・捩り量センサを用いることにより、初期位置と、挿入部２ｂの挿入量と、捩り量とに基づいて、先端部１１の位置及び向きを推定することができる。

　また、ステップＳ３３のセンサは、例えば測距センサであってもよい。図１６は、測距センサを有する挿入部２ｂの先端部１１の先端部分の斜視図である。先端部１１の先端面１１ａ１には、観察窓４１と、２つの照明窓４２と、鉗子口４３と、測距センサであるＴＯＦ（Time Of Flight）センサ６０が配設されている。ＴＯＦセンサ６０は、光の飛行時間を計ることにより、距離画像を検出し、距離を計測する。イメージセンサの各画素にＴＯＦ機能が埋め込まれている。よって、ＴＯＦセンサ６０は、画素毎の距離情報を得る。すなわち、ＴＯＦセンサ６０は、挿入部２ｂの先端部１１に設けられ、先端部１１から内腔の内壁までの距離を検出する。これにより、撮像部３０から被写体までの距離の情報を求めることができる。距離の情報とは、例えば距離分布の情報であるが、１点に対する距離の情報であってもよい。そして、ステップＳ３３において、内腔構造算出部１２０は、実寸法決定情報取得部１１２を介して、先端部１１から撮像対象となる内腔の内壁までの距離の情報を、実寸法決定情報としてＴＯＦセンサ６０から取得する。そして、ステップＳ３４において、内腔構造算出部１２０は、ステップＳ３１で取得した内腔画像から抽出される特徴点Ｆに先端部１１から内腔の内壁までの距離の情報を組み入れることにより、実寸法を含む内腔の３次元構造を生成する。なお、測距センサは、ＴＯＦセンサ６０に限らずＬｉＤＡＲ（Light Detection and Ranging /Laser Imaging Detection and Ranging）などの他の方式のセンサでもよい。以上のように、本実施形態の内視鏡システム１の実寸法決定情報取得部１１２は、撮像部３０から被写体までの距離の情報を抽出する距離計測部であるＴＯＦセンサ６０の出力に係る情報を、実寸法決定情報として取得する。

　なお、撮像部３０から被写体までの距離分布を求める手法は、センサによる手法に限定されず、例えば、１枚の撮像画像からShape From Shading法により内腔の立体形状を推測することで、撮像部３０から被写体までの距離分布を得てもよい。Shape From Shading法は、物体の表面の陰影に基づいて３次元形状を求める手法であり、例えば内腔において、照明窓４２からの距離が等しい内壁の表面上の曲線を偏微分方程式で記述し、これを解くことで３次元形状を算出することができる。より詳細な説明は、公知の内容であるため、省略する。

　本実施形態の手法は、以上に限定されず、種々の変形実施が可能である。変形例として、例えば、内視鏡システム１は、図１７のＥ１に示す撮像画像において、任意の２つの計測点ＭＡ，ＭＢを術者が設定した場合に、Ｅ２に示す画面において、計測点ＭＡ，ＭＢの２点間の情報をユーザに呈示してもよい。２点間の情報とは、２点間のＸ方向、Ｙ方向、Ｚ方向それぞれの成分や、２点間の長さや、２点間の投影長さ等である。図１７のＥ２に示す画面表示は、以下の手法により実現することができる。例えば、図１８に示すように、絶対寸法値が既知の３次元構造を構成する特徴点Ｆが配列されているものとする。内腔構造算出部１２０は、計測点ＭＡに最も近い特徴点ＦＡと、計測点ＭＢに最も近い特徴点ＦＢを抽出し、特徴点ＦＡと特徴点ＦＢの座標情報に基づいて、計測点ＭＡ，ＭＢの座標や距離等の情報を求め、当該情報を寸法推定部１３０に送信する処理を行う。なお、内腔構造算出部１２０は、計測点ＭＡ，ＭＢの近傍に位置する複数の特徴点Ｆの座標情報を用いて計測点ＭＡ，ＭＢの座標や２点間の情報を求めてもよい。そして、寸法推定部１３０は当該情報に基づく画面データをモニタ１５０に出力する処理を行う。

　また、別の変形例として、内視鏡システム１は、図１９のＧ１に示すように、３次元の特定部位構造２００Ａを、視点の向きを変えながらユーザに呈示してもよい。また、Ｇ２に示すように、３次元の特定部位構造２００Ａの長径Ｄ１、短径Ｄ２、高さＨをモニタ１５０上でユーザに呈示してもよい。このようにすることで、ユーザである術者や患者Ｐａは特定部位２００について適切に理解することができる。

　特定部位構造２００Ａは３次元構造であり、視点・向きによって見え方が変わり得ることから、視線方向を規定せずにサイズ測定を行うと、サイズ測定結果がばらつく。そこで、本実施形態の内視鏡システム１の３次元構造算出部は、特定部位２００の周囲における内腔の内壁に平行な面、言い換えれば図２０や図２１に示す法線ベクトルＮに垂直な面に投影した対象物に基づいて、特定部位構造２００Ａの長径Ｄ１、短径Ｄ２、高さＨを算出する。つまり高さＨは、上記内壁に平行な面を基準とする高さであり、図２１に示すように、法線ベクトルＮと平行な方向に沿った、特定部位構造２００Ａの長さである。そして、図２２に示すように、法線ベクトルＮに垂直な方向から見て、特定部位構造２００Ａの長径Ｄ１と短径Ｄ２を求める。そして、寸法推定部１３０は、これらの情報に基づく表示データをモニタ１５０に出力する。以上のように、本実施形態の内視鏡システム１の寸法推定部１３０は、特定部位２００の周囲の内腔に平行な面に投影した対象物の実寸法である長径Ｄ１及び短径Ｄ２を特定部位寸法情報として出力する。このようにすることで、特定部位２００のサイズ測定の視線方向が決まるので、特定部位２００サイズの測定結果の正確性が向上する。また、本実施形態の内視鏡システム１の寸法推定部１３０は、特定部位２００の周囲における内腔の内壁に垂直な方向の対象物の実寸法である高さＨを特定部位寸法情報として出力する。図２２に示すように法線ベクトルＮに垂直な方向から特定部位２００を観察する状況において、ユーザは高さＨの情報を把握しにくいが、本実施形態の手法を適用することで、ユーザは特定部位２００の高さＨの情報も併せて知ることができる。

　また、本実施形態の手法は、内腔の３次元構造全体における特定部位２００の大きさの実寸法情報を把握する例を説明したが、これに限られない。本実施形態の内視鏡システム１は、所定の開口部から特定部位２００までの距離ＬＥの実寸法情報を把握することもできる。距離ＬＥは、例えば図２３に示すように、Ｊに示す所定の開口部から特定部位２００の中心までの距離である。なお所定の開口部とは、例えば大腸観察の場合、肛門である。またここでの中心は略中心を含む。例えば特定部位２００が病変であって、術者が特定部位２００を摘出するために、複数の処置のうち最適な処置を検討している状況が有るものとする。複数の処置とは例えば内視鏡による摘出か、外科的手術による摘出等である。この場合、本実施形態の手法により所定の開口部からの特定部位２００までの距離ＬＥの実寸法が把握できることで、術者は、複数の処置の中から適切な処置を選択することができる。また、当該距離ＬＥの実寸法が把握できることにより、術者は、処置後の経過状況について、より高い精度で予測することができる。

　なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また内視鏡システム、内腔構造算出システム及び内腔構造情報の作成方法等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

　１…内視鏡システム、２…内視鏡、２ａ…操作部、２ｂ…挿入部、２ｃ…ユニバーサルケーブル、２ｅ…信号線、３…画像処理装置、４…光源装置、５…内腔構造検出装置、７…磁場発生装置、７ａ…信号線、１１…先端部、１２…湾曲部、１２ａ…湾曲部、１２ｂ…湾曲部、１２ｃ…湾曲部、１３…可撓管部、１４…湾曲操作部材、１４ａ…左右湾曲操作ノブ、１４ｂ…上下湾曲操作ノブ、１４ｃ…固定ノブ、１６…磁気センサ、１６ａ，１６ｂ…コイル、３０…撮像部、３１…画像取得部、３２…画像処理部、３３…制御部、３４…記憶部、３５…フォーカス制御部、５１…プロセッサ、５２…記憶装置、５３…インターフェース、５５…位置姿勢検出部、５６…駆動回路、５８…バス、１００…内腔構造算出システム、１１０…取得部、１１２…実寸法決定情報取得部、１２０…内腔構造算出部、１２２…特徴点抽出部、１２４…３次元位置算出部、１３０…寸法推定部、１４０…特定部位設定部、１５０…モニタ、２００…特定部位、３００…Ｏリング、Ｄ１…長径、Ｄ２…短径、Ｆ，ＦＡ，ＦＢ…特徴点、Ｈ…高さ、ＬＥ…距離、Ｎ…法線ベクトル、ＭＡ，ＭＢ…測定点、Ｐａ…患者

Claims

　被写体となる内腔に挿入される挿入部と、
　前記挿入部に設けられ、前記被写体の撮像画像を取得する単眼の撮像部と、
　前記内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報を取得する実寸法決定情報取得部と、
　前記撮像画像と前記実寸法決定情報に基づいて、前記内腔の３次元構造と、前記３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報と、を算出する内腔構造算出部と、
　前記３次元構造寸法情報に基づき、前記３次元構造における特定部位の実寸法である特定部位寸法情報を出力する寸法推定部と、を含むことを特徴とする内視鏡システム。
　請求項１において、
　前記内腔構造算出部は、
　各撮像画像中の複数の特徴点を抽出する特徴点抽出部と、
　前記複数の特徴点の前記撮像画像上の位置に基づき、各特徴点の３次元空間内の位置を算出する３次元位置算出部と、を有し、
　前記内腔構造算出部は、算出された前記３次元空間内の前記各特徴点の位置から前記内腔の前記３次元構造を算出することを特徴とする内視鏡システム。
　請求項２において、
　前記撮像画像から前記特定部位を抽出するとともに、前記特定部位が写る前記撮像画像から前記特徴点を抽出する特定部位設定部と、
　をさらに含み、
　前記特定部位設定部は、抽出した前記特徴点と、前記３次元構造内の前記特徴点との対応付けによって、前記３次元構造における前記特定部位の位置を設定することを特徴とする内視鏡システム。
　請求項２において、
　前記撮像部は、複数の時点の前記撮像画像を取得し、
　前記特徴点抽出部は、前記複数の時点の前記撮像画像に共通して映されている前記特徴点を抽出し、
　前記３次元位置算出部は、
　前記撮像部の位置及び向きの少なくとも一部の情報を抽出する位置センサの出力に基づき、前記複数の時点の前記挿入部の３次元配置情報を取得し、
　前記複数の時点の前記挿入部の前記３次元配置情報と、複数の時点の前記撮像画像に共通して映されている前記特徴点の前記撮像画像上の位置とに基づき、前記特徴点の前記３次元空間内の位置を算出することを特徴とする内視鏡システム。
　請求項１において、
　前記撮像画像に基づき、前記特定部位を設定する特定部位設定部と、
　をさらに含むことを特徴とする内視鏡システム。
　請求項５において、
　前記特定部位設定部は、前記撮像画像上の前記特定部位をユーザが視認可能に呈示することを特徴とする内視鏡システム。
　請求項５において、
　前記特定部位設定部は、自動で、前記特定部位を設定する識別器を有することを特徴とする内視鏡システム。
　請求項５において、
　前記撮像画像は、複数の色情報に分離可能であり、
　前記特定部位設定部は、前記複数の色情報に含まれる、第１の色情報を用いて、前記特定部位の設定を行い、
　前記内腔構造算出部は、前記複数の色情報に含まれ、かつ前記第１の色情報を含まない第２の色情報を用いて、前記３次元構造と、前記３次元構造寸法情報とを出力することを特徴とする内視鏡システム。
　請求項５において、
　前記特定部位設定部は、複数の設定モードから選択可能であることを特徴する内視鏡システム。
　請求項５において、
　前記特定部位設定部は、前記特定部位の設定を同一画像の異なる設定モードまたは、別画像で、やり直し可能であることを特徴とする内視鏡システム。
　請求項１において、
　前記実寸法決定情報取得部は、前記撮像部の位置及び向きに関する情報のうち少なくとも一部の情報を抽出する位置センサの出力に係る情報を、前記実寸法決定情報として取得することを特徴とする内視鏡システム。
　請求項１において、
　前記実寸法決定情報取得部は、前記撮像部から前記被写体までの距離の情報を抽出する距離計測部の出力に係る情報を、前記実寸法決定情報として取得することを特徴とする内視鏡システム。
　請求項１において、
　前記実寸法決定情報取得部は、前記撮像画像に映り、寸法が既知の比較対象物の前記撮像画像上の大きさを前記実寸法決定情報として取得することを特徴とする内視鏡システム。
　請求項１において、
　前記内腔構造算出部は、所定の時間内に撮影された前記撮像画像と、前記所定の時間内に取得された前記実寸法決定情報とに基づいて、前記３次元構造と、前記３次元構造寸法情報を出力することを特徴とする内視鏡システム。
　請求項１において、
　前記寸法推定部は、前記特定部位の周囲の前記内腔に平行な面に投影した対象物の前記実寸法を前記特定部位寸法情報として出力することを特徴とする内視鏡システム。
　請求項１において、
　前記寸法推定部は、前記特定部位の周囲の前記内腔に垂直な方向の対象物の前記実寸法を前記特定部位寸法情報として出力することを特徴とする内視鏡システム。
　請求項１において、
　前記内腔構造算出部は、前記実寸法決定情報に基づいて、前記実寸法が設定された３次元構造情報を算出することを特徴とする内視鏡システム。
　請求項１において、
　前記寸法推定部は、前記特定部位寸法情報と、前記特定部位の前記３次元構造に係る情報を関連づけて出力することを特徴とする内視鏡システム。
　被写体となる内腔に挿入される挿入部に設けられた単眼の撮像部によって取得された前記被写体の撮像画像と、前記内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報と、を取得する取得部と、
　前記撮像画像と前記実寸法決定情報に基づいて、前記内腔の３次元構造と、前記３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報とを算出する内腔構造算出部と、
　前記３次元構造寸法情報に基づき、前記３次元構造における特定部位の実寸法である特定部位寸法情報を出力する寸法推定部と、を含むことを特徴とする内腔構造算出システム。
　被写体となる内腔に挿入される挿入部に設けられた単眼の撮像部によって取得された前記被写体の撮像画像を取得することと、
　前記内腔の少なくとも一部に係る実寸法を決定する情報である実寸法決定情報を取得することと、
　前記撮像画像と前記実寸法決定情報に基づいて、前記内腔の３次元構造と、前記３次元構造の少なくとも一部に係る実寸法を決定する情報である３次元構造寸法情報とを算出することと、
　前記３次元構造寸法情報に基づき、前記３次元構造における特定部位の実寸法である特定部位寸法情報を出力することと、を含む内腔構造情報の作成方法。