JP6987243B2 - ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム - Google Patents

Description

本発明は、ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム

従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て、被写体である病変部を発見及び識別し、病変部に対する処置具を用いた処理を行うことができる。

一般的に、異なる視点から得られた複数の画像の位置ずれ情報に基づき、三角測量の原理を用いて被写体の３次元座標を算出する技術が知られている。また、被写体に対して投影光を照射し、反射光がセンサに到達するまでの時間や、撮像したパターンなどから、被写体の３次元座標を求める技術も知られている。

これらの技術を用い、２点以上被写体の３次元座標を求めることで、被写体の大きさや体積などの物理量が算出される。内視鏡による観察においても、これらの技術を用いることで、腫瘍のサイズや、噴門や肛門などランドマークとなる箇所から腫瘍までの距離などを計測することが可能である。

被写体の物理量を算出する際には、計測点や計測領域を設定する必要がある。上述のように、内視鏡観察において、ランドマークから腫瘍までの距離を計測する場合、ランドマークの位置や腫瘍の位置を適切に設定する必要がある。

一方で、ランドマークとなる噴門や肛門の近傍に腫瘍が存在する場合、内視鏡スコープを湾曲させ、先端部が振り返った姿勢で被写体を撮影する必要がある。この姿勢で撮影すると、内視鏡画像に内視鏡スコープ自身が映り込んでしまう。このため、映り込んだ内視鏡スコープによって、ランドマークを直接撮影することができないため、計測点を適切に設定することが難しい。そこで、計測点を間接的に推定する方法が提案されている。

例えば、日本国特開２０１６−８０６７４号公報に提案されている方法を用いることにより、直接指定困難な計測点を内包する関心領域を設定し、この関心領域を解析することで、間接的に計測点を推定することは可能である。

しかし、日本国特開２０１６−８０６７４号公報による推定方法では、関心領域を平面で設定する必要がある。これに対し、内視鏡スコープが振り返った姿勢でランドマーク近傍の腫瘍を撮影した画像では、内視鏡スコープ自身による遮蔽があり、かつ、被写体である管腔面に対して内視鏡スコープが傾きをもって配置されているため、平面で関心領域を設定することができない。従って、上述した手法では、計測点を推測することができないという問題があった。

本発明は、前述した事情に鑑みてなされたものであり、内視鏡スコープを湾曲させたことによりスコープ自体が内視鏡画像に映り込むことにより、ランドマークが遮蔽され直接的に計測点として指定できない場合にも、ランドマークの位置を精度よく推定することが可能なランドマーク推定方法、内視鏡装置、及び、位置推定プログラムを提供することを目的としている。

本発明の一態様のランドマーク推定方法は、挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を推定するランドマーク推定方法において、前記挿入部の軸を推定し、前記挿入部と前記被写体との境界を推定し、前記軸と前記境界とに基づいて前記ランドマークの位置を推定する。

本発明のランドマーク推定方法は、挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を、前記内視鏡とランドマーク推定部とを有する内視鏡装置を用いて推定するランドマーク推定方法であって、軸推定部が、前記挿入部の軸を推定し、境界推定部が、前記挿入部と前記被写体との境界を推定し、ランドマーク位置推定部が、前記ランドマーク前記軸と前記境界とに基づいて前記ランドマークの位置を推定する。
本発明の一態様の内視鏡装置は、挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を推定するランドマーク推定部を有する内視鏡装置において、前記ランドマーク推定部は、前記挿入部の軸を推定する軸推定部と、前記挿入部と前記被写体との境界を推定する境界推定部と、前記軸と前記境界とに基づいて前記ランドマークの位置を推定するランドマーク位置推定部と、を備える。
本発明の一態様の位置推定プログラムは、挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を推定する位置推定プログラムであって、前記挿入部の軸を推定し、前記挿入部と前記被写体との境界を推定し、前記軸と前記境界とに基づいて前記ランドマークの位置を推定する処理をコンピュータに実行させる。

本発明の実施形態に係わる内視鏡装置１の全体構成の一例を示す斜視図。 本発明の第１の実施形態に関わるプロセッサ４の画像処理に関わる構成を示すブロック図。 本発明の第１の実施形態に関わる制御演算部２２の演算部２２ｂの構成を示すブロック図。 軸推定部３２Ａの構成を示すブロック部。 ランドマーク推定部３２におけるランドマーク推定処理の流れの一例を示すフローチャート。 検出対象となるランドマークの一例を示す概略図。 画像生成部３１により生成される内視鏡画像の一例を示す図。 図６Ａの内視鏡画像に基づき推定したランドマーク位置を説明する概略図。 第２の実施形態に関わる挿入部９の軸９ａ推定位置を説明する概略図。 第２の実施形態の変形例に関わる挿入部９の軸９ａ推定位置を説明する概略図。 第３の実施形態に関わる挿入部９の軸９ａ推定位置を説明する概略図。 第４の実施形態に関わる内視鏡２の構成の一例を説明する概略図。 第４の実施形態に関わる内視鏡２の構成の別の一例を説明する概略図。 第４の実施形態に関わる内視鏡２の構成の別の一例を説明する概略図。 第４の実施形態に関わる挿入部９の軸９ａ推定位置を説明する概略図。 第４の実施形態に関わる挿入部９の軸９ａの別の推定位置を説明する概略図。 第５の実施形態に関わる制御演算部２２の演算部２２ｂの構成を示すブロック図。 ランドマークと病変部との直線距離を表す概略図。 ランドマークと病変部との沿面距離を表す概略図。 第６の実施形態に関わる内視鏡２の構成の一例を説明する概略図。

以下、図面を参照して実施形態を説明する。

（第１の実施形態）
図１は、本発明の実施形態に係わる内視鏡装置の全体構成の一例を示す斜視図である。図１に示すように、本実施形態の内視鏡装置１は、内視鏡スコープとしての電子内視鏡（以下、単に内視鏡という）２と、光源装置３と、プロセッサ４と、モニタ５と、から主に構成されている。

内視鏡２は、長尺で細長な挿入部９と、操作部１０と、電気ケーブルであるユニバーサルケーブル１９と、を有して構成されている。内視鏡２の挿入部９は、先端から順に、先端部６と、湾曲部７と、可撓管部８と、を有して構成されている。先端部６には、図示しない照明窓及び観察窓が設けられており、照明光が照明窓から被検体へ出射され、被検体からの戻り光が観察窓へ入射される。先端部６には、被写体を撮像する手段として、ＣＣＤ、ＣＭＯＳなどの固体撮像素子が配置されおり、観察窓から入射した光による被写体像を光電変換して撮像信号を出力する。撮像信号は、ユニバーサルケーブル１９を介してプロセッサ４へ供給される。

操作部１０には、挿入部９の湾曲部７を湾曲操作するための湾曲操作部１４が回転自在に配設されると共に、フォーカススイッチ１５を含む、各種内視鏡機能のスイッチ類などが設けられている。なお、湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とが重畳するように配設されている。

また、挿入部９と操作部１０の連結部は、ユーザによる把持部を兼ねる把持部１１と、この把持部１１及び挿入部９の可撓管部８の一端の間に設けられた折れ止め部に配設されて、挿入部９に配設された各種処置部を挿通する処置具チャネルの開口部となる処置具チャネル挿通部１８とを有して構成されている。

操作部１０から延設されたユニバーサルケーブル１９は、延出端に光源装置３と着脱自在なスコープコネクタ１９ａを有している。また、スコープコネクタ１９ａは、コイル状のコイルケーブル２０が延設しており、このコイルケーブル２０の延出端にプロセッサ４と着脱自在なコネクタとしてのスコープコネクタ２０ａが設けられている。なお、本実施形態の内視鏡２は、ユニバーサルケーブル１９、操作部１０及び挿入部９に配設された照明手段のライトガイドケーブルによって、光源装置３から先端部６まで照明光を伝送するものである。

プロセッサ４は、内視鏡画像を表示するモニタ５と電気的に接続され、内視鏡２に搭載されているＣＣＤなどの撮像手段によって光電変換された撮像信号を処理して、画像信号としてモニタ５に出力する。モニタ５には、内視鏡画像が表示される。

図２は、プロセッサ４の画像処理に関わる構成を示すブロック図である。プロセッサ４は、撮像信号取得部２１と、制御演算部２２と、記憶装置２３と、入力部２４とを有する画像処理装置である。制御演算部２２は、制御部２２ａと、演算部２２ｂを含む回路である。

撮像信号取得部２１は、制御部２２ａの制御の下、内視鏡２の撮像素子からの撮像信号を受信して取得し、制御演算部２２へ出力する回路である。

制御部２２ａは、中央処理装置（以下、ＣＰＵという）、ＲＯＭ、ＲＡＭ等を含み、プロセッサ４全体の動作の制御を行うと共に、術者による入力部２４への指示に応じて、内視鏡２の撮像素子の駆動の制御、内視鏡２の操作部１０からの各種操作信号に基づく各種回路の制御、記憶装置２３への各種データの記録及び記憶装置２３からの各種データの読み出し制御、及び画像処理の制御を行う。

すなわち、制御部２２ａは、入力部２４においてされた指示あるいは入力に基づいて、内視鏡装置１の動作を制御し、各部への制御信号あるいは設定信号を出力する。
演算部２２ｂは、制御部２２ａの制御の下で、撮像信号取得部２１で取得された撮像信号に基づき、各種画像処理及び各種演算処理を実行すると共に、モニタ５に表示される内視鏡画像の画像信号及び各種表示情報を生成し、モニタ５へ出力する回路である。

なお、制御演算部２２における制御部２２ａ及び演算部２２ｂの処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。
記憶装置２３は、ハードディスク装置などの大容量の記憶装置であり、内視鏡検査で得られた被検体内の内視鏡画像の画像データ、及び支援情報等の各種データを記憶する。

入力部２４は、各種ボタンを有する操作パネルであり、術者が内視鏡装置１の各種設定、各種指示などをプロセッサ４へ与えるための入力装置である。
図３Ａは、本実施の形態における、制御演算部２２の演算部２２ｂの構成を示すブロック図である。

演算部２２ｂは、画像生成部３１、ランドマーク推定部３２を含む回路である。

画像生成部３１は、撮像信号を受信して、観察モードに応じて、撮像信号に基づいて内視鏡画像を生成する回路である。内視鏡画像に対して所定の強調処理、各種補正処理、各種情報及びメニュー画面などを重畳表示させる重畳処理などを行う。

ランドマーク推定部３２は、内視鏡画像中における内視鏡２の挿入部９が観察部位に挿入された孔（例えば、消化器内視鏡検査における胃の幽門部）であるランドマークの位置を推定する回路である。ランドマーク推定部３２は、軸推定部３２Ａと、境界推定部３２Ｂと、ランドマーク位置推定部３２Ｃとから構成される。

軸推定部３２Ａは、内視鏡画像から内視鏡２の挿入部９を抽出し、挿入部９の中心軸を推定する回路である。図３Ｂは、軸推定部３２Ａの構成を示すブロック部である。図３Ｂに示す軸推定部３２Ａ中の各部の動作については、下記の説明の対応する箇所で後述する。図３Ｂは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第２から第６の実施形態に関わる構成も含めて示している。

境界推定部３２Ｂは、内視鏡画像中に映り込んでいる挿入部９において、挿入元側（基端側、先端部６から遠い側）を境界として推定する回路である。

ランドマーク位置推定部３２Ｃは、推定された内視鏡２の挿入部９の中心軸と、挿入部９と被写体との境界を用いて、ランドマークの位置を推定する回路である。

図４は、ランドマーク推定部３２におけるランドマーク推定処理の流れの一例を示すフローチャートである。また、図５は、検出対象となるランドマークの一例を示す概略図である。内視鏡２の挿入部９を湾曲させ、先端部６が振り返った姿勢で被写体を撮影する状況としては、図５に示すように、胃４０の噴門部４９近傍の腫瘍を観察する場合の他、大腸の肛門部近傍の腫瘍を観察する場合や、工業用内視鏡における航空機エンジンのアクセスポートの検査などがあげられる。図５の場合、挿入部９が胃内部に挿入された孔部である噴門部４９がランドマークとなる。

ランドマーク推定処理に先立ち、制御部２２ａが、光源の駆動と内視鏡２の撮像素子の駆動とを制御しかつ撮像信号取得部２１を制御することによって、演算部２２ｂは、内視鏡２からの撮像信号を取得する。演算部２２ｂの画像生成部３１は、制御部２２ａの制御の下、撮像信号に基づいて内視鏡画像を生成する。図６Ａは、画像生成部３１により生成される内視鏡画像の一例を示す図である。

ランドマーク推定部３２は、生成された内視鏡画像に基づいて、挿入部９の軸を推定する（Ｓ１）。Ｓ１の処理は、図３Ａにおける軸推定部３２Ａが関わる。軸の推定は、例えば、内視鏡画像から、オブジェクトである挿入部９を抽出し、挿入部９の長手方向を特定することにより推定することができる。

続いて、ランドマーク推定部３２は、抽出した挿入部９と被写体との境界を推定する（Ｓ２）。Ｓ２の処理は、図３Ａにおける境界推定部３２Ｂが関わる。先端部６が振り返った姿勢で被写体を撮影する場合、挿入部９の先端側は必ず内視鏡画像の周縁側に位置し、挿入部９の挿入元側は必ず内視鏡画像の中心側に位置する。従って、画像上における挿入部９と被写体（図５の場合、胃の内壁）との境界線のうち、挿入部９の長手方向と交差し、かつ、内視鏡画像の中心側に位置する境界線を、挿入部９と被写体との境界と推定することができる。

最後に、ランドマーク推定部３２は、ランドマークの位置を推定する（Ｓ３）。Ｓ３の処理は、図３Ａにおけるランドマーク位置推定部３２Ｃが関わる。図６Ｂは、図６Ａの内視鏡画像に基づき推定したランドマーク位置を説明する概略図である。ランドマークＬの位置は、Ｓ１で推定した挿入部９の軸９ａと、Ｓ２で推定した境界９ｂとの交点として推定することができる。

以上のように、上述した実施の形態のランドマーク推定方法によれば、内視鏡挿入部を湾曲させたことにより挿入部自体が内視鏡画像に映り込むことにより、ランドマークが遮蔽され直接的に計測点として指定できない場合にも、ランドマークの位置を精度よく推定することができる。

（第２の実施形態）
上述の第１の実施形態では、挿入部９の長手方向を検出することにより挿入部９の軸９ａを推定しているが、本実施形態では、画像処理を用いて軸９ａを検出する。本実施形態の内視鏡装置は、第１の実施形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。また、本実施形態のランドマーク推定処理は、図４に示すフローチャートと同様の手順で行われる。ただし、Ｓ１の具体的な方法が第１の実施形態と異なる。以下、本実施形態による図４のＳ１の方法、すなわち、挿入部９の軸９ａを推定する具体的な方法について説明する。なお、本実施形態におけるＳ１の処理には、図３Ｂにおける色解析部３２Ａ１が関わる。

図７は、第２の実施形態に関わる挿入部９の軸９ａ推定位置を説明する概略図である。図７は、図６Ａに示す内視鏡画像に後述する処理を施し、挿入部９のエッジを検出した状態を示している。挿入部９の軸９ａを推定するにあたり、軸推定部３２Ａの色解析部３２Ａ１は、挿入部９の色（例えば、黒色）と体腔内の色（赤色）との違いを用いて、挿入部９領域と体腔領域とを分割し、オブジェクトとして挿入部９のエッジを検出する。エッジ検出には、ハフ変換などの既存の手法を用いることができる。

検出したエッジに基づき、挿入部９の径方向の幅を二等分する挿入部９の長手方向に沿った直線（中心線）を算出する。中心線の算出は、画像モーメントによる主軸抽出などの既存の手法を用いてもよい。このようにして得られた中心線を、挿入部９の軸９ａとして推定する。

以上のように、本実施形態によっても、第１の実施形態と同様の効果を得ることができる。

（第２の実施形態の変形例）
上述の第２の実施形態では、色解析によって挿入部９のエッジを検出することにより挿入部９の軸９ａを推定しているが、本変形例では、挿入部９に設けられたマーカをオブジェクトとして用いて軸９ａを検出する。本変形例の内視鏡装置は、第１の実施形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。また、本実施形態のランドマーク推定処理は、図４に示すフローチャートと同様の手順で行われる。ただし、Ｓ１の具体的な方法が第２の実施形態と異なる。以下、本変形例による図４のＳ１の方法、すなわち、挿入部９の軸９ａを推定する具体的な方法について説明する。なお、本変形例におけるＳ１の処理には、図３Ｂにおけるマーカ解析部３２Ａ２が関わる。

図８は、第２の実施形態の変形例に関わる挿入部９の軸９ａ推定位置を説明する概略図である。一般的に、内視鏡２の挿入部９には、先端から一定位置（あるいは一定間隔）で、マーカ９ｄが設けられている。マーカ９ｄは、内視鏡画像上で容易に認識できるように、挿入部９の色とは異なる色のマーカが設けられている。例えば、挿入部９の色が黒色である場合、反対色である白色のマーカ９ｄが設けられる。また、マーカ９ｄは、挿入方向や挿入深度・挿入の向きなど、挿入部９の挿入状態にかかわらず、常に内視鏡画像上でマーカ９ｄが識別可能に配置されることが望ましい。従って、例えば、挿入部９の径方向に沿って挿入部９ｄの外縁を一周するような形状のマーカ９ｄが、先端から一定間隔で配置される。

軸推定部３２Ａのマーカ解析部３２Ａ２は、記憶部２３などに予め保存されているマーカの形状及び色に関する情報に基づき、内視鏡画像中からマーカ９ｄを検出する。上述のように、挿入部９の径方向に沿って挿入部９ｄの外縁を一周するような形状のマーカ９ｄが設けられている場合、マーカ９ｄとして検出された線分と直交する方向を、軸方向として推定する。なお、マーカ９ｄの形状に応じて、軸の推定方法は異なる。例えば、数直線のように一定間隔で目盛りが付加された直線の形状を有するマーカ９ｄが、挿入部９の長手方向に沿って配置されている場合、マーカ９ｄと同じ方向を軸方向として推定する。

以上のように、本変形例によっても、第１、第２の実施形態と同様の効果を得ることができる。

（第３の実施形態）
上述した実施形態においては、挿入部９の長手方向、エッジ、マーカなどのオブジェクトを、内視鏡画像上から抽出し、それらの情報に基づき軸９ａを推定しているが、本実施形態では、画像の輝度情報も用いて軸９ａを推定する点が異なっている。本変形例の内視鏡装置は、第１の実施形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。また、本実施形態のランドマーク推定処理は、図４に示すフローチャートと同様の手順で行われる。ただし、Ｓ１の具体的な方法が第２の実施形態と異なる。以下、本変形例による図４のＳ１の方法、すなわち、挿入部９の軸９ａを推定する具体的な方法について説明する。なお、本変形例におけるＳ１の処理には、図３Ｂにおける輝度解析部３２Ａ３が関わる。

図９は、第３の実施形態に関わる挿入部９の軸９ａ推定位置を説明する概略図である。輝度解析部３２Ａ３は、図６Ａに示す内視鏡画像において、各画素の輝度値を算出する。通常、挿入部９の表面は鏡面処理がなされている。従って、体腔内に照射される照明光が挿入部９の表面で鏡面反射される。挿入部９は略筒状であるので、挿入部９の軸９ａに近いほど反射角が小さくなり、先端部６に配置された撮像面に対して反射光が垂直に入射される。一方、挿入部の軸９ａから遠くエッジ近傍になるほど、反射光の入射角が大きくなり、先端部６に配置された撮像面に対して反射光が傾きをもって入射される。

すなわち、内視鏡画像において、挿入部９の軸９ａの近傍に位置する画素ほど輝度値が高く、軸９ａから遠くなるにつれて輝度値が低くなる。この現象を利用し、算出した画素値が所定の閾値よりも高い領域を検出し、当該領域（高輝度領域９ｅ）の中心軸に挿入部９の軸９ａが存在すると推定することができる。

このように、鏡面反射を利用することで、本来のテクスチャが撮像されない状況（例えば、挿入部９と体腔内の色差が少なく、色による領域分割が難しい場合や、挿入部９に設定されたマーカ９ｄが検出困難な場合）においても、安定的に軸９ａの推定が可能となる。なお、輝度解析部３２Ａ３は、上述の実施形態や変形例によって推定した軸９ａが、高輝度領域に存在するか否かを判定するために用いてもよい。この場合、間違って推定された軸９ａを排除することができるので、軸９ａの推定精度が向上する。

以上のように、本実施形態によっても、第１、２の実施形態と同様の効果を得ることができる。更に、第１、第２の実施形態と組み合わることにより、軸９ａの検出精度を向上させることができる。

（第４の実施形態）
上述の実施形態では、２次元の内視鏡画像に基づきランドマークを推定しているが、本実施形態では、３次元の内視鏡画像（３Ｄサーフェスデータ）を取得し、これに基づきランドマークを推定する。本実施形態の内視鏡装置は、内視鏡２に設けられた３Ｄサーフェスデータを取得する手段以外は、第１の実施形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。

図１０は、本実施の形態に関わる内視鏡２の構成の一例を説明する概略図である。本実施形態の内視鏡２は、３Ｄサーフェスデータを取得する手段として、投影式計測デバイス４１を備えている。投影式計測デバイス４１は、ＴＯＦ（Ｔｉｍｅ оｆ Ｆｌｉｇｈｔ）法、すなわち、被写体に対して投影光を照射し、被写体からの反射光を検知する。投影光を照射してから反射光を検知するまでの時間を計測することで、該計測時間に基づき被写体の３次元座標を算出する。

投影式計測デバイス４１は、例えば、処置具チャネル挿通部１８から挿入され、操作部１０、挿入部９の内部を通り、先端部６に設けられた処置具チャネル４４から投影光を照射する。被写体からの反射光は、処置具チャネル４４から入射され、投影式計測デバイス４１の図示しない検知部で検知され、検知までに要する時間が計測される。なお、被写体からの反射光は、先端部６に設けられた処置具チャネル４４以外の窓を介して検知するように構成してもよい。例えば、観察窓４２を介して撮像素子で検知するように構成してもよい。

なお、投影式計測デバイス４１は、非接触で３Ｄサーフェスデータが取得できるものであれば、どのような手法を用いたデバイスでもよく、上述のように既存のデバイスを反射光の戻り時間から３次元座標を算出するのではなく、パターン投影法（被写体にグリッドパターンやなど特定の既知パターンを投影し、撮像素子で撮影したパターンの歪みから被写体の３次元サーフェスデータを計算する方法）など他の方法を用いたデバイスでもよい。

また、計測用の投影光や特定パターンは、図１１に示すように、光源装置３から照明窓４３を介して被写体に照射するように構成してもよい。図１１は、第４の実施形態に関わる内視鏡２の構成の別の一例を説明する概略図である。

また、図１２に示すように、内視鏡２にステレオ撮像系を搭載し、位置の異なる２つの観察窓４２ａ、４２ｂで受光した被写体の反射光に基づき得られる２枚の画像の位置ずれ情報に基づき、三角測量の原理を用いて被写体の３Ｄサーフェスデータを算出してもよい。図１２は、第４の実施形態に関わる内視鏡２の構成の別の一例を説明する概略図である。

本実施形態のランドマーク推定処理は、図４に示すフローチャートと同様の手順で行われる。ただし、Ｓ１、及び、Ｓ３の具体的な方法が上述の実施形態と異なる。以下、本変形例による図４のＳ１の方法、すなわち、挿入部９の軸９ａを推定する具体的な方法について説明する。なお、本実施形態におけるＳ１の処理には、図３Ｂにおけるサーフェスデータ解析部３２Ａ４が関わる。

図１３は、第４の実施形態に関わる挿入部９の軸９ａ推定位置を説明する概略図である。サーフェスデータ解析部３２Ａ４は、被写体の３Ｄサーフェスデータを取得する。サーフェスデータに基づき、内視鏡２の挿入部９の長手方向のエッジを検出する。図１３においては、挿入部９のエッジ９ｅのうち、サーフェスデータとして取得できるエッジ９ｅ１を実線で示しており、サーフェスデータとして取得できないエッジ９ａ２を破線で示している。本実施形態においては、サーフェスデータとして取得できるエッジ９ｅ１を、挿入部９の軸９ａとして推定する。

なお、挿入部９と体腔との境界のサーフェスデータから、挿入部９の断面形状（楕円形状）を推定し、推定した断面の中心を通り、サーフェスデータとして取得できるエッジ９ｅ１と平行な直線を軸９ａとして推定してもよい。図１４は、第４の実施形態に関わる挿入部９の軸９ａの別の推定位置を説明する概略図である。挿入部９の断面形状は、サーフェスデータから推定してもよいし、内視鏡２に設けられた図示しない記憶部に挿入部９の断面形状の設計データを予め保存しておき、これを参照してもよい。

続いて、挿入部９と体腔との境界を推定した後（Ｓ２）、Ｓ３において、ランドマークの推定を行う。具体的には、３Ｄサーフェスデータから体腔（例えば、胃壁）として検出された面Ｓｂと、Ｓ１で推定した軸９ａとの交点を、ランドマークＬと推定する。

以上のように、本実施形態によっても、第１の実施形態と同様の効果を得ることができる。

（第５の実施形態）
本実施形態では、体腔内の病変部を検出し、上述の各実施形態で推定したランドマークと病変部との距離を算出する。本実施形態の内視鏡装置は、第１の実施形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。以下、第１の実施形態と異なる演算部２２ｂの構成について説明する。

図１５は、本発明の第５の実施形態に関わる制御演算部２２の演算部２２ｂの構成を示すブロック図である。本実施形態の演算部２２ｂは、画像生成部３１、ランドマーク推定部３２に加え、病変検出部３３と距離解析部３４とを有する。

病変検出部３３は、例えば、ディープラーニング等の学習手法で腫瘍（ポリープ）画像を識別可能な機能を予め取得した画像識別器を内視鏡画像に対して適用する処理を行うことにより、当該画像から病変部を検出する。なお、病変部の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開２００７−２４４５１８号公報に開示のようなポリープ候補検出処理などを用いてもよい。

距離解析部３４は、病変部とランドマークとの距離を算出する。なお、２点間の距離は、直線距離として算出してもよいし、被写体の３Ｄサーフェスデータが取得できている場合は、体腔内表面に沿った沿面距離を求めてもよい。

図１６は、ランドマークと病変部との直線距離を表す概略図である。直線距離を算出する場合、距離解析部３４は図１６に示すように、推定したランドマークＬと、検出した病変部Ｔとを直線で結び、これらの間の距離を算出する。図１７は、ランドマークと病変部との沿面距離を表す概略図である。沿面距離を算出する場合、距離解析部３４は図１７に示すように、推定したランドマークＬと、検出した病変部Ｔとを直線で結び、これらの間の距離を算出する。

以上のように、本実施形態の推定方法によれば、第１の実施形態と同様の効果を得ることができるとともに、推定したランドマークの位置を用いて、病変部との距離を計測することができ、術者の手技に有用な情報を生成し提示することができる。

（第６の実施形態）
上述の実施形態では、内視鏡の状態によらずランドマークの推定を行っていたが、本実施形態では、挿入部９が湾曲状態にある場合にのみランドマークの推定を行う。本実施形態の内視鏡装置は、内視鏡２に設けられた挿入部９の湾曲を検知する手段以外は、第１の実施形態の内視鏡装置１と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。

図１８は、本実施の形態に関わる内視鏡２の構成の一例を説明する概略図である。本実施形態の内視鏡２は、内視鏡２には、挿入部９を湾曲させるワイヤ５１が設けられている。ワイヤの一端は、感圧装置５２に接続されている。感圧装置５２は、挿入部９を湾曲させるためにワイヤ５１に圧力が加えられると、これを検知する。感圧装置５２による検知結果は、制御演算部２２に出力される。なお、挿入部９の湾曲を検知する手段は、上述した感圧装置５２による検知に限定されず、他の手段を用いてもよい。

制御演算部２２は、感圧装置５２がワイヤ圧を検知している場合のみ、ランドマーク推定部３２における各処理を実行する。なお、感圧装置５２で検知したワイヤ圧から、挿入部９の湾曲角度を推定し、挿入部の軸９ａの推定に用いてもよい。

以上のように、上述した各実施形態及び変形例によれば、内視鏡挿入部を湾曲させたことにより挿入部自体が内視鏡画像に映り込むことにより、ランドマークが遮蔽され直接的に計測点として指定できない場合にも、ランドマークの位置を精度よく推定することができる。

本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (13)

1. 挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を、前記内視鏡とランドマーク推定部とを有する内視鏡装置を用いて推定するランドマーク推定方法であって、
   軸推定部が、前記挿入部の軸を推定し、
   境界推定部が、前記挿入部と前記被写体との境界を推定し、
   ランドマーク位置推定部が、前記ランドマーク前記軸と前記境界とに基づいて前記ランドマークの位置を推定することを特徴とするランドマーク推定方法。
2. 色解析部が、前記内視鏡画像の色解析によって前記内視鏡画像から前記軸の推定に用いるオブジェクトを抽出し、前記オブジェクトの形状を解析して前記軸を推定することを特徴とする請求項１に記載のランドマーク推定方法。
3. 前記オブジェクトは、前記挿入部のエッジであることを特徴とする請求項２に記載のランドマーク推定方法。
4. 前記オブジェクトは、前記挿入部に設けられたマーカであることを特徴とする請求項２に記載のランドマーク推定方法。
5. 輝度解析部が、前記内視鏡画像の輝度解析によって、前記挿入部の鏡面反射部分を抽出し、前記軸が存在する前記挿入部の中心領域を推定することを特徴とする請求項２に記載のランドマーク推定方法。
6. 投影式計測デバイスが、前記被写体の内視鏡画像として３Ｄサーフェスデータを取得し、前記３Ｄサーフェスデータから抽出した前記挿入部の長手方向のエッジを前記軸と推定することを特徴とする請求項１に記載のランドマーク推定方法。
7. サーフェスデータ解析部が、前記挿入部と前記被写体との境界の３Ｄサーフェスデータから、前記挿入部の断面形状を楕円近似し、前記楕円の中心を通り前記３Ｄサーフェスデータから抽出した前記挿入部の長手方向のエッジと平行な直線を前記軸と推定することを特徴とする請求項６に記載のランドマーク推定方法。
8. 前記サーフェスデータ解析部が、推定した前記軸と、前記被写体の３Ｄサーフェスデータとの交点を、前記ランドマークと推定することを特徴とする請求項７に記載のランドマーク推定方法。
9. 更に、病変検出部が、前記被写体から病変部を検出し、距離解析部が前記ランドマークから前記病変部までの距離を算出することを特徴とする請求項６に記載のランドマーク推定方法。
10. 前記距離は、前記３Ｄサーフェスデータに沿った沿面距離であることを特徴とする請求項９に記載のランドマーク推定方法。
11. 圧力検知部が、前記挿入部の湾曲状態を検知し、前記挿入部が湾曲していることを検知した場合にのみ、前記軸の推定を行うことを特徴とする請求項１に記載のランドマーク推定方法。
12. 挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を推定するランドマーク推定部を有する内視鏡装置において、
    前記ランドマーク推定部は、
    前記挿入部の軸を推定する軸推定部と、
    前記挿入部と前記被写体との境界を推定する境界推定部と、
    前記軸と前記境界とに基づいて前記ランドマークの位置を推定するランドマーク位置推定部と、を備えることを特徴とする内視鏡装置。
13. 挿入部が湾曲した内視鏡によって被写体を撮像して得られた内視鏡画像において、前記被写体に存在する孔部であって前記挿入部が貫通している部位であるランドマークの位置を推定する位置推定プログラムであって、
    前記挿入部の軸を推定し、
    前記挿入部と前記被写体との境界を推定し、
    前記軸と前記境界とに基づいて前記ランドマークの位置を推定する処理をコンピュータに実行させるための位置推定プログラム。

Images