JP6577031B2 - 内視鏡装置 - Google Patents

Description

本発明は、内視鏡装置に関するものである。

細長い挿入部を狭隘なスペースに挿入し、挿入部の先端に設けられた撮像部によりスペース内に存在する観察対象物の所望の領域について画像を取得して観察する内視鏡装置が知られている（例えば、特許文献１及び特許文献２参照）。

特開２０１２−２４５１６１号公報 特開２０１１−１５２２０２号公報

上記した各特許文献の内視鏡装置を用いた観察対象物の観察中に、挿入部の先端や観察対象物が意図せず動いてしまうことによって、観察すべき領域を見失ったり、挿入すべき方向を見失ったりすることがある。このような場合には、観察対象物や挿入方向を試行錯誤により探し出す必要があり、元の作業を再開するまでに多大な時間を費やすことになる。

本発明は上述した事情に鑑みてなされたものであって、観察対象物を見失ったり、挿入すべき方向を見失ったりした場合にも、観察すべき領域や挿入すべき方向を迅速に探し出して、元の作業を再開するまでの時間を短縮し利便性を向上させることができる内視鏡装置を提供することを目的としている。

本発明の一態様は、時間間隔をあけた時刻ｔ１〜ｔｎ（ｎは整数）において観察対象の複数の画像Ｉ（ｔ１）〜Ｉ（ｔｎ）を連続して取得する撮像部と、該撮像部により取得された複数の画像を処理する画像処理部と、該画像処理部により処理された画像を表示する表示部とを備え、前記画像処理部が、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する対応点検出部と、各前記画像において観察位置の座標を特定する観察位置特定部と、該観察位置特定部により画像Ｉ（ｔｎ）における観察位置の座標が特定できなかった場合に、複数の対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換する座標変換処理部と、を有し、前記表示部が、前記座標変換処理部により変換された画像Ｉ（ｔｎ）の座標系における前記観察位置の座標に関する情報を前記画像処理部により処理された画像Ｉ（ｔｎ）と共に表示する内視鏡装置である。

上記態様によれば、撮像部により取得された複数の画像について、対応点検出部により画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出すると共に、各画像について観察位置特定部により観察位置の座標を特定する。この処理を順次繰り返し、画像Ｉ（ｔｎ）において、観察位置の座標が特定できなかった場合には、座標変換処理部により画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との複数の対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換する。

画像Ｉ（ｔｎ）において、観察位置の座標が特定できなかったということは、画像Ｉ（ｔｎ）中に観察位置が含まれていない、すなわち、観察位置を見失っていることが考えられる。そこで、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との複数の対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換することで、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との位置関係を推定することができる。

これにより、画像Ｉ（ｔｎ）からみて観察位置の座標が何れの方向に位置するかを算出し推定することができ、推定された方向を画像Ｉ（ｔｎ）の座標系における前記観察位置の座標に関する情報として、観察位置の座標が特定できなかった画像Ｉ（ｔｎ）と共に表示することで、画像Ｉ（ｔｎ）に観察位置が含まれていない場合でも、画像Ｉ（ｔｎ）からみて観察位置が何れの方向に存在するかをユーザに示すことができる。これにより、ユーザは、観察対象物を見失ったり、挿入すべき方向を見失ったりした場合にも、観察すべき領域や挿入すべき方向を迅速に探し出して、元の作業を再開するまでの時間を短縮することができる。
なお、座標変換処理部により変換された観察位置の座標の画像中心に対する方向を算出する方向推定部を備えることで、該方向推定部により、座標変換された観察位置の座標の画像中心に対する方向を算出して、画像Ｉ（ｔｎ）からみて観察位置の座標が何れの方向に位置するかを算出し推定することができる。

また本発明の他の態様は、時間間隔をあけた時刻ｔ１〜ｔｎ（ｎは整数）において、観察対象の複数の画像Ｉ（ｔ１）〜Ｉ（ｔｎ）を連続して取得する撮像部と、該撮像部により取得された複数の画像を処理する画像処理部と、該画像処理部により処理された画像を表示する表示部とを備え、前記画像処理部が、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する対応点検出部と、複数の前記対応点に基づいて、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との離間距離を算出し、該離間距離が所定の閾値よりも大きい場合に、画像Ｉ（ｔｎ−１）に含まれる座標を観察位置の座標として特定する観察位置特定部と、複数の対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換する座標変換処理部と、を有し、前記表示部が、前記座標変換処理部により変換された画像Ｉ（ｔｎ）の座標系における前記観察位置の座標に関する情報を前記画像処理部により処理された画像Ｉ（ｔｎ）と共に表示する内視鏡装置である。

上記態様によれば、撮像部により取得された複数の画像について、対応点検出部により画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出し、複数の対応点に基づいて、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との離間距離を算出する。この処理を順次繰り返し、観察位置特定部により、離間距離が所定の閾値よりも大きい場合に、画像Ｉ（ｔｎ−１）に含まれる（中心座標などの）座標を観察位置の座標として特定する。画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との離間距離が所定の閾値よりも大きい場合は、すなわち、時刻ｔｎとｔｎ−１との間に大きな動きが生じ、撮像部が観察位置を見失ったと考えられる。そこで、観察位置特定部により、画像Ｉ（ｔｎ−１）に含まれる座標を観察位置の座標として特定し、座標変換処理部により、観察位置の座標を、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との複数の対応点を用いて画像Ｉ（ｔｎ）の座標系における座標に変換する。

これにより、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との位置関係を推定することができ、画像Ｉ（ｔｎ）からみて観察位置の座標が何れの方向に位置するかを算出し推定することができる。

さらに、推定された方向を観察位置の座標が特定できなかった画像Ｉ（ｔｎ）と共に表示することで、画像Ｉ（ｔｎ）に観察位置が含まれていない場合でも、画像Ｉ（ｔｎ）からみて観察位置が何れの方向に存在するかをユーザに示すことができる。これにより、ユーザは、観察対象物を見失ったり、挿入すべき方向を見失ったりした場合にも、観察すべき領域や挿入すべき方向を迅速に探し出して、元の作業を再開するまでの時間を短縮することができる。

上記態様において、前記観察位置特定部が、観察位置の座標として、前記観察対象中の管腔の最も奥の位置を示す座標を特定することができる。
このようにすることで、例えば、観察対象が大腸であって、大腸の管腔に挿入しながら検査や治療を行う場合に、進行方向を見失っても進行方向を表示することができ、ユーザは、観察すべき領域や挿入すべき方向を迅速に探し出して元の作業を再開することができる。

上記態様において、前記観察位置特定部が、観察位置の座標として、前記観察対象中の病変部の位置を示す座標を特定することができる。
このようにすることで、例えば、病変部の治療を行っている場合に、病変部を見失っても病変部の方向を表示することができ、ユーザは、治療すべき領域を迅速に探し出して元の作業を再開することができる。

本発明によれば、観察対象物を見失ったり、挿入すべき方向を見失ったりした場合にも、観察すべき領域や挿入すべき方向を迅速に探し出して、元の作業を再開するまでの時間を短縮し利便性を向上させることができるという効果を奏する。

本発明の第１の実施形態に係る内視鏡装置の概略構成を示すブロック図である。 図１の内視鏡装置により取得される画像の一例を示す説明図である。 図１の内視鏡装置により取得される画像の一例を示す説明図である。 図１の内視鏡装置により取得される画像の一例を示す説明図である。 図１の内視鏡装置により取得される画像の一例を示す説明図である。 図１の内視鏡装置により取得される画像の一例を示す説明図である。 図１の内視鏡装置により取得される画像の一例を示す説明図である。 図１の内視鏡装置において、座標変換した観察位置の方向を示す説明図である。 図１の内視鏡装置により観察位置の方向を特定し、ガイド画像を作成する場合において、ガイド画像に表示する矢印の方向を決定する際の説明図である。 図１の内視鏡装置において、表示部に表示される画像の一例を示す説明図である。 図１の内視鏡装置の作用に係るフローチャートである。 本発明の第２の実施形態に係る内視鏡装置の概略構成を示すブロック図である。 図１２の内視鏡装置により取得される画像の一例を示す説明図である。 図１２の内視鏡装置により取得される画像の一例を示す説明図である。

（第１の実施形態）
以下、本発明の第１の実施形態に係る内視鏡装置について、図面を参照して説明する。なお、本実施形態においては、観察対象が大腸であり、大腸内に内視鏡装置のスコープ部が挿入される場合を例として説明する。
本実施形態に係る内視鏡装置は、図１に示すように、可撓性を有し細長に構成され被検体に挿入されて観察対象の画像を取得するスコープ部２と、スコープ部２により取得された画像に所定の処理を施す画像処理部３と、画像処理部３により処理された画像を表示する表示部４とを備えている。

スコープ部２は、スコープ部２の先端部には、撮像部としてのＣＣＤと、ＣＣＤの撮像面側に配置された対物レンズが設けられ、先端部を所望の方向に湾曲させことで、時刻ｔ１〜ｔｎにおいて画像Ｉ（ｔ１）〜画像Ｉ（ｔｎ）の画像を撮像する。

スコープ部２が、例えば、大腸を撮像する場合、図２に示すように時刻ｔ＝ｔ０では、大腸の管腔の奥を含む範囲の画像が撮像されるとする。さらに時間の経過と共に一定のフレームレートで複数枚の画像が撮像され、時刻ｔ＝ｔｎでは、図２の左下の枠内の画像が撮像されるものする。ｔ＝０〜ｔ＝ｎとの間では、例えば図３及び図４に示すように時刻ｔ＝ｔ１、ｔ２、ｔ３、ｔ４・・・ｔｎにおいて、画像Ｉ（ｔ１）、Ｉ（ｔ２）、Ｉ（ｔ３）、Ｉ（ｔ４）・・・Ｉ（ｔｎ）が撮像される。画像Ｉ（ｔ０）やＩ（ｔ１）では、画像中の管腔の奥の位置を判断することが容易であるが、画像Ｉ（ｔｎ）では、画像中の管腔の奥の位置を判断することが困難である。

画像処理部３は、観察位置特定部１０、対応点検出部１１、観察方向推定部１２（座標変換処理部、方向推定部）、ガイド画像作成部１３及び画像合成部１４を備えている。

観察位置特定部１０は、スコープ部２により撮像した観察対象の画像において観察位置の座標を特定する。すなわち、スコープ部２により撮像したｔ１〜ｔｎの各時刻における画像において、各画像内で図５のように、観察位置の座標（ｘｇ，ｙｇ）を特定する。

本実施形態における観察対象は大腸であり、スコープ部２を大腸内に挿入して検査や治療を行う。従って、ここでの観察位置特定部１０により特定すべき観察位置の座標は、スコープ部２の進行方向、つまり管腔の最も奥となる。管腔の最も奥を座標として検出するには、例えば、輝度に基づいて算出することができる。すなわち、画像内を所定の局所領域に区切って、局所領域毎に平均輝度を算出し、局所領域の平均輝度が画像全体の平均輝度に対して所定の比率以下となる場合に、当該局所領域の中心座標を管腔の最も奥の位置の座標、すなわち、例えば、図５の左図のように観察位置の座標（ｘｇ，ｙｇ）として特定する。複数の局所領域において座標が得られた場合には、画像全体の平均輝度に対する比率が最も低い平均輝度を示す局所領域の中心座標を観察位置の座標（ｘｇ，ｙｇ）として特定する。

図５の右図のように、スコープ部２が大腸の腸壁を捉え、画像として壁面の画像が得られた場合には、管腔の奥を検出することが困難となる。この場合には、平均輝度が所定の比率以下となる局所領域が得られないため、観察位置の座標が特定できなかったとして仮に座標（−１，−１）を設定する。
各時刻における画像Ｉ（ｔ１）〜Ｉ（ｔ）と、特定した観察位置の座標とを対応付けて対応点検出部１１に出力する。

対応点検出部１１は、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する。すなわち、対応点検出部１１は、時刻ｔ＝ｔｎで撮像された画像Ｉ（ｔｎ）とＩ（ｔｎ）における観察位置の座標（ｘｇ，ｙｇ）の入力を受けて、予め記憶されていた時刻ｔ＝ｔｎ−１の画像Ｉ（ｔｎ−１）と入力された画像Ｉ（ｔｎ）との対応点を検出する。

ここで、対応点としては、例えば、図６に示すように、画像内に含まれる血管の構造やヒダの構造により生じる画像上の特徴を手掛かりとして、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）とにおいて観察対象上の同じ位置に対応する一対の座標を対応点として算出する。対応点は、３点以上求めることが好ましい。なお、図７に、複数の画像間において検出した対応点の関係を示す。

なお、画像がボケている等、血管やヒダ等画像上の特徴が特定できない場合には、対応点を検出することができない。このような場合、例えば時刻ｔｎで対応点が設定できなかった場合には、予め記憶されていた時刻ｔｎ−１の対応点を時刻ｔｎの対応点として設定する。このような処理を行うことにより、対応点が設定できなかった場合にも時刻ｔｎ−１と同様の動きをしていると仮定した対応点の設定をすることができる。
対応点検出部１１は、画像Ｉ（ｔｎ）と設定した対応点とを記憶すると共に、観察方向推定部１２に出力する。

観察方向推定部１２は、観察位置特定部１０により画像Ｉ（ｔｎ）における観察位置の座標が特定できなかった場合に、複数の前記対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換する。すなわち、観察方向推定部１２には、観察位置特定部１０から対応点検出部１１を介して画像Ｉ（ｔｎ）の観察位置の座標（ｘｇ，ｙｇ）及び対応点が入力される。

観察位置特定部１０から画像Ｉ（ｔｎ）の観察位置の座標として（−１，
−１）が入力された場合には、観察位置の座標が特定できなかったとして、予め記憶されていた画像Ｉ（ｔｎ−１）内に特定された観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標（ｘｇ’，ｘｙ’）に変換する。なお、観察位置が特定されている場合には、この変換処理を行わずに、観察位置の座標を記憶する。

ここで、画像Ｉ（ｔｎ−１）内に特定された観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換するために、下記の数式（１）のような座標変換マトリクスＭを生成する。

上記数式（１）に示すように、変換前の画像の座標（ｘ０，ｙ０）は、座標（ｘ１，ｙ１）に変換される。また、ｍij（i＝１〜２，j＝１〜３）は、３点以上の対応点を用いて最小二乗法などを適用することにより算出する。
このようにして、得られたマトリクスにより画像Ｉ（ｔｎ−１）内に特定された観察位置の座標（ｘｇ，ｙｇ）を画像Ｉ（ｔｎ）の座標系における座標（ｘｇ’，ｙｇ’）に変換し、変換した座標（ｘｇ’，ｙｇ’）を記憶する。

さらに、観察方向推定部１２は、変換された観察位置の座標の画像中心に対する方向を算出する。具体的には、図８に示すように、座標（ｘｇ’，ｙｇ’）を、画像の中心位置を中心座標とする極座標系の座標に変換し、画像中心から見た管腔方向θを算出し、このθをガイド画像作成部１３に出力する。

ガイド画像作成部１３は観察方向推定部１２から出力されたθに基づいて、θが示す方向を、例えば、矢印として画像上に示すガイド画像を作成する。ガイド画像作成部１３は、例えば、θが図９に示すように（１）〜（８）の領域に等分割された円うち、（１）〜（８）の何れの領域に属するかで、ガイド画像上に表示する矢印の方向を決定することができる。ガイド画像作成部１３は、作成されたガイド画像を画像合成部１４に出力する。

画像合成部１４は、ガイド画像作成部１３から入力されたガイド画像と、スコープ部２から入力された画像Ｉ（ｔｎ）とを重畳するように合成し、表示部４に出力する。
表示部４には、例えば図１０に示すように、観察対象の画像と共に、管腔の方向を示す矢印が表示される。

以下、このように構成された内視鏡装置において、観察位置の方向を表示する場合の処理の流れを図１１のフローチャートに従って説明する。
ステップＳ１１において、スコープ部２が、時刻ｔｎにおいて画像Ｉ（ｔｎ）の画像を撮像し、ステップＳ１２に進む。

ステップＳ１２では、ステップＳ１１においてスコープ部２により撮像した観察対象の画像において観察位置の座標（ｘｇ，ｙｇ）を特定する。
上述のように、本実施形態における観察対象は大腸であり、ここでの観察位置特定部１０により特定すべき観察位置の座標は、管腔の最も奥の位置となる。このため、画像内を所定の局所領域に区切って、局所領域毎に平均輝度を算出し、局所領域の平均輝度が画像全体の平均輝度に対して所定の比率以下となる場合に、当該局所領域の中心座標を管腔の最も奥の位置の座標、すなわち、例えば、図５の左図の破線で示した円の領域の中心座標を観察位置の座標（ｘｇ，ｙｇ）として特定する。

複数の局所領域において上記の観察位置の座標が得られた場合には、画像全体の平均輝度に対する比率が最も低い平均輝度を示す局所領域の中心座標を観察位置の座標（ｘｇ，ｙｇ）として特定する。画像Ｉ（ｔｎ）と、特定した観察位置の座標とを対応付けて対応点検出部１１に出力する。

ステップＳ１２において、観察位置の特定ができなかったと判定された場合、つまり、図５の右図のように、スコープ部２が大腸の腸壁を捉え、画像として壁面の画像が得られた場合には、管腔の奥を検出することが困難となる。この場合には、平均輝度が所定の比率以下となる局所領域が得られないため、観察位置の座標が特定できなかったとして仮に座標（−１，−１）を設定する。

ステップＳ１３では、対応点検出部１１において画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する。すなわち、対応点検出部１１は、時刻ｔ＝ｔｎで撮像された画像Ｉ（ｔｎ）とＩ（ｔｎ）における観察位置の座標（ｘｇ，ｙｇ）の入力を受けて、予め記憶されていた時刻ｔ＝ｔｎ−１の画像Ｉ（ｔｎ−１）と入力された画像Ｉ（ｔｎ）との対応点を検出し、画像Ｉ（ｔｎ）と検出した結果を記憶する。

ステップＳ１４では、ステップＳ１２において観察位置の特定ができたか否かを判定する。観察位置の特定ができた場合には、ステップＳ１５ｂに進み、観察位置を記憶する。

観察位置の特定ができなかった場合には、ステップＳ１５ａに進み、予め記憶されていた画像Ｉ（ｔｎ−１）の観察位置の座標（ｘｇ，ｙｇ）を画像Ｉ（ｔｎ）の座標系における座標（ｘｇ’，ｙｇ’）に変換する。

さらに、ステップＳ１６では、座標（ｘｇ’，ｙｇ’）を、画像の中心位置を中心座標とする極座標系の座標に変換し、画像中心から見た管腔方向θを算出し、θが示す方向を、例えば、矢印として画像上に示すガイド画像を作成する。ステップＳ１７では、スコープ部２から入力された画像Ｉ（ｔｎ）とガイド画像とを重畳するように合成し、表示部４に出力する。表示部４には、例えば図１０に示すように、観察対象の画像と共に、管腔の方向を示す矢印を表示する。

このように、本実施形態によれば、スコープ部２が観察対象物を見失ったり、挿入すべき方向を見失ったりした場合にも、観察すべき領域や挿入すべき方向を迅速に探し出して、元の作業を再開するまでの時間を短縮し利便性を向上させることができる。

本実施形態では、観察位置の座標（ｘｇ’，ｙｇ’）から画像中心から見た管腔方向θを算出して矢印として画像上に示すガイド画像を作成し、画像Ｉ（ｔｎ）とガイド画像を重畳するように合成し、表示部４に出力する構成としたが、画像Ｉ（ｔｎ）と観察位置の座標（ｘｇ’，ｙｇ’）の位置関係を示すことができればどのような方法で出力してもよい。例えば、画像Ｉ（ｔｎ）を縮小表示し、縮小した画像Ｉ（ｔｎ）と観察位置の座標（ｘｇ’，ｙｇ’）の位置を示す印を合成して表示してもよい。また、別の例としては、座標（ｘｇ’，ｙｇ’）から画像中心からの距離ｒも算出してｒに比例した長さの矢印をガイド画像として作成して画像Ｉ（ｔｎ）と合成して表示してもよい。

（第２の実施形態）
以下、本発明の第２の実施形態に係る内視鏡装置について、図面を参照して説明する。図１２に示す本実施形態に係る内視鏡装置において、上記した第１の実施形態と同一の構成については同符号を付しその説明を省略する。

図１３及び図１４に示すように、本実施形態に係る内視鏡装置の画像処理部５は、観察対象が大腸である場合、スコープ部２により時間の経過と共に一定のフレームレートで複数枚の画像が撮像され、時刻ｔ＝ｔ０、ｔ１、ｔ２、ｔ３、ｔ４・・・ｔｎにおいて、画像Ｉ（ｔ０）、Ｉ（ｔ１）、Ｉ（ｔ２）、Ｉ（ｔ３）、Ｉ（ｔ４）・・・Ｉ（ｔｎ）が撮像される。

時刻ｔ０、ｔ１、ｔ２間では、スコープ部２の動きが比較的少ない間に画像が撮像されているが、時刻ｔ２とｔｎとの間では、大きな動きが生じて画像が撮像されている。つまり、画像Ｉ（ｔ２）と画像Ｉ（ｔｎ）との間に対応点が少ない。この場合、意図しない急激な変化が生じ、管腔の奥の位置を判断することが困難になっていると考えられる。

そこで、大きな動きが生じる直前の画像Ｉ（ｔｎ−１）の中心座標を観察位置の座標（ｘｇ，ｙｇ）と仮定してガイド画像を作成する。
つまり、画像処理装置５は、対応点検出部１１、観察方向推定部１２（座標変換処理部、方向推定部）、ガイド画像作成部１３及び画像合成部１４を備えている。

対応点検出部１１は、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する。すなわち、対応点検出部１１は、時刻ｔ＝ｔｎで撮像された画像Ｉ（ｔｎ）の入力を受けて、予め記憶されていた時刻ｔ＝ｔｎ−１の画像Ｉ（ｔｎ−１）と入力された画像Ｉ（ｔｎ）との対応点を検出する。

また、複数の対応点に基づいて、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との離間距離を算出し、該離間距離が所定の閾値よりも大きい場合に、画像Ｉ（ｔｎ−１）の中心座標を観察位置の座標（ｘｇ，ｙｇ）として特定する。検出した対応点と共に、特定した観察位置の座標（ｘｇ，ｙｇ）を観察方向推定部１２に出力する。対応点検出部１１は、画像Ｉ（ｔｎ）と対応点を対応点検出部１１に記憶する。

観察方向推定部１２は、複数の対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換し、変換した観察位置の座標の画像中心に対する方向を算出する。観察方向推定部１２における処理は第１の実施形態における処理と同様であるので、ここでの詳細な説明を省略する。

このように構成された内視鏡装置によれば、取得された画像から急激な変化が生じたと判定された場合に、意図しない急激な変化により観察位置を見失ったと判断することができる。そして、観察位置を見失ったと判断される前の画像から観察位置の方向を推定することができるので、観察すべき領域や挿入すべき方向を迅速に探し出して、元の作業を再開するまでの時間を短縮し利便性を向上させることができる。

本実施形態では、大きな動きが生じる直前の画像Ｉ（ｔｎ−１）の中心座標を観察位置の座標（ｘｇ，ｙｇ）と仮定してガイド画像を作成する構成としたが、観察位置として仮定する座標（ｘｇ，ｙｇ）は画像Ｉ（ｔｎ−１）に含まれる座標であれば任意の位置を座標（ｘｇ，ｙｇ）としてよい。例えば、画像Ｉ（ｔｎ−１）内の位置のうち画像Ｉ（ｔｎ）に最も距離が近い位置を座標（ｘｇ，ｙｇ）としてもよい。

（変形例）
上述した各実施形態においては、観察対象が大腸であることを前提として説明したが、観察対象は大腸に限られず、例えば、何らかの臓器における病変部とすることもできる。この場合には、例えば、スコープ部２により取得された画像から周囲とは何らかの特性が異なる病変部を含む注目領域を検出し、この注目領域の中心画素を観察位置の座標として特定し、処理を進めることができる。
また、観察対象は医療分野に限られず、工業分野の観察対象にも適用できる。例えば、内視鏡を配管内の傷等の検査に用いる場合には、観察対象は配管内の傷とすることで上記と同様の処理を用いることができる。

病変部を注目領域とした場合の注目領域の検出手法の一例として、注目領域を面積の大小及び周囲との色（例えば赤色）の濃度差の大小に基づいて分類し、検出する方法を用いることができる。以下、上記した実施形態と同様の処理を進め、ガイド画像作成時には、病変部を含む注目領域の方向を示すガイド画像を作成し、これを観察画像に重畳した画像を表示部４に表示させることで、観察者に観察すべき領域や挿入すべき方向を迅速に示すことができ、元の作業を再開するまでの時間を短縮し利便性を向上させることができる。

２ スコープ部（撮像部）
３ 画像処理部
４ 表示部
１０ 観察位置特定部
１１ 対応点検出部
１２ 観察方向推定部（座標変換処理部、方向推定部）
１３ ガイド画像作成部
１４ 画像合成部

Claims (4)

1. 時間間隔をあけた時刻ｔ１〜ｔｎ（ｎは整数）において観察対象の複数の画像Ｉ（ｔ１）〜Ｉ（ｔｎ）を連続して取得する撮像部と、
   該撮像部により取得された複数の画像を処理する画像処理部と、
   該画像処理部により処理された画像を表示する表示部とを備え、
   前記画像処理部が、
   画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する対応点検出部と、
   各前記画像において観察位置の座標を特定する観察位置特定部と、
   該観察位置特定部により画像Ｉ（ｔｎ）における観察位置の座標が特定できなかった場合に、複数の前記対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換する座標変換処理部と、を有し、
   前記表示部が、前記座標変換処理部により変換された画像Ｉ（ｔｎ）の座標系における前記観察位置の座標に関する情報を前記画像処理部により処理された画像Ｉ（ｔｎ）と共に表示する内視鏡装置。
2. 時間間隔をあけた時刻ｔ１〜ｔｎ（ｎは整数）において観察対象の複数の画像Ｉ（ｔ１）〜Ｉ（ｔｎ）を連続して取得する撮像部と、
   該撮像部により取得された複数の画像を処理する画像処理部と、
   該画像処理部により処理された画像を表示する表示部とを備え、
   前記画像処理部が、
   画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との対応する画素位置を対応点として複数検出する対応点検出部と、
   複数の前記対応点に基づいて、画像Ｉ（ｔｎ）と画像Ｉ（ｔｎ−１）との離間距離を算出し、該離間距離が所定の閾値よりも大きい場合に、画像Ｉ（ｔｎ−１）に含まれる座標を観察位置の座標として特定する観察位置特定部と、
   複数の前記対応点を用いて、画像Ｉ（ｔｎ−１）内に特定された前記観察位置の座標を画像Ｉ（ｔｎ）の座標系における座標に変換する座標変換処理部と、を有し、
   前記表示部が、前記座標変換処理部により変換された画像Ｉ（ｔｎ）の座標系における前記観察位置の座標に関する情報を前記画像処理部により処理された画像Ｉ（ｔｎ）と共に表示する内視鏡装置。
3. 前記観察位置特定部が、前記観察位置の座標として、前記観察対象中の管腔の最も奥の位置を示す座標を特定する請求項１又は請求項２記載の内視鏡装置。
4. 前記観察位置特定部が、前記観察位置の座標として、前記観察対象中の病変部の位置を示す座標を特定する請求項１又は請求項２記載の内視鏡装置。

Images