JP5771598B2 - 内視鏡装置 - Google Patents

Description

本発明は、内視鏡装置に関するものである。

従来、体腔内に挿入される挿入部に、体腔内の画像を取得する対物光学系と鉗子等の処置具とを備えた内視鏡装置が知られている（例えば、特許文献１参照）。このような内視鏡装置によれば、対物光学系により取得した体腔内の画像を見ながら、処置具により病変部の処置を行うことができるようになっている。

特開２００２−３４９０４号公報

しかしながら、特許文献１に開示されている内視鏡装置によれば、対物光学系に対して処置具の裏側の領域では、処置具が邪魔になって体腔内の組織を観察することができず、病変部の処置作業に支障をきたすという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、処置具の裏側の領域についても体腔内の組織を観察しながら、処置具により病変部の処置を行うことができる内視鏡装置を提供することを目的とする。

上記目的を達成するために、本発明は以下の手段を採用する。
本発明は、被検体の画像を取得する画像取得部と、該画像取得部により取得された現在画像を保存する画像保存部と、前記画像取得部により取得された現在画像から、処置具が存在する処置具領域を抽出する処置具領域抽出部と、前記画像保存部に保存された保存画像と前記画像取得部により取得された現在画像との位置合わせを行う画像位置合わせ部と、前記画像保存部に保存された保存画像から、前記処置具領域に対応する領域を抽出する処置具対応領域抽出部と、該処置具対応領域抽出部により抽出された領域の画像と前記画像取得部により取得された現在画像とを合成する画像合成部とを備える内視鏡装置を採用する。

本発明によれば、画像取得部により被検体の画像が取得され、取得された画像は画像保存部に保存される。一方、処置具領域抽出部により、画像取得部で取得された現在画像から、処置具（例えば生検用の鉗子等）が存在する処置具領域が抽出される。そして、画像位置合わせ部により、画像保存部に保存された保存画像と画像取得部により取得された現在画像との位置合わせが行われ、処置具対応領域抽出部により、画像保存部に保存された保存画像から処置具領域に対応する領域が抽出される。このように抽出された処置具領域に対応する領域の画像と、画像取得部により取得された現在画像とが、画像合成部により合成される。

このようにすることで、生検対象の部位が処置具の裏側に隠れてしまう場合にも、画像保存部に予め保存しておいた保存画像から、処置具の裏側に隠れてしまう部分の生体領域（処置具領域に対応する領域）の情報を抽出して、画像取得部により取得された現在画像に合成して表示することができる。これにより、処置具の裏側に隠れてしまう部分についても、生検対象部位と処置具との位置関係を画像内で目視することができ、正確に生検を行うことができる。

上記発明において、前記画像取得部により取得された現在画像から、前記処置具領域抽出部により抽出された処置具領域を除去した画像を生成する画像処理部を備え、前記画像合成部が、前記処置具対応領域抽出部により抽出された領域の画像と前記画像処理部により生成された画像とを合成することとしてもよい。

このようにすることで、画像処理部により、現在画像から処置具領域を除去した画像、すなわち処置具の領域が除去された生体部分のみの現在画像が生成される。そして、画像合成部により、処置具対応領域抽出部により抽出された画像と、画像処理部により生成された画像とが合成される。これにより、完全に処置具の領域が除去された合成画像を生成することができ、生検対象部位の観察精度を向上することができる。

上記発明において、前記画像合成部が、合成した画像に前記処置具領域の位置情報を重畳することとしてもよい。
このようにすることで、合成した画像に処置具領域の位置情報を重ねて表示することができ、処置具の位置および２つの画像が合成された領域の位置を、ユーザが容易に把握することができる。

上記発明において、前記画像合成部が、前記処置具領域の位置情報として処置具の輪郭を重畳することとしてもよい。
このようにすることで、処置具の裏側の生体部分をユーザが目視で把握できるとともに、合成された画像に処置具の位置が輪郭で表示されるので、生検対象部位と処置具との位置関係を容易に把握することができる。

上記発明において、前記画像合成部が、前記処置具領域の位置情報として処置具を半透明化して重畳することとしてもよい。
このようにすることで、処置具の裏側の生体部分をユーザが目視で把握できるとともに、合成された画像に処置具の位置を半透明化して表示することができる。これにより、処置具の形状など立体的な情報も表示することができ、処置具の位置や向きが把握しやすく、生検をより正確に行うことができる。

上記発明において、前記現在画像および前記保存画像の特徴点を検出する特徴点検出部を備え、前記画像位置合わせ部が、前記特徴点検出部により検出された特徴点を用いて前記現在画像と前記保存画像との位置合わせを行うこととしてもよい。
このようにすることで、特徴点検出部により、例えば、現在画像および保存画像における共通の特徴点を検出し、画像位置合わせ部により、これら特徴点の位置を合わせるように、現在画像と保存画像との位置合わせを行うことができる。これにより、現在画像と保存画像との位置合わせの精度を向上させることができる。

上記発明において、前記現在画像において処置具の有無を検出する処置具検出部を備え、前記処置具領域抽出部が、前記処置具検出部が処置具を検出した場合に、前記現在画像から前記処置具領域を抽出することとしてもよい。
このようにすることで、処置具検出部が処置具を検出した場合に、処置具領域抽出部により、画像取得部により取得された現在画像から処置具領域が抽出される。これにより、処置具が検出されない場合において、処置具対応領域抽出部や画像合成部による処理を停止させることができ、装置全体としての処理量を低減して、スムーズな内視鏡観察を行うことができる。

上記発明において、前記処置具検出部が、前記現在画像内の色情報から処置具を検出することとしてもよい。
処置具と生体組織とは色が異なるので、色の違いを利用して処置具が画像内に入ってきたかを検出することができる。これにより、画像内の色の分布を検出するだけで、処置具の有無を容易に検出することができる。

上記発明において、前記現在画像において処置具の位置を検出する処置具位置検出部と、該処置具位置検出部により検出された処置具の位置に基づいて、処理具の移動量を算出する移動量算出部とを備え、前記画像保存部が、前記移動量算出部により算出された移動量が所定距離以上の場合に、保存する画像を更新することとしてもよい。

このようにすることで、処置具が移動して今まで隠れていた場所の画像が取得できるようになった場合に、隠れていた場所の新しい画像を画像取得部により取得して、その画像を画像保存部に保存することができる。これにより、合成に用いられる保存画像を常に更新することができ、できるだけ時間差の少ない画像を用いて処置具に隠れた場所の生体情報を表示することができる。

上記発明において、前記画像保存部が、所定周期毎に保存する画像を更新することとしてもよい。
このようにすることで、合成に用いられる保存画像を所定周期毎に更新することができ、できるだけ時間差の少ない画像を用いて処置具に隠れた場所の生体情報を表示することができる。また、処置具の位置を検出する必要がないので、装置全体としての処理量を低減して、スムーズな内視鏡観察を行うことができる。

上記発明において、前記現在画像および前記保存画像を複数の領域に分割する領域分割部と、前記現在画像および前記保存画像について、前記領域分割部により分割された領域の階調値のヒストグラムを算出する階調値解析部と、該階調値解析部により算出された前記現在画像のヒストグラムを、前記保存画像のヒストグラムと重なる領域が増加する方向に、各領域の階調値を調整する階調値調整部とを備えることとしてもよい。

このようにすることで、画像取得部により取得された現在画像のヒストグラムを、画像保存部に保存された保存画像のヒストグラムに近づけることができる。これにより、現在画像において、処置具の陰によって暗くなった領域や、処置具からの反射光により明るくなった領域の階調値を補正することができる。これにより、処置具の位置による照明条件の変化を抑えて、均一な条件での画像を表示することができる。

上記発明において、前記現在画像および前記保存画像を複数の領域に分割する領域分割部と、前記現在画像および前記保存画像について、前記領域分割部により分割された領域の階調値を検出する階調値検出部とを備え、前記画像合成部が、前記現在画像において階調値が飽和した飽和領域が存在する場合に、該飽和領域の画像を前記保存画像に置き換えることとしてもよい。

このようにすることで、画像取得部により取得された現在画像において、サチレーション（飽和）が起こっている飽和領域については、画像保存部に保存された保存画像に置き換えて表示を行うことができる。これにより、飽和により形態情報が失われている領域でも、画像の入れ替えにより形態情報が取得できるので、照明条件にかかわらず、生体の状態を把握することができる。

上記発明において、前記現在画像の特徴点を検出する特徴点検出部と、該特徴点検出部により検出された特徴点を、前記画像保存部に保存された複数の保存画像から検索する特徴点検索部とを備え、前記処置具対応領域抽出部が、前記特徴点検索部により特徴点が検索された保存画像から、前記処置具領域に対応する領域を抽出することとしてもよい。

このようにすることで、現在画像の特徴点が画像保存部に保存された最新の保存画像の中に見つからない場合にも、保存された複数の保存画像の中から特徴点のある保存画像を探して、この保存画像から処置具領域を抽出して現在画像に合成することができる。これにより、内視鏡先端部が大きく動いて画像が大きく変化した場合や、画角が変わった場合でも、処置具領域の生体情報の表示が可能となる。

上記発明において、前記処置具対応領域抽出部が、前記保存画像を拡大または縮小し、拡大または縮小された保存画像から前記処置具領域に対応する領域を抽出することとしてもよい。
このようにすることで、保存画像の大きさが現在画像の大きさと異なる場合にも、保存画像を拡大または縮小して処置具領域に対応する領域を抽出し、画像取得部により取得された現在画像と合成することができる。

上記発明において、前記現在画像および前記保存画像の特徴点を複数検出する特徴点検出部と、前記現在画像および前記保存画像における、前記特徴点検出部により検出された複数の特徴点間の距離から、前記現在画像に対する前記保存画像の拡大率を設定する拡大率設定部とを備え、前記処置具対応領域抽出部が、前記拡大率設定部により設定された拡大率で前記保存画像を拡大または縮小することとしてもよい。

このようにすることで、現在画像における複数の特徴点間の距離と、保存画像において対応する複数の特徴点間の距離とを比較することで、現在画像に対する保存画像の拡大率を設定することができる。これにより、保存画像の大きさが現在画像の大きさと異なる場合にも、設定された拡大率で保存画像を拡大または縮小して処置具領域に対応する領域を抽出し、画像取得部により取得された現在画像と合成することができる。

本発明によれば、処置具の裏側の領域についても体腔内の組織を観察しながら、処置具により病変部の処置を行うことができるという効果を奏する。

本発明の各実施形態に係る内視鏡装置の全体構成図である。 本発明の第１の実施形態に係る内視鏡装置の機能ブロック図である。 図２の内視鏡装置により実行される各処理における画像例を示す図であり、図３（ａ）は鉗子挿入前のリアルタイム画像、図３（ｂ）は鉗子挿入後のリアルタイム画像、図３（ｃ）は画像保存メモリ部３２に保存された鉗子挿入前の画像、図３（ｄ）は保存画像から鉗子領域に対応する部分を切り取った画像、図３（ｅ）は図３（ｂ）の画像と図３（ｄ）の切り取った画像とを合成した画像を示している。 図２の内視鏡装置により実行される処理を示すフローチャートである。 本発明の第２の実施形態に係る内視鏡装置の機能ブロック図である。 図５の内視鏡装置により実行される各処理における画像例を示す図であり、図６（ａ）は鉗子挿入前のリアルタイム画像、図６（ｂ）は鉗子挿入後のリアルタイム画像、図６（ｃ）はリアルタイム画像の鉗子領域に保存画像が合成された画像、図６（ｄ）および図６（ｅ）は図６（ｃ）の画像において鉗子が移動した際の画像を示している。 図５の内視鏡装置により実行される処理を示すフローチャートである。 本発明の第３の実施形態に係る内視鏡装置の機能ブロック図である。 保存画像を複数の領域に分割した状態を示す画像例である。 リアルタイム画像を複数の領域に分割した状態を示す画像例である。 リアルタイム画像と保存画像の階調値のヒストグラムである。 図８の内視鏡装置により実行される処理を示すフローチャートである。 本発明の第４の実施形態に係る内視鏡装置の機能ブロック図である。 図１３の内視鏡装置により実行される各処理における画像例を示す図であり、図１４（ａ）は鉗子挿入前のリアルタイム画像、図１４（ｂ）は鉗子挿入後のリアルタイム画像、図１４（ｃ）は撮影位置が変化した際のリアルタイム画像、図１４（ｄ）は特徴点の位置検出方法を説明するための画像例、図１４（ｅ）は保存画像の拡大／縮小処理を説明するための画像例である。 図１３の内視鏡装置により実行される処理を示すフローチャートである。 図１３の内視鏡装置により実行される処理を示すフローチャートである。

［第１の実施形態］
本発明の第１の実施形態に係る内視鏡装置１について図面を参照して以下に説明する。
図１に示すように、本実施形態に係る内視鏡装置１は、被検体の画像を取得する内視鏡１０と、内視鏡１０に照明光を射出する光源装置２０と、内視鏡１０により取得された画像を処理するコントロールユニット３０と、コントロールユニット３０により処理された画像を表示するモニタ２５とを備えている。

内視鏡１０は、体腔内に挿入される細長い挿入部１１と、挿入部１１の基端側に設けられた把持部１２と、挿入部１１と把持部１２との間に設けられ、鉗子１３等の処置具が挿入される鉗子口１４とを備えている。

内視鏡１０（把持部１２の基端部）と光源装置２０とは、光源装置２０からの照明光を導くライトガイドケーブル１５により接続されている。
内視鏡１０（把持部１２の基端部）とコントロールユニット３０とは、ライトガイドケーブル１５を介して、内視鏡１０により取得された画像データを伝送する画像伝送ケーブル１６により接続されている。

ライトガイドケーブル１５と画像伝送ケーブル１６とは、電気コネクタ１７を介して接続されている。
画像伝送ケーブル１６とコントロールユニット３０とは、接続コネクタ１８を介して接続されている。
コントロールユニット３０とモニタ２５とは、コントロールユニット３０により処理された画像データを伝送するモニタケーブル１９により接続されている。

このように構成することで、光源装置２０から射出された照明光が、ライトガイドケーブル１５により導光され、内視鏡１０の先端から体腔内の被検体に照射される。そして、被検体の画像が内視鏡１０により取得され、その画像データが画像伝送ケーブル１６によりコントロールユニット３０に送られる。送られてきた画像データは、コントロールユニット３０内で画像処理が施された後、モニタケーブル１９によってモニタ２５に伝送され、モニタ画面上に表示される。

次に、図２を用いて本実施形態の内視鏡装置１の詳細な構成について説明する。
図２に示すように、光源装置２０の内部には、キセノンランプ（Ｘｅランプ）２１と、リレーレンズ２２とが設置されている。Ｘｅランプ２１から発せられた光は、リレーレンズ２２を介して内視鏡１０内のライトガイドケーブル１５により導光され、内視鏡１０の先端部に配置された照明光学系２３によって被検体Ａへ照射される。これにより生じた被検体Ａからの反射光は、内視鏡１０の先端部に配置された撮像光学系２４に入射する。

撮像光学系２４に入射した反射光は、リレーレンズ２６を介して、撮像光学系２４の後段に設置されたカラーＣＣＤ２７によって検出され、画像データに変換される。カラーＣＣＤ２７によって変換された画像データは、画像伝送ケーブル１６によってコントロールユニット３０内の画像生成部３１に送られる。

コントロールユニット３０は、図２に示すように、画像生成部（画像取得部）３１と、画像保存メモリ部（画像保存部）３２と、鉗子検出部（処置具検出部）３３と、画像内特徴マーカー認識部（特徴点検出部）３４と、画像位置合わせ部３５と、鉗子領域抽出部（処置具領域抽出部、処置具対応領域抽出部）３６と、鉗子領域画像処理部（画像処理部）３７と、画像合成部３８とを機能として備えている。

画像生成部３１は、カラーＣＣＤ２７によって変換された画像データから、被検体Ａの画像を生成するようになっている。画像生成部３１で生成された画像は、画像保存メモリ部３２と鉗子検出部３３に送られる。

画像保存メモリ部３２は、送られてきた画像を順次保存するようになっている。画像保存メモリ部３２には、数秒前から現在に至るまでのある程度の長さ、例えば５秒程度の画像が保存される。後述するように、本実施形態の内視鏡装置１は、この画像保存メモリ部３２に保存された保存画像から、鉗子１３が検出される前の画像を取得し、鉗子１３を検出した後には、鉗子部分に対応する保存画像の一部をはめ込むことで、鉗子裏の生体情報を表示するようになっている。

鉗子検出部３３では、送られてきた画像を基に、画像内に鉗子１３が存在するかどうかを色認識などで判断する。ここで、内視鏡装置の観察画面は、生体を観察するため、通常は赤系統の色で構成されているのに対し、鉗子１３は銀色や白色である。したがって、通常は赤系統である観察画面内に鉗子１３が存在すると、鉗子１３は銀色や白色といった生体とは異なる色を有するため、鉗子１３の存在を色によって検出することができる。

鉗子検出部３３は、鉗子１３が画像内に存在しないと判断した場合には、画像生成部３１により生成された画像をモニタ２５にそのまま送り、モニタ２５にはリアルタイム画像（現在画像）を表示するとともに、画像保存メモリ部３２に順次新しい画像を保存していく。

一方、鉗子検出部３３は、画像内に鉗子１３が存在すると判断した場合には、画像保存メモリ部３２への新しい画像の書き込みを停止するとともに、画像保存メモリ部３２へ鉗子１３が認識される直前の画像を保持する指示を出力する。この場合、画像保存メモリ部３２で保持された保存画像は、画像保存メモリ部３２から画像内特徴マーカー認識部３４へ送られる。また、鉗子検出部３３は、そのときのリアルタイム画像を画像内特徴マーカー認識部３４へ送る。

画像内特徴マーカー認識部３４では、リアルタイム画像と保存画像に関して、画像内で特徴的なマーカーとなる部分を、例えば、それぞれの画像で周辺より輝度が高い点や、色が異なる点などを選択することで決定するようになっている。

具体的な特徴点の決定方法として、図３（ａ）〜図３（ｅ）に示す例を用いて説明する。図３（ａ）は鉗子挿入前のリアルタイム画像、図３（ｂ）は鉗子挿入後のリアルタイム画像、図３（ｃ）は画像保存メモリ部３２に保存された鉗子挿入前の画像、図３（ｄ）は保存画像から鉗子領域に対応する部分を切り取った画像、図３（ｅ）は図３（ｂ）の画像と図３（ｄ）の切り取った画像とを合成した画像を示している。

図３（ｂ）に示すリアルタイム画像および図３（ｃ）に示す保存画像において、×印５１，５２が、特徴点とした特徴マーカー部分である。このようにして特徴マーカーが決定されたリアルタイム画像と保存画像は、画像内特徴マーカー認識部３４から画像位置合わせ部３５に送られる。

画像位置合わせ部３５では、特徴マーカーの情報をもとに、リアルタイム画像と保存画像との位置合わせを行う。図３（ａ）〜図３（ｅ）に示す例では、リアルタイム画像と保存画像にそれぞれ×印５１，５２を付け、これら×印５１，５２の位置が一致するように、リアルタイム画像と保存画像との位置合わせを行う。

なお、ここでは、説明を簡単にするために、画面が平行移動した場合を想定して書いているが、例えば、保存画像とリアルタイム画像が回転してしまっている場合には、位置合わせのために特徴点を２点設定して、その２点の位置を一致させることで位置合わせを行えばよい。

画像位置合わせ部３５により位置合わせされたリアルタイム画像と保存画像は、鉗子領域抽出部３６に送られる。
鉗子領域抽出部３６は、リアルタイム画像について、鉗子検出部３３と同様に、色の違いを利用して鉗子１３の輪郭を抽出する。つまり、鉗子領域抽出部３６は、鉗子１３と生体の色の違いから、鉗子１３と生体部分の境界を判別することで鉗子領域（処置具領域）の輪郭抽出を行う。

また、鉗子領域抽出部３６は、抽出したリアルタイム画像における鉗子領域の情報を基に、保存画像における鉗子領域に対応する部分を抽出しておく。これは後で、リアルタイム画像の鉗子１３に対応する画像領域を保存画像から切り取るための準備である。

鉗子領域画像処理部３７では、鉗子領域抽出部３６から送られてきた画像と鉗子領域の情報を基に、画像の切り抜き作業が行われる。リアルタイム画像に関しては、図３（ｅ）に示すように、鉗子輪郭内の画像を切り取ることで、生体部分のみを残す。ここで、切り取られた鉗子１３の画像は、生体の画像を見えなくしてしまっている生体情報を隠すものなので使用しない。

保存画像に関しては、図３（ｄ）に示すように、鉗子領域抽出部３６により抽出された、リアルタイム画像の鉗子領域に対応する部分を切り取る。すなわち、保存画像からは、リアルタイム画像で鉗子１３の裏になって見えなかった部分が取り出されたことになる。このように生成された、鉗子１３を取り除いたリアルタイム画像と、鉗子１３の裏になって見えなかった部分に対応する領域を切り出した保存画像は、画像合成部３８に送られる。

画像合成部３８では、図３（ｅ）に示すように、鉗子領域画像処理部３７から送られてきた２つの画像を合成することで、リアルタイム画像と保存画像との画像合成を行う。このように、リアルタイム画像から鉗子１３を取り除いた部分に、鉗子１３の裏になって見えなかった生体情報を保存画像から取り出してはめ込むことで、鉗子１３の裏が見える合成画像が作成される。また、画像合成部３８は、２つの画像が合成された境界部分を、鉗子１３の輪郭として、輪郭表示も行う。なお、輪郭表示は鉗子１３の輪郭部分を数ピクセル残すことで表示しても良い。

上記のように合成された画像をモニタ２５に送ることで、鉗子領域を示す輪郭の内部に生体の画像がはめ込まれた合成画像がモニタ画面上に表示される。
なお、本実施形態では、位置合わせをした後に画像の処理を行って鉗子裏の表示を行っているが、鉗子裏の生体情報を最終的に表示できれば良い。したがって、例えば、鉗子領域を抽出し、画像を処理した後にリアルタイム画像と保存画像との位置合わせを行うという順番でも良い。

上記構成を有する内視鏡装置１の作用について、図４に示すフローチャートに従って説明する。図４は、本実施形態の内視鏡装置１を用いて、内視鏡の観察から患部を発見し、生検までを行うまでの過程を示すフローチャートである。

まず、本実施形態の内視鏡装置１を使用して観察を始めると、被検体Ａにレーザ光源２０から照明光が照射され、被検体Ａからの反射光がカラーＣＣＤ２７により検出されて画像データに変換される。この画像データに基づいて画像生成部３１により画像が生成され、生成された被検体Ａの画像がモニタ２５に表示される（ステップＳ１）。

モニタ２５上には画像が、図３（ａ）のように表示され、術者はその画像を観察して生検する目的部を探していく。このとき、観察しているときから、例えば５秒前までの画像が画像保存メモリ部３２に常に保存される（ステップＳ２）。

この状態において、鉗子検出部３３により画像内に鉗子１３が存在するか否かが判断される（ステップＳ３）。
ステップＳ３において鉗子１３が画像内にない場合には、リアルタイム画像がモニタ２５にそのまま表示される（ステップＳ１０）。

リアルタイム画像において、観察視野内に生検目的部が見つかった場合には、内視鏡１０の鉗子口１４から鉗子１３を挿入し、挿入部１１の先端部まで鉗子１３を挿通させる。これにより、図３（ｂ）に示すように、観察視野内に鉗子１３が現れる。鉗子検出部３３は、観察視野における鉗子１３の有無を画像内の色の変化などで認識する。

ステップＳ３において鉗子１３が画像内にある場合には、鉗子１３が現れる直前の保存画像が、画像保存メモリ部３２から読み出される（ステップＳ４）。
次に、画像内特徴マーカー認識部３４により、読み出された保存画像およびリアルタイム画像において、周辺より輝度が高い点や、色が異なる点などを利用して特徴マーカーが設定される（ステップＳ５）。

次に、画像位置合わせ部３５により、設定された特徴マーカーを基に、保存画像とリアルタイム画像との位置合わせが行われる（ステップＳ６）。
次に、鉗子領域抽出部３６により、リアルタイム画像において、鉗子１３と生体の色の違いから、鉗子１３の輪郭および鉗子領域が抽出される（ステップＳ７）。この鉗子領域は、保存画像から切り抜き作業を行うときにも使用される。

次に、鉗子領域画像処理部３７により、リアルタイム画像から鉗子領域が切り抜かれて残りの生体部分を残すとともに、保存画像からは鉗子領域に対応する部分が切り取られる（ステップＳ８）。そして、画像合成部３８により、保存画像から切り取った生体情報が、リアルタイム画像の生体情報を残した画像にはめ込まれる。この際、２つの画像を合成した境界部分は鉗子１３の輪郭になるので、輪郭表示も行われる。

次に、画像の表示をリアルタイム表示から画像の重ね合わせモードに切り替える（ステップＳ９）。画像の重ね合わせモードに切り替わると、図３（ｅ）に示すように、鉗子１３が輪郭表示に切り替わり、鉗子１３に隠れている部分が見えるようになる。これにより、術者は鉗子１３に隠れていた部分が見えるようになった画面を見ながら生検目的部に向かって鉗子１３を進め、生検を行うことができる。

なお、生検が終了した場合には、画面から鉗子１３が見えなくなるので、鉗子１３がなくなったことを認識し、画面表示を画像の重ね合わせモードからリアルタイム表示に切り替える。

以上のように、本実施形態に係る内視鏡装置１によれば、生検対象の部位が鉗子１３の裏側に隠れてしまう場合にも、画像保存メモリ部３２に予め保存しておいた保存画像から、鉗子１３の裏側に隠れてしまう部分の生体領域（鉗子領域に対応する領域）の情報を抽出して、リアルタイム画像に合成して表示することができる。これにより、鉗子１３の裏側に隠れてしまう部分についても、生検対象部位と鉗子１３との位置関係を画像内で目視することができ、正確に生検を行うことができる。

また、鉗子領域画像処理部３７により、リアルタイム画像から鉗子領域を除去した画像、すなわち鉗子１３の領域が除去された生体部分のみのリアルタイム画像が生成される。そして、画像合成部３８により、鉗子領域抽出部３６により抽出された画像と、鉗子領域画像処理部３７により生成された画像とが合成される。これにより、完全に鉗子１３の領域が除去された合成画像を生成することができ、生検対象部位の観察精度を向上することができる。

また、画像合成部３８が、鉗子領域の位置情報として鉗子１３の輪郭を重畳することで、鉗子１３の裏側の生体部分をユーザが目視で把握できるとともに、合成された画像に鉗子１３の位置が輪郭で表示されるので、生検対象部位と鉗子との位置関係を容易に把握することができる。

また、画像内特徴マーカー認識部３４により、例えばリアルタイム画像および保存画像における共通の特徴点を検出し、画像位置合わせ部３５により、これら特徴点を用いてリアルタイム画像と保存画像との位置合わせを行うことで、リアルタイム画像と保存画像との位置合わせの精度を向上させることができる。

また、鉗子領域抽出部３６が、鉗子検出部３３が鉗子１３を検出した場合に、リアルタイム画像から鉗子領域を抽出することで、鉗子１３が検出されない場合において、鉗子領域抽出部３６や画像合成部３８による処理を停止させることができ、装置全体としての処理量を低減して、スムーズな内視鏡観察を行うことができる。

また、鉗子１３と生体組織とは色が異なるので、鉗子検出部３３が、リアルタイム画像内の色情報から鉗子１３を検出することで、この色の違いを利用して鉗子１３が画像内に入ってきたかを検出することができる。これにより、画像内の色の分布を検出するだけで、鉗子１３の有無を容易に検出することができる。

［第２の実施形態］
次に、本発明の第２の実施形態に係る内視鏡装置２について、図５から図７を用いて説明する。
図５は実施形態に係る内視鏡装置２の機能ブロック図であり、コントロールユニット３０内の処理以外は第１の実施形態に係る内視鏡装置１と同様の構成である。

第２の実施形態に係る内視鏡装置２は、観察画像を生成するところまでは、前述の第１の実施形態に係る内視鏡装置１と同様である。
ここで、第１の実施形態に係る内視鏡装置１では、合成画像を作成するために使用する保存画像を決定して保持したら、その後のリアルタイム画像の鉗子領域は、その保持した保存画像を使用して作成される。そのため、鉗子１３が画像内に出現している時間が長くなるほど、保持した保存画像の情報はリアルタイム画像よりも時間的に古いものになってしまう。そこで、鉗子１３の有無に関わらず、照明影響により生体部の見え方が変化した場合や、患部の状態が刻々と変わる場合には、保持した保存画像が古い情報のため、現在見ているリアルタイムの画像との不一致が生じる。この場合には、違いが大きくなった２つの画像を合成することとなるため、不自然でみづらい画像を表示することとなる。

そこで、本実施形態に係る内視鏡装置２では、保存画像を逐次更新することで、保存画像とリアルタイム画像の時間差をできる限り少なくし、違和感を無くした最新の画像が提供できるようにしている。以下、本実施形態に係る内視鏡装置２について、第１の実施形態に係る内視鏡装置１と共通する点については説明を省略し、異なる点について主に説明する。

本実施形態に係る内視鏡装置２において、コントロールユニット３０は、図５に示すように、図２に示す構成（第１の実施形態の構成）の他に、特徴マーカーと鉗子間距離計算部（処置具位置検出部）４１と、保存画像の書き換え判断部（移動量算出部）４２と、表示用画像合成部４３と、保存用画像合成部４４とを機能として備えている。

上記構成を有するコントロールユニット３０において、第１の実施形態と同様に画像生成部３１により生成された画像は、鉗子検出部３３と画像保存メモリ部３２に送られる。画像保存メモリ部３２は、送られてきた画像を、数秒前から現在に至るまでのある程度の長さ、例えば５秒程度保存する。

鉗子検出部３３は、第１の実施形態と同様に、送られてきた画像を基に画像内に鉗子１３が存在するか否かを、色認識などで判断する。鉗子１３が画像内に存在しないと判断されれば、画像生成部３１が生成した画像をモニタ２５にそのまま送り、モニタ２５にはリアルタイムの画像を表示するとともに、画像保存メモリ部３２に順次新しい画像を保存していく。

一方、鉗子検出部３３は、画像内に鉗子１３が存在すると判断した場合には、画像保存メモリ部３２への新しい画像の書き込みを停止するとともに、鉗子検出部３３から画像保存メモリ部３２へ鉗子１３が認識される直前の画像を保持する指示を出力する。この場合、画像保存メモリ部３２で保持された保存画像は、画像保存メモリ部３２から画像内特徴マーカー認識部３４へ送られる。また、鉗子検出部３３は、そのときのリアルタイム画像を画像内特徴マーカー認識部３４へ送る。

画像内特徴マーカー認識部３４は、第１の実施形態と同様に、リアルタイム画像と保存画像に関して、画像内で特徴的なマーカーとなる部分を、それぞれの画像で周辺より輝度が高い点や、色が異なる点などを選択することで決定する。このようにして特徴マーカーが決定されたリアルタイム画像と保存画像は、画像内特徴マーカー認識部３４から画像位置合わせ部３５に送られる。また、特徴マーカーの情報に加えて、画像内特徴マーカー認識部３４は、鉗子１３も色認識により判断し、特徴マーカーの位置情報と鉗子先端の位置情報を、特徴マーカーと鉗子間距離計算部４１に送る。

画像位置合わせ部３５は、第１の実施形態と同様に、特徴マーカーの情報を基に、リアルタイム画像と保存画像との位置合わせを行う。画像位置合わせ部３５により位置合わせされたリアルタイム画像と保存画像は、鉗子領域抽出部３６に送られる。

鉗子領域抽出部３６は、リアルタイム画像について、鉗子検出部３３と同様に、色の違いを利用して鉗子１３の輪郭を抽出する。つまり、鉗子領域抽出部３６は、鉗子１３と生体の色の違いから、鉗子１３と生体部分の境界を判別することで、鉗子領域（処置具領域）の輪郭抽出を行う。

また、鉗子領域抽出部３６は、抽出したリアルタイム画像における鉗子領域の情報を基に、保存画像における鉗子領域に対応する部分を抽出しておく。これは後で、リアルタイム画像の鉗子１３に対応する画像領域を保存画像から切り取るための準備である。

一方、特徴マーカーと鉗子間距離計算部４１では、図６（ｃ）に示すように、画像内特徴マーカー認識部３４から送られてきた特徴マーカー（×印５１）の位置情報と鉗子１３の先端の位置情報から、これらの２点間の距離が算出される。このようにして算出した距離情報を、保存画像の書き換え判断部４２に送る。

ここで、図６（ａ）は鉗子挿入前のリアルタイム画像、図６（ｂ）は鉗子挿入後のリアルタイム画像、図６（ｃ）はリアルタイム画像の鉗子領域に保存画像が合成された画像、図６（ｄ）および図６（ｅ）は図６（ｃ）の画像において鉗子が移動した際の画像を示している。

保存画像の書き換え判断部４２は、鉗子１３が特徴マーカーに対して画像内でどれだけ動いたかを判断し、その変化量によって、現在保存されている保存画像を更新するかを決定する。この変化量に対して保存画像の書き換えを判断するための基準値は、任意に設定可能である。具体的には、例えば、鉗子１３と特徴マーカー（×印５１）との距離が、はじめの保存画像の距離に対して、１０ピクセル以上変化したら保存画像の更新を行うこととしてもよい。これは、鉗子１３を認識してから、その鉗子１３がどれだけ動いているかを認識するためのものであり、鉗子１３が動くということは、今までリアルタイム画像では取得できなかった鉗子裏の部分の情報が得られるということである。

このようにリアルタイム画像の鉗子領域以外の情報を使用して、保存画像を更新していくことで、保存画像が最新の情報を有することになる。つまり、リアルタイム画像において鉗子１３が動いたことを検出し、これにより保存画像を逐次更新することで、保存画像は常に現在のリアルタイム情報から得られる最新の情報で更新されていくこととなる。

ここで、鉗子１３が認識されて初めての画像の場合、保存画像の基準となるデータが取得されたことになる。つまり、移動距離はゼロのため、保存画像の書き換えは行わない。この基準となるデータは、保存画像の書き換え判断部４２において、書き換え判断のための基準データとして保存される。つまり、この基準データから特徴点と鉗子１３の先端部との距離が算出されて、この距離に対して、新しく送られてくる画像データでの距離が１０ピクセル以上の場合には、保存画像の更新処理を行うことになる。ここでは、基準データのため、保存画像の書き換えはしないという判断結果が得られ、その結果は鉗子領域画像処理部３７へ送られる。

鉗子領域画像処理部３７では、鉗子領域抽出部３６から送られてきた画像と鉗子領域の情報を基に、画像の切り抜き作業が行われる。リアルタイム画像に関しては、鉗子１３の輪郭内の画像を切り取ることで、生体部分のみを残す。ここで、切り取られた鉗子１３の画像は、生体の画像を見えなくしてしまっている生体情報を隠すものなので使用しない。

保存画像に関しては、リアルタイム画像との位置合わせをおこない、リアルタイム画像の鉗子領域に対応する部分を抽出してあるので、その部分を切り取る。保存画像からは、リアルタイム画像で鉗子１３の裏になって見えなかった部分が取り出されたことになる。これらの、鉗子１３を取り除いたリアルタイム画像と、鉗子１３の裏になって見えなかった部分に対応する領域を切り出した保存画像は、表示用画像合成部４３に送られる。

表示用画像合成部４３は、送られてきた２つの画像の合成を行う。このように、リアルタイム画像から鉗子１３を取り除いた画像に、鉗子１３の裏になって見えなかった生体情報を保存画像から取り出した画像をはめ込むことで、鉗子１３の裏が見える合成画像が作成されたことになる。
そして、合成された画像をモニタ２５に送ることで、鉗子領域を示す輪郭の内部に生体の画像がはめ込まれた合成画像が画面に表示される。

次に、画像生成部３１で生成された画像が、先ほどと同様にして各処理部で処理され、保存画像の書き換え判断部４２に新たな画像情報が送られてきた場合について説明する。この場合には、その画像に関して、特徴マーカーと鉗子間距離計算部４１により、特徴マーカーと鉗子１３の先端との距離がどれだけか算出し、現在保持されている保存画像の基準データと比較することで、鉗子１３が移動しているかを判断する。そして、その結果（鉗子１３の移動距離）によって保存画像を更新するかが決定される。

特徴マーカーと鉗子間距離計算部４１により計算された結果は、保存画像の書き換え判断部４２により比較される。鉗子１３の移動距離が設定した基準値、例えば１０ピクセルに満たない場合には、特に見えているものに変化がないということで、保存画像の書き換えはないとして鉗子領域画像処理部３７へ判断結果が送られる。

一方、鉗子１３の移動距離が基準値の１０ピクセルを超えた場合には、鉗子１３が移動したということである。つまり、今まで鉗子１３の裏で見えなかった生体情報が見えているということなので、保存画像を更新するという指示を鉗子領域画像処理部３７に送る。また、保存画像が更新されることになるので、基準値も新たに算出された値に更新する。そして、次に送られてくる画像データとの比較用に使用する。

鉗子領域画像処理部３７では、鉗子領域抽出部３６から送られてきた画像と鉗子領域の情報を基に、画像の切り抜き作業が行われる。リアルタイム画像に関しては、鉗子１３の輪郭内の画像を切り取ることで、生体部分のみを残す。ここで切り取られた鉗子１３の画像は生体の画像を見えなくしてしまっている生体情報を隠すものなので使用しない。

保存画像に関しては、リアルタイム画像との位置合わせをおこない、リアルタイム画像の鉗子領域に対応する部分を抽出してあるので、その部分を切り取る。保存画像からは、リアルタイム画像で鉗子１３の裏になって見えなかった部分が取り出されたことになる。これらの、鉗子１３を取り除いたリアルタイム画像と、鉗子裏になって見えなかった部分に対応する領域を切り出した保存画像は、表示用画像合成部４３に送られる。また、保存画像の書き換え判断部４２の結果を受けて、保存画像を更新するので、保存画像合成部４４にも合成した画像を送る。

鉗子領域画像処理部３７から表示用画像合成部４３に送られた２つの画像情報から、先ほどと同様に合成画像が作成され、その合成された画像をモニタ２５に送ることで、鉗子領域を示す輪郭の内部に生体の画像がはめ込まれた合成画像が画面に表示される。

また、保存画像合成部４４にも同様に２つの画像が送られてきている。これらに対しても、同様に合成を行うことで、鉗子領域以外が最新のリアルタイム画像である保存用画像が作成される。ただし、表示用画像のような鉗子１３の輪郭の表示は行わない。ここで作成された画像は、今後のリアルタイム画像に対して、鉗子１３の裏の情報を与える新規な保存画像になる。作成された新規の保存画像は、画像保存メモリ部３２に送られ、それまで保持されていた保存画像から、今回新たに作成された新規の保存画像に更新される。

上記構成を有する内視鏡装置２の作用について、図７に示すフローチャートに従って説明する。図７は、本実施形態の内視鏡装置２を用いて、内視鏡の観察から患部を発見し、生検までを行うまでの過程を示すフローチャートである。

まず、本実施形態の内視鏡装置２を使用して観察を始めると、被検体Ａにレーザ光源２０から照明光が照射され、被検体Ａからの反射光がカラーＣＣＤ２７により検出されて画像データに変換される。この画像データに基づいて画像生成部３１により画像が生成され、生成された被検体Ａの画像がモニタ２５に表示される（ステップＳ１１）。

モニタ２５上には画像が、図６（ａ）のように表示され、術者はその画像を観察して生検する目的部を探していく。このとき、観察しているときから、例えば５秒前までの画像が画像保存メモリ部３２に常に保存される（ステップＳ１２）。

この状態において、鉗子検出部３３により画像内に鉗子１３が存在するか否かが判断される（ステップＳ１３）。
ステップＳ１３において鉗子１３が画像内にない場合には、リアルタイム画像がモニタ２５に表示される（ステップＳ２５）。

リアルタイム画像において、観察視野内に生検目的部が見つかった場合には、内視鏡１０の鉗子口１４から鉗子１３を挿入し、挿入部１１の先端部まで鉗子１３を挿通させる。これにより、図６（ｂ）に示すように、観察視野内に鉗子１３が現れる。鉗子検出部３３は、観察視野における鉗子１３の有無を画像内の色の変化などで認識する。

ステップＳ１３において鉗子１３が画像内にある場合には、鉗子１３が現れる直前の保存画像が、画像保存メモリ部３２から読み出される（ステップＳ１４）。
次に、画像内特徴マーカー認識部３４により、読み出された保存画像およびリアルタイム画像において、周辺より輝度が高い点や、色が異なる点などを利用して特徴マーカーが設定される（ステップＳ１５）。

次に、特徴マーカーと鉗子間距離計算部４１により、図６（ｃ）に示すように、保存画像とリアルタイム画像のそれぞれについて、特徴マーカーと鉗子１３との距離が計算される（ステップＳ１６）。
次に、保存画像の書き換え判断部４２により、その計算結果を基に、保存画像とリアルタイム画像のそれぞれについて、特徴マーカーと鉗子１３との距離が基準値（例えば１０ピクセル）以上であるか否かが判断される（ステップＳ１７）。

ステップＳ１７において、特徴マーカーと鉗子１３との距離が基準値未満の場合には、今までの処理と同様にして、合成画像を作成する。
一方、特徴マーカーと鉗子１３との距離が基準値以上の場合には、保存画像の更新を行うという指示を出し、画像位置合わせ部３５により、設定された特徴マーカーを基に、保存画像とリアルタイム画像との位置合わせが行われる（ステップＳ１８）。

次に、鉗子領域抽出部３６により、リアルタイム画像において、鉗子１３と生体の色の違いから、鉗子１３の輪郭および鉗子領域が抽出される（ステップＳ１９）。この鉗子領域は、保存画像から切り抜き作業を行うときにも使用される。

次に、リアルタイム画像から鉗子領域を切り抜き、残りの生体部分を残す（ステップＳ２０）。
次に、保存画像からは鉗子領域に対応する部分を切り取り、その切り取った生体情報をリアルタイム画像の生体情報を残した画像にはめ込む（ステップＳ２１）。このように合成した画像は新規の保存画像として画像保存メモリ部３２に保存される。
次に、モニタ２５の画面には、２つの画像を合成した境界部分を、鉗子１３の輪郭として表示する（ステップＳ２２）。

次に、画像の表示をリアルタイム表示から画像の重ね合わせモードに切り替える（ステップＳ２３）。画像の重ね合わせモードに切り替わると、図６（ｅ）に示すように、鉗子１３が輪郭表示に切り替わり、鉗子１３に隠れている部分が見えるようになる。これにより、術者は鉗子１３に隠れていた部分が見えるようになった画面を見ながら生検目的部に向かって鉗子１３を進め、生検を行うことができる。

なお、生検が終了した場合には、画面から鉗子１３が見えなくなるので、鉗子１３がなくなったことを認識し、画面表示を画像の重ね合わせモードからリアルタイム表示に切り替える。

以上のように、本実施形態に係る内視鏡装置２は、生検目的部が鉗子１３によって見えなくなるようなときでも、生検目的部と鉗子１３の位置関係が目視できるように表示を行うだけでなく、鉗子１３の移動量から判断して保存画像の更新を行うところに特徴がある。このようにすることで、鉗子１３が移動して今まで隠れていた場所の画像が取得できるようになった場合に、隠れていた場所の新しい画像を取得して、その画像を画像保存メモリ部３２に保存することができる。これにより、画像保存メモリ部３２に保存する保存画像を常に更新することができ、これを用いて表示用画像合成部４３により画像を合成することで、できるだけ時間差の少ない画像を用いて鉗子１３に隠れた場所の生体情報を表示することができる。これにより、配光の影響変化や患部の変化等に対応した自然な画像を得ることができ、観察精度を向上することができる。

なお、本実施形態に係る内視鏡装置２において、画像保存メモリ部３２が、所定周期毎に保存する画像を更新することとしてもよい。
このようにすることで、表示用画像合成部４３によって合成に用いられる保存画像を所定周期毎に更新することができ、できるだけ時間差の少ない画像を用いて鉗子１３に隠れた場所の生体情報を表示することができる。また、鉗子１３の位置を検出する必要がないので、装置全体としての処理量を低減して、スムーズな内視鏡観察を行うことができる。

［第３の実施形態］
次に、本発明の第３の実施形態に係る内視鏡装置３について、図８から図１２を用いて説明する。
図８は実施形態に係る内視鏡装置３の機能ブロック図であり、コントロールユニット３０内の処理以外は第１の実施形態に係る内視鏡装置１と同様の構成である。

第３の実施形態に係る内視鏡装置３は、観察画像を生成するところまでは、前述の第１の実施形態に係る内視鏡装置１と同様である。
ここで、第１の実施形態では、鉗子１３が内視鏡１０の先端から出てくると、照明光の分布に影響が出るため画像に影響が生じる。つまり、鉗子１３によって観察部位に対して照明光が遮断されたり、散乱が起こることによって、鉗子１３の陰になって暗くなる部分と、鉗子１３によって生じた散乱光が強くあたることで明るくなる部分が生じる。そのため、鉗子１３があるときと無いときで、観察対象の見え方に違いが出てしまう。また、鉗子１３が存在することによって明るくなりすぎてしまい、飽和状態となる領域も生じる。この領域に関してはその形態情報が失われてしまう。そこで、本実施形態においては、鉗子１３の出現による照明光の遮断や散乱光の影響を少なくする。

まず、今回の状況は大きく２つのケースに分けられる。１つ目のケースは、鉗子１３の出現によって観察部位の明るさが変化した領域が生じる（鉗子１３が無いときよりも明るくなる、または暗くなる）場合である。２つ目のケースは、鉗子１３の出現によって飽和してしまい形態情報が失われた（鉗子１３の影響で明るくなりすぎてしまった）場合である。以下、本実施形態に係る内視鏡装置３について、第１の実施形態に係る内視鏡装置１と共通する点については説明を省略し、異なる点について主に説明する。

本実施形態に係る内視鏡装置３において、コントロールユニット３０は、図８に示すように、図２に示す構成（第１の実施形態の構成）の他に、領域分割部５１と、領域ごとのヒストグラム生成部（階調値解析部、階調値検出部）５２と、対応領域ごとのヒストグラム比較部５３と、対応領域ごとの調整部（階調値調整部）５４と、鉗子とサチレーション領域抽出部５５と、鉗子とサチレーション領域画像処理部５６とを機能として備えている。

上記構成を有するコントロールユニット３０において、第１の実施形態と同様に画像生成部３１により生成された画像は、鉗子検出部３３と画像保存メモリ部３２に送られる。画像保存メモリ部３２は、送られてきた画像を、数秒前から現在に至るまでのある程度の長さ、例えば５秒程度保存する。

鉗子検出部３３は、送られてきた画像を基に画像内に鉗子１３が存在するか否かを、第１の実施形態と同様に色認識などで判断する。鉗子１３が画像内に存在しないと判断されれば、画像生成部３１が生成した画像をモニタ２５にそのまま送り、モニタ２５にはリアルタイムの画像を表示するとともに、画像保存メモリ部３２に順次新しい画像を保存していく。

一方、鉗子検出部３３は、画像内に鉗子１３が存在すると判断した場合、画像保存メモリ部３２への新しい画像の書き込みを停止するとともに、鉗子検出部３３から画像保存メモリ部３２へ鉗子１３が認識される直前の画像を保持する指示を出力する。この場合、画像保存メモリ部３２で保持された保存画像は、画像保存メモリ部３２から画像内特徴マーカー認識部３４へ送られる。また、鉗子検出部３３は、そのときのリアルタイム画像を画像内特徴マーカー認識部３４へ送る。

画像内特徴マーカー認識部３４は、リアルタイム画像と保存画像に関して、画像内で特徴的なマーカーとなる部分を、第１の実施形態と同様に、それぞれの画像で周辺より輝度が高い点や、色が異なる点などを選択することで決定する。このようにして特徴マーカーが決定されたリアルタイム画像と保存画像は、画像内特徴マーカー認識部３４から画像位置合わせ部３５に送られる。

画像位置合わせ部３５では、第１の実施形態と同様に、特徴マーカーの情報を基に、リアルタイム画像と保存画像との位置合わせを行う。画像位置合わせ部３５により位置合わせされたリアルタイム画像と保存画像は、領域分割部５１に送られる。

領域分割部５１では、送られてきた保存画像およびリアルタイム画像を、それぞれ図９および図１０に示すように、複数の領域に分割する。分割数は解像度の面から適当な値に設定し、保存画像およびリアルタイム画像に対して、同様の領域分割処理を行う。保存画像とリアルタイム画像は、事前に位置合わせをおこなっているため、その分割領域はそれぞれ対応した位置のものとなる。複数の領域に分割された保存画像およびリアルタイム画像は、領域ごとのヒストグラム生成部５２に送られる。

ここで、図９は保存画像を複数の領域に分割した状態、図１０はリアルタイム画像を複数の領域に分割した状態を示している。図９および図１０において、符号Ｂは患部、符号６１は鉗子１３の陰になって暗くなった領域、符号６２は鉗子１３の反射により明るくなった領域、符号６３は飽和領域（サチレーション領域）を示している。

領域ごとのヒストグラム生成部５２は、送られてきた保存画像およびリアルタイム画像の各領域について、図１１に示すような階調値のヒストグラムを作成する。図１１において、符号５８はリアルタイム画像における階調値のヒストグラム、符号５９は保存画像における階調値のヒストグラムをそれぞれ示している。このように作成された階調値のヒストグラムは、対応領域ごとのヒストグラム比較部５３に送られる。

対応領域ごとのヒストグラム比較部５３は、保存画像およびリアルタイム画像に関して、対応する領域ごとにヒストグラムの比較を行う。保存画像とリアルタイム画像で対応する領域の比較を行った際に、図１１に示すように、保存画像に対してリアルタイム画像のヒストグラムにずれがある場合、リアルタイム画像では鉗子１３が存在することによる影響を受けてより明るい（または暗い）画像になっている。そこで、対応領域ごとのヒストグラム比較部５３では、そのずれを算出する。ここで算出された保存画像とリアルタイム画像のヒストグラムずれ量は、対応領域ごとの調整部５４に送られる。

また、ヒストグラムの比較によって、階調値が飽和してしまっている飽和領域（サチレーション領域）も分かる。そこで、対応領域ごとのヒストグラム比較部５３は、サチレーションにより形態情報が失われている領域も抽出し、その領域情報を鉗子とサチレーション領域抽出部５５に送る。

対応領域ごとの調整部５４は、送られてきた画像情報とヒストグラムずれ量を基に、リアルタイム画像および保存画像に対して、ヒストグラムの調整を行う。例えば、図１１に示すように、リアルタイム画像において暗くなりすぎている領域は、保存画像の対応領域と同程度になるように明るくする。同様に、リアルタイム画像において明るくなりすぎている領域は、保存画像の対応領域と同程度になるように暗くする。ここで作成された画像は、鉗子とサチレーション領域抽出部５５に送られる。

鉗子とサチレーション領域抽出部５５は、リアルタイム画像について、鉗子検出部３３と同様に、色の違いを利用して鉗子１３の輪郭を抽出する。つまり、鉗子１３と生体の色の違いから、鉗子１３と生体部分の境界を判別することで、鉗子領域の輪郭抽出を行う。このようにしてリアルタイム画像について鉗子１３の領域が抽出されたので、その情報を基にヒストグラム調整をした保存画像から鉗子領域に対応する部分を抽出する。これは後でリアルタイム画像の鉗子領域に対応する画像領域を、ヒストグラムを調整した保存画像から切り取るための準備である。

また、鉗子とサチレーション領域抽出部５５は、対応領域ごとのヒストグラム比較部５３により検出されたサチレーション領域情報を用いて、リアルタイム画像でサチレーションを起こしている領域の抽出を行う。その鉗子領域とサチレーション領域の情報を加えた画像を、鉗子とサチレーション領域画像処理部５６へ送る。

鉗子とサチレーション領域画像処理部５６は、鉗子とサチレーション領域抽出部５５から送られてきた画像と鉗子領域の情報を基に、鉗子１３の輪郭内の画像を切り取って、生体部分のみを残す画像処理を行う。そして、サチレーション領域の情報を基に、形態情報が損なわれている部分の切り取りを行い、生体部分でかつ、サチレーションが起こっていない形態情報が残っている部分のみを残す画像処理を行う。ここで処理された画像は画像合成部３８に送られる。

画像合成部３８は、鉗子とサチレーション領域画像処理部５６から送られてきた画像情報を用いて、リアルタイム画像と保存画像との合成を行う。このように、リアルタイム画像から鉗子１３を取り除いた部分に、ヒストグラムの調整された保存画像から取り出した鉗子裏の生体情報をはめ込むことで、鉗子１３の裏が見える合成画像が作成されたことになる。また、サチレーション領域部分にも、鉗子１３が認識される直前の保存画像を使って、対応する部分をはめ込む画像合成を行うことで、リアルタイム画像において、鉗子１３の出現によって飽和し、形態情報が失われた部分を補うことができる。

このように合成された画像をモニタ２５に送ることで、鉗子領域を示す輪郭の内部に生体の画像がはめ込まれ、鉗子１３による明るさ変化の影響を抑える調整を行った合成画像が画面に表示される。

上記構成を有する内視鏡装置３の作用について、図１２に示すフローチャートに従って説明する。図１２は、本実施形態の内視鏡装置３を用いて、内視鏡の観察から患部を発見し、生検までを行うまでの過程を示すフローチャートである。第３の実施形態では、鉗子１３が画面内にあると判断されるまで、第１および第２の実施形態と同様の処理が実行される。

まず、本実施形態の内視鏡装置３を使用して観察を始めると、被検体Ａにレーザ光源２０から照明光が照射され、被検体Ａからの反射光がカラーＣＣＤ２７により検出されて画像データに変換される。この画像データに基づいて画像生成部３１により画像が生成され、生成された被検体Ａの画像がモニタ２５に表示される（ステップＳ３１）。

モニタ２５上には画像が、図３（ａ）のように表示され、術者はその画像を観察して生検する目的部を探していく。このとき、観察しているときから、例えば５秒前までの画像が画像保存メモリ部３２に常に保存される（ステップＳ３２）。

この状態において、鉗子検出部３３により画像内に鉗子１３が存在するか否かが判断される（ステップＳ３３）。
ステップＳ３３において鉗子１３が画像内にない場合には、リアルタイム画像がモニタ２５に表示される（ステップＳ４５）。

リアルタイム画像において、観察視野内に生検目的部が見つかった場合には、内視鏡１０の鉗子口１４から鉗子１３を挿入し、挿入部１１の先端部まで鉗子１３を挿通させる。これにより、図３（ｂ）に示すように、観察視野内に鉗子１３が現れる。鉗子検出部３３は、観察視野における鉗子１３の有無を画像内の色の変化などで認識する。

ステップＳ３３において鉗子１３が画像内にある場合には、鉗子１３が現れる直前の保存画像が、画像保存メモリ部３２から読み出される（ステップＳ３４）。
次に、画像内特徴マーカー認識部３４により、読み出された保存画像およびリアルタイム画像において、周辺より輝度が高い点や、色が異なる点などを利用して特徴マーカーが設定される（ステップＳ３５）。また、画像位置合わせ部３５により、設定された特徴マーカーを基に、保存画像とリアルタイム画像との位置合わせが行われる。

次に、保存画像とリアルタイム画像を同様の領域に分割し、それぞれの領域に関するヒストグラムを作成して、これらヒストグラムを比較する（ステップＳ３６）。対応する領域についてヒストグラムを比較することで、リアルタイム画像が、保存画像より明るくなっているのか暗くなっているのか、それとも飽和して形態情報を失っているのかを判別することができる。

ステップＳ３６において、リアルタイム画像において飽和領域と判断された領域については、保存画像における対応する領域の画像に入れ替えられる（ステップＳ４２）。そして、第１の実施形態と同様に、鉗子領域の切り取りとはめ込みが行われ、保存画像から対応する部分が切り取られ、リアルタイム画像の鉗子領域にはめ込まれる。

ステップＳ３６において、リアルタイム画像において飽和領域ではないと判断された領域については、対応領域ごとに画像のヒストグラム調整が行われる（ステップＳ３７）。具体的には、ヒストグラムを比較した結果、保存画像より暗くなってしまっている、もしくは明るくなってしまっている領域は、保存画像と同等の明るさになるように、そのヒストグラムが調整される。

次に、ヒストグラムが調整されたリアルタイム画像において、鉗子１３と生体の色の違いから、鉗子１３の輪郭を抽出するとともに鉗子１３の領域が抽出される（ステップＳ３８）。この領域は保存画像から切り抜き作業を行うときにも使用される。

次に、ヒストグラムが調整されたリアルタイム画像から鉗子領域を切り抜き、残りの生体部分を残す（ステップＳ３９）。
そして、保存画像から鉗子領域に対応する部分を切り取り、その切り取った生体情報をリアルタイム画像の生体情報を残した画像にはめ込む（ステップＳ４０）。また、モニタ２５の画面では、２つの画像を合成した境界部分は鉗子１３の輪郭になるので、輪郭表示も行う。

次に、画像の表示をリアルタイム表示から画像の重ね合わせモードに切り替える（ステップＳ４１）。画像の重ね合わせモードに切り替わると、図３（ｅ）に示すように、鉗子１３が輪郭表示に切り替わり、鉗子１３に隠れている部分が見えるようになる。これにより、術者は鉗子１３に隠れていた部分が見えるようになった画面を見ながら生検目的部に向かって鉗子１３を進め、生検を行うことができる。

なお、生検が終了した場合には、画面から鉗子１３が見えなくなるので、鉗子１３がなくなったことを認識し、画面表示を画像の重ね合わせモードからリアルタイム表示に切り替える。

以上のように、本実施形態に係る内視鏡装置３によれば、リアルタイム画像における階調値のヒストグラムを、画像保存メモリ部３２に保存された保存画像における階調値のヒストグラムに近づけることができる。これにより、リアルタイム画像において、鉗子１３の陰によって暗くなった領域や、鉗子からの反射光により明るくなった領域の階調値を補正することができる。これにより、鉗子１３の位置による照明条件の変化を抑えて、均一な条件での画像を表示することができる。すなわち、鉗子１３が存在することで、照明光の分布への影響や、鉗子１３による照明光の散乱影響による見え方の違いを少なくすることができ、鉗子１３があるときでも違和感のない見やすい画像を提供することができる。

また、画像合成部３８により、リアルタイム画像において階調値が飽和した飽和領域が存在する場合に、飽和領域の画像を保存画像に置き換えることができる。これにより、飽和により形態情報が失われている領域でも、画像の入れ替えにより形態情報が取得できるので、照明条件にかかわらず、生体の状態を把握することができる。
なお、本実施形態では、リアルタイム画像において保存画像による置き換えをおこなったが、保存した分割した領域ごとに求めたヒストグラムから求められる代表値、例えば平均値、などで分割した領域全体を置き換えても良い。

［第４の実施形態］
次に、本発明の第４の実施形態に係る内視鏡装置４について、図１３から図１６を用いて説明する。
図１３は実施形態に係る内視鏡装置４の機能ブロック図であり、コントロールユニット３０内の処理以外は第１の実施形態に係る内視鏡装置１と同様の構成である。

本実施形態に係る内視鏡装置４は、観察画像を生成するところまでは、前述の第１の実施形態に係る内視鏡装置１と同様である。
ここで、第１〜第３の実施形態では、内視鏡１０の先端が動くと、保存画像で対応すべき範囲を含んでいないために、鉗子１３の裏が表示できなくなる。例えば、第２の実施形態では、保存画像の更新を行っているが、これは、リアルタイム画像と保存画像の視野が同じで、比較できるような場合に適応可能である。しかし、鉗子１３の先端が大きく動くと、保存画像の領域外の部分に鉗子１３が存在するため、鉗子１３の部分にはめ込む生体情報が提供できず、鉗子裏の表示ができないという不都合があった。

そこで、本実施形態では、観察を始めたときから画像を保存し、その中かからリアルタイムで観察している視野範囲を含んだ、より画角の広い画像を探し出し、その画像からリアルタイム画像と対応するように、画像の取り出し、拡大を行ったのちに鉗子領域に生体情報をはめ込む構成としている。これにより、内視鏡１０の先端が大きく動いたときに数秒間の保存画像では対応できないものにも、対応して鉗子裏の画像を合成することができる。

本実施形態に係る内視鏡装置４において、コントロールユニット３０は、図１３に示すように、図２に示す構成（第１の実施形態の構成）の他に、画像内特徴マーカー探索部（特徴点検索部）６５と、拡大率設定部６６と、画像拡大部６７とを機能として備えている。

上記構成を有するコントロールユニット３０において、第１の実施形態と同様に画像生成部３１により生成された画像は、鉗子検出部３３と画像保存メモリ部３２に送られる。画像保存メモリ部３２は、検査開始から作成されている画像を全て保存する。

鉗子検出部３３は、送られてきた画像を基に画像内に鉗子１３が存在するか否かを、第１の実施形態と同様に色認識などで判断する。鉗子１３が画像内に存在しないと判断されれば、画像生成部３１が生成した画像をモニタ２５にそのまま送り、モニタ２５にはリアルタイムの画像を表示するとともに、画像保存メモリ部３２に順次新しい画像を保存していく。

一方、鉗子検出部３３は、画像内に鉗子１３が存在すると判断した場合、画像保存メモリ部３２への新しい画像の書き込みを停止するとともに、鉗子検出部３３から画像保存メモリ部３２へ鉗子１３が認識される直前の画像を保持する指示を出力する。この場合、画像保存メモリ部３２で保持された保存画像は、画像保存メモリ部３２から画像内特徴マーカー認識部３４へ送られる。また、鉗子検出部３３は、そのときのリアルタイム画像を画像内特徴マーカー認識部３４へ送る。

画像内特徴マーカー認識部３４は、リアルタイム画像と保存画像に関して、画像内で特徴的なマーカーをそれぞれ２点ずつ、それぞれの画像で周辺より輝度が高い点や、色が異なる点などを選択することで決定する。例えば、図１４に示す例において、リアルタイム画像例が図１４（ｃ）、保存画像例が図１４（ａ）に対応している。また、図の中の○印７１、△印７２が、特徴点としたマーカー部分という意味である。このようにして特徴マーカーを同一画像内で２点決定したリアルタイム画像と保存画像は、画像内特徴マーカー探索部６５に送られる。

画像内特徴マーカー探索部６５は、図１４（ｃ）に示すように、特徴マーカーを基に画像内の２点のマーカー間の距離を求める。リアルタイム画像で算出された距離と保存画像から算出された距離を比較することで、保存画像がリアルタイムの画像の何倍の拡大率かが求められる。

また、画像内特徴マーカー探索部６５は、図１４（ｄ）に示すように、リアルタイム画像の特徴マーカーと画像の四隅間の角度と距離を算出する。そして、その四隅に対する角度と距離を、保存画像で先ほど求めた拡大率に直したとき、保存画像がリアルタイム画像領域を含んでいるかを確認する。この結果がリアルタイムと保存画像で一致すれば（一致するということは、内視鏡先端の動きによる視野のずれがゼロ）、現在保持している保存画像はリアルタイム画像の鉗子裏の情報をもっていると判断できるので、これ以降は前述の第１の実施形態と同様に処理されていく。

一方、リアルタイム画像と保存画像で四隅間の距離と角度が一致しなかった場合には、画像保存メモリ部３２から新たに適当な保存画像を探し出す必要があるため、画像内特徴マーカー探索部６５は、画像保存メモリ部３２からリアルタイム画像領域を含んだ画像を探し出す。

画像内特徴マーカー探索部６５は、画像保存メモリ部３２から時間を遡るようにして、特徴マーカーを含む画像を探し出す。そして、特徴マーカーが見つかった場合には、先ほどと同様に、特徴マーカー間の距離を測定し、保存画像がリアルタイム画像の何倍の拡大率かを計算する。次に、先に求めたリアルタイム画像の特徴点から画像四隅に対する距離および角度情報を基に、求めた拡大率に保存画像を設定したときリアルタイム画像領域を含んだ画像なのかを判断する。

画像内特徴マーカー探索部６５は、探し出した保存画像がリアルタイム画像を含んでいなければ、続けて他の保存画像を探し、含んでいれば画像内特徴マーカー探索部６５から拡大率設定部６６へ検索によって得られた保存画像を送る。

拡大率設定部６６は、リアルタイム画像の特徴点間の距離と保存画像の特徴点間の距離とを比較した拡大率の設定を行う。
画像拡大部６７は、図１４（ｅ）に示すように、拡大率設定部６６により設定された拡大率に基づいて、検索によって得られた保存画像の拡大を行う。拡大された画像は、画像位置合わせ部３５に送られる。
ここから先の画像処理は前述の第１の実施形態と同様であるため省略する。

以上のようにして合成された画像をモニタ２５に送ることで、鉗子領域を示す輪郭の内部に生体の画像がはめ込まれた合成画像が画面に表示される。また、過去の保存画像から現在検出されている特徴マーカーを基に、最適な保存画像から合成画面を作成することができるため、内視鏡１０の先端が動いても、鉗子１３と目的部の位置関係が観察できるような表示が行うことができる。

上記構成を有する内視鏡装置４の作用について、図１５および図１６に示すフローチャートに従って説明する。図１５および図１６は、本実施形態の内視鏡装置４を用いて、内視鏡の観察から患部を発見し、生検までを行うまでの過程を示すフローチャートである。第４の実施形態では、鉗子１３が画面内あると判断するまで、第１〜第３の実施形態と同様の処理が実行される。

まず、本実施形態の内視鏡装置４を使用して観察を始めると、被検体Ａにレーザ光源２０から照明光が照射され、被検体Ａからの反射光がカラーＣＣＤ２７により検出されて画像データに変換される。この画像データに基づいて画像生成部３１により画像が生成され、生成された被検体Ａの画像がモニタ２５に表示される（ステップＳ５１）。

モニタ２５上には画像が図３（ａ）のように表示され、術者はその画像を観察して生検する目的部を探していく。このとき画像は観察開始時から現在にいたるまで全て保存している（ステップＳ５２）。

この状態において、鉗子検出部３３により画像内に鉗子１３が存在するか否かが判断される（ステップＳ５３）。
ステップＳ５３において鉗子１３が画像内にない場合には、リアルタイム画像がモニタ２５に表示される（ステップＳ６６）。

リアルタイム画像において、観察視野内に生検目的部が見つかった場合には、内視鏡１０の鉗子口１４から鉗子１３を挿入し、挿入部１１の先端部まで鉗子１３を挿通させる。これにより、図３（ｂ）に示すように、観察視野内に鉗子１３が現れる。鉗子検出部３３は、観察視野における鉗子１３の有無を画像内の色の変化などで認識する。

ステップＳ５３において鉗子１３が画像内にある場合には、鉗子１３が現れる直前の保存画像が、画像保存メモリ部３２から読み出される（ステップＳ５４）。
次に、画像内特徴マーカー認識部３４により、読み出された保存画像およびリアルタイム画像において、周辺より輝度が高い点や、色が異なる点などを利用して特徴マーカーが２点設定される（ステップＳ５５）。

次に、保存画像がリアルタイム画像に対応できているか否かが判断される（ステップＳ５６）。具体的には、２点の特徴マーカー間の距離をリアルタイム画像と保存画像で比較し、リアルタイム画像に対する保存画像の拡大率を算出する。そして、リアルタイム画像の特徴マーカーから画像の四隅に対する距離と角度を算出し、その範囲が、保存画像内に含まれるか拡大率を含めて判断する。

ステップＳ５６において、保存画像がリアルタイム画像に対応できる、すなわち、上記の範囲が保存画像内に含まれていれば、リアルタイム画像に対応できていることになるので、第１の実施形態と同様にして画像を処理、合成し、表示を行う（ステップＳ６５）。

一方、ステップＳ５６において、保存画像がリアルタイム画像に対応できない、すなわち、保存画像内にリアルタイム画像全領域を含むことができていないのであれば（少しでも保存画像外に視野を持つリアルタイム画像であれば）、現在保持している保存画像では対応できないとして、観察スタート時から保存し続けている画像保存メモリ部３２から適した画像を検索する（ステップＳ５７）。

画像保存メモリ部３２からの検索も、先ほどと同様にして、特徴マーカー２点を含む保存画像を探し、それについて２点間の距離を計算することで拡大率を算出する（ステップＳ５８）。そして、その拡大率で拡大した画像内にリアルタイム画像の領域を含むことができているかを判断する。

次に、検索してきた保存画像に対して拡大率が決定されているので、その拡大率によって検索した保存画像の拡大を行う（ステップＳ５９）。
次に、特徴マーカーを基に、拡大した保存画像とリアルタイム画像の位置合わせを行う（ステップＳ６０）。

次に、リアルタイム画像において鉗子１３と生体の色の違いから、鉗子１３の輪郭を抽出するとともに、鉗子１３の領域を抽出する（ステップＳ６１）。この領域は、拡大した保存画像から切り抜き作業を行うときにも使用される。

次に、拡大した保存画像からは鉗子領域に対応する部分を切り取る（ステップＳ６２）。
そして、リアルタイム画像から鉗子領域を切り抜き、残りの生体部分を残すとともに、保存画像から切り取った生体情報をリアルタイム画像の生体情報を残した画像にはめ込む（ステップＳ６３）。また、モニタ２５表示用の画面では、合成した２つの画像の境界部分は鉗子１３の輪郭になるので、輪郭表示も行う。

次に、画像の表示をリアルタイム表示から画像の重ね合わせモードに切り替える（ステップＳ６４）。画像の重ね合わせモードに切り替わると、図３（ｅ）に示すように、鉗子１３が輪郭表示に切り替わり、鉗子１３に隠れている部分が見えるようになる。これにより、術者は鉗子１３に隠れていた部分が見えるようになった画面を見ながら生検目的部に向かって鉗子１３を進め、生検を行うことができる。

なお、生検が終了した場合には、画面から鉗子１３が見えなくなるので、鉗子１３がなくなったことを認識し、画面表示を画像の重ね合わせモードからリアルタイム表示に切り替える。

以上のように、本実施形態に係る内視鏡装置４によれば、リアルタイム画像の特徴点が画像保存メモリ部３２に保存された最新の保存画像の中に見つからない場合にも、保存された複数の保存画像の中から特徴点のある保存画像を探して、この保存画像から鉗子領域を抽出してリアルタイム画像に合成することができる。これにより、内視鏡１０の先端部が大きく動いて画像が大きく変化した場合や、画角が変わった場合でも、鉗子領域の生体情報の表示が可能となる。

また、画像拡大部６７により保存画像を拡大または縮小し、拡大または縮小された保存画像から鉗子領域に対応する領域を抽出することで、保存画像の大きさがリアルタイム画像の大きさと異なる場合にも、保存画像を拡大または縮小して鉗子領域に対応する領域を抽出し、リアルタイム画像と合成することができる。

以上、本発明の各実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、各実施形態において、鉗子裏に隠れている生体部分の情報を表示するために、鉗子１３の輪郭を表示することとしたが、鉗子１３の裏に隠れている生体部分の情報が見えるような表示であればどのような表示方法でも良く、例えば、鉗子１３を半透明表示として生体部分の画像を重ねあわせることとしてもよい。

このようにすることで、鉗子１３の裏側の生体部分をユーザが目視で把握できるとともに、合成された画像に鉗子１３の位置を半透明化して表示することができる。これにより、鉗子１３の形状など立体的な情報も表示することができ、鉗子１３の位置や向きが把握しやすく、生検をより正確に行うことができる。

また、各実施形態において、画像合成部３８または表示用画像合成部４３により、リアルタイム画像から鉗子領域を除去した画像と保存画像から鉗子に対応する領域を切り取った画像とを合成することとして説明したが、鉗子領域が除去されていないリアルタイム画像に、保存画像から鉗子１３に対応する領域を切り取った画像を合成することとしてもよい。

また、各実施形態において、処置具として生検用の鉗子を使用した説明をしたが、これに限られるものではなく、内視鏡観察を行う最中に視野を遮られるような処置具であればどれでもよい。例えば、生検鉗子の他に、把持鉗子、ナイフ、クリップ、チューブ、バスケット、スネアなどにおいても処置具裏を表示できるため、処置の正確性を向上することができる。

１，２，３，４ 内視鏡装置
１０ 内視鏡
２０ 光源装置
２４ 撮像光学系
２５ モニタ
２７ カラーＣＣＤ
３０ コントロールユニット
３１ 画像生成部（画像取得部）
３２ 画像保存メモリ部（画像保存部）
３３ 鉗子検出部（処置具検出部）
３４ 画像内特徴マーカー認識部（特徴点検出部）
３５ 画像位置合わせ部
３６ 鉗子領域抽出部（処置具領域抽出部、処置具対応領域抽出部）
３７ 鉗子領域画像処理部（画像処理部）
３８ 画像合成部
４１ 特徴マーカーと鉗子間距離計算部（処置具位置検出部）
４２ 保存画像の書き換え判断部（移動量算出部）
４３ 表示用画像合成部
４４ 保存用画像合成部
５１ 領域分割部
５２ 領域ごとのヒストグラム生成部（階調値解析部、階調値検出部）
５３ 対応領域ごとのヒストグラム比較部
５４ 対応領域ごとの調整部（階調値調整部）
５５ 鉗子とサチレーション領域抽出部
５６ 鉗子とサチレーション領域画像処理部
６５ 画像内特徴マーカー探索部（特徴点検索部）
６６ 拡大率設定部
６７ 画像拡大部
Ａ 被検体
Ｂ 患部

Claims (15)

1. 被検体の画像を取得する画像取得部と、
   該画像取得部により取得された現在画像を保存する画像保存部と、
   前記画像取得部により取得された現在画像から、処置具が存在する処置具領域を抽出する処置具領域抽出部と、
   前記画像保存部に保存された保存画像と前記画像取得部により取得された現在画像との位置合わせを行う画像位置合わせ部と、
   前記画像保存部に保存された保存画像から、前記処置具領域に対応する領域を抽出する処置具対応領域抽出部と、
   該処置具対応領域抽出部により抽出された領域の画像と前記画像取得部により取得された現在画像とを合成する画像合成部とを備える内視鏡装置。
2. 前記画像取得部により取得された現在画像から、前記処置具領域抽出部により抽出された処置具領域を除去した画像を生成する画像処理部を備え、
   前記画像合成部が、前記処置具対応領域抽出部により抽出された領域の画像と前記画像処理部により生成された画像とを合成する請求項１に記載の内視鏡装置。
3. 前記画像合成部が、合成した画像に前記処置具領域の位置情報を重畳する請求項１に記載の内視鏡装置。
4. 前記画像合成部が、前記処置具領域の位置情報として処置具の輪郭を重畳する請求項３に記載の内視鏡装置。
5. 前記画像合成部が、前記処置具領域の位置情報として処置具を半透明化して重畳する請求項３に記載の内視鏡装置。
6. 前記現在画像および前記保存画像の特徴点を検出する特徴点検出部を備え、
   前記画像位置合わせ部が、前記特徴点検出部により検出された特徴点を用いて前記現在画像と前記保存画像との位置合わせを行う請求項１に記載の内視鏡装置。
7. 前記現在画像において処置具の有無を検出する処置具検出部を備え、
   前記処置具領域抽出部が、前記処置具検出部が処置具を検出した場合に、前記現在画像から前記処置具領域を抽出する請求項１に記載の内視鏡装置。
8. 前記処置具検出部が、前記現在画像内の色情報から処置具を検出する請求項７に記載の内視鏡装置。
9. 前記現在画像において処置具の位置を検出する処置具位置検出部と、
   該処置具位置検出部により検出された処置具の位置に基づいて、処理具の移動量を算出する移動量算出部とを備え、
   前記画像保存部が、前記移動量算出部により算出された移動量が所定距離以上の場合に、保存する画像を更新する請求項１に記載の内視鏡装置。
10. 前記画像保存部が、所定周期毎に保存する画像を更新する請求項１に記載の内視鏡装置。
11. 前記現在画像および前記保存画像を複数の領域に分割する領域分割部と、
    前記現在画像および前記保存画像について、前記領域分割部により分割された領域の階調値のヒストグラムを算出する階調値解析部と、
    該階調値解析部により算出された前記現在画像のヒストグラムを、前記保存画像のヒストグラムと重なる領域が増加する方向に、各領域の階調値を調整する階調値調整部とを備える請求項１に記載の内視鏡装置。
12. 前記現在画像および前記保存画像を複数の領域に分割する領域分割部と、
    前記現在画像および前記保存画像について、前記領域分割部により分割された領域の階調値を検出する階調値検出部とを備え、
    前記画像合成部が、前記現在画像において階調値が飽和した飽和領域が存在する場合に、該飽和領域の画像を前記保存画像に置き換える請求項１に記載の内視鏡装置。
13. 前記現在画像の特徴点を検出する特徴点検出部と、
    該特徴点検出部により検出された特徴点を、前記画像保存部に保存された複数の保存画像から検索する特徴点検索部とを備え、
    前記処置具対応領域抽出部が、前記特徴点検索部により特徴点が検索された保存画像から、前記処置具領域に対応する領域を抽出する請求項１に記載の内視鏡装置。
14. 前記処置具対応領域抽出部が、前記保存画像を拡大または縮小し、拡大または縮小された保存画像から前記処置具領域に対応する領域を抽出する請求項１に記載の内視鏡装置。
15. 前記現在画像および前記保存画像の特徴点を複数検出する特徴点検出部と、
    前記現在画像および前記保存画像における、前記特徴点検出部により検出された複数の特徴点間の距離から、前記現在画像に対する前記保存画像の拡大率を設定する拡大率設定部とを備え、
    前記処置具対応領域抽出部が、前記拡大率設定部により設定された拡大率で前記保存画像を拡大または縮小する請求項１４に記載の内視鏡装置。

Images