JP4624802B2 - 内視鏡装置、及びそのプログラム - Google Patents

Description

本発明は、撮像素子を挿入部の先端部内に備えると共に、その先端部が湾曲し撮像方向を制御することが可能な内視鏡装置に関する。

従来、撮像素子を挿入部の先端部内に備えた内視鏡装置がある。
例えば特許文献１には、複数の撮像素子を挿入部先端部内に備え、広視野で連続性のあるパノラマ画像を得ることのできる内視鏡装置が記載されている。

また、撮像素子を挿入部の先端部内に備えると共に、その先端部が湾曲し撮像方向を制御することが可能な内視鏡装置がある。このような内視鏡装置の中には、背景差分方式により撮像中に撮像範囲に入った動体を検出できるようにしたものもある。尚、背景差分方式による動体検出は、予め撮像範囲の背景画像を登録しておき、その背景画像と撮像中に撮像範囲に入った動体の画像との差分を取り、その差分を動体として検出する方式である。例えば特許文献２には、この背景差分方式により動体を検出する画像処理装置が記載されている。また、特許文献３には、背景差分方式により、撮像した画像の中の移動体を自動検出し、さらにその移動体を自動追尾する移動体追尾装置が記載されている。
特開２０００−３２５３０６号広報 特開２００４−２３３７３号広報 特開２００１−２８５６９５号広報

ところで、上述の、動体を検出可能な内視鏡装置では、挿入部先端部の湾曲位置が固定された状態で使用されることが前提になっているため、挿入部先端部を湾曲させたい場合、例えば動体の動きに合わせてその先端部を追尾させたい場合などには、適用が困難である。また、背景差分方式により動体検出を行う場合、挿入部先端部が湾曲すると背景画像を登録し直す必要があるが、その先端部が湾曲するたびに背景画像を登録するのは極めて効率が悪く、また動体検出中は動体が撮像範囲の中に入ってしまうため、背景のみを取り出すことは技術的に困難である。

本発明は、上記実情に鑑み、挿入部先端部を湾曲させた場合でも、背景画像を再度撮像、登録することなく動体検出を行うことができる、装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る内視鏡装置は、撮像画像を取得する撮像手段と、内視鏡挿入部の先端部を湾曲させる湾曲制御手段と、前記先端部が湾曲された状態の前記先端部の位置を取得する湾曲位置取得手段と、前記撮像手段により取得された複数の前記撮像画像を貼り合わせてパノラマ画像を作成するパノラマ画像作成手段と、前記湾曲位置取得手段により取得された前記先端部の位置に対応して前記パノラマ画像作成手段により作成された前記パノラマ画像内の複数の前記撮像画像の撮像中心点を線形補間した点を中心とする所定領域を参照画像として抽出する参照画像抽出手段と、前記参照画像抽出手段により抽出された参照画像と、この参照画像が抽出されたときの前記先端部の位置で前記撮像手段により取得された撮像画像との差分を動体として検出する動体検出手段とを備える。

尚、本発明は、これらの装置に限らず、その他、動体を検出する方法及びプログラムとして構成することも可能である。

本発明によれば、例えば撮像範囲に入った動体の動きに合わせて挿入部先端部を追尾させるなど、挿入部先端部を湾曲させた場合でも、背景画像を再度撮像、登録することなく動体検出を行うことができる。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１は、本発明の実施例１に係る内視鏡装置を含む内視鏡システムの構成図である。
同図において、本システムは、主要構成として、対象物を撮像するための撮像素子を先端部内に備えるスコープ（内視鏡挿入部）１を取り付けた内視鏡ユニット２と、内視鏡ユニット２からの信号を映像信号に変換するカメラコントロールユニット（以下「ＣＣＵ」という）３と、複数のスイッチを備えスイッチ操作に応じた制御（例えばスコープ先端部の湾曲制御等）を可能にするリモコン４と、本システム全体の動作を制御する内視鏡装置５と、内視鏡装置５からの映像信号に従った映像（スコープ１により撮像された画像など）や後述の動作により検出された動体の情報などを出力（表示）する映像出力装置６などを有する。

上記内視鏡装置５は、システム制御部７、映像信号処理回路８、及びＲＳ−２３２Ｃインターフェース９などを備えている。
システム制御部７は、内部に、本装置５を含む本システム全体の動作を制御するための制御プログラムが記録されたＲＯＭ１０と、その制御プログラムを読み出し実行することにより本装置５を含む本システム全体の動作を制御するＣＰＵ１１と、ＣＰＵ１１により実行される制御プログラムが一時的に格納されたりＣＰＵ１１の作業領域が確保されたりするＲＡＭ１２などを備えている。尚、スコープ先端部の湾曲制御は、リモコン４のスイッチ操作に応じて、或いは、ＣＰＵ１１により実行される制御プログラムによって、行われるようになっている。すなわち、手動或いは自動によりスコープ先端部の湾曲制御が可能になっている。

映像信号処理回路８は、ＣＣＵ３からの映像信号に所定の信号処理を行って映像出力装置７へ出力するインターフェース機能を有する。ＲＳ−２３２Ｃインターフェース９は、本装置５と外部機器（本実施例では内視鏡ユニット２，ＣＣＵ３，リモコン４）との間で信号の送受を可能にするためのインターフェースである。ここで、リモコン４とＲＳ−２３２Ｃインターフェース９は、例えばケーブルにより接続される。

この内視鏡装置５において、ＲＯＭ１０、ＣＰＵ１１、ＲＡＭ１２、映像信号処理回路８、及びＲＳ―２３２Ｃインターフェース９は、それぞれバス１３に接続されており、相互に信号（データ）の送受が可能になっている。

次に、図２乃至１２を用いて、本システムの内視鏡装置５によって行われる動体検出動作について説明する。
図２は、本実施例に係る動体検出動作に係る内視鏡装置５の機能ブロック図である。図３乃至５は、背景を複数枚撮像する処理を説明するための図である。図６は、平面射影変換の概要を説明するための図である。図７乃至１０は、保存された複数の背景画像を貼り合わせて１枚の広視野のパノラマ画像を作成する処理を説明するための図である。図１１乃至１２は、パノラマ画像から参照画像を抽出して動体検出を行うまでの処理を説明するための図である。

はじめに図２に示したように、本動作では、まず、スコープ先端部の湾曲範囲をカバーするパノラマ画像の作成に必要な複数の背景画像ＢＫを得るため、ブロックＢＬ０１は、スコープ１の撮像素子により背景を複数枚撮像する処理を行う。詳しくは、図３に示したように、まず、スコープ先端部をスコープ湾曲位置（スコープ先端部の湾曲位置）ＳＰ１に湾曲させ、背景１６を撮像範囲Ｒ１の範囲で撮像して得た背景画像ＢＫ１を保存する。続いて、スコープ先端部をスコープ湾曲位置ＳＰ２に湾曲させ、背景１６を撮像範囲Ｒ２の範囲で撮像して得た背景画像ＢＫ２を保存する。このとき、撮像範囲Ｒ１とＲ２との間に所定の範囲で重なり部（同図の着色された部分１４）を持たせるようにしておく。続いて、スコープ先端部をスコープ範囲ＳＰ３に湾曲させ、背景１６を撮像範囲Ｒ３の範囲で撮像して得た背景画像ＢＫ３を保存する。このときも、撮像範囲Ｒ２とＲ３との間に所定の範囲で重なり部（同図の着色された部分１５）を持たせるようにしておく。以下同様に、図４に示したように、スコープ先端部を順次湾曲させ、隣り合う撮像範囲の間に所定の範囲で重なり部を持たせるようにしながら、スコープ先端部の湾曲範囲がカバーする背景１６の全ての範囲について撮像を行う。

図５は、このようなブロックＢＬ０１が行う処理、すなわち、背景を複数枚撮像する処理に係るフローチャートを示す図である。同図に示したように、本処理では、まず、ｎ＝１とし（ステップ（以下単に「Ｓ」という）１）、続いて、スコープ湾曲位置ＳＰｎにスコープ先端部を湾曲させ（Ｓ２）、背景１６を撮像範囲Ｒｎの範囲で撮像し（Ｓ３）、得られた背景画像ＢＫｎを保存する（Ｓ４）。但し、Ｓ３において、ｎ≧２である場合には、隣り合う撮像範囲の間に所定の範囲で重なり部を持たせるように背景１６を撮像範囲Ｒｎの範囲で撮像する。続いて、必要な全てのスコープ湾曲位置で背景画像を保存したか否かを判定し（Ｓ５）、その判定結果がＹｅｓの場合には本フローを終了し、Ｎｏの場合にはｎをインクリメントしてＳ２へ戻り、次のスコープ湾曲位置ＳＰｎについて、上述の処理を繰り返す。

このようにして、必要な全てのスコープ湾曲位置で得た背景画像を保存すると、図２に示したブロックＢＬ０２は、保存された複数の背景画像を貼り合わせ、ブロックＢＬ０３は、その貼り合わせた背景画像から１枚の広視野のパノラマ画像を作成する。

ここで、複数の画像を貼り合わせて１枚の広視野のパノラマ画像を作成する手法の一例を説明する。一般に、画像の貼り合わせには画像間の幾何変換が用いられる。幾何変換には様々なものがあるが、ここでは平面射影変換を用いた場合を例に説明する。対象とする背景が遠景の場合や近景の場合であっても平面的な対象物しか写っていない場合には、それぞれの背景画像の間には平面射影変換が成り立つ。この平面射影変換の概要を、図６を用いて説明する。同図に示したように、平面Ｐ上の点Ｍを２つの異なる視点ＶＰ１、ＶＰ２から観察したとき、これらの画像面Ｓ１、Ｓ２上の点ＩＰ１、ＩＰ２の間の座標変換は線形であり、平面射影変換と呼ばれる。画像面Ｓ１上の点ＩＰ１（ｘ１，ｙ１，１）と、画像面Ｓ２上の点ＩＰ２（ｘ２，ｙ２，１）との間の平面射影変換式は、次の式（１）で定義される。

但し、ｋは０でない数である。
一旦、この変換行列が求まると、視点ＶＰ１から撮像された画像を、その画像座標を変換して、あたかも別の視点ＶＰ２から観察しているような画像を作成することができる。

画像の貼り合わせを行うには、この変換行列をどのように算出するのかが問題となるが、画像間の重なり部に関して、それぞれ対応付けることのできる特徴点（対応点）を所定数以上見つけることによって、この変換行列を算出することができる。

本実施例では、この変換行列を次のようにして算出する。まず、図７に示したように、保存した複数の背景画像の中から、スコープ先端部が湾曲していない状態で撮像した画像を基準画像として選択し、これを第１画像１７とする。尚、画像の貼り合わせは、全てこの基準画像の視点から観察した観察画像として行われる。続いて、図８に示したように、保存された背景画像の中から、第１画像１７と重なり部を持つ背景画像を選択し、これを第２画像１８とする。そして、図９に示したように、第１画像１７及び第２画像１８の間でマッチングを取り、重なり部１９において所定数以上の特徴点（同図の黒点）を抽出し、その特徴点の対応付けを行うことにより、式（１）の平面射影変換のパラメータｍ１〜ｍ９が求まり変換行列を算出することができる。この変換行列を用いて、基準画像の視点から観察した観察画像として、第１画像１７及び第２画像１８を貼り合わせる。この貼り合わせが完了したら、その貼り合せた画像２０を新たな第１画像とする。以下、残りの背景画像についても同様にして貼り合わせを行うことにより、基準画像の視点から観察した1枚の広視野のパノラマ画像を作成することができる。

図１０は、このような図２に示したブロックＢＬ０２及びＢＬ０３が行う処理、すなわち、保存された複数の背景画像を貼り合わせて１枚の広視野のパノラマ画像を作成する処理に係るフローチャートを示す図である。同図に示したように、本処理では、まず、保存した複数の背景画像の中から、スコープ先端部が湾曲していない状態で撮像した画像を基準画像として選択し（Ｓ１１）、その基準画像を第１画像とする（Ｓ１２）。続いて、保存した背景画像の中から、第１画像と重なり部を持つ画像を選択し、それを第２画像とする（Ｓ１３）。続いて、第１画像及び第２画像との間でマッチングを取り（Ｓ１４）、その間での重なり部において所定数以上の特徴点を抽出し（Ｓ１５）、第１画像及び第２画像それぞれの特徴点の位置から変換行列を算出する（Ｓ１６）。すなわち、その重なり部における特徴点の対応付けを行うことにより、式（１）の平面射影変換のパラメータｍ１〜ｍ９を求めて変換行列を算出する。続いて、その変換行列を用いて、基準画像の視点から観察した観察画像として、第１画像及び第２画像を貼り合わせる（Ｓ１７）。この貼り合わせが完了したら、続いて、保存された全ての背景画像の貼り合わせが完了したか否かを判定し（Ｓ１８）、その判定結果がＹｅｓの場合には、パノラマ画像の作成が完了し（Ｓ１９）、本フローを終了する。一方、Ｓ１８がＮｏの場合には、Ｓ１７で貼り合わせた画像を新たな第１画像として、Ｓ１３へ進み、残りの背景画像について、上述の処理を繰り返す。

このようにして、パノラマ画像の作成が完了すると、動体検出が可能な状態となる。そして、この動体検出が開始されると、図２に示したブロックＢＬ０６は、現在のスコープ湾曲位置（仮にＳＰｃとする）を取得し、ブロックＢＬ０４は、そのスコープ湾曲位置ＳＰｃを基に、パノラマ画像から参照画像を抽出する。

ここで、このパノラマ画像から参照画像を抽出する手法の一例を、図１１を用いて説明する。同図に示したように、複数の背景画像を貼り合わせたパノラマ画像ＰＩにおいて、その各背景画像における撮像中心点をそれぞれＣ１乃至Ｃ９（同図の黒丸）とし、そのうちの２点Ｃ４、Ｃ５に対応するスコープ湾曲位置をＳＰ４、ＳＰ５とする。この場合において、例えば、現在のスコープ湾曲位置ＳＰｃがＳＰ４及びＳＰ５のちょうど中間にあったときには、Ｃ４及びＣ５の中心点ＣＭ（同図の白丸）を中心とする所定領域２１を参照画像として抽出する。すなわち、スコープ湾曲位置に対応してパノラマ画像内の撮像中心点を線形補間した点を中心とする所定領域を参照画像として抽出する。尚、このときに抽出される参照画像は、スコープ１の撮像範囲よりも少し大きめにしておくことが望ましい。

このようにして、スコープ湾曲位置ＳＰｃに基づいてパノラマ画像から参照画像を抽出すると、図２に示したブロックＢＬ０５は、その参照画像を平面射影変換により補正する。詳しくは、抽出した参照画像が、スコープ湾曲位置ＳＰｃの視点から観察した画像となるように平面射影変換を行う。これが終わると、ブロックＢＬ０７は、そのスコープ湾曲位置ＳＰｃで撮像して撮像画像を取得し、ブロックＢＬ０８は、ブロックＢＬ０５により補正（平面射影変換）された参照画像が、ブロックＢＬ０７により得られた撮像画像（但し、動体が写っていないと仮にしたときの撮像画像）と一致するように、マッチングにより参照画像のサイズ，位置，及び歪みを補正する。より詳しくは、このブロックＢＬ０８で行われるマッチングによる補正は、例えば、補正対象とする画像（本実施例ではブロックＢＬ０５で補正された参照画像）においてマッチングを行うための領域（格子状に並ぶ９つの領域など）を予め定めておき、それぞれの領域において比較対象とする画像（本実施例ではブロックＢＬ０７で得られた撮像画像）と比較し、その結果導出されたマッチング結果（領域の一致度、ズレ量など）を平均化し、それをマッチングデータとして用いて補正対象とする画像の補正（歪み、拡大／縮小など）を行うものである。すなわち、撮像画像に動体が含まれていないと仮にしたときの、補正対象とする画像と比較対照とする画像とが一致するように補正するものである。

但し、このようなマッチングによる補正を行い動体検出を行っていることから、動体検出は、マッチングによる補正を適正に行う程度の背景が撮像画像に写っている場合、すなわち、基本的に撮像画像に対して写っている動体が相対的に小さい場合にのみ行うものとし、撮像画像全体を覆うような動体が写っていた場合には、背景自体がほとんど写っていないことになるのでマッチングによる補正を行わず動体検出を行わないようにする。或いは、この場合には、撮像画像全体を動体とみなすようにしても良い。

このようにして、ブロックＢＬ０８でのマッチングによる補正が終わると、ブロックＢＬ０９は、ブロックＢＬ０８により補正された参照画像と、ブロックＢＬ０７により得られた撮像画像との差分を取り、ブロックＢＬ１０は、その差分を動体として検出する。

図１２は、このような図２に示したブロックＢＬ０４乃至ＢＬ１０が行う処理、すなわち、実際に動体を検出する処理に係るフローチャートを示す図である。同図に示したように、本処理では、まず、現在のスコープ湾曲位置ＳＰｃを読み込み（Ｓ３１）、そのスコープ湾曲位置ＳＰｃを基にパノラマ画像から参照画像を抽出し（Ｓ３２）、その参照画像を平面射影変換により補正する（Ｓ３３）。続いて、そのスコープ湾曲位置ＳＰｃで撮像して撮像画像を取得し（Ｓ３４）、Ｓ３３で補正された参照画像をＳ３４で取得された撮像画像とのマッチングにより補正し（Ｓ３５）、Ｓ３４で取得された撮像画像と、Ｓ３５で補正された参照画像との差分を取り（Ｓ３６）、その差分を動体として検出する（Ｓ３７）。続いて、動体検出動作を終了するか否かを判定し（Ｓ３８）、その判定結果がＹｅｓの場合には本フローを終了し、Ｎｏの場合にはＳ３１へ戻って上述の処理を繰り返す。

以上、本実施例によれば、背景を撮像して得た複数の背景画像から作成したパノラマ画像は、平面射影変換により視点の変更、拡大・緒小、及び回転が可能であることから、動体検出中のスコープ状態（湾曲位置、回転角度、ズーム状態など）が背景撮像時と異なる場合であっても、スコープ状態に応じて適当な参照画像を抽出することができる。従って、このように動体検出前に予めパノラマ画像を作成しておくことで、スコープ先端部を湾曲させた場合でも背景画像を再度撮像、登録することなく動体検出を行うことができ、スコープ状態に左右されない柔軟性のある動体検出が可能になる。

上述の実施例１は、動体検出の際に、参照画像が撮像画像の視点から観察した画像となるよう平面射影変換し、その変換後の参照画像を撮像画像とのマッチングにより補正し、その補正後の参照画像と撮像画像との差分を取って動体を検出するものであったが、本実施例は、その動体検出の際に、撮像画像が参照画像の視点から観察した画像となるよう平面射影変換し、その変換後の撮像画像を参照画像とのマッチングにより補正し、その補正後の撮像画像と参照画像との差分を取って動体を検出するようにしたものである。

図１３は、本実施例に係る動体検出動作に係る内視鏡装置５の機能ブロック図である。同図において、ブロックＢＬ０１乃至ＢＬ０４、ブロックＢＬ０６乃至ＢＬ０７、及びブロックＢＬ１０は、図２に示したものと同じである。

ブロックＢＬ１１は、ブロックＢＬ０７で取得された撮像画像を平面射影変換により補正する。すなわち、その撮像画像が、ブロックＢＬ０４で抽出された参照画像の視点から観察した画像となるように、その参照画像の視点に対応するスコープ湾曲位置を基に撮像画像の平面射影変換を行う。ブロックＢＬ１２は、ブロックＢＬ１１で補正された撮像画像（但し、動体が写っていないと仮にしたときの撮像画像）が、その参照画像と一致するように、その撮像画像のサイズ，位置，及び歪みをマッチングにより補正する。ブロックＢＬ１３は、ブロックＢＬ１２により補正された撮像画像と、ブロックＢＬ０４で抽出された参照画像との差分を取り、ブロックＢＬ１０は、その差分を動体として検出する。

図１４は、このような図１３に示したブロックＢＬ０４、ＢＬ０６乃至ＢＬ０７、ＢＬ１１乃至ＢＬ１３、及びブロックＢＬ１０が行う処理、すなわち、実際に動体を検出する処理に係るフローチャートを示す図である。同図において、Ｓ４１乃至４２では、図１２のＳ３１乃至３２の処理と同様の処理が行われる。続いて、上記スコープ湾曲位置ＳＰｃで撮像して撮像画像を取得し（Ｓ４３）、その撮像画像を平面射影変換により補正し（Ｓ４４）、このＳ４４で補正された撮像画像をＳ４２で抽出された参照画像とのマッチングにより補正し（Ｓ４５）、その補正された撮像画像と、Ｓ４２で抽出された参照画像との差分を取る（Ｓ４６）。以降のＳ４７乃至４８では、図１２のＳ３７乃至３８と同様の処理が行われる。

以上、本実施例によっても、実施例１と同様の効果を得ることができる。

本実施例は、実施例１における動体検出を行った後に、更に、検出した動体の位置を取得し、その位置がスコープ１の撮像中心となるようにスコープ先端部を湾曲させることにより、動体の動きに合わせてスコープ先端部を湾曲追尾させるようにしたものである。

図１５は、本実施例に係る動体検出動作に係る内視鏡装置５の機能ブロック図である。同図に示したように、図２に示した構成に加え、更にブロックＢＬ１４及びＢＬ１５が追加されている。ブロックＢＬ１４は、ブロックＢＬ０３で作成されたパノラマ画像内における、ブロックＢＬ１０で検出された動体の位置を取得する。ブロックＢＬ１５は、スコープ１の撮像中心が、ブロックＢＬ１４で取得されたパノラマ画像内の動体の位置となるように、スコープ先端部を湾曲させる。これにより、スコープ先端部を動体に追尾させることができる。

図１６、図１７、及び図１８は、スコープ先端部を動体に追尾させる手法の一例を説明する図である。まず、図１６に示したように、ブロックＢＬ０７で得られた撮像画像２２と、ブロックＢＬ０８で補正された参照画像との差分を取ることによって動体２３を検出し、そのブロックＢＬ０８で補正された参照画像の元となる、ブロックＢＬ０４でパノラマ画像ＰＩから抽出された参照画像２４における、その動体２３の位置ＭＰ１を取得する。そして、その動***置ＭＰ１に対応する、パノラマ画像ＰＩにおける動***置ＭＰ２を取得する。尚、この動***置ＭＰ２は、パノラマ画像ＰＩの何れの領域を参照画像として抽出したかを記憶しておくことによって、算出することができる。続いて、図１７に示したように、パノラマ画像ＰＩにおける動***置ＭＰ２の近傍にある、背景撮像時（背景画像取得時）の撮像中心点Ｃ２、Ｃ３、Ｃ５、Ｃ６に対応するスコープ湾曲位置をＳＰ２、ＳＰ３、ＳＰ５、ＳＰ６とする。そして、図１８に示したように、撮像中心点Ｃ２、Ｃ３、Ｃ５、Ｃ６に対する動***置ＭＰ２の相対的な位置関係を線形補間によって求め、動***置ＭＰ２に対応するスコープ湾曲位置ＳＰＭを、スコープ湾曲位置ＳＰ２、ＳＰ３、ＳＰ５、ＳＰ６を線形補間することによって算出し、そのスコープ湾曲位置ＳＰＭにスコープ先端部を湾曲させる。これにより、スコープ１の撮像中心を動***置ＭＰ２へ移動させ、スコープ先端部を動体２３に追尾させることが可能になる。

図１９は、このようなスコープ先端部を動体に追尾させる処理に係るフローチャートを示す図である。本処理では、まず、実施例１で説明したようにして動体を検出すると（Ｓ５１）、その動体を検出する際に使用したブロックＢＬ０４でパノラマ画像から抽出された参照画像内における動体の位置を取得する（Ｓ５２）。続いて、そのパノラマ画像内における動体の位置を取得し（Ｓ５３）、そのパノラマ画像内における動***置から、対応するスコープ湾曲位置を算出し（Ｓ５４）、その算出したスコープ湾曲位置にスコープ先端部を湾曲させる。（Ｓ５５）。続いて、動体検出動作が終了したか否かを判定し（Ｓ５６）、その判定結果がＹｅｓの場合には本フローが終了し、Ｎｏの場合にはＳ５１へ戻り、上述の処理を繰り返す。

以上、本実施例によれば、更に、動体の動きに合わせてスコープ先端部を動体に追尾させることが可能なる

本実施例は、実施例２における動体検出を行った後に、更に、検出した動体の位置を取得し、その位置がスコープ１の撮像中心となるようにスコープ先端部を湾曲させることにより、動体の動きに合わせてスコープ先端部を湾曲追尾させるようにしたものである。

図２０は、本実施例に係る動体検出動作に係る内視鏡装置５の機能ブロック図である。同図に示したように、図１３に示した構成に加え、更にブロックＢＬ１４及びＢＬ１５が追加されている。ブロックＢＬ１４及び１５は上述の実施例３で説明したとおりである。また、スコープ先端部を動体に追尾させる処理も上述の実施例３で説明したとおりである。

以上、本実施例によっても、実施例３と同様の効果を得ることができる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。

実施例１に係る内視鏡装置を含む内視鏡システムの構成図である。 実施例１に係る動体検出動作に係る内視鏡装置の機能ブロック図である。 背景を複数枚撮像する処理を説明するための第１の図である。 背景を複数枚撮像する処理を説明するための第２の図である。 背景を複数枚撮像する処理に係るフローチャートを示す図である。 平面射影変換の概要を説明するための図である。 複数の背景画像を貼り合わせて１枚の広視野のパノラマ画像を作成する処理を説明するための第１の図である。 複数の背景画像を貼り合わせて１枚の広視野のパノラマ画像を作成する処理を説明するための第２の図である。 複数の背景画像を貼り合わせて１枚の広視野のパノラマ画像を作成する処理を説明するための第３の図である。 複数の背景画像を貼り合わせて１枚の広視野のパノラマ画像を作成する処理に係るフローチャートを示す図である。 パノラマ画像から参照画像を抽出する手法を説明するための図である。 実施例１に係る、実際に動体を検出する処理に係るフローチャートを示す図である。 実施例２に係る動体検出動作に係る内視鏡装置の機能ブロック図である。 実施例２に係る、実際に動体を検出する処理に係るフローチャートを示す図である。 実施例３に係る動体検出動作に係る内視鏡装置の機能ブロック図である。 スコープ先端を動体に追尾させる手法の一例を説明するための第１の図である。 スコープ先端を動体に追尾させる手法の一例を説明するための第２の図である。 スコープ先端を動体に追尾させる手法の一例を説明するための第３の図である。 スコープ先端を動体に追尾させる処理に係るフローチャートを示す図である。 実施例４に係る動体検出動作に係る内視鏡装置の機能ブロック図である。

符号の説明

１ スコープ
２ 内視鏡ユニット
３ カメラコントロールユニット
４ リモコン
５ 内視鏡装置
６ 映像出力装置
７ システム制御部
８ 映像信号処理回路
９ ＲＳ−２３２Ｃインターフェース
１０ ＲＯＭ
１１ ＣＰＵ
１２ ＲＡＭ
１３ バス
１４、１５ 重なり部
１６ 背景
１７ 第１画像
１８ 第２画像
１９ 重なり部
２０ 貼り合わせた画像
２１ 所定領域
２２ 撮像画像
２３ 動体
２４ 参照画像

Claims (6)

1. 撮像画像を取得する撮像手段と、
   内視鏡挿入部の先端部を湾曲させる湾曲制御手段と、
   前記先端部が湾曲された状態の前記先端部の位置を取得する湾曲位置取得手段と、
   前記撮像手段により取得された複数の前記撮像画像を貼り合わせてパノラマ画像を作成するパノラマ画像作成手段と、
   前記湾曲位置取得手段により取得された前記先端部の位置に対応して前記パノラマ画像作成手段により作成された前記パノラマ画像内の複数の前記撮像画像の撮像中心点を線形補間した点を中心とする所定領域を参照画像として抽出する参照画像抽出手段と、
   前記参照画像抽出手段により抽出された参照画像と、この参照画像が抽出されたときの前記先端部の位置で前記撮像手段により取得された撮像画像との差分を動体として検出する動体検出手段と
   を備えることを特徴とする内視鏡装置。
2. 前記パノラマ画像作成手段は、前記先端部の異なる複数の位置で前記撮像手段により取得された複数の前記撮像画像であって、前記撮像画像間で重なり部を有する複数の前記撮像画像を貼り合わせて、前記パノラマ画像を作成することを特徴とする請求項１記載の内視鏡装置。
3. 前記動体検出手段は、
   前記参照画像抽出手段により抽出された参照画像が、この参照画像が抽出されたときの前記先端部の位置を視点として観察した画像となるように、この参照画像を平面射影変換する変換手段と、
   この変換手段により平面射影変換された参照画像と、この参照画像が抽出されたときの前記先端部の位置で前記撮像手段により取得された撮像画像とが一致するように、前記平面射影変換された参照画像を補正する補正手段と、
   を有し、
   前記補正手段により補正された参照画像と、この参照画像が抽出されたときの前記先端部の位置で前記撮像手段により取得された撮像画像との差分を動体として検出することを特徴とする請求項１又は２記載の内視鏡装置。
4. 前記動体検出手段は、
   前記参照画像抽出手段により前記参照画像が抽出されたときの前記先端部の位置で前記撮像手段により取得された撮像画像が、前記参照画像の視点と同一の視点から観察した画像になるように、この撮像画像を平面射影変換する変換手段と、
   前記参照画像と、前記変換手段により平面射影変換された撮像画像とが一致するように、前記平面射影変換された撮像画像を補正する補正手段と、
   を有し、
   前記参照画像と、前記補正手段により補正された撮像画像との差分を動体として検出することを特徴とする請求項１又は２記載の内視鏡装置。
5. 前記動体検出手段により検出された動体の、前記パノラマ画像内における位置を算出する動***置算出手段と、
   前記動***置算出手段により算出された位置に応じて、対応する前記先端部の位置を算出する湾曲位置算出手段と、
   を更に備え、
   前記湾曲制御手段が前記湾曲位置算出手段により算出された前記先端部の位置に前記先端部を湾曲させることにより、前記先端部を前記動体に追尾させる
   ことを特徴とする請求項１乃至４の何れか一項記載の内視鏡装置。
6. 撮像手段によって得られる撮像画像を取得する画像取得機能と、
   内視鏡挿入部の先端部を湾曲させる湾曲制御機能と、
   前記先端部が湾曲された状態の前記先端部の位置を取得する湾曲位置取得機能と、
   前記画像取得機能により取得された複数の前記撮像画像を貼り合わせてパノラマ画像を作成するパノラマ画像作成機能と、
   前記湾曲位置取得機能により取得された前記先端部の位置に対応して前記パノラマ画像作成機能により作成された前記パノラマ画像内の複数の前記撮像画像の撮像中心点を線形補間した点を中心とする所定領域を参照画像として抽出する参照画像抽出機能と、
   前記参照画像抽出機能により抽出された参照画像と、この参照画像が抽出されたときの前記先端部の位置で撮像された撮像画像との差分を動体として検出する動体検出機能と
   を実現させるためのプログラム。