JP6663571B2 - 内視鏡画像処理装置、および、内視鏡画像処理装置の作動方法、並びにプログラム - Google Patents

Description

本技術は、内視鏡画像処理装置、および、内視鏡画像処理装置の作動方法、並びにプログラムに関し、特に、内視鏡装置のスコープを抜き取り、再挿入する際に、抜き取る直前の撮像状態にアシストできるようにした内視鏡画像処理装置、および、内視鏡画像処理装置の作動方法、並びにプログラムに関する。

内視鏡装置を用いた腹腔鏡手術が一般的なものとなりつつある。

腹腔鏡手術とは、人体の患部周辺の皮膚に数カ所の穴を空けて、トロッカと呼ばれる固定式の孔部を設定し、この孔部の１より、内視鏡装置に接続された棒状の内視鏡スコープを挿入して撮像し、ディスプレイなどに表示することで患部を確認しつつ、他の孔部より棒状の鉗子を挿入して患部を手術する術式である。

このため、腹腔鏡手術は、一般に、開腹手術や開胸手術よりも手術による体への負担が小さいとされており、術後の回復が早いとされている。

ところで、腹腔鏡手術においては、内視鏡スコープのレンズ等の汚れ等により、内視鏡スコープを抜いて、レンズ等の汚れを洗浄し、再度挿入する作業が何度か繰り返される。この際、抜く前と同じ画角を再現しようとすると人の記憶頼みで、困難な作業になってしまう。

そこで、内視鏡スコープを抜き取る前に、どのような位置までを撮像していたのかをアシストする技術が提案されている（特許文献１，２参照）。

また、以前見た患部を見つけだすための技術が提案されている（特許文献３参照）。

特開２０１４−０７９３７７号公報 特開２０１４−０８３２８９号公報 特開２０１２−１７０７７４号公報

しかしながら、上述した特許文献１乃至３の技術は、どこまで見たのかをアシストしたり、以前見た患部を見つけ出すことはできるが、例えば、所望とする患部を見つけ出し、さらに、内視鏡スコープを抜き取る前の画角合わせをすることができなかった。

本技術は、このような状況に鑑みてなされたものであり、特に、内視鏡スコープを洗浄のためになどに抜き取った後、再度、挿入する際、抜き取る直前の画角を撮像できるように、内視鏡スコープの操作をアシストするものである。

本技術の第１の側面の内視鏡画像処理装置は、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、前記アシスト画像を表示する表示部と、前記撮像画像の特徴量を検出する特徴量検出部を含み、前記マッチング処理は、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出し、前記ずれ量が所定値よりも大きい場合、前記アシスト表示制御部は、前記表示部に前記アシスト画像の表示不可を示す情報を表示させる。

本技術の第１の側面の内視鏡画像処理装置の作動方法は、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、前記アシスト画像を表示する表示部と、前記撮像画像の特徴量を検出する特徴量検出部を含む内視鏡画像処理装置の動作方法であって、前記記録部が、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録し、前記アシスト表示制御部が、記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成し、前記表示部が、前記アシスト画像を表示し、前記特徴量検出部が、前記撮像画像の特徴量を検出するステップを含み、前記マッチング処理は、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出し、前記アシスト画像を表示するステップでは、前記ずれ量が所定値よりも大きい場合、前記アシスト画像の表示不可を示す情報を表示させる。
本技術の第１の側面のプログラムは、コンピュータを、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、前記アシスト画像を表示する表示部と、前記撮像画像の特徴量を検出する特徴量検出部として機能させ、前記マッチング処理は、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出し、前記ずれ量が所定値よりも大きい場合、前記アシスト表示制御部は、前記表示部に前記アシスト画像の表示不可を示す情報を表示させる。
本技術の第１の側面においては、体腔に挿入される挿入部を有する内視鏡により撮像された画像または、手術中の術野画像が記録され、記録された画像のうち、いずれか選択された選択画像の画角を示す情報と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像がアシスト画像として生成され、前記アシスト画像が表示され、前記撮像画像の特徴量が検出され、前記マッチング処理により、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量が検出され、前記ずれ量が所定値よりも大きい場合、前記アシスト画像の表示不可を示す情報が表示される。
本開示の第２の側面の内視鏡画像処理装置は、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、前記アシスト画像を表示する表示部とを含み、前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像の中心、および角部の位置を示すマークである。
本開示の第２の側面においては、体腔に挿入される挿入部を有する内視鏡により撮像された画像が記録され、記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像がアシスト画像として生成され、前記アシスト画像が表示され、前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像の中心、および角部の位置を示すマークである。
本開示の第３の側面の内視鏡画像処理装置は、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、前記アシスト画像を表示する表示部とを含み、前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像よりエッジ抽出した画像である。
本開示の第３の側面においては、体腔に挿入される挿入部を有する内視鏡により撮像された画像が記録され、記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像がアシスト画像として生成され、前記アシスト画像が表示され、前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像よりエッジ抽出した画像である。

本開示の第４の内視鏡画像処理装置は、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、前記アシスト画像を表示する表示部と、前記撮像画像の特徴量を検出する特徴量検出部と、前記特徴量の変化に応じて、前記撮像画像を前記記録部に記録する記録制御部とを含み、前記記録制御部は、前記撮像画像の時系列で前後する画像間の特徴量の差分である特徴量差分が所定値より大きい場合、前記撮像画像にインデックスを付して前記記録部に記録させる。

前記特徴量には、前記画像を複数ブロックに分割するときの各ブロックにおける輝度値の総和、および隣接画素間差分絶対値和、並びに、中央となるブロックの輝度値の総和、および隣接画素間差分絶対値和を含ませるようにすることができる。

前記アシスト画像の表示が要求された場合、前記アシスト表示制御部には、前記記録部に記憶されている画像のうち、前記インデックスが付された画像の一覧を表示させるようにすることができる。

前記アシスト表示制御部には、前記インデックスが付された前記画像の一覧のうち、いずれか選択された画像を、前記選択画像に設定させるようにすることができる。

前記記録制御部には、前記記録部の記憶容量の残容量が所定値より少ないとき、前記記録部に記録されている画像のうち、古いものから順に削除させ、前記撮像画像を前記記録部に記録させるようにすることができる。

前記記録制御部には、前記撮像画像を前記記録部に記録する際、前記撮像画像に加えて、前記撮像画像の特徴量、および前記アシスト画像の表示が要求されている状態であるか否かを示す情報をタイムコードに対応付けて記録させるようにすることができる。

前記記録部に記録された画像のうち、前記アシスト画像の表示が要求されていないタイミングであって、前後する異なるタイミングの画像間の前記特徴量差分が所定値よりも小さいタイミングの画像を、前記タイムコードに対応して画像を再生する再生部をさらに含ませるようにすることができる。

本技術の第４の側面においては、体腔に挿入される挿入部を有する内視鏡により撮像された画像が記録され、記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像がアシスト画像として生成され、前記アシスト画像が表示され、前記撮像画像の特徴量が検出され、前記特徴量の変化に応じて、前記撮像画像が記録され、前記撮像画像の時系列で前後する画像間の特徴量の差分である特徴量差分が所定値より大きい場合、前記撮像画像にインデックスが付されて記録される。

本技術の第１乃至第４の側面の内視鏡画像処理装置は、それぞれ独立した装置であっても良いし、内視鏡装置、および内視鏡装置のそれぞれとして機能するブロックであっても良い。

本技術の一側面によれば、内視鏡スコープを洗浄のためになどに抜き取った後、再度、挿入する際、抜き取る直前の画角を撮像できるように、内視鏡スコープの操作をアシストすることが可能となる。

腹腔鏡下手術の概要を示す図である。 内視鏡装置の構成を説明する図である。 図２の内視鏡装置を説明する図である。 図２の内視鏡装置によるアシスト処理を説明するフローチャートである。 アシスト画像を説明する図である。 その他のアシスト画像を説明する図である。 さらにその他のアシスト画像を説明する図である。 記録処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 再生処理を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

＜内視鏡装置の概要＞
図１は、本技術を適用した内視鏡装置の概要を説明する図である。

この内視鏡装置は、近年、医療現場において従来の開腹手術に代わって行われる腹腔鏡下手術において利用される。

すなわち、図１で示されるように、腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ１３と称される開孔器具が腹壁に数か所取り付けられ、トロッカ１３に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）１１と、処置具である鉗子１２が体内に挿入される。そして、内視鏡スコープ１１によってビデオ撮像された患部（腫瘍等）２の画像をリアルタイムに見ながら、鉗子１２などの処置具によって患部２を切除するなどの処置が行われる。

なお、内視鏡スコープ１１の先端部は、出血などにより汚れたりするため、手術中に何度かトロッカ１３から抜き出され、洗浄されて、再挿入されるといったことが繰り返される。

図１に示されるような直線棒状の内視鏡スコープ１１では、ヘッド部７１（図３）を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部７１を保持することにより画角を変えるといった操作なされる。

この際、内視鏡スコープ１１を再挿入したとき、抜き出す前の撮像状態、すなわち、抜き出す前に撮像されていた画角の状態に戻す操作が必要となるが、これまでは、術者、助手、またはスコピストの感覚に頼るのみであったため、画角の状態を戻すのに時間が掛かってしまうことがあった。

そこで、本技術を適用した内視鏡装置は、この内視鏡スコープ１１の再挿入に際して、直前の撮像状態（撮像画角）に戻すための操作をアシストする機能を備えている。これにより、腹腔鏡スコープの再挿入に際して、元の画角へと速やかに戻すことが可能となり、全体として術時間の短縮を図ることが可能となる。

＜本技術を適用した内視鏡装置の一実施の形態＞
図２は、本技術を適用した内視鏡装置の一実施の形態の構成例を示している。

図２の内視鏡装置２１は、内視鏡スコープ１１、CCU（Color Control Unit）３１、表示部３２、および操作部３３を備えている。また、内視鏡装置２１により撮像された画像を再生するため、別途、再生装置２２、および表示装置２３が設けられるようにしてもよく、これらを含めて内視鏡装置を構成するようにしてもよい。

CCU３１は、画像処理装置として機能し、内視鏡スコープ１１により撮像された画像を受信して、順次記録すると共に、内視鏡スコープ１１が再挿入される際、抜き出す直前の画角での撮像を開始できるようにアシストする情報を生成して表示部３２に表示させる。

より詳細には、CCU３１は、カメラ信号処理部５１、特徴量検出部５２、画像記録制御部５３，記録部５４、マッチング制御部５５、およびアシスト表示制御部５６を備えている。

カメラ信号処理部５１は、内視鏡スコープ１１より供給されてくる、例えば、RGB信号として供給されてくる画像信号を、デモザイク処理し、ノイズ除去、および階調制御といった信号処理を行って、所定のフレームレートの画像信号を生成する。また、画像信号には、後述するが、内視鏡スコープ１１により撮像される際の光源装置７３により発生される、例えば、通常光および特殊光などといった光源種別を示す情報に加えて、絞り、シャッタスピード、焦点距離、光学系の動作状態（レンズの移動位置）、並びにExif情報なども含まれており、それらの情報も併せて特徴量検出部５２、およびアシスト表示制御部５６に出力する。

特徴量検出部５２は、各画像について、他の画像との比較が可能な特徴量を算出し、画像信号と共に画像記録制御部５３に出力する。

例えば、特徴量検出部５２は、入力画像を水平方向、および垂直方向に５分割×５分割し、合計２５ブロックに分割し、各ブロックについて隣接画素間差分を求め、その最大値、または平均値といった値をブロック単位で求めたものを特徴量として計算する。または、特徴量検出部５２は、入力画像を水平方向、および垂直方向に５分割×５分割し、その中央のブロックについて隣接画素間差分を求め、その最大値、または平均値といった値を特徴量として計算する。

さらには、特徴量検出部５２は、光源種別、絞り、シャッタスピード、焦点距離、光学系の動作状態（レンズの移動位置）、並びにExif情報といった情報を特徴量として抽出するようにしてもよく、これらの組み合わせなどを特徴量としてもよい。

画像記録制御部５３は、画像信号、特徴量、およびアシスト表示の有無といった情報をタイムスタンプに対応付けて順次記録部５４に記録させる。この際、画像記録制御部５３は、記録部５４の記録可能残容量を監視し、残容量が所定量より少なくなった場合、順次、最も古いタイムスタンプに対応する情報を削除し、最新の情報で上書きして記録させる。

また、画像記録制御部５３は、マッチング処理部５５を制御して、今現在の画像と直前の画像とを特徴量を用いてマッチングすることにより、内視鏡スコープ１１を抜き出したことを示すシーンチェンジや、画像内における特徴的な変化である血液、煙、汚れの発生などを検出した場合、インデックスを付して記録部５４に記録する。

より具体的には、マッチング処理部５５は、特徴量として、例えば、画像を２５ブロックに分割する場合、各ブロックについて、隣接画素間差分の平均値などの情報が含まれている場合、各ブロック単位で、時系列に前後する画像間で、隣接画素間差分の平均値の差分を求め、少なくとも１ブロック以上において大きな変化が生じたとき、画像において何らかの変化が生じたものとみなす。すなわち、マッチング処理部５５は、シーンチェンジ、血液、煙、または汚れといった現象が生じているものとみなす。このような場合、画像記録制御部５３は、インデックスを付して、タイムスタンプに対応付けた画像情報を記録する。

また、マッチング処理部５５は、アシスト表示が指示されている場合、最初に、インデックスが付された画像を一覧として読み出してアシスト表示制御部５６に出力して、LCD（Liquid Crystal Display）などからなる表示部３２に、内視鏡スコープ１１の再挿入に伴って表示できるようにしたい画角の画像として選択したい選択画像の一覧として表示させる。

これらの一覧のうち、操作部３３が操作されて、選択画像の一覧のうち選択されると、マッチング処理部５５は、選択された選択画像を基準とする画像をアシスト表示制御部５６に出力する。アシスト表示制御部５６は、この選択画像として選択された基準となる画像と、カメラ信号処理部５１より供給されてくる画像とを用いて、それぞれのずれている方向と距離を認識できるようなアシスト画像を生成し、表示部３２に表示させる。このようなアシスト画像により、基準となる選択画像と、現在撮像されている画像とのずれの方向と距離が表示部３２にされることになる。

この際、アシスト表示制御部５６は、選択画像と、撮像されている今現在の画像とのそれぞれに対してエッジ抽出フィルタ処理を施し、それぞれの画像の被写体のエッジ部分を点線、および実線、または赤色表示および青色表示といった異なる画像として認識できるように、オーバラップして表示させるアシスト画像を生成する。このようなアシスト画像により、ユーザは、所望とする選択画像の画角に対する、今現在の画像の画角とのずれの方向と距離を認識することで、所望とする選択画像の画角へとアシストする。

再生装置２２は、記録部５４に記録された画像情報に基づいて、画像を再生し、LCDなどからなる表示装置２３に表示する。尚、この再生装置２２により表示装置２３に表示される画像は、手術中の画像ではなく、手術後に再生することを想定したものである。

＜内視鏡装置の構成例＞
次に、図３を参照して、内視鏡スコープ１１の構成例について説明する。

内視鏡スコープ１１は、ヘッド部７１、硬性鏡（鏡筒）７２、光源装置７３、およびケーブル７４を備えている。ヘッド部７１は、CMOS（Complementary Metal Oxide Semiconductor）などからなる撮像素子７１ａを備えた構成であり、トロッカ１３（図１）を介して腹腔内に挿入される硬性鏡７２を介して患部２の画像を撮像し、所定のフレームレートの画像信号としてケーブル７４を介してCCU３１に出力する。尚、内視鏡スコープ１１とCCU３１は、ケーブル７４を介して接続される例について説明を進めるものとするが、内視鏡スコープ１１とCCU３１は、ケーブル７４を介して接続する他、無線で接続してもよい。また、CCU３１を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。CCU３１と表示部３２の接続についても同様とする。

硬性鏡（鏡筒）７２は、腹腔内の患部２などの像を複数回のリレーレンズ系を用いて、鏡筒軸７２ａに沿って光学的に撮像素子７１ａに伝送するものであり、このうち、特に本体が棒状であってトロッカ１３への挿入部が硬性のタイプのものである。尚、鏡筒となる硬性鏡７２は、必ずしも硬性である必要は無く、軟性の鏡筒に代えるようにしてもよい。

光源装置７３は、光源となる光を発生し、硬性鏡７２を介して患部２に光を照射する。このとき、光源装置７３は、光源となる光の波長を切り替えることで、様々な光を光源とすることができ、例えば、病変に応じて視認し易い特殊光を発生することが可能となる。このとき、光源装置７３において選択されている光源の種別を示す情報が、ケーブル７４を介してCCU３１に供給される。

＜アシスト処理＞
次に、図４のフローチャートを参照して、本技術の内視鏡装置２１によるアシスト処理について説明する。

ステップＳ１１において、マッチング処理部５５は、カメラ信号処理部５１、およびケーブル７４を介して、内視鏡スコープ１１より光源装置７３の動作状態を読み取り、撮像モードを読み出す。例えば、光源装置７３が、通常の白色光を発している場合、撮像モードは通常モードであり、特殊光を発している場合、特殊光モードであると認識する。

ステップＳ１２において、マッチング処理部５５は、記録部５４に記録されている画像情報のうち、現在の撮像モードに対応した状態で記録されている、選択画像を抽出してアシスト表示制御部５６に出力する。アシスト表示制御部５６は、これらの選択画像を一覧として表示部３２に表示し、アシスト表示させたい画像の選択を促す画像を表示する。尚、ここで表示される画像は、直前の操作により撮像された画像のうち、内視鏡スコープの取り出し、出血、出煙、汚れの発生など、何らかの変化が発生したタイミングにインデックスが付された画像である。尚、撮像された画像信号の記録処理については、図８のフローチャートを参照して詳細を後述する。

ステップＳ１３において、マッチング処理部５５は、操作部３３が操作されていずれかの選択画像が選択されたか否かを判定し、選択されるまで、同様の処理を繰り返す。そして、ステップＳ１３において、操作部３３が操作されていずれかの選択画像が選択された場合、処理は、ステップＳ１４に進む。

ステップＳ１４において、マッチング処理部５５は、操作部３３が操作されることにより選択された選択画像を記録部５４より読み出し、アシスト表示制御部５６に出力する。アシスト表示制御部５６は、選択された選択画像を表示部３２に表示させ、アシスト表示の要否を問い合わせる画像を表示する。

尚、通常の内視鏡手術中においては、内視鏡スコープ１１が、トロッカ１３を介して取り出されて、硬性鏡７２の先端部が洗浄されて、トロッカ１３に再挿入された後の動作が繰り返されることが多いため、選択画像は、内視鏡スコープ１１がトロッカ１３より抜き出される直前の画像であって、安定した画像をデフォルトの選択画像とするようにしてもよい。このようにすることで、選択画像を選択する操作をすることなく、内視鏡スコープ１１を抜き出した後、再挿入する際には、内視鏡スコープ１１がトロッカ１３より抜き出される直前の状態へとアシストする動作を実現することができる。

ステップＳ１５において、マッチング処理部５５は、操作部３３が操作されて、アシスト表示が指示されたか否かを判定し、アシスト表示が指示されるまで、同様の操作を繰り返す。そして、ステップＳ１５において、操作部３３が操作されて、アシスト表示が指示された場合、処理は、ステップＳ１６に進む。

ステップＳ１６において、マッチング処理部５５は、カメラ信号処理部５１に対して内視鏡スコープ１１により画像を撮像するように指示する。これに応じて、カメラ信号処理部５１は、内視鏡スコープ１１におけるヘッド部７１に設けられた撮像素子７１ａに画像を撮像させる。

ステップＳ１７において、カメラ信号処理部５１は、撮像素子７１ａにより撮像された画像信号にカメラ信号処理を施して、特徴量検出部５２およびアシスト表示制御部５６に出力する。

ステップＳ１８において、特徴量抽出部５２は、入力された画像信号に基づいて、特徴量を抽出し、抽出した特徴量と共に、画像信号をマッチング処理部５５に出力する。

ステップＳ１９において、マッチング処理部５５は、今現在の画像と、選択画像とをマッチング処理し、それぞれの画像の対応する位置を検出する。より具体的には、マッチング処理部は、今現在の画像における中央付近の所定範囲の複数の画素からなるブロックを、選択画像内でブロックマッチングし、対応する位置を検出する。尚、マッチング処理の具体的な手法は、今現在の画像と、選択画像との対応する位置を検出することができる限り、いずれの方法であっても良い。

ステップＳ２０において、マッチング処理部５５は、今現在の入力画像と、選択画像とのずれ量を算出する。例えば、マッチング処理部５５は、上述したマッチング処理により検出された、相互に対応する位置が重なるように、今現在の画像と、選択画像とを重ね合わせたときのそれぞれの画像の中央位置の距離をずれ量として求めるようにしても良い。

ステップＳ２１において、マッチング処理部５５は、ずれ量が許容範囲であるか否かを判定する。すなわち、ずれ量が大きすぎる場合、後述するアシスト画像を表示する際、今現在の入力画像を全画面表示して、選択画像を重ね合わせて表示するといったことができない状態となり、適切にアシスト画像を構成することができない恐れがある。そこで、マッチング処理部５５は、アシスト画像を適切に表示することができるか否かを、ずれ量が許容範囲であるか否かに基づいて判定する。

ステップＳ２１において、例えば、ずれ量が許容範囲ではないと判定された場合、ステップＳ２２において、マッチング処理部５５は、ずれ量が許容範囲ではなく、アシスト表示できないことを示す情報をアシスト表示制御部５６に供給する。アシスト表示制御部５６は、この情報に基づいて、表示部３２にずれ量が許容範囲ではなく、アシスト表示ができないことを示す情報を表示する。

一方、ステップＳ２１において、ずれ量が許容範囲であると判定された場合、ステップＳ２３において、マッチング処理部５５は、今現在の入力画像と、選択画像とのそれぞれから鉗子などの処置具３を検出する。

そして、ステップＳ２４において、マッチング処理部５５は、今現在の入力画像と、選択画像とのそれぞれから検出された鉗子などの処置具３の表示を非表示にする。

すなわち、例えば、図１で示される鉗子１２が画像内に存在すると、患部２付近の術野が小さくなる恐れがある。そこで、アシスト画像を表示する場合にのみ、アシスト画像の表示が必要ない状態となるまで、鉗子１２が画像内で表示されないようにする。より具体的には、マッチング処理部５５が、予め鉗子１２の色や形状を記憶し、その色や形状に対応する部位について、他のタイミングで撮像されており、マッチングにより対応する位置となる画素信号に置き換えて表示する。このようにすることで、鉗子１２などの処理具などが表示されないアシスト画像を実現することが可能となる。

ステップＳ２５において、マッチング処理部５５は、鉗子１２が非表示とされている、今現在の入力画像と、選択画像との画角を示す情報を対応する位置でオーバラップ表示することによりアシスト画像を生成し、アシスト表示制御部５６に供給する。アシスト表示制御部５６は、マッチング処理部５５より供給されてくる、アシスト画像を表示部３２に表示する。

このとき、例えば、図５のアシスト画像Ｐ１１で示されるように、入力画像と選択画像とをオーバラップ表示するにあたって、それぞれの画角の情報であるフレーム枠と中心位置を示すマークを併せて表示することにより、入力画像と選択画像とのずれが認識できる画像とする。このようにすることで、所望とする画角へのずれ方向と距離を提示することができるので、所望とする画角へと適切にアシストすることが可能となる。すなわち、図５のアシスト画像Ｐ１１においては、入力画像のフレームの角と中央を示すマークが実線で表示され、選択画像のフレームの角部と中央位置（中心位置）を示すマークが点線で示される。すなわち、図５においては、矢印ｄで示される距離がずれ量であるので、このアシスト画像により、ずれを修正すべき方向と距離とを一目見るだけで認識することが可能となる。尚、この図５の矢印ｄは、ずれ量と方向とを説明するために付したものであり、表示されないものである。

さらに、図６のアシスト画像Ｐ２１で示されるように、マッチング処理部５５が、入力画像と選択画像とに対して、それぞれエッジ抽出処理を施し、それぞれのエッジ画像のみをオーバラップ表示するようにして、ずれの方向と距離とを認識できるようにしても良い。ここで、図６のアシスト画像Ｐ２１においては、エッジで囲まれた範囲が黒色にされた画像が入力画像であり、エッジで囲まれた範囲が白色の画像が選択画像を示している。尚、図６における矢印についても、図５と同様に、ずれ量と方向を示す例を表すものであり、実際に表示されるものではない。

また、図７のアシスト画像Ｐ３１で示されるように、画像右上部に特徴量の比較情報表示欄Ｃ１を設けるようにしても良い。図７の特徴量表示欄Ｃ１の上部には、例えば、入力画像、および選択画像のそれぞれを水平方向および垂直方向に５分割×５分割の２５分割したときの、それぞれのブロックにおける輝度値の総和を比較する棒グラフを並べて表示する表示欄Ｃ１１が設けられている。また、図７の特徴量表示欄Ｃ１の下部には、例えば、ブロック内の隣接画素間差分の最大値を比較する棒グラフを並べて表示する表示欄Ｃ１２が設けられている。

このような特徴量表示欄Ｃ１が設けられることにより、アシスト画像Ｐ３１を見ながら、入力画像と選択画像のエッジ部が重なり合うように内視鏡スコープ１１が操作されて画角が変化して行く中で、エッジ部が正確に重なり合えば、特徴量の情報も一致することになる。従って、ユーザは、エッジ部が重なり合うように、かつ、特徴量の情報が一致するように、内視鏡スコープ１１を操作することで、的確に選択画像と同一の画角に入力画像の状態を調整することが可能となる。特に、画像の輪郭だけでは一致の確認が難しいような画像の場合でも、入力画像と選択画像との特徴量を比較して表示する特徴量表示欄Ｃ１の情報が一致するように操作することで、より高精度に操作することが可能となる。

ここで、図４の説明に戻る。

ステップＳ２６において、カメラ信号処理部５１は、操作部３３が操作されて、アシスト表示の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ２７に進む。

ステップＳ２７において、カメラ信号処理部５１は、内視鏡スコープ１１からケーブル７４を介して撮像モードの変更が指示されたか否かを判定する。すなわち、光源装置７３が操作されて、通常光から特殊光に切り替えられるなどして、撮像モードの変更が指示されたか否かが判定される。ステップＳ２７において、撮像モードの変更がなければ、処理は、ステップＳ１６に戻る。すなわち、撮像モードの変更がなく、終了が指示されていない場合、ステップＳ１６乃至Ｓ２７の処理が繰り返される。

また、ステップＳ２７において、撮像モードが切り替えられたと判定された場合、処理は、ステップＳ２８に進む。

ステップＳ２８において、カメラ信号処理部５１は、撮像モードを、ケーブル７４を介して内視鏡スコープ１１より供給されてきた撮像モードに切り替えて、処理は、ステップＳ１２に戻る。すなわち、この場合、撮像モードが異なるため、選択画像の選択する操作が再度必要とされる。

そして、ステップＳ２６において、終了が指示されると、処理が終了する。

以上の処理により、アシスト画像の表示が指示されている限り、内視鏡スコープ１１が操作されることにより、硬性鏡７２を介して撮像素子７１ａにより撮像される、患部２周辺の入力画像と、予め撮像された選択画像のうち、選択された選択画像とのそれぞれの画角が認識できる画像がオーバラップ表示され続けるので、内視鏡スコープ１１の位置や撮像方向を変化させながら、どの方向に、どれだけの量の移動、または回転をすることで、選択画像と同様の画角になるのかをアシストすることが可能となる。また、選択画像は、手術中については、内視鏡スコープ１１をトロッカ１３から抜き出す直前の画像とするように設定することにより、再挿入を繰り返す度に、確実に抜き出す直前の画角を撮像できる状態にアシストするアシスト画像を提示することが可能となる。また、この間、鉗子１２などの処理具が非表示状態とされるので、選択画像の所望とする画角への設定をさらに容易なものとすることができる。

結果として、手術中に内視鏡スコープ１１をトロッカ１３から抜き出し、再挿入するといった操作が繰り返されても、抜き出す直前に撮像されていた画角や、所望とする画角に速やかに戻すことが可能となり、画角を戻す為だけに手術時間が延びてしまうと言ったことがなくなり、週術時間の短縮と、それに伴った患者への手術による体への負担を低減することが可能となる。

＜記録処理＞
次に、図８のフローチャートを参照して、記録処理について説明する。尚、上述したアシスト処理において使用される画像は、アシスト処理のバックグラウンドにおいて実行される、この記録処理により記録部５４に記録される画像に基づいた動作となる。

ステップＳ４１において、カメラ信号処理部５１は、ケーブル７４を介して内視鏡スコープ１１より、供給されてくる光源装置７３の発する光に応じた撮像モードの情報を取得する。

ステップＳ４２において、カメラ信号処理部５１は、内視鏡スコープ１１における硬性鏡７２を介して撮像素子７１ａより撮像される患部２の画像信号を入力画像として取得し、各種の信号処理を施して特徴量検出部５２に出力する。

ステップＳ４３において、特徴量検出部５２は、供給されてきた入力画像より特徴量を検出し、入力画像、および撮像モードの情報を併せて、画像記録制御部５３に出力する。

ステップＳ４４において、画像記録制御部５３は、記録部５４に記録されている直前の画像信号および特徴量を読み出す。

ステップＳ４５において、画像記録制御部５３は、入力画像、および直前のそれぞれの特徴量の差分である特徴量差分を求め、所定の閾値よりも大きいか否かを判定する。より具体的には、例えば、各画像が２５ブロックに分割されて、ブロック毎に特徴量が求められているような場合、画像記録制御部５３は、各ブロックの特徴量の差分絶対値和を特徴量差分として求める。また、中央ブロックの特徴量のみが求められている場合、画像記録制御部５３は、その特徴量のみの差分絶対値を特徴量差分として求める。

ステップＳ４５において、例えば、特徴量差分が所定値よりも大きいと判定された場合、撮像された画像間に何らかの変化があったものと見なし、処理は、ステップＳ４６に進む。

ステップＳ４６において、画像記録制御部５３は、直前の読みだした画像に、選択画像として使用する画像であることを示すインデックスを付加する。

一方、ステップＳ４５において、特徴量差分が所定値よりも小さいと判定された場合、変化が生じていないとみなし、ステップＳ４６の処理がスキップされ、直前の画像にはインデックスが付加されない。

すなわち、内視鏡スコープ１１をトロッカ１３より抜き出すといった動作があった場合、前後する画像間には大きな変化が発生することにより特徴量差分が所定値よりも大きくなる。また、画像内において、出血、出煙、および汚れ等が付着するなどにおいても、画像間に変化が生じることになる。このため、特徴量差分が大きく変化するタイミングにおける画像は、手術中における変化の生じたタイミングを示すものであり、この変化を示すタイミングの直前の画像にインデックスを付すことにより、変化が生じる直前の安定した画像を選択画像として使用することが可能となる。

ステップＳ４７において、画像記録制御部５３は、記録部５４の記録残容量を読み出して、十分な記憶容量が存在するか否かを判定する。ステップＳ４７において、例えば、記憶容量が不足していると判定された場合、ステップＳ４８において、画像記録制御部５３は、記録部５４に記憶されている画像情報のうち、タイムコードが最も古いものを削除する。すなわち、重要度の高い直近の画像情報を記録できるように記録部５４の容量を調整する。この際、これから記憶しようとする容量に応じて、必要であれば、最も古いものと、２番目に古いものを両方削除するようにしても良い。尚、ステップＳ４７において、記憶容量が十分に存在すると見なされた場合、ステップＳ４８の処理はスキップされる。

ステップＳ４９において、画像記録制御部５３は、入力画像、撮像モード、特徴量、アシスト画像のオンまたはオフを示す情報、並びに、必要に応じて、直前の画像との特徴量差分を併せて、タイムコードに対応付けて記録部５４に記録する。

ステップＳ５０において、カメラ信号処理部５１は、次の画像が存在するか否かに基づいて、または、動作のオンオフに基づいて、記録終了か否かを判定し、記録終了ではない場合、処理は、ステップＳ４１に戻る。そして、ステップＳ５０において、記録終了であると見なされた場合、処理は、終了する。

以上のような処理により、内視鏡スコープ１１の撮像素子７１ａにより撮像された画像が、入力画像、撮像モード、特徴量、アシスト画像のオンまたはオフを示す情報、特徴量差分、並びにインデックスが付加されたものを、タイムコードに対応付けて記録部５４に記録させることが可能となる。

このような動作により、手術中に注目すべきタイミングの画像であって、変化が生じる直前の安定した画像にはインデックスが付されることになるので、インデックスに基づいて、選択画像を設定して、一覧として表示し、選択できるようにすることで、アシスト処理において、アシスト画像の基準となる選択画像を選択し易くすることが可能となる。

＜再生処理＞
次に、図９のフローチャートを参照して、再生装置２２による内視鏡装置２１におけるCCU３１内の記録部５４に記録された画像の再生処理について説明する。尚、以上のアシスト処理、および記録処理については、内視鏡装置２１における内視鏡スコープ１１を使用する際の動作であるが、再生処理については、手術中における処理のみならず、手術後においても可能な動作である。

ステップＳ７１において、再生装置２２は、図示せぬ操作ボタンやリモートコントローラなどにより設定されたタイムコードのカウンタＴＣにより設定される再生開始位置を設定する。

ステップＳ７２において、再生装置２２は、記録部５４にアクセスし、設定されたタイムコードのカウンタＴＣに対応付けて記録されている画像情報が、アシスト画像の表示がオフの状態であって、特徴量差分が小さいか否かを判定する。

すなわち、アシスト画像の表示がオフであるタイミングとは、既に、内視鏡スコープ１１の撮像状態が手術者であるユーザの所望とする画角とされた状態で撮像されているタイミングであると言える。

また、特徴量差分が小さいというタイミングとは、手術中に患部２の画像の状態の変化が小さいタイミングであると言える。

従って、いずれの状態でもあると言うことは、異常なく手術者、スコピスト、またはロボットなどが手術を進めているタイミングであると考えられる。そこで、このような場合、ステップＳ７３において、再生装置２２は、このタイムコードのカウンタＴＣの画像を再生して、表示装置２３に表示させる。

一方、アシスト画像がオンであるタイミングとは、内視鏡スコープ１１の撮像状態が手術者であるユーザの所望とする画角とされていない状態で撮像されているタイミングであると言える。

また、特徴量差分が大きいというタイミングとは、手術中に患部２の画像の状態の変化が大きく、例えば、内視鏡スコープ１１が抜き出されていたり、何らかの変化が発生しているタイミングであると言える。

従って、そのいずれかの状態でもあると言うことは、手術者、スコピスト、またはロボットが手術を進めていないタイミングであると考えられる。そこで、このような場合、ステップＳ７３の処理がスキップされて、このタイムコードＴＣの画像の再生がスキップされる。

ステップＳ７４において、再生装置２２は、再生が終了であるか否かを判定し、終了ではない場合、ステップＳ７５において、タイムコードのカウンタＴＣを１インクリメントし、処理は、ステップＳ７２に戻る。そして、再生が終了されるまで、ステップＳ７２乃至Ｓ７５の処理が繰り返されて、手術が進められているタイミングの画像のみが表示されて、内視鏡スコープ１１が抜き出されているような画像の再生がスキップされる。

そして、ステップＳ７４において、再生の終了が指示されているとみなされた場合、処理は終了する。

すなわち、図１０で示されるような場合、図中のタイムコードに沿って、再生を開始する場合、時刻ｔ０乃至ｔ１においては、アシスト画像がオフであるが、特徴量変化が大きいことから、ブレの大きな画像が撮像されるなど、視聴が困難な不適切な画像が撮像されていない可能性が高いので、再生装置２２は、表示装置２３に表示させない処理とし、時刻ｔ２乃至ｔ３においては、アシスト画像がオフであって、特徴量差分も小さいので、ブレの少ない通常の手術風景が撮像されている可能性が高いので、再生装置２２は、そのようなタイミングの画像を表示装置２３に表示させる。

また、時刻ｔ２乃至ｔ４において、特徴量差分は大きいが、その一部が重なっている時刻ｔ３乃至５においては、アシスト画像がオンにされていることから、時刻ｔ２において内視鏡スコープ１１が抜き出され、時刻ｔ３において、再挿入され、これに伴ってアシスト画像がオンにされていると考えることができる。

さらに、時刻ｔ４以降においては特徴量差分が小さく、さらに、時刻ｔ５において、アシスト画像がオフにされる。すなわち、時刻ｔ４において、アシスト画像により画角設定が完了したので、特徴量差分が小さくなり、時刻ｔ５において、アシスト画像がオフにされたと考えられる。このような場合については、時刻ｔ２乃至ｔ５において、再生装置２２が画像を表示装置２３で表示させず、時刻ｔ５以降において、表示装置２３に表示させる。

さらに、時刻ｔ６以降においても同様であると考えられる。すなわち、時刻ｔ６において、特徴量差分が大きくなったので、内視鏡スコープ１１が抜き出され、その後、再挿入される時刻ｔ７において、アシスト画像がオンにされる。そして、時刻ｔ８において、画角の設定が完了することにより、特徴量差分が小さくなり、時刻ｔ９において、アシスト画像がオフにされている。結果として、この場合、時刻ｔ６乃至ｔ９において、再生装置２２は、表示装置２３へと画像を出力せずにスキップする。そして、時刻ｔ９乃至ｔ１０において、再生装置２２は、再生画像を表示装置２３に出力して表示させる。

尚、図１０においては、上からタイムコード、アシスト画像のオンまたはオフ、並びに、特徴量差分の大小を表している。

以上のような処理により、手術後に、手術の確認をするための再生画像を表示装置２３に表示させるような場合、内視鏡スコープ１１が抜き出されているようなタイミングにおける画像を間引いて表示することが可能となるので、効率よく編集された画像を表示させることが可能となる。

尚、図９のフローチャートにおける再生処理は、タイムコードの変化に対してリアルタイムに再生させる処理について説明したが、上述した処理において、再生装置２２が表示装置２３に対して表示させるタイミングの画像のみを抽出して、予め編集し、編集結果をまとめて再生するようにしても良い。

＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は、以下のような構成も取ることができる。
（１） 体腔に挿入される挿入部の先端における画像を撮像する撮像部が設けられた内視鏡スコープの、前記撮像部により撮像された画像を記録する記録部と、
前記記録部に記録された画像のうち、いずれか選択された選択画像の画角を示す情報と、前記撮像部により現在撮像されている画像である撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
前記アシスト画像を表示する表示部と
を含む内視鏡装置。
（２） 前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像の中心、および角部の位置を示すマークである
（１）に記載の内視鏡装置。
（３） 前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像よりエッジ抽出した画像である
（１）に記載の内視鏡装置。
（４） 前記撮像画像の特徴量を検出する特徴量検出部と、
前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出するマッチング部とをさらに含み、
前記ずれ量が所定値よりも大きい場合、前記アシスト表示制御部は、前記表示部にアシスト画像の表示不可を示す情報を表示させる
（１）乃至（３）のいずれかに記載の内視鏡装置。
（５） 前記マッチング部は、前記撮像画像および選択画像内における鉗子を検出し、
前記アシスト表示制御部は、前記マッチング部により検出された鉗子を非表示にして前記アシスト画像を生成する
（４）に記載の内視鏡装置。
（６） 前記撮像画像の特徴量を検出する特徴量検出部と、
前記特徴量の変化に応じて、前記撮像画像を前記記録部に記録する記録制御部とをさらに含み、
前記記録制御部は、前記撮像画像の時系列で前後する画像間の特徴量の差分である特徴量差分が所定値より大きい場合、前記撮像画像にインデックスを付して前記記録部に記録させる
（１）乃至（５）のいずれかに記載の内視鏡装置。
（７） 前記特徴量は、前記画像を複数ブロックに分割するときの各ブロックにおける輝度値の総和、および隣接画素間差分絶対値和、並びに、中央となるブロックの輝度値の総和、および隣接画素間差分絶対値和を含む
（１）乃至（６）のいずれかに記載の内視鏡装置。
（８） 前記アシスト画像の表示が要求された場合、前記アシスト表示制御部は、前記記録部に記憶されている画像のうち、前記インデックスが付された画像の一覧を表示する
（６）または（７）に記載の内視鏡装置。
（９） 前記アシスト表示制御部は、前記インデックスが付された前記画像の一覧のうち、いずれか選択された画像を、前記選択画像に設定する
（８）に記載の内視鏡装置。
（１０） 前記記録制御部は、前記記録部の記憶容量の残容量が所定値より少ないとき、前記記録部に記録されている画像のうち、古いものから順に削除し、前記撮像画像を前記記録部に記録させる
（６）乃至（９）のいずれかに記載の内視鏡装置。
（１１） 前記記録制御部は、前記撮像画像を記録部に記録する際、前記撮像画像に加えて、前記撮像画像の特徴量、および前記アシスト画像の表示が要求されている状態であるか否かを示す情報をタイムコードに対応付けて記録させる
（６）乃至（１０）のいずれかに記載の内視鏡装置。
（１２） 前記記録部に記録された画像のうち、前記アシスト画像の表示が要求されていないタイミングであって、前後する異なるタイミングの画像間の前記特徴量差分が所定値よりも小さいタイミングの画像を、前記タイムコードに対応して画像を再生する再生部をさらに含む
（１１）に記載の内視鏡装置。
（１３） 体腔に挿入される挿入部の先端における画像を撮像する撮像部が設けられた内視鏡スコープの、前記撮像部により撮像された画像を記録し、
前記記録部に記録された画像のうち、いずれか選択された選択画像の画角を示す情報と、前記撮像部により現在撮像されている画像である撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成し、
前記アシスト画像を表示する
ステップを含む内視鏡装置の動作方法。
（１４） コンピュータを、
体腔に挿入される挿入部の先端における画像を撮像する撮像部が設けられた内視鏡装置の、前記撮像部により撮像された画像を記録する記録部と、
前記記録部に記録された画像のうち、いずれか選択された選択画像の画角を示す情報と、前記撮像部により現在撮像されている画像である撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
前記アシスト画像を表示する表示部と
として機能させるプログラム。

１１ 内視鏡スコープ， ２１ 内視鏡装置， ２２ 再生装置， ２３ 表示装置， ３１ CCU， ３２ 表示部， ３３ 操作部， ５１ カメラ信号処理部， ５２ 特徴量検出部， ５３ 画像記録制御部， ５４ 記録部， ５５ マッチング処理部， ５６ アシスト表示制御部， ７１ ヘッダ部， ７１ａ 撮像素子， ７２ 硬性鏡（鏡筒）， ７２ａ 鏡筒軸， ７３ 光源装置

Claims (13)

1. 体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、
   前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
   前記アシスト画像を表示する表示部と、
   前記撮像画像の特徴量を検出する特徴量検出部を含み、
   前記マッチング処理は、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出し、
   前記ずれ量が所定値よりも大きい場合、前記アシスト表示制御部は、前記表示部に前記アシスト画像の表示不可を示す情報を表示させる
   内視鏡画像処理装置。
2. 前記マッチング処理は、前記撮像画像および前記選択画像内における鉗子を検出し、
   前記アシスト表示制御部は、前記マッチング処理により検出された鉗子を非表示にして前記アシスト画像を生成する
   請求項１に記載の内視鏡画像処理装置。
3. 体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、
   前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
   前記アシスト画像を表示する表示部と、
   前記撮像画像の特徴量を検出する特徴量検出部を含む内視鏡画像処理装置の動作方法であって、
   前記記録部が、体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録し、
   前記アシスト表示制御部が、記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成し、
   前記表示部が、前記アシスト画像を表示し、
   前記特徴量検出部が、前記撮像画像の特徴量を検出するステップを含み、
   前記マッチング処理は、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出し、
   前記アシスト画像を表示するステップでは、前記ずれ量が所定値よりも大きい場合、前記アシスト画像の表示不可を示す情報を表示させる
   内視鏡画像処理装置の作動方法。
4. コンピュータを、
   体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、
   前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
   前記アシスト画像を表示する表示部と、
   前記撮像画像の特徴量を検出する特徴量検出部として機能させ、
   前記マッチング処理は、前記撮像画像と前記選択画像との特徴量差分に基づいたマッチングによりずれ量を検出し、
   前記ずれ量が所定値よりも大きい場合、前記アシスト表示制御部は、前記表示部に前記アシスト画像の表示不可を示す情報を表示させる
   プログラム。
5. 体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、
   前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
   前記アシスト画像を表示する表示部とを含み、
   前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像の中心、および角部の位置を示すマークである
   内視鏡画像処理装置。
6. 体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、
   前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
   前記アシスト画像を表示する表示部とを含み、
   前記選択画像および前記撮像画像のそれぞれの前記画角を示す情報は、前記選択画像および前記撮像画像のそれぞれの画像よりエッジ抽出した画像である
   内視鏡画像処理装置。
7. 体腔に挿入される挿入部を有する内視鏡により撮像された画像を記録する記録部と、
   前記記録部に記録された画像のうち、いずれか選択された選択画像と、現在撮像されている画像である撮像画像とのマッチング処理により、前記選択画像の画角を示す情報と前記撮像画像の画角を示す情報とを合成した画像をアシスト画像として生成するアシスト表示制御部と、
   前記アシスト画像を表示する表示部と、
   前記撮像画像の特徴量を検出する特徴量検出部と、
   前記特徴量の変化に応じて、前記撮像画像を前記記録部に記録する記録制御部とを含み、
   前記記録制御部は、前記撮像画像の時系列で前後する画像間の特徴量の差分である特徴量差分が所定値より大きい場合、前記撮像画像にインデックスを付して前記記録部に記録させる
   内視鏡画像処理装置。
8. 前記特徴量は、前記画像を複数ブロックに分割するときの各ブロックにおける輝度値の総和、および隣接画素間差分絶対値和、並びに、中央となるブロックの輝度値の総和、および隣接画素間差分絶対値和を含む
   請求項７に記載の内視鏡画像処理装置。
9. 前記アシスト画像の表示が要求された場合、前記アシスト表示制御部は、前記記録部に記憶されている画像のうち、前記インデックスが付された画像の一覧を表示する
   請求項７に記載の内視鏡画像処理装置。
10. 前記アシスト表示制御部は、前記インデックスが付された前記画像の一覧のうち、いずれか選択された画像を、前記選択画像に設定する
    請求項９に記載の内視鏡画像処理装置。
11. 前記記録制御部は、前記記録部の記憶容量の残容量が所定値より少ないとき、前記記録部に記録されている画像のうち、古いものから順に削除し、前記撮像画像を前記記録部に記録させる
    請求項７に記載の内視鏡画像処理装置。
12. 前記記録制御部は、前記撮像画像を前記記録部に記録する際、前記撮像画像に加えて、前記撮像画像の特徴量、および前記アシスト画像の表示が要求されている状態であるか否かを示す情報をタイムコードに対応付けて記録させる
    請求項７に記載の内視鏡画像処理装置。
13. 前記記録部に記録された画像のうち、前記アシスト画像の表示が要求されていないタイミングであって、前後する異なるタイミングの画像間の前記特徴量差分が所定値よりも小さいタイミングの画像を、前記タイムコードに対応して画像を再生する再生部をさらに含む
    請求項１２に記載の内視鏡画像処理装置。

Images