JPWO2017203560A1 - 内視鏡画像処理装置 - Google Patents

Abstract

内視鏡画像処理装置は、被検体の観察画像が順次入力され、観察画像から注目領域を検出するための処理を行う検出部と、検出部において注目領域が継続して検出された場合に、注目領域の検出が開始されたタイミングから第１時間経過後に入力される被検体の観察画像に対し、注目領域に対応する位置の強調処理をする強調処理部と、観察画像内における注目領域の位置を示す情報である位置情報、及び、観察画像内における注目領域の大きさを示す情報であるサイズ情報のうちの少なくとも一方に基づいて第１時間を設定する遅延時間制御部と、を有する。

Description

本発明は、内視鏡画像処理装置に関する。

従来、内視鏡装置では、術者が、観察画像を見て病変部の有無等を判断している。術者が観察画像を見る際に病変部の見落としを抑止するため、例えば、日本国特開２０１１−２５５００６号公報に示されるように、画像処理により検出された注目領域にアラート画像を付加して観察画像を表示する内視鏡装置が提案されている。

しかしながら、従来の内視鏡装置では、術者が病変部を発見する前にアラート画像が表示されることがあり、アラート画像によって示されていない領域に対する術者の注意力を低下させ、また、術者の目視による病変部発見意欲を削ぎ、病変部発見能力の向上を妨げる懸念がある。

そこで、本発明は、術者に対し、観察画像に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示する内視鏡画像処理装置を提供することを目的とする。

本発明の一態様の内視鏡画像処理装置は、被検体の観察画像が順次入力され、前記観察画像から注目領域を検出するための処理を行う検出部と、前記検出部において前記注目領域が継続して検出された場合に、前記注目領域の検出が開始されたタイミングから第１時間経過後に入力される前記被検体の前記観察画像に対し、前記注目領域に対応する位置の強調処理をする強調処理部と、前記観察画像内における前記注目領域の位置を示す情報である位置情報、及び、前記観察画像内における前記注目領域の大きさを示す情報であるサイズ情報のうちの少なくとも一方に基づいて前記第１時間を設定する遅延時間制御部と、を有する。

本発明の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの概略構成を示すブロック図である。 本発明の実施形態に係る内視鏡システムの検出支援部の構成を示すブロック図である。 本発明の実施形態に係る内視鏡システムの表示用画像の画面構成の例を説明する説明図である。 本発明の実施形態に係る内視鏡システムにおいて行われる処理の一例を説明するフローチャートである。 本発明の実施形態に係る内視鏡システムにおいて行われる処理の一例を説明するフローチャートである。 図５の処理において利用される観察画像の各部の分類方法の一例を示す模式図である。 本発明の実施形態に係る内視鏡システムにおいて行われる処理に伴う表示用画像の画面遷移の一例を説明するための図である。

以下、図面を参照しながら、本発明の実施の形態を説明する。

図１は、本発明の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの概略構成を示すブロック図である。

内視鏡システム１の概略構成は、光源駆動部１１と、内視鏡２１と、制御部３２と、検出支援部３３と、表示部４１と、入力装置５１と、を有して構成される。光源駆動部１１は、内視鏡２１と、制御部３２とに接続される。内視鏡２１は、制御部３２に接続される。制御部３２は、検出支援部３３に接続される。検出支援部３３は、表示部４１及び入力装置５１に接続される。なお、制御部３２及び検出支援部３３は、別々の装置として構成されていてもよく、または、同一の装置内に設けられていてもよい。

光源駆動部１１は、内視鏡２１の挿入部２２の先端に設けられたＬＥＤ２３を駆動する回路である。光源駆動部１１は、制御部３２と、内視鏡２１のＬＥＤ２３とに接続される。光源駆動部１１は、制御部３２から制御信号が入力され、ＬＥＤ２３に対して駆動信号を出力し、ＬＥＤ２３を駆動して発光させることができるように構成される。

内視鏡２１は、挿入部２２を被検体内に挿入し、被検体内を撮像できるように構成される。内視鏡２１は、ＬＥＤ２３と、撮像素子２４とを有して構成される撮像部を有している。

ＬＥＤ２３は、内視鏡２１の挿入部２２に設けられ、光源駆動部１１の制御下において、被検体に照明光を照射できるように構成される。

撮像素子２４は、内視鏡２１の挿入部２２に設けられ、照明光が照射された被検体の反射光を図示しない観察窓を介して取り込むことができるように配置される。

撮像素子２４は、観察窓から取り込まれた被検体の反射光を、光電変換し、図示しないＡＤ変換器により、アナログの撮像信号からデジタルの撮像信号に変換し、制御部３２に出力する。

制御部３２は、光源駆動部１１に制御信号を送信し、ＬＥＤ２３を駆動可能である。

制御部３２は、内視鏡２１から入力される撮像信号に対し、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整を行い、後述する被検体の観察画像Ｇ１を検出支援部３３に順次出力可能である。

図２は、本発明の実施形態に係る内視鏡システムの検出支援部の構成を示すブロック図である。検出支援部３３は、内視鏡画像処理装置としての機能を具備して構成されている。具体的には、検出支援部３３は、図２に示すように、検出部３４と、判定部である継続検出判定部３５と、検出結果出力部３６と、遅延時間制御部３７と、記憶部３８と、を有して構成されている。

検出部３４は、被検体の観察画像Ｇ１が順次入力され、観察画像Ｇ１についての所定の特徴量に基づいて、観察画像Ｇ１における注目領域である病変候補領域Ｌを検出する回路である。検出部３４は、特徴量算出部３４ａと、病変候補検出部３４ｂとを有して構成される。

特徴量算出部３４ａは、被検体の観察画像Ｇ１についての所定の特徴量を算出する回路である。特徴量算出部３４ａは、制御部３２と、病変候補検出部３４ｂとに接続される。特徴量算出部３４ａは、制御部３２から順次入力される被検体の観察画像Ｇ１から所定の特徴量を算出し、病変候補検出部３４ｂに出力可能である。

所定の特徴量は、観察画像Ｇ１上の所定小領域毎に、所定小領域内の各画素と、当該画素に隣接する画素との変化量、すなわち、傾き値を演算して算出される。なお、特徴量は、隣接画素との傾き値によって算出される方法に限られず、別の方法で観察画像Ｇ１を数値化させたものでも構わない。

病変候補検出部３４ｂは、特徴量の情報から観察画像Ｇ１の病変候補領域Ｌを検出する回路である。病変候補検出部３４ｂは、複数のポリープモデル情報を予め記憶できるように、ＲＯＭ３４ｃを有して構成される。病変候補検出部３４ｂは、検出結果出力部３６と、継続検出判定部３５と、遅延時間制御部３７と、に接続される。

ポリープモデル情報は、多くのポリープ画像が共通して持つ特徴の特徴量によって構成される。

病変候補検出部３４ｂは、特徴量算出部３４ａから入力される所定の特徴量と、複数のポリープモデル情報とに基づいて病変候補領域Ｌを検出し、検出結果出力部３６と、継続検出判定部３５と、遅延時間制御部３７と、に対して病変候補情報を出力する。

より具体的には、病変候補検出部３４ｂは、特徴量検出部から入力される所定小領域毎の所定の特徴量と、ＲＯＭ３４ｃに記憶されるポリープモデル情報の特徴量とを比較し、互いの特徴量が一致するとき、病変候補領域Ｌを検出する。病変候補領域Ｌが検出されると、病変候補検出部３４ｂは、検出結果出力部３６と、継続検出判定部３５と、遅延時間制御部３７と、に対し、検出された病変候補領域Ｌの位置情報及びサイズ情報を含む、病変候補情報を出力する。

なお、病変候補領域Ｌの位置情報は、観察画像Ｇ１内における病変候補領域Ｌの位置を示す情報であり、例えば、観察画像Ｇ１内に存在する病変候補領域Ｌの画素位置として取得される。また、病変候補領域Ｌのサイズ情報は、観察画像Ｇ１内における病変候補領域Ｌの大きさを示す情報であり、例えば、観察画像Ｇ１に存在する病変候補領域Ｌの画素数として取得される。

なお、検出部３４は、観察画像Ｇ１から病変候補領域Ｌを検出するための処理を行う限りにおいては、特徴量算出部３４ａ及び病変候補検出部３４ｂを有して構成されていなくてもよい。具体的には、検出部３４は、例えば、ディープラーニング等の学習手法を用いてポリープ画像を識別可能な機能を予め取得した画像識別器を観察画像Ｇ１に対して適用する処理を行うことにより、当該観察画像Ｇ１から病変候補領域Ｌを検出するように構成されていてもよい。

継続検出判定部３５は、病変候補領域Ｌが継続して検出されているか否かを判定する回路である。継続検出判定部３５は、少なくとも１フレーム前の病変候補情報を記憶できるように、ＲＡＭ３５ａを有して構成される。継続検出判定部３５は、検出結果出力部３６に接続される。

継続検出判定部３５は、例えば、観察画像Ｇ１上において、病変候補領域Ｌの位置が、ずれたとき等であっても当該病変候補領域Ｌを追跡できるように、第１観察画像上の第１病変候補領域と、第１観察画像よりも前に入力された第２観察画像上の第２病変候補領域とが同じ病変候補領域Ｌであるか否かを判定し、順次入力される複数の観察画像Ｇ１上において同じ病変候補領域Ｌが連続的又は断続的に検出されるとき、病変候補領域Ｌの検出が継続していると判定し、判定結果を検出結果出力部３６に出力する。

検出結果出力部３６は、検出結果の出力処理をする回路である。検出結果出力部３６は、強調処理部３６ａと、報知部３６ｂとを有して構成される。検出結果出力部３６は、表示部４１に接続される。検出結果出力部３６は、制御部３２から入力される観察画像Ｇ１と、病変候補検出部３４ｂから入力される病変候補情報と、継続検出判定部３５から入力される判定結果と、遅延時間制御部３７により制御される第１時間（後述）と、に基づいて、強調処理及び報知処理を行うことが可能である。検出結果出力部３６は、表示用画像Ｇを表示部４１に出力する。

図３は、本発明の実施形態に係る内視鏡システムの表示用画像の画面構成の例を説明する説明図である。検出結果出力部３６から出力される表示用画像Ｇ中には、図３に示すように、観察画像Ｇ１が配置される。図３は、観察画像Ｇ１の一例として、病変候補領域Ｌを有する大腸の内壁を表している。

強調処理部３６ａは、病変候補検出部３４ｂにおいて病変候補領域Ｌが継続して検出された場合に、病変候補領域Ｌの検出が開始されたタイミングから第１時間経過後に入力される被検体の観察画像Ｇ１に対し、病変候補領域Ｌに対応する位置の強調処理をする。すなわち、継続検出判定部３５によって継続して検出されていると判定される病変候補領域Ｌが、第１時間継続して検出されるとき、強調処理が開始される。

強調処理は、最長で第２時間行われ、第２時間経過後に終了する。第２時間経過する前に、病変候補領域Ｌが継続検出判定部３５によって継続して検出されている状態が終わった場合には、その時点で強調処理も終了する。

より具体的には、継続検出判定部３５によって継続して検出されていると判定される病変候補領域Ｌが、第１時間経過して強調処理を開始した後、更に第２時間経過した場合には、継続して検出されていても、強調処理は終了する。

第２時間は、術者がマーカ画像Ｇ２から病変候補領域Ｌを十分認識可能な所定時間であり、例えば、１．５秒に予め設定されている。また、第２時間は、フレーム数によって規定される。具体的には、例えば、１秒間のフレーム数が３０である場合には、第２時間が４５フレームとして規定される。

強調処理は、病変候補領域Ｌの位置を示す表示を行う処理である。より具体的には、強調処理は、制御部３２から入力される観察画像Ｇ１に対し、病変候補情報に含まれる、位置情報及びサイズ情報に基づいて、病変候補領域Ｌを囲むマーカ画像Ｇ２を付加する処理である。なお、図３では、一例として、マーカ画像Ｇ２は、四角形で示しているが、例えば、三角形、円形、星形等どのような画像でも構わない。

報知部３６ｂは、観察画像Ｇ１に病変候補領域Ｌが存在することを、強調処理とは異なる報知処理によって術者に報知できるように構成される。報知処理は、強調処理が終了する第２時間経過後から、検出部３４による病変候補領域Ｌの継続検出が終了するまで行われる。

報知処理は、表示用画像Ｇ内における観察画像Ｇ１の外側の領域に報知画像Ｇ３を付加する処理である。図３の２点鎖線では、一例として旗模様の報知画像Ｇ３を示しているが、報知画像Ｇ３は、例えば、三角形、円形、星形等どのような画像でも構わない。

遅延時間制御部３７は、例えば、演算回路等を具備して構成されている。また、遅延時間制御部３７は、少なくとも１フレーム前の病変候補情報を記憶可能なＲＡＭ３７ａを有して構成されている。また、遅延時間制御部３７は、検出結果出力部３６に接続される。

遅延時間制御部３７は、病変候補領域Ｌが検出されてから強調処理が開始されるまでの遅延時間である第１時間の初期値を設定するための制御を検出結果出力部３６に対して行う。また、遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報及びサイズ情報に基づき、０より大きくかつ第２時間よりも小さい範囲内で第１時間を変更するための制御を検出結果出力部３６に対して行うことができるように構成されている。第１時間の初期値は、所定時間であり、例えば、０．５秒に予め設定されている。また、第１時間は、フレーム数によって規定される。具体的には、例えば、１秒間のフレーム数が３０である場合には、第１時間が１５フレームとして規定される。

記憶部３８は、例えば、メモリ等の記憶回路を具備して構成されている。また、記憶部３８は、内視鏡２１による被検体の観察を実際に行う術者の熟練度及び／または経験検査数を示す情報である術者情報が入力装置５１の操作により入力された際に、当該情報を格納するように構成されている。

表示部４１は、モニタによって構成され、検出結果出力部３６から入力される表示用画像Ｇを画面上に表示可能である。

入力装置５１は、例えば、キーボード等のユーザインターフェースを具備し、検出支援部３３に対して種々の情報を入力することができるように構成されている。具体的には、入力装置５１は、例えば、ユーザの操作に応じた術者情報を検出支援部３３に入力することができるように構成されている。

続いて、実施形態に係る内視鏡システム１の検出結果出力部３６及び遅延時間制御部３７において行われる処理の具体例について、図４及び図５を参照しつつ説明する。図４及び図５は、本発明の実施形態に係る内視鏡システムにおいて行われる処理の一例を説明するフローチャートである。

内視鏡２１によって被検体が撮像されると、制御部３２によって画像調整処理がされた後、観察画像Ｇ１が検出支援部３３に入力される。検出支援部３３に観察画像Ｇ１が入力されると、特徴量算出部３４ａは、観察画像Ｇ１の所定の特徴量を算出し、病変候補検出部３４ｂに出力する。病変候補検出部３４ｂは、入力された所定の特徴量と、ポリープモデル情報の特徴量とを比較し、病変候補領域Ｌの検出をする。病変候補領域Ｌの検出結果は、継続検出判定部３５と、検出結果出力部３６と、遅延時間制御部３７と、に出力される。継続検出判定部３５は、病変候補領域Ｌが継続して検出されているか否かを判定し、判定結果を検出結果出力部３６に出力する。

遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補領域Ｌの検出結果に基づき、例えば、病変候補領域Ｌが検出されていない期間において、第１時間の初期値を設定するための制御を検出結果出力部３６に対して行う。検出結果出力部３６は、遅延時間制御部３７の制御に応じて第１時間の初期値を設定する（Ｓ１）。

検出結果出力部３６は、病変候補検出部３４ｂから入力される病変候補領域Ｌの検出結果に基づき、病変候補領域Ｌが検出されたか否かを判定する（Ｓ２）。

検出結果出力部３６は、病変候補領域Ｌが検出されたとの判定結果を得た（Ｓ２：Ｙｅｓ）場合に、病変候補領域Ｌが検出されてからの経過時間の計測を開始するとともに、遅延時間制御部３７の制御に応じて第１時間を再設定する（Ｓ３）。また、検出結果出力部３６は、病変候補領域Ｌが検出されていないとの判定結果を得た（Ｓ２：Ｎｏ）場合に、表示用画像Ｇを表示部４１に出力する処理を行う（Ｓ８）。

ここで、遅延時間制御部３７による第１時間の再設定に係る制御の具体例について、図５及び図６を参照しつつ説明する。図６は、図５の処理において利用される観察画像の各部の分類方法の一例を示す模式図である。

遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報及びＲＡＭ３７ａに格納された病変候補情報に基づき、病変候補領域Ｌの現在の状態を取得するための処理を行う（Ｓ１１）。具体的には、遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報に基づき、病変候補領域Ｌの中心の現在の位置を取得する。また、遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報と、ＲＡＭ３７ａに格納された病変候補情報に含まれる１フレーム前の位置情報と、に基づき、病変候補領域Ｌの中心の現在の移動速度及び移動方向を取得する。また、遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれるサイズ情報に基づき、病変候補領域Ｌの面積を取得する。

遅延時間制御部３７は、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の位置に基づき、病変候補領域Ｌが観察画像Ｇ１の外縁部（図６参照）に存在するか否かを判定する（Ｓ１２）。

遅延時間制御部３７は、病変候補領域Ｌが観察画像Ｇ１の外縁部に存在するとの判定結果を得た（Ｓ１２：Ｙｅｓ）場合に、後述のＳ１４の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌが観察画像Ｇ１の外縁部に存在しないとの判定結果を得た（Ｓ１２：Ｎｏ）場合に、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の位置に基づき、病変候補領域Ｌが観察画像Ｇ１の中心部（図６参照）に存在するか否かを判定する（Ｓ１３）。

遅延時間制御部３７は、病変候補領域Ｌが観察画像Ｇ１の中心部に存在するとの判定結果を得た（Ｓ１３：Ｙｅｓ）場合に、後述のＳ１６の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌが観察画像Ｇ１の中心部に存在しないとの判定結果を得た（Ｓ１３：Ｎｏ）場合に、後述のＳ１９の処理を行う。

すなわち、Ｓ１２及びＳ１３の処理によれば、病変候補領域Ｌが観察画像Ｇ１の外縁部及び中心部のいずれにも存在しない場合（Ｓ１２：ＮｏかつＳ１３：Ｎｏの場合）には、病変候補領域Ｌが観察画像Ｇ１の中間部（図６参照）に存在するものと推定して以降の処理が行われる。

遅延時間制御部３７は、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の移動速度及び移動方向に基づき、病変候補領域Ｌが０．１秒後に観察画像Ｇ１外へ移動するか否かを判定する（Ｓ１４）。

遅延時間制御部３７は、病変候補領域Ｌが０．１秒後に観察画像Ｇ１外へ移動するとの判定結果を得た（Ｓ１４：Ｙｅｓ）場合に、後述のＳ１５の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌが０．１秒後に観察画像Ｇ１外へ移動しないとの判定結果を得た（Ｓ１４：Ｎｏ）場合に、前述のＳ１３の処理を行う。

遅延時間制御部３７は、病変候補領域Ｌの検出が開始されたタイミングから経過した現在の経過時間を第１時間として再設定する制御を検出結果出力部３６に対して行う（Ｓ１５）。

遅延時間制御部３７は、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の移動速度に基づき、病変候補領域Ｌの移動速度が遅いか否かを判定する（Ｓ１６）。具体的には、遅延時間制御部３７は、例えば、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の移動速度が毎秒５０ピクセル以下である場合に、病変候補領域Ｌの移動速度が遅いとの判定結果を得る。また、遅延時間制御部３７は、例えば、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の移動速度が毎秒５０ピクセルを超える場合に、病変候補領域Ｌの移動速度が速いとの判定結果を得る。

遅延時間制御部３７は、病変候補領域Ｌの移動速度が遅いとの判定結果を得た（Ｓ１６：Ｙｅｓ）場合に、後述のＳ１７の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌの移動速度が速いとの判定結果を得た（Ｓ１６：Ｎｏ）場合に、後述のＳ２０の処理を行う。

遅延時間制御部３７は、Ｓ１１の処理により取得した病変候補領域Ｌの面積に基づき、病変候補領域Ｌの面積が大きいか否かを判定する（Ｓ１７）。具体的には、遅延時間制御部３７は、例えば、Ｓ１１の処理により取得した病変候補領域Ｌの面積（画素数）が観察画像Ｇ１の総面積（全画素数）の５％以上である場合に、病変候補領域Ｌの面積が大きいとの判定結果を得る。また、遅延時間制御部３７は、例えば、Ｓ１１の処理により取得した病変候補領域Ｌの面積（画素数）が観察画像Ｇ１の総面積（全画素数）の５％未満である場合に、病変候補領域Ｌの面積が小さいとの判定結果を得る。

遅延時間制御部３７は、病変候補領域Ｌの面積が大きいとの判定結果を得た（Ｓ１７：Ｙｅｓ）場合に、後述のＳ１８の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌの面積が小さいとの判定結果を得た（Ｓ１７：Ｎｏ）場合に、後述のＳ２０の処理を行う。

遅延時間制御部３７は、第１時間を初期値よりも短い時間に再設定する制御、すなわち、第１時間を初期値より短縮させる制御を検出結果出力部３６に対して行う（Ｓ１８）。

遅延時間制御部３７は、Ｓ１１の処理により取得した病変候補領域Ｌの中心の現在の移動速度に基づき、病変候補領域Ｌの移動速度が遅いか否かを判定する（Ｓ１９）。具体的には、遅延時間制御部３７は、例えば、Ｓ１６の処理と同様の処理を行うことにより、病変候補領域Ｌの移動速度が遅いとの判定結果、または、病変候補領域Ｌの移動速度が速いとの判定結果のいずれかを得る。

遅延時間制御部３７は、病変候補領域Ｌの移動速度が遅いとの判定結果を得た（Ｓ１９：Ｙｅｓ）場合に、後述のＳ２０の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌの移動速度が速いとの判定結果を得た（Ｓ１９：Ｎｏ）場合に、後述のＳ２１の処理を行う。

遅延時間制御部３７は、第１時間を初期値と同じ時間に再設定する制御、すなわち、第１時間を初期値に維持させる制御を検出結果出力部３６に対して行う（Ｓ２０）。

遅延時間制御部３７は、Ｓ１１の処理により取得した病変候補領域Ｌの面積に基づき、病変候補領域Ｌの面積が大きいか否かを判定する（Ｓ２１）。具体的には、遅延時間制御部３７は、例えば、Ｓ１７の処理と同様の処理を行うことにより、病変候補領域Ｌの面積が大きいとの判定結果、または、病変候補領域Ｌの面積が小さいとの判定結果との判定結果のいずれかを得る。

遅延時間制御部３７は、病変候補領域Ｌの面積が大きいとの判定結果を得た（Ｓ２１：Ｙｅｓ）場合に、前述のＳ２０の処理を行う。また、遅延時間制御部３７は、病変候補領域Ｌの面積が小さいとの判定結果を得た（Ｓ２１：Ｎｏ）場合に、後述のＳ２２の処理を行う。

遅延時間制御部３７は、第１時間を初期値よりも長い時間に再設定する制御、すなわち、第１時間を初期値より延長させる制御を検出結果出力部３６に対して行う（Ｓ２２）。

そして、以上に述べたようなＳ１１〜Ｓ１３及びＳ１６〜Ｓ２２の処理によれば、遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報及びサイズ情報に基づき、観察画像Ｇ１内における病変候補領域Ｌの視認容易性が高いか否かを判定して判定結果を得るとともに、当該得られた判定結果を用い、観察画像Ｇ１内における病変候補領域Ｌの視認容易性が高い場合に、第１時間を初期値よりも短い時間に再設定する一方で、観察画像Ｇ１内における病変候補領域Ｌの視認容易性が低い場合に、当該第１時間を当該初期値よりも長い時間に再設定するようにしている。また、以上に述べたＳ１１、Ｓ１２、Ｓ１４及びＳ１５の処理によれば、遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報に基づき、観察画像Ｇ１内からの病変候補領域Ｌの消失可能性が高いか否かを判定して判定結果を得るとともに、当該得られた判定結果を用い、観察画像Ｇ１内からの病変候補領域Ｌの消失可能性が高い場合に、病変候補領域Ｌの検出が開始されたタイミングから経過した現在の経過時間において強調処理を即座に開始させるようにしている。

なお、本実施形態の遅延時間制御部３７は、例えば、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報及びサイズ情報と、記憶部３８に格納された術者情報に含まれる術者の熟練度及び／または経験検査数と、に基づき、観察画像Ｇ１内における病変候補領域Ｌの視認容易性が高いか否かを判定して判定結果を得るようにしてもよい（図２の一点鎖線）。そして、このような構成において、遅延時間制御部３７は、例えば、記憶部３８に格納された術者情報に含まれる術者の熟練度が高い場合、及び／または、記憶部３８に格納された術者情報に含まれる術者の経験検査数が多い場合に、第１時間を初期値から短縮する（または初期値に維持する）ようにしてもよい。

また、本実施形態の遅延時間制御部３７は、例えば、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報及びサイズ情報と、制御部３２から入力される観察画像Ｇ１に含まれる病変候補領域Ｌの明瞭性を示す所定のパラメータと、に基づき、観察画像Ｇ１内における病変候補領域Ｌの視認容易性が高いか否かを判定して判定結果を得るようにしてもよい（図２の二点鎖線）。そして、このような構成において、遅延時間制御部３７は、例えば、制御部３２から入力される観察画像Ｇ１のコントラスト、彩度、明度、及び／または、シャープネスが高い場合に、第１時間を初期値から短縮する（または初期値に維持する）ようにしてもよい。

また、本実施形態の遅延時間制御部３７は、病変候補検出部３４ｂから入力される病変候補情報に含まれる位置情報及びサイズ情報の両方に基づいて第１時間を再設定するものに限らず、例えば、当該位置情報または当該サイズ情報のいずれか一方に基づいて第１時間を再設定するものであってもよい。

また、本実施形態の遅延時間制御部３７は、観察画像Ｇ１内における病変候補領域Ｌの視認容易性が高いか否かを判定して得られる判定結果、及び、観察画像Ｇ１内からの病変候補領域Ｌの消失可能性が高いか否かを判定して得られる判定結果の両方を用いて第１時間を再設定するものに限らず、例えば、これらの判定結果のうちの一方を用いて第１時間を再設定するものであってもよい。

検出結果出力部３６は、病変候補領域Ｌが検出されてからの経過時間がＳ３の処理により再設定された第１時間に達したか否かを判定する（Ｓ４）。

検出結果出力部３６は、病変候補領域Ｌが検出されてからの経過時間がＳ３の処理により再設定された第１時間に達した（Ｓ４：Ｙｅｓ）場合に、観察画像Ｇ１に対してマーカ画像Ｇ２を付加する強調処理を開始する（Ｓ５）。また、検出結果出力部３６は、病変候補領域Ｌが検出されてからの経過時間がＳ３の処理により再設定された第１時間に達していない（Ｓ４：Ｎｏ）場合に、表示用画像Ｇを表示部４１に出力する処理を行う（Ｓ８）。

検出結果出力部３６は、Ｓ５の処理を行ってからの経過時間が第２時間に達したか否かを判定する（Ｓ６）。

検出結果出力部３６は、Ｓ５の処理を行ってからの経過時間が第２時間に達した（Ｓ６：Ｙｅｓ）場合に、観察画像Ｇ１からマーカ画像Ｇ２を除くことにより強調処理を終了するとともに、表示用画像Ｇ内における観察画像Ｇ１の外側の領域に報知画像Ｇ３を付加する報知処理を開始する（Ｓ７）。また、検出結果出力部３６は、Ｓ５の処理を行ってからの経過時間が第２時間に達していない（Ｓ６：Ｎｏ）場合に、表示用画像Ｇを表示部４１に出力する処理を行う（Ｓ８）。すなわち、検出結果出力部３６は、Ｓ３の処理により再設定された第１時間が経過してから更に第２時間が経過した際に、強調処理を終了する。

なお、本実施形態では、説明のため観察画面に表示される病変候補領域Ｌは１つであるが、観察画面には複数の病変候補領域Ｌが表示される場合もある。その場合、強調処理は、各病変候補領域Ｌに対して行われ、各病変候補領域Ｌの検出から第１時間経過後に入力される観察画像Ｇ１に対して各病変候補領域Ｌの強調処理が施される。

そして、以上に述べたようなＳ１〜Ｓ８及びＳ１１〜Ｓ２２の処理が繰り返し行われることにより、例えば、表示用画像Ｇの表示状態が図７に示すように遷移する。図７は、本発明の実施形態に係る内視鏡システムにおいて行われる処理に伴う表示用画像の画面遷移の一例を説明するための図である。

まず、病変候補領域Ｌが最初に検出された後、第１時間が経過するまでは、マーカ画像Ｇ２は表示されない。続いて、病変候補領域Ｌが、第１時間継続して検出されるとき、強調処理部３６ａによって強調処理が開始され、表示用画像Ｇでは、マーカ画像Ｇ２が表示される。続いて、病変候補領域Ｌが、第２時間経過しても継続して検出されるとき、強調処理が終了されるとともに、報知部３６ｂによって報知処理が開始され、表示用画像Ｇでは、マーカ画像Ｇ２が非表示にされるとともに報知画像Ｇ３が表示される。続いて、病変候補領域Ｌが検出されなくなると、報知処理が終了され、報知画像Ｇ３が非表示になる。

以上に述べたように、本実施形態によれば、例えば、複数の病変候補領域Ｌが観察画像Ｇ１内に存在する場合、及び、観察画像Ｇ１外へ移動する可能性の高い病変候補領域Ｌが観察画像Ｇ１内に存在する場合に、第１時間が初期値から短縮されるため、術者の目視による病変部の見落としを極力防ぐことができる。また、以上に述べたように、本実施形態によれば、例えば、サイズが小さくかつ移動速度の速い病変候補領域Ｌが観察画像Ｇ１の外縁部に存在する場合に、第１時間が初期値から延長されるため、術者の目視による病変部の見落としを極力防ぐことができる。すなわち、本実施形態によれば、術者に対し、観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。

なお、本実施形態では、制御部３２は、内視鏡２１から入力される撮像信号に対し、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整を行い、画像調整後の観察画像Ｇ１を検出支援部３３に入力させるが、画像調整の一部又は全部は、検出支援部３３に入力される前ではなく、検出支援部３３から出力される画像信号に対して行われても構わない。

また、本実施形態では、強調処理部３６ａは、マーカ画像Ｇ２を病変候補領域Ｌに付加させるが、マーカ画像Ｇ２は、検出された病変候補領域Ｌの確からしさにより、色分けして表示されても構わない。この場合、病変候補検出部３４ｂは、病変候補領域Ｌの確からしさ情報を含む病変候補情報を強調処理部３６ａに出力し、強調処理部３６ａは、病変候補領域Ｌの確からしさ情報に基づいた色分けによって強調処理をする。この構成によれば、術者が、病変候補領域Ｌを観察する際、マーカ画像Ｇ２の色によってフォールスポジティブ（誤検出）の可能性の大小を推測可能である。

また、本実施形態では、検出支援部３３は、回路により構成されるが、検出支援部３３の各機能は、ＣＰＵの処理によって機能が実現する処理プログラムによって構成されても構わない。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (9)

1. 被検体の観察画像が順次入力され、前記観察画像から注目領域を検出するための処理を行う検出部と、
   前記検出部において前記注目領域が継続して検出された場合に、前記注目領域の検出が開始されたタイミングから第１時間経過後に入力される前記被検体の前記観察画像に対し、前記注目領域に対応する位置の強調処理をする強調処理部と、
   前記観察画像内における前記注目領域の位置を示す情報である位置情報、及び、前記観察画像内における前記注目領域の大きさを示す情報であるサイズ情報のうちの少なくとも一方に基づいて前記第１時間を設定する遅延時間制御部と、
   を有することを特徴とする内視鏡画像処理装置。
2. 前記遅延時間制御部は、前記位置情報及び前記サイズ情報のうちの少なくとも一つに基づいて前記観察画像内における前記注目領域の視認容易性が高いか否かを判定した判定結果、及び、前記位置情報に基づいて前記観察画像内からの前記注目領域の消失可能性が高いか否かを判定した判定結果のうちの少なくとも一方を用いて前記第１時間を設定する
   ことを特徴とする請求項１に記載の内視鏡画像処理装置。
3. 前記遅延時間制御部は、前記位置情報から取得される前記注目領域の位置及び移動速度と、前記サイズ情報から取得される前記注目領域の面積が前記観察画像の総面積に占める割合と、に基づき、前記観察画像内における前記注目領域の視認容易性が高いか否かを判定する
   ことを特徴とする請求項２に記載の内視鏡画像処理装置。
4. 前記遅延時間制御部は、さらに、前記被検体の観察を実際に行う術者の熟練度及び／または経験検査数に基づき、前記観察画像内における前記注目領域の視認容易性が高いか否かを判定する
   ことを特徴とする請求項３に記載の内視鏡画像処理装置。
5. 前記遅延時間制御部は、さらに、前記注目領域の明瞭性を示す所定のパラメータに基づき、前記観察画像内における前記注目領域の視認容易性が高いか否かを判定する
   ことを特徴とする請求項３に記載の内視鏡画像処理装置。
6. 前記遅延時間制御部は、前記観察画像内における前記注目領域の視認容易性が高い場合に、前記第１時間を所定時間よりも短い時間に設定する一方で、前記観察画像内における前記注目領域の視認容易性が高い場合に、前記第１時間を前記所定時間よりも長い時間に設定する
   ことを特徴とする請求項３に記載の内視鏡画像処理装置。
7. 前記遅延時間制御部は、前記位置情報から取得される前記注目領域の位置、前記注目領域の移動速度、及び、前記注目領域の移動方向に基づき、前記観察画像内からの前記注目領域の消失可能性が高いか否かを判定する
   ことを特徴とする請求項２に記載の内視鏡画像処理装置。
8. 前記遅延時間制御部は、前記観察画像内における前記注目領域の消失可能性が高い場合に、前記注目領域の検出が開始されたタイミングから経過した現在の経過時間を前記第１時間に設定する
   ことを特徴とする請求項７に記載の内視鏡画像処理装置。
9. 前記強調処理部は、前記第１時間が経過してから更に第２時間が経過した際に、前記強調処理を終了する
   ことを特徴とする請求項１乃至８のいずれか一項に記載の内視鏡画像処理装置。

Images