JPWO2020039929A1 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents

Abstract

注目領域の検出に基づく表示が医用画像の観察の妨げとなることがなく、注目領域の見落としを防止することが可能な医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供する。プロセッサ装置１６は、画像信号取得部５０と、画像処理部５６と、表示制御部５８とを備えている。画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。画像処理部５６は、注目領域検出モード画像処理部６４を備えている。注目領域検出モード画像処理部６４は、内視鏡１２の撮像で取得した内視鏡画像に対して注目領域の検出を行い、注目領域の検出開始からの経過時間を出力する。表示制御部５８は、内視鏡画像を順次取得してリアルタイム表示させるとともに、内視鏡画像表示の外側に、注目領域の検出時間を示す検出時間マーカを表示させる。

Description

本発明は、病変部などの注目領域を検出するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。

医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

近年、医用画像を用いた画像診断においては、医用画像を医用画像処理装置によって解析して臓器内の病変や良性腫瘍など注意して観察すべき注目領域を自動的に検出することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、注目領域を検出する精度が飛躍的に向上している。

特許文献１には、医用画像から病変部などの注目領域を検出した場合、検出情報に基づいて画像処理を行う医用画像処理装置が記載されている。この特許文献１記載の医用画像処理装置では、注目領域が検出された場合、表示態様を変更する経過時間を設定し、この設定された経過時間が経過するまでの間、注目領域に対するアラート情報が付加または重畳などされた表示画像が生成されて、表示部に表示される。

特開２０１１−１６０８４８号公報

しかしながら、上記特許文献１記載の医用画像処理装置では、アラート情報を表示する時間を短く設定した場合、アラート情報に気付かずに注目領域を見落としてしまうことがある。一方、アラート情報を表示する時間を長く設定した場合、医用画像内に注目領域が存在しなくなっても、一定の時間が経過するまでは、アラート情報を表示し続けることになるため、医師が観察を行う際、医用画像内に既に存在しない注目領域を探してしまうという事態が起こり、アラート情報が医師による観察の妨げになる可能性がある。

本発明は、注目領域の検出に基づく表示が医用画像の観察の妨げとなることがなく、注目領域の見落としを防止することが可能な医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供することを目的とする。

本発明の医用画像処理装置は、医用画像取得部と、注目領域検出部と、表示制御部とを有する。医用画像取得部は、観察対象を撮像部で撮像して医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。表示制御部は、医用画像取得部により医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する。

表示制御部は、検出時間表示部に、経過時間に応じたタイムバーを表示し、タイムバー上に検出時間マーカを表示することが好ましい。

表示制御部は、経過時間の増加とともに、検出時間表示部内においてタイムバーを変動させることが好ましい。

表示制御部は、経過時間の増加とともに、検出時間表示部内の一端側から他端側へ向かってタイムバーの長さを伸ばすことが好ましい。

表示制御部は、経過時間の増加とともに、タイムバーの長さが、所定の長さに到達するまで伸びた場合、検出時間表示部内においてタイムバーをスクロールさせることが好ましい。

タイムバーは長尺の帯状、または円弧状であることが好ましい。

表示制御部は、タイムバーのいずれかの位置に入力を行った場合、タイムバー上の過去の経過時間に対応する過去の医用画像を表示することが好ましい。

表示制御部は、検出時間マーカの位置に入力を行った場合、入力を行った検出時間マーカに関連した過去の画像を表示することが好ましい。

表示制御部は、検出時間マーカの位置に入力を行った場合、入力を行った検出時間マーカに関連した複数の過去の画像からなる動画を表示することが好ましい。

表示制御部は、検出時間表示部に、医用画像の取得開始からの経過時間を一方の軸の値とし、注目領域の検出に関する指標を他方の軸の値とする検出グラフを表示することが好ましい。

指標は、医用画像から算出され、注目領域であることの確からしさを示す信頼度であることが好ましい。

注目領域検出部は、医用画像からニューラルネットワーク、深層学習、アダブースト、またはランダムフォレストにより注目領域を検出することが好ましい。

注目領域は病変部であることが好ましい。

本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、注目領域検出部と、表示制御部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。表示制御部は、医用画像取得部により医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する。表示部は、医用画像及び検出時間マーカを表示する。

本発明の医療用画像処理装置の作動方法は、医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、注目領域検出部が、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出するステップと、表示制御部が、医用画像取得部により医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示するステップとを含んでいる。

本発明によれば、注目領域の検出に基づく表示が医用画像の観察を妨げとなることがなく、注目領域の見落としを防止することができる。

内視鏡システムの外観図である。 複数のLED光源を備える第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 表示制御部が検出時間マーカを表示させる前（Ａ）、及び検出時間マーカを表示させた後（Ｂ）の表示画面の一例を示す説明図である。 注目領域検出モードの一連の流れを示すフローチャートである。 第２実施形態における表示制御部が検出時間マーカを表示させる前（Ａ）、及び検出時間マーカを表示させた後（Ｂ）の表示画面の一例を示す説明図である。 第３実施形態における表示制御部が検出グラフを表示させた場合、注目領域が検出される前（Ａ）、及び注目領域が検出された後（Ｂ）の表示画面の一例を示す説明図である。 第３実施形態の第１変形例を示す表示画面の説明図である。 第３実施形態の第２変形例を示す表示画面の説明図である。 第３実施形態の第３変形例を示す表示画面の説明図である。 第４実施形態におけるタイムバーが検出時間表示部の右端に到達した場合（Ａ）、及びタイムバーが検出時間表示部の範囲内でスクロールした場合（Ｂ）の表示画面の一例を示す説明図である。 第５実施形態の変形例におけるタイムバーが検出時間表示部の右端に到達した場合（Ａ）、及びタイムバー全体が縮小した場合（Ｂ）の表示画面の一例を示す説明図である。 第５実施形態におけるタイムバーを円弧状に表示させた場合の表示画面の一例を示す説明図である。 第６実施形態における注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 第６実施形態におけるサムネイル画像を表示させる前（Ａ）及びサムネイル画像を表示させた後（Ｂ）の表示画面の一例を示す説明図である。 第６実施形態の変形例を示す表示画面の説明図である。

［第１実施形態］

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

先端部１２ｄは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示無し）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。

また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。

内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、注目領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光する。

また、観察モードが注目領域検出モードである場合、注目領域検出モード用照明光を発光する。本実施形態では、注目領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、注目領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。

図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

第１実施形態では、光源部２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ−ＬＥＤ２０ａは、波長帯域３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発する。

Ｂ−ＬＥＤ２０ｂは、波長帯域４２０ｎｍ〜５００ｎｍの青色光Ｂを発する。Ｂ−ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０〜４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。

Ｇ−ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ−ＬＥＤ２０ｄは、波長帯域が６００ｎｍ〜６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ〜２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。

光源制御部２２は、各ＬＥＤ２０ａ〜２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。

通常モード又は注目領域検出モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Bxの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域検出モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は注目領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。

特殊モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Bx、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ〜２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。

図２に示すように、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ〜φ０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８（本発明の「撮像部」に対応する）とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。

拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。

撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。

通常モード又は注目領域検出モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。

撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４０は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。

図２に示すように、プロセッサ装置１６は、画像信号取得部５０（本発明の「医用画像取得部」に対応する）と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８とを備えている。

画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。通常モード又は注目領域検出モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。注目領域検出モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。

ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。

リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。

画像処理部５６は、通常モード画像処理部６０と、特殊モード画像処理部６２と、注目領域検出モード画像処理部６４を備えている。通常モード画像処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。

色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５８に入力される。

特殊モード画像処理部６２は、特殊モードに設定されている場合に作動する。特殊モード画像処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５８に入力される。

注目領域検出モード画像処理部６４は、注目領域検出モード時に設定されている場合に作動する。図６に示すように、注目領域検出モード画像処理部６４は、検出用画像処理部７０と、注目領域検出部７１と、時間計測部７２とを有している。検出用画像処理部７０は、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部６０と同様の画像処理により内視鏡画像を順次取得する。

注目領域検出部７１は、内視鏡画像を画像解析し、観察対象内の注目領域を検出するための注目領域検出処理を行う。本実施形態では、注目領域検出部７１は、注目領域として観察対象内の病変部（例えば、腫瘍や炎症など）を検出する。この場合、注目領域検出部７１は、先ず内視鏡画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）、アダブースト（Adaboost）、ランダムフォレスト（random forest）などの機械学習アルゴリズムであることが好ましい。

また、注目領域検出部７１により内視鏡画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。

最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出する。注目領域検出部７１は、抽出した病変部の位置、大きさ、病変の種類などの情報を検出情報として内視鏡画像に関連付ける。

一方、時間計測部７２は、画像信号取得部５０により内視鏡画像の取得を開始してからの経過時間を計測する。時間計測部７２は、例えば、カウンタを用いて内視鏡画像の取得を開始してからの経過時間を計測する。カウンタの初期値は０であり、内視鏡画像の取得開始を基点に所定周期のクロック信号が入力される毎にカウンタ値を１つ進める（カウンタ値＋１）。このカウンタ値を１つ進めることは、すなわちカウンタの１周期毎の経過時間を計測していることになる。

この場合、注目領域検出モード画像処理部６４は、検出情報を関連付けた内視鏡画像７５と、内視鏡画像７５の取得開始からの経過時間Ｔ（カウンタ値）とを表示制御部５８に出力する。内視鏡画像７５の取得開始の際は、時間計測部７２は、経過時間Ｔとして初期値Ｔ０（カウンタ値が０）を出力する。そして、内視鏡画像７５が出力されている間、時間計測部７２は、経過時間Ｔを表示制御部５８に出力し続ける。

表示制御部５８は、画像処理部５６からの画像やデータをモニタ１８に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５８は、通常画像をモニタ１８に表示する制御を行う。特殊モードに設定されている場合には、表示制御部５８は、特殊画像をモニタ１８に表示する制御を行う。

注目領域検出モードに設定されている場合には、表示制御部５８は、注目領域検出モード画像処理部６４から順次取得した内視鏡画像をリアルタイム表示するとともに、内視鏡画像から注目領域が検出された検出時間を、検出時間マーカとしてモニタ１８に表示する制御を行う。

検出時間マーカをモニタ１８に表示する場合、表示制御部５８は、先ず、上述した時間計測部７２から出力された経過時間Ｔに応じた長さのタイムバーを表示する。そして、表示制御部５８は、検出情報が付加された内視鏡画像７５を取得した際に、時間計測部７２から出力された経過時間Ｔに対応する位置に、注目領域が検出された検出時間としてタイムバー上の位置に検出時間マーカを表示する。

図７（Ａ）に示すように、注目領域検出モードに設定されている場合、表示制御部５８は、撮像センサ３８が撮像し、注目領域検出モード画像処理部６４により画像処理した内視鏡画像７５（通常画像と同様の画像）を順次取得してモニタ１８の表示画面７６にリアルタイム表示するとともに、時間計測部７２から出力された経過時間Ｔに応じた長さのタイムバー７７を表示する。

内視鏡画像７５は、表示画面７６内の医用画像表示部７６Ａに表示され、タイムバー７７は、医用画像表示部７６Ａの外側に位置する検出時間表示部７６Ｂ（２点鎖線で示す範囲）に表示される。医用画像表示部７６Ａは、撮像センサ３８で撮像される撮像範囲に合わせて円形の一部が切り欠かれた形状に形成されており、検出時間表示部７６Ｂは、医用画像表示部７６Ａの下方に位置する。なお、検出時間表示部７６Ｂを示す２点鎖線は仮想的な線であり、実際には表示しなくてもよい。

タイムバー７７は、表示画面７６のＸ軸方向（左右方向）に伸びる長尺の帯状である。なお、本実施形態では、タイムバー７７は、経過時間Ｔの初期値Ｔ０が検出時間表示部７６Ｂの左端付近に配され、経過時間Ｔの増加とともに、検出時間表示部７６Ｂの左端側から右端側に向かって徐々に長さが伸びる。なお、この図７（Ａ）に示す状態は、内視鏡画像７５のリアルタイム表示を開始した後であり、且つ観察対象内の注目領域がまだ検出されていない状態である。このため、タイムバー７７上には、注目領域の検出時間を示す検出時間マーカはまだ表示されていない。

図７（Ａ）に示す状態の後、観察対象内に注目領域としての病変部７８が検出された場合、図７（Ｂ）に示すように、タイムバー７７上に検出時間マーカ７９Ａ，７９Ｂを付加する。検出時間マーカ７９Ａ，７９Ｂは、下向きの三角形状であり、表示制御部５８が検出情報を関連付けた内視鏡画像７５を取得した際に、時間計測部７２から出力された経過時間Ｔに対応する位置に付加されている。

図７（Ｂ）に示す状態では、図７（Ａ）に示す状態よりも経過時間Ｔに応じたタイムバー７７の長さが増加している。そして、タイムバー７７上の経過時間Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５に応じた位置に検出時間マーカ７９Ａ，７９Ｂが表示されている。なお、図７（Ｂ）においては、作図の都合上、検出時間マーカ７９Ａ、７９Ｂの色の違いを、検出時間マーカ８１に施したハッチングの有無で表現している。また、検出時間マーカ７９Ａ，７９Ｂの形状は、下向きの三角形に限らず、三角形以外の多角形や矢印など、タイムバー７７上において病変部７８が検出された時間を示すことが可能な形状であればよい。

検出時間マーカ７９Ａ（ハッチングあり）は、病変部７８の検出が開始された経過時間Ｔ１、Ｔ３、Ｔ５に応じた位置を示し、検出時間マーカ７９Ｂ（ハッチングなし）は、病変部７８の検出が終了した経過時間Ｔ２、Ｔ４に応じた位置を示している。なお、これに限らず、病変部７８が検出された全ての時間について検出時間マーカを付加してもよい。

次に、注目領域検出モードの一連の流れについて、図８に示すフローチャートに沿って説明を行う。ユーザーである医師がモード切替部１３ｃを操作して、注目領域検出モードに切り替える（Ｓ１１）。これにより、体腔内の観察対象に対して、注目領域検出モード用照明光が照明される。この注目領域検出モード用照明光で照明された観察対象を撮像センサ３８で撮像して内視鏡画像７５を取得する。注目領域検出モードに切り替えた場合、表示制御部５８は、内視鏡画像７５をモニタ１８の表示画面７６にリアルタイム表示するとともに、タイムバー７７を表示する（Ｓ１２）。タイムバー７７は、経過時間Ｔに応じて長さが増加する。

注目領域検出モードにおけるリアルタイム表示中に、注目領域検出部７１は、取得した内視鏡画像７５に対して観察対象内の注目領域を検出するための注目領域検出処理を行う（Ｓ１３）。注目領域としての病変部７８を検出した場合（Ｓ１４でＹ）、検出情報を内視鏡画像７５に関連付けて出力する。

そして、表示制御部５８は、内視鏡画像７５に関連付けた検出情報および経過時間Ｔに基づき、タイムバー７７上に、病変部７８の検出開始を示す検出時間マーカ７９Ａを表示させる（Ｓ１５）。表示制御部５８は、検出情報および経過時間Ｔを監視し、内視鏡画像７５に関連付けた検出情報がなくなった場合、すなわち、注目領域の検出がなくなった場合（Ｓ１６でＹ）、病変部７８の検出終了を示す検出時間マーカ７９Ｂを表示させる（Ｓ１７）。以降は、注目領域検出モードが終了するまで（Ｓ１８でＮ）、注目領域検出処理を行い（Ｓ１３）、注目領域を検出した場合（Ｓ１４でＹ）、検出時間マーカ７９Ａ，７９Ｂの表示を行う（Ｓ１５〜Ｓ１７）。

以上のように、注目領域が検出された場合、内視鏡画像７５の外側に位置するタイムバー７７上に検出時間マーカ７９Ａ、７９Ｂを表示させているので、ユーザーである医師は、検出時間マーカ７９Ａ、７９Ｂに気を取られず、内視鏡画像７５内に視線を集中し続けることができるため、注目領域の見落としを防ぐことができる．また、注目領域の検出が終了した場合、内視鏡画像７５内には、注目領域の検出結果を表示するものが存在しないので、医師による観察の妨げとなることがない。

［第２実施形態］

上記第１実施形態では、タイムバー上に検出時間マーカを付加して、注目領域を検出した検出時間を表示しているが、これに限らず、注目領域を検出した場合、検出時間マーカとしてタイムバーの色を変えて表示してもよい。この場合、図９（Ａ）及び図９（Ｂ）に示すように、タイムバー８０は、上記第１実施形態と同様に、検出時間表示部７６Ｂに表示されている。また、上記第１実施形態と同様に、タイムバー８０は、経過時間Ｔの初期値Ｔ０が検出時間表示部７６Ｂの左端付近に配され、経過時間Ｔの増加とともに、検出時間表示部７６Ｂの左端側から右端側に向かって徐々に長さが伸びる。図９（Ａ）に示す状態は、内視鏡画像７５のリアルタイム表示を開始した後であり、且つ観察対象内の注目領域がまだ検出されていない状態である。このため、タイムバー８０上には、注目領域の検出時間を示す検出時間マーカはまだ表示されていない。

図９（Ａ）に示す状態の後、観察対象内に注目領域としての病変部７８が検出された場合、図９（Ｂ）に示すように、タイムバー８０上に検出時間マーカ８１を表示する。検出時間マーカ８１は、検出情報を関連付けた内視鏡画像７５を取得した際に、時間計測部７２から出力された経過時間Ｔに対応する位置に表示されている。なお、この図９（Ｂ）に示す状態では、図９（Ａ）に示す状態よりも経過時間Ｔに応じたタイムバー８０の長さが増加している。そして、タイムバー８０上の経過時間Ｔ１から経過時間Ｔ２までと、経過時間Ｔ３から経過時間Ｔ４までに応じた位置に検出時間マーカ８１が表示されている。なお、作図の都合上、検出時間マーカ８１と、検出時間マーカ８１を除くタイムバー８０との色の違いを、ハッチングの有無で表現している。

注目領域検出モード画像処理部６４は、上記第１実施形態と同様に、注目領域としての病変部７８を検出した場合、検出情報を内視鏡画像７５に関連付けて出力する。検出時間マーカ８１の左端は、病変部７８の検出が開始された経過時間Ｔ１、Ｔ３に応じた位置を示し、検出時間マーカ８１の右端は、病変部７８の検出が終了した経過時間Ｔ２、Ｔ４に応じた位置を示している。上記第１実施形態と同様にタイムバー８０上に検出時間マーカ８１を表示しているので、内視鏡画像内の注目領域の見落としを防ぎ、観察の妨げを防ぐことができる。

［第３実施形態］

上記第１及び第２実施形態では、注目領域が検出された時間を示すだけの検出時間マーカを表示させているが、これに限らず、図１０（Ａ）及び図１０（Ｂ）に示すように、検出時間マーカとして検出グラフ８３を表示してもよい。本実施形態では、検出グラフ８３は、経過時間ＴをＸ軸（一方の軸）の値とし、注目領域の検出に関する指標をＹ軸（他方の軸）の値とする曲線の折れ線グラフである。

本実施形態では、注目領域の検出に関する指標は、注目領域の検出情報から算出される信頼度である。注目領域検出モード画像処理部６４は、上記第１及び第２実施形態と同様に内視鏡画像から検出した注目領域の画像的な情報、例えば、注目領域の面積、位置、画素値などから、病変であることの確からしさ（注目領域であることの確からしさ）を示す指標である信頼度を算出する。そして算出された注目領域の画像的な情報が所定の閾値を超えた場合には、その注目領域は信頼度が高いと評価し、注目領域が検出されたものと判断する。一方、算出された注目領域の画像的な情報が所定の閾値以下の場合は、その注目領域は信頼度が低いと評価し、注目領域は検出されなかったと判断する。なお、信頼度の算出方法としては、人工知能（ＡＩ（Artificial Intelligence））、深層学習、畳み込みニューラルネットワーク、テンプレートマッチング、テクスチャ解析、周波数解析等を用いることが好ましい。

図１０（Ａ）に示す状態は、内視鏡画像７５のリアルタイム表示を開始した後であり、且つ経過時間Ｔを示すタイムバー８２と、タイムバー８２上に位置する検出グラフ８３が表示されている。この状態では、検出グラフ８３は、信頼度を示すＹ軸の値が小さく、閾値以下（破線８３Ａは閾値を示す。）であることから、観察対象内の注目領域がまだ検出されていないと判断することができる。なお、タイムバー８２及び検出グラフ８３は、検出時間表示部７６Ｂに表示されている。

図１０（Ａ）に示す状態の後、図１０（Ｂ）に示す状態では、観察対象内に注目領域としての病変部７８が検出された場合を示している。この場合、タイムバー８２上に表示される検出グラフ８３は、図１０（Ａ）に示す状態よりも信頼度を示すＹ軸の値が大きく、閾値を超えていることから、観察対象内の病変部７８が検出されていると判断することができる。

なお、第３実施形態の変形例としては、図１１に示すように、検出時間表示部７６Ｂには、タイムバー８２を表示せず、検出グラフ８３のみを表示してもよい。この場合、タイムバー８２を表示していなくても、時間の経過とともに検出グラフ８３がＸ軸方向に伸びていくことを視認することができるため、医師は経過時間Ｔを知ることができる。

また、第３実施形態の別の変形例としては、検出グラフとして折れ線グラフではなく、図１２に示すように、複数の棒グラフ８４を表示させてもよい。図１２に示す例では、タイムバー８２上に、検出グラフとしての棒グラフ８４が経過時間Ｔの増加とともに順次表示されている。なお、タイムバー８２及び検出グラフ８３は、検出時間表示部７６Ｂに表示されている。

棒グラフ８４のＹ軸の値は、上記第３実施形態と同様に、注目領域の検出を判断する信頼度である。また、破線８４Ａは、上記第３実施形態の破線８３Ａと同様に信頼度の閾値を示すものである。そして、各棒グラフ８４が配される位置は、信頼度が算出されたもとの内視鏡画像を取得した際の経過時間Ｔに対応する位置である。これにより、経過時間Ｔにおける内視鏡画像７５と、この内視鏡画像７５に対応する信頼度を示す棒グラフ８４が順次表示されることになる。

さらにまた、別の実施例としては、図１３に示すように、検出時間表示部７６Ｂには、タイムバー８２を表示せず、複数の棒グラフ８４のみを表示してもよい。この場合、タイムバー８２を表示していなくても、時間の経過とともに棒グラフ８４の数が増加していくことを視認することができるため、医師は経過時間Ｔを知ることができる。

なお、第１及び第２実施形態のような検出時間マーカをタイムバー上に表示させるとともに、第３実施形態のように検出グラフ８３を表示してもよい。また、第３実施形態および変形例においては、信頼度の閾値を破線で示しているが、これに限らず、閾値を超えているか否かを示すものであればよく、例えば閾値以下の場合と、閾値を超えている場合とで検出グラフの色を変えてもよい。

［第４実施形態］

上記第１〜第３実施形態では、検出時間表示部の範囲内で、タイムバーの長さが左端側から右端側に向かって徐々に長さが伸びることにより経過時間を示しているが、タイムバーの長さが、所定の長さに到達するまで伸びた後については述べていない。この第４実施形態では、タイムバーの長さが、所定の長さまで到達した場合、タイムバーが検出時間表示部の範囲内でスクロールして経過時間を示す。また、本実施形態では、タイムバーの長さが到達する所定の長さとしては、検出時間表示部７６Ｂの一端から他端に到達するまでの長さである。

この場合、図１４（Ａ）に示すように、タイムバー８５の長さが左端側（初期値Ｔ０）から右端側に向かって伸びて検出時間表示部７６Ｂの右端に到達するまでは、上記第１〜第３実施形態と同様に、タイムバー８５の長さが経過時間Ｔを示している。なお、タイムバー８５上には、上記第１実施形態と同様に、注目領域が検出された検出時間を表示する検出時間マーカ７９Ａ，７９Ｂが付加されている。なお、タイムバー８５上の検出時間マーカとしてはこれに限らず、上記第２実施形態と同様に、検出時間マーカとしてタイムバー８５の色を変えて表示してもよい。

そして、タイムバー８５が検出時間表示部７６Ｂの右端に到達した後は、図１４（Ｂ）に示すように、タイムバー８５が検出時間表示部７６Ｂの範囲内で横スクロールする。すなわち、タイムバー８５の長さが経過時間Ｔに応じた長さで増加し続けた場合、検出時間表示部７６Ｂの範囲を超えてしまう。そこで、経過時間Ｔに応じて、タイムバー８５の長さが検出時間表示部７６Ｂの範囲を超えてしまう分だけ、タイムバー８５全体を逆方向に、すなわち右側から左側に向かって移動させる。さらに、タイムバー８５全体を移動させた分だけ、検出時間表示部７６Ｂの左端からはみ出てしまう分を順次削除していく。これにより、検出時間表示部７６Ｂの右端は、現在表示される内視鏡画像７５を取得した時間ＴＰを常に示すことになる。また、タイムバー８５全体が移動するのに合わせて検出時間マーカ７９Ａ，７９Ｂも移動させている。

以上のように、タイムバー８５の長さが、検出時間表示部７６Ｂの右端まで到達した後についても、上記第１〜第３実施形態と同様に内視鏡画像及び注目領域の検出情報に基づいて表示を行うことができる。また、タイムバー８５全体が移動していることから、医師は、時間が経過している（内視鏡画像の取得が続行している）ことを知ることができる。

なお、タイムバーの表示方法としては、これに限るものではなく、図１５（Ａ）に示すように、タイムバー８５の長さが検出時間表示部の右端まで到達した場合、図１５（Ｂ）に示すように、タイムバー８５全体の長さを縮小して表示させてもよい。タイムバー８５全体の長さを縮小することで、医師は時間が経過している（内視鏡画像の取得が続行している）ことを知ることができる。なお、この場合、タイムバー８５全体の縮小に応じて検出時間マーカ７９Ａ，７９Ｂの位置および横幅も変更している。なお、タイムバー８５全体の長さを縮小した後、タイムバー８５の長さが検出時間表示部の右端まで到達した場合、再度タイムバー８５全体の長さを縮小してもよい。

［第５実施形態］

上記第１〜第４実施形態では、内視鏡画像の取得開始からの経過時間を示すタイムバーを長尺の帯状に表示させているが、これに限らず、図１６に示すように、タイムバー８７を円弧状に表示させてもよい。図１６に示す例では、タイムバー８７は、医用画像表示部７６Ａの側方に位置する検出時間表示部７６Ｂに表示される。タイムバー８７は、経過時間Ｔに応じて円弧の長さＬが増加する。

タイムバー８７の円弧には、上記第１実施形態と同様の検出時間マーカ８８Ａ，８８Ｂが付加されている。検出時間マーカ８８Ａ，８８Ｂは、上記第１実施形態の検出時間マーカ７９Ａ，７９Ｂと同様に、注目領域としての病変部の検出開始及び検出終了を示しており、検出時間マーカ８８Ａ（ハッチングあり）は、病変部７８の検出が開始された経過時間を示し、検出時間マーカ８８Ｂ（ハッチングなし）は、病変部７８の検出が終了した経過時間を示している。なお、タイムバー８７上の検出時間マーカとしてはこれに限らず、上記第２実施形態と同様に、検出時間マーカとしてタイムバー８７の色を変えて表示してもよく、上記第３実施形態と同様にタイムバー８７の回りに検出グラフを表示させてもよい。

［第６実施形態］

上記第１〜第５実施形態では、表示画面に表示させる内視鏡画像としては、を順次取得して表示画面にリアルタイム表示しているが、これに限らず、過去の画像についても表示させてもよい。以下で説明する第６実施形態では、検出時間マーカのいずれか１つを選択した場合、検出時間マーカに関連したサムネイル画像（過去の内視鏡画像）を表示する。図１７に示すように、表示制御部５８は、画像記憶部８９を備えている。画像記憶部８９は、注目領域検出モード画像処理部６４から取得し、表示制御部５８が表示した過去の内視鏡画像を一旦記憶させておくためのものである。

図１８（Ａ）に示すように、検出時間マーカ７９Ａ，７９Ｂのいずれも選択されていない状態では、過去の内視鏡画像は表示しない。なお、上記第１実施形態と同様に、タイムバー７７上に検出時間マーカ７９Ａ，７９Ｂが付加されており、注目領域としての病変部の検出開始及び検出終了を示している。また、検出時間マーカとしてはこれに限らず、上記第２実施形態と同様に、検出時間マーカとしてタイムバー７７の色を変えて表示してもよく、上記第３実施形態と同様にタイムバー７７の回りに検出グラフを表示させてもよい。また、カーソル９０は、コンソール１９の入力操作により表示画面７６内のオブジェクトを選択する際に、位置を指し示すものであり、図１８（Ａ）に示す状態では、何も選択されていない。

そして、検出時間マーカ７９Ａ，７９Ｂのいずれか１つを選択した場合、図１８（Ｂ）に示す例では、経過時間Ｔ１の位置を示す検出時間マーカ７９Ａが選択されている状態を示している。なお、本実施形態では、検出時間マーカ７９Ａ，７９Ｂのいずれか１つを選択する入力操作としては、いわゆるマウスオーバー操作であり、カーソル９０を検出時間マーカ７９Ａ，７９Ｂの上に重ね合わせることで入力が行われる。この場合、選択された（入力を行った）検出時間マーカ７９Ａの位置にウインドウ９１が表れる。このウインドウ９１の内部に、サムネイル画像９２が表示される。サムネイル画像９２は、検出時間マーカ７９Ａに関連する内視鏡画像、すなわち経過時間Ｔ１の際に取得され、画像記憶部８９から読み出された過去の内視鏡画像に基づいて、画素数や画質を落として表示させたものである。

以上のように、検出時間マーカの位置に入力を行うことで注目領域が検出された過去の画像が表示されるので、観察を妨げることがなく、現在の内視鏡画像の観察で医師が注目領域を見落とすことがない。また、再度注目領域を見たいときは、検出時間マーカの位置に入力を行うことで過去の画像を表示させればよいので、さらに見落としを防ぐことができる。

第６実施形態の変形例としては、検出時間マーカの位置に入力を行うことで一枚の画像（静止画）を表示するだけではなく、連続した複数の画像からなる動画を表示させてもよい。この場合、表示制御部５８は、注目領域の検出開始から検出終了までの間に取得された複数の内視鏡画像、すなわち検出情報が関連付された複数の内視鏡画像（静止画）から１つの動画ファイルを作成して画像記憶部８９に記憶させておく。

そして、検出時間マーカ７９Ａ，７９Ｂのいずれか１つ、例えば、図１８（Ｂ）に示すように、経過時間Ｔ１の位置を示す検出時間マーカ７９Ａが選択された場合、選択された（入力を行った）検出時間マーカ７９Ａの位置にウインドウ９１が表れる。このウインドウ９１の内部に、検出時間マーカ７９Ａに関連する動画、すなわち、検出開始の経過時間Ｔ１から検出終了の経過時間Ｔ２までの間に取得された複数の内視鏡画像から作成された動画ファイルが画像記憶部８９から読み出されて表示される。

また、第６実施形態の別の変形例としては、検出時間マーカのいずれか１つを選択した場合ではなく、図１９に示すように、タイムバー７７のいずれかの位置に入力を行った場合に過去の画像を表示してもよい。なお、図１９に示す変形例においても、タイムバー７７のいずれかの位置に入力を行う入力操作としては、マウスオーバー操作であり、カーソル９０をタイムバー７７のいずれかの位置に重ね合わせることで入力が行われる。この場合、表示制御部５８は、経過時間Ｔの初期値Ｔ０から観察終了まで、すなわち内視鏡画像の取得開始から取得終了まで、医用画像表示部７６Ａに表示した全ての内視鏡画像を記憶させておく。そして、タイムバー７７のいずれかの位置にカーソル９０を合わせて入力を行った場合、タイムバー７７上の入力を行った位置にウインドウ９１が表れる。このウインドウ９１の内部に、タイムバー７７上の過去の経過時間に対応し、画像記憶部８９から読み出された過去のサムネイル画像９２が表示される。サムネイル画像９２は、上記第６実施形態と同様に、画像記憶部８９から読み出された過去の内視鏡画像に基づいて、画素数や画質を落として表示させたものである。

なお、上記第６実施形態及び変形例における入力操作としては、マウスオーバー操作を例に上げているが、これに限らず、検出時間マーカまたはタイムバー上のいずれかの位置に入力を行うことが可能な操作であればよく、いわゆるクリック操作でもよく、あるいは入力機器がタッチパネルの場合、タッチ操作でもよい。

上記各実施形態では、経過時間Ｔとして、カウンタを用いて内視鏡画像の取得を開始してからの経過時間を計測する例を上げているが、経過時間を計測する構成としてはこれに限るものではなく、内視鏡画像の取得開始からの時系列を示す値であればよく、例えば、内視鏡画像を取得した際の順番（何フレーム目の内視鏡画像かを示す値）を用いて経過時間Ｔを計測してもよい。すなわち、最初の１フレーム目の内視鏡画像であれば、経過時間Ｔは初期値（０）であり、以降は内視鏡画像を取得した際の順番に応じた値が出力される。そして、表示制御部５８は、この順番に応じた値を用いて、検出時間マーカや検出グラフなどを表示させる。

また、経過時間Ｔの開始時としては、内視鏡画像の取得開始に限るものではなく、注目領域検出部７１が注目領域の検出を開始した時点でもよい。また、この場合、注目領域の検出開始は、注目領域検出部７１による自動検出の開始時点であることが好ましく、あるいはユーザーの選択により注目領域の検出のオン／オフ状態を切り替え可能とし、注目領域の検出がオン状態となった時点を経過時間Ｔの開始時にしてもよい。注目領域検出部７１によって注目領域が最初に検出された時点、または、タイムバーの表示のオン／オフ状態を切り替え可能とし、タイムバーの表示がオン状態となった時点を経過時間Ｔの開始時にしてもよい。

上記各実施形態では、４色のＬＥＤ２０ａ〜２０ｄを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、４色のＬＥＤ２０ａ〜２０ｄを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３８に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。

なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医用画像処理装置の適用は可能である。

上記実施形態において、画像処理部５６のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡システム

１２ 内視鏡

１２ａ 挿入部

１２ｂ 操作部

１２ｃ 湾曲部

１２ｄ 先端部

１３ａ アングルノブ

１３ｂ 静止画像取得部

１３ｃ モード切替部

１３ｄ ズーム操作部

１４ 光源装置

１６ プロセッサ装置

１８ モニタ

１９ コンソール

２０ 光源部

２０ａ V-LED

２０ｂ B-LED

２０ｃ G-LED

２０ｄ R-LED

２２ 光源制御部

２３ 波長カットフィルタ

２４ ライトガイド

３０ａ 照明光学系

３０ｂ 撮像光学系

３２ 照明レンズ

３４ 対物レンズ

３６ 拡大光学系

３６ａ ズームレンズ

３６ｂ レンズ駆動部

３８ 撮像センサ

４０ ＣＤＳ回路

４２ ＡＧＣ回路

４４ Ａ／Ｄ変換回路

５０ 画像信号取得部

５２ DSP

５４ ノイズ低減部

５６ 画像処理部

５８ 表示制御部

６０ 通常モード画像処理部

６２ 特殊モード画像処理部

６４ 注目領域検出モード画像処理部

７０ 検出用画像処理部

７１ 注目領域検出部

７２ 時間計測部

７５ 内視鏡画像

７６ 表示画面

７６Ａ 医用画像表示部

７６Ｂ 検出時間表示部

７７ タイムバー

７８ 病変部

７９Ａ 検出時間マーカ

７９Ｂ 検出時間マーカ

８０ タイムバー

８１ 検出時間マーカ

８２ タイムバー

８３ 検出グラフ

８４ 棒グラフ

８５ タイムバー

８７ タイムバー

８８Ａ 検出時間マーカ

８８Ｂ 検出時間マーカ

８９ 画像記憶部

９０ カーソル

９１ ウインドウ

９２ サムネイル画像

Ｌ 長さＴ 経過時間

Claims (15)

1. 
   観察対象を撮像部で撮像して医用画像を取得する医用画像取得部と、
   
   前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
   
   医用画像取得部により前記医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、前記注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する表示制御部とを有する医用画像処理装置。
   
2. 
   前記表示制御部は、前記検出時間表示部に、経過時間に応じたタイムバーを表示し、前記タイムバー上に前記検出時間マーカを表示する請求項１記載の医用画像処理装置。
   
3. 
   前記表示制御部は、前記経過時間の増加とともに、前記検出時間表示部内においてタイムバーを変動させる請求項２記載の医用画像処理装置。
   
4. 
   前記表示制御部は、前記経過時間の増加とともに、前記検出時間表示部内の一端側から他端側へ向かって前記タイムバーの長さを伸ばす請求項３記載の医用画像処理装置。
   
5. 
   前記表示制御部は、前記経過時間の増加とともに、前記タイムバーの長さが、所定の長さに到達するまで伸びた場合、前記検出時間表示部内において前記タイムバー全体をスクロールさせる請求項４記載の医用画像処理装置。
   
6. 
   前記タイムバーは長尺の帯状、または円弧状である請求項２ないし５のいずれか１項記載の医用画像処理装置。
   
7. 
   前記表示制御部は、前記タイムバーのいずれかの位置に入力を行った場合、タイムバー上の過去の経過時間に対応する過去の前記医用画像を表示する請求項２ないし６のいずれか１項記載の医用画像処理装置。
   
8. 
   前記表示制御部は、前記検出時間マーカの位置に入力を行った場合、入力を行った前記検出時間マーカに関連した過去の画像を表示する請求項１ないし６のいずれか１項記載の医用画像処理装置。
   
9. 
   前記表示制御部は、前記検出時間マーカの位置に入力を行った場合、入力を行った前記検出時間マーカに関連した複数の過去の画像からなる動画を表示する請求項１ないし６のいずれか１項記載の医用画像処理装置。
   
10. 
    前記表示制御部は、前記検出時間表示部に、前記医用画像の取得開始からの経過時間を一方の軸の値とし、前記注目領域の検出に関する指標を他方の軸の値とする検出グラフを表示する請求項１ないし９のいずれか１項記載の医用画像処理装置。
    
11. 
    前記指標は、前記医用画像から算出され、注目領域であることの確からしさを示す信頼度である請求項１０記載の医用画像処理装置。
    
12. 
    前記注目領域検出部は、前記医用画像からニューラルネットワーク、深層学習、アダブースト、またはランダムフォレストにより前記注目領域を検出する請求項１ないし１１のいずれか１項記載の医用画像処理装置。
    
13. 
    前記注目領域は病変部である請求項１ないし１２のいずれか１項記載の医用画像処理装置。
    
14. 
    観察対象を照明するための照明光を発する光源装置と、
    
    前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
    
    前記撮像部で前記観察対象を撮像して得られる医用画像を取得する医用画像取得部と、
    
    前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
    
    医用画像取得部により前記医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、前記注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する表示制御部と、
    
    前記医用画像及び前記検出時間マーカを表示する表示部とを備える内視鏡システム。
    
15. 
    医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、
    
    注目領域検出部が、前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出するステップと、
    
    表示制御部が、前記医用画像取得部により前記医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、前記注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示するステップとを含む医用画像処理装置の作動方法。

Images