WO2019187049A1 - 診断支援装置、診断支援方法及び診断支援プログラム - Google Patents

Abstract

診断支援装置４１は、内視鏡２１によって取得した内視鏡画像Ｘから、注目領域Ｌを検出し、注目領域Ｌの位置情報を出力する検出部Ｐ１と、診断指標に対応した所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力する分類部Ｐ２と、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において内視鏡画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御する表示制御部４３と、を有する。

Description

診断支援装置、診断支援方法及び診断支援プログラム

　本発明は、診断支援装置、診断支援方法及び診断支援プログラムに関する。

　従来技術として、医用画像を解析し、解析結果の表示によって医師の診断を支援する診断支援装置がある。例えば、特開２００６－１１５９２１号公報には、読影に対する意欲を削ぐことなく異常部位を漏れなく発見できるように、医師の診断中に、診断用の医用画像を表示し、医師の診断終了後に、解析によって病変候補にマーカが付された医用画像と、医師によってアノテーションが記録された医用画像とを重ね合わせて表示する、診断支援装置が開示される。

　しかし、先行特許文献の診断支援装置では、医師が診断中に解析の結果を見ることができない。また、診断支援装置では、診断終了後に表示される病変候補に付されたマーカが、病変候補及び病変候補の周囲の画像を見難くすることがあり、医師の医用画像の観察を阻害することがある。

　そこで、本発明は、術者の診断中に内視鏡画像の観察を阻害しないように、注目領域の位置情報と注目領域の重篤度を示す診断支援情報を出力して診断を支援する、診断支援装置、診断支援方法及び診断支援プログラムを提供することを目的とする。

　本発明の一態様の診断支援装置は、内視鏡によって取得した内視鏡画像から注目領域を検出し、前記注目領域の位置情報を出力する検出部と、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力する分類部と、第１領域において前記診断支援情報を表示する第１期間と、第２領域において前記内視鏡画像に重畳して前記位置情報を表示する第２期間とが互いに異なるように、表示画像を制御する表示制御部と、を有する。

　本発明の一態様の診断支援プログラムは、内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力するコードと、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力するコードと、第１領域において前記診断支援情報を表示する第１期間と、第２領域において前記内視鏡画像に重畳して前記位置情報を表示する第２期間とが互いに異なるように、表示画像を制御するコードと、をコンピュータに実行させる。

　本発明の一態様の診断支援方法は、検出部により、内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力し、分類部により、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力し、表示制御部により、第１領域において前記診断支援情報を表示する第１期間と、第２領域において前記内視鏡画像に重畳して前記位置情報を表示する第２期間とが互いに異なるように、表示画像を制御する。

本発明の第１実施形態に係わる、診断支援装置の構成の一例を示すブロック図である。 本発明の第１実施形態に係わる、診断支援装置の表示画像の一例を説明するための説明図である。 本発明の第１実施形態に係わる、診断支援装置の期間設定部の構成の一例を示すブロック図である。 本発明の第１実施形態に係わる、診断支援装置の診断支援処理の一例を示すフローチャートである。 本発明の第１実施形態に係わる、診断支援装置の表示画像の遷移の一例を説明するための説明図である。 本発明の第２実施形態に係わる、診断支援装置の表示画像の遷移の一例を説明するための説明図である。

　以下、図面を参照しながら、本発明の実施形態を説明する。

　（第１実施形態の構成）
　図１は、本発明の第１実施形態に係わる、内視鏡システムＥｓの構成の一例を示すブロック図である。図２は、本発明の第１実施形態に係わる、診断支援装置４１の表示画像Ｙの一例を説明するための説明図である。

　内視鏡システムＥｓは、光源装置１１、内視鏡装置２１、操作部３１、診断支援装置４１、及び、表示部５１を有する。光源装置１１は、内視鏡装置２１及び診断支援装置４１の各々と接続される。内視鏡装置２１は、診断支援装置４１と接続される。操作部３１は、診断支援装置４１と接続される。診断支援装置４１は、表示部５１と接続される。

　光源装置１１は、診断支援装置４１の制御の下、内視鏡装置２１に、白色光、狭帯域光等の照明光を出力する。

　内視鏡２１は、被検体内を撮像できるように構成される。内視鏡装置２１は、内視鏡スコープ２２と、照明部２３と、撮像部２４と、画像処理部２５とを有する。

　内視鏡スコープ２２は、被検体内に挿入できるように、細長状に形成される。内視鏡スコープ２２は、内部に図示しない各種の管路及び信号線を有する。内視鏡スコープ２２は、図示しない湾曲機構を有し、術者の指示入力に応じて湾曲する。

　内視鏡スコープ２２の基端部には、コントロールユニット２２ａが設けられる。コントロールユニット２２ａは、診断支援装置４１と接続される。

　照明部２３は、内視鏡スコープ２２の先端部に設けられ、光源装置１１から入力された照明光を被検体に照射する。

　撮像部２４は、内視鏡スコープ２２の先端部に設けられる。撮像部２４は、ＣＭＯＳセンサ、ＣＣＤ等の撮像素子によって構成される。撮像部２４は、照明部２３によって照明された被検体を撮像し、撮像信号を画像処理部２５に出力する。

　画像処理部２５は、コントロールユニット２２ａに設けられる。画像処理部２５は、撮像部２４から入力された撮像信号に、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ｘを生成し、診断支援装置４１に出力する。なお、画像処理部２５によって行われる画像処理の全部又は一部は、診断支援装置４１内において行われるように構成してもよい。

　操作部３１は、診断支援装置４１と接続され、内視鏡スコープ２２の湾曲、照明部２３から照射する照明光の切り替え、レリーズ操作、及び、フリーズ操作等の各種の指示入力が可能である。また、操作部３１は、診断支援処理の開始及び終了、診断支援情報Ｃ及びマーカＭの情報表示の開始及び終了等、各種の指示入力も可能である（図２）。操作部３１は、診断支援装置４１の表示制御部４３と接続され、指示入力に応じた指示信号を表示制御部４３に出力する。なお、操作部３１は、内視鏡装置２１、診断支援装置４１、表示部５１等に設けられてもよい。

　診断支援装置４１は、内視鏡画像Ｘに基づいて、表示画像Ｙを生成して出力する装置である。診断支援装置４１は、入力部４２、表示制御部４３、記憶部４４、出力部４５を有する。

　入力部４２は、内視鏡装置２１を接続する回路である。入力部４２は、内視鏡装置２１と表示制御部４３に接続され、内視鏡装置２１の画像処理部２５から内視鏡画像Ｘを順次入力し、表示制御部４３に内視鏡画像Ｘを出力する。

　表示制御部４３は、内視鏡システムＥｓ内の各部を制御する回路である。表示制御部４３は、プロセッサ４３ａを有する。表示制御部４３の機能は、プロセッサ４３ａが記憶部４４に記憶されたプログラム及び各種情報を読み込み、実行することによって実現する。

　また、表示制御部４３は、ゲイン調整の量、又は、内視鏡画像Ｘの明るさを検出し、制御信号を出力し、光源装置１１の発光量を制御する。

　また、表示制御部４３は、内視鏡画像Ｘに基づいて、表示画像Ｙを生成し、出力部４５に出力する。図２に示すように、表示画像Ｙには、診断支援情報Ｃを表示する第１領域Ａ１と、第１領域Ａ１とは異なる領域であって内視鏡画像Ｘと注目領域Ｌの位置情報を表示する第２領域Ａ２とが設けられる。

　位置情報は、例えば、内視鏡画像Ｘ上の注目領域Ｌを囲むマーカＭによって表示される。なお、位置情報は、マーカＭに限定されず、矢印画像、又は、アイコン等の他の画像によって表示されてもよい。

　また、表示制御部４３は、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において内視鏡画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御する。

　記憶部４４は、ＲＡＭ、ＲＯＭ、フラッシュＲＯＭ、ＨＤＤ、又は、ＳＳＤ等の読み書き可能な記憶素子を有する。

　記憶部４４には、内視鏡システムＥｓを制御するための各種データ又は各種プログラムの他、検出部Ｐ１、分類部Ｐ２、及び、期間設定部Ｐ３のプログラムも記憶される。

　また、記憶部４４には、検出部Ｐ１におけるマッチングに用いられるモデル情報、及び、分類部Ｐ２において用いられる所定分類条件も記憶される。所定分類条件は、例えば、腫瘍の重篤度を分類するＮＩＣＥ分類に基づいて、注目領域Ｌを分類できるように予め定められる。記憶部４４は、内視鏡画像Ｘ等の情報を一時保存するワーキングメモリとしても使用される。

　出力部４５は、表示部５１を接続する回路である。出力部４５は、表示制御部４３によって生成された表示画像Ｙを表示部５１に出力する。

　表示部５１は、ＬＣＤ、ＯＬＥＤ等の表示パネルを有する。表示部５１は、出力部４５と接続され、出力部４５から入力した表示画像Ｙを表示する。なお、表示部５１は、無線通信によって診断支援装置４１と接続されてもよい。

　（診断支援処理に用いられるプログラムの構成）
　続いて、検出部Ｐ１、分類部Ｐ２、及び、期間設定部Ｐ３について説明をする。検出部Ｐ１、分類部Ｐ２、及び、期間設定部Ｐ３は、診断支援装置４１の診断支援処理に用いられるプログラムである。

　検出部Ｐ１は、内視鏡２１によって取得した内視鏡画像Ｘから、所定検出処理によって注目領域Ｌを検出し、注目領域Ｌの位置情報を出力する。所定検出処理は、例えば、所定輪郭抽出処理によって互いに隣り合う画素における画素値の変化量から輪郭を抽出し、記憶部４４から読み込まれたモデル情報とのマッチングによって注目領域Ｌを検出する。位置情報は、例えば、注目領域Ｌの中心の座標である。検出部Ｐ１は、内視鏡画像Ｘから複数の注目領域Ｌを検出することも可能である。

　また、検出部Ｐ１は、所定検出処理によって注目領域Ｌのサイズも検出する。注目領域Ｌのサイズは、例えば、注目領域Ｌの中心と外縁の間の距離情報である。

　また、検出部Ｐ１は、所定検出処理によって内視鏡画像Ｘから処置具Ｔも検出し、処置具Ｔの位置情報も出力する（図２）。

　なお、検出部Ｐ１の処理は、これに限定されず、例えば、内視鏡画像Ｘの色、空間周波数の算出によって行われてもよいし、又は、機械学習等の人工知能技術を用いた演算装置によって注目領域Ｌを検出する処理であってもよい。

　分類部Ｐ２は、診断指標に対応した所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力する。所定分類条件には、例えば、ＮＩＣＥ分類に基づいた分類条件及び基準画像が含まれる。診断支援情報Ｃには、腺腫性病変と非腺腫性病変の各々の確度が含まれてもよい。

　分類部Ｐ２は、検出部Ｐ１から注目領域Ｌが入力されると、注目領域Ｌの画像を抽出する。分類部Ｐ２は、抽出された画像の輝度値によって色調を検出する。分類部Ｐ２は、抽出された画像に基づいて、所定輪郭抽出処理によって血管模様及び表面模様を検出する。分類部Ｐ２は、検出結果と所定分類条件を比較し、所定演算によってＴｙｐｅ１からＴｙｐｅ３の各々の適合率を算出し、診断支援情報Ｃを生成する。表示制御部４３は、第１期間中、表示画像Ｙの第１領域Ａ１に診断支援情報Ｃを表示する。

　なお、分類部Ｐ２の処理は、これに限定されず、人口知能技術を用いた演算装置によって行われてもよい。

　図３は、本発明の第１実施形態に係わる、診断支援装置４１の期間設定部Ｐ３の構成の一例を示すブロック図である。

　期間設定部Ｐ３は、第１期間と第２期間が互いに異なるように、第１期間と第２期間の各々を設定する。より具体的には、期間設定部Ｐ３は、第１期間に、第２期間と重ならない期間が生じるように、第１期間と第２期間の各々を設定する。期間設定部Ｐ３は、第１設定部Ｑ１と第２設定部Ｑ２を有する。

　第１設定部Ｑ１は、第１期間を設定する。より具体的には、第１設定部Ｑ１は、第１期間が開始する第１開始時刻Ｃｓと、第１期間が終了する第１終了時刻Ｃｅとを設定する。図３に示すように、第１設定部Ｑ１は、継続判定部Ｑ１ａ、処置具判定部Ｑ１ｂ、指示入力判定部Ｑ１ｃ、及び、延長判定部Ｑ１ｄを有する。

　継続判定部Ｑ１ａは、検出部Ｐ１の検出結果に基づいて、注目領域Ｌが継続して検出されているか否かを判定する。例えば、継続判定部Ｑ１ａは、順次取得した内視鏡画像Ｘのフレームの各々を比較し、フレーム上に注目領域Ｌが継続して表れているか否かを判定する。継続判定部Ｑ１ａによって注目領域Ｌが継続して検出されていると判定されると、第１設定部Ｑ１は、第１開始時刻Ｃｓに現在時刻等の所定制御情報をセットし、第１期間を開始させる。第１期間が開始すると、表示制御部４３は、表示画像Ｙに診断支援情報Ｃを表示する。一方、継続判定部Ｑ１ａによって注目領域Ｌが継続して検出されなくなると、第１設定部Ｑ１は、第１終了時刻Ｃｅに所定制御情報をセットし、第１期間を終了させる。第１期間が終了すると、表示制御部４３は、表示画像Ｙの診断支援情報Ｃを非表示にする。すなわち、第１設定部Ｑ１は、注目領域Ｌが継続して検出されている期間を第１期間に設定する。

　処置具判定部Ｑ１ｂは、検出部Ｐ１の検出結果に基づいて、処置具Ｔが検出されているか否かを判定する。処置具判定部Ｑ１ｂの処理は、第１期間内に行われる。処置具判定部Ｑ１ｂによって処置具Ｔが検出されると、第１設定部Ｑ１は、第１終了時刻Ｃｅに所定制御情報をセットし、第１期間を終了させる。すなわち、第１設定部Ｑ１は、内視鏡画像Ｘ内に処置具Ｔが検出されると、第１期間の終了の設定を行う。

　指示入力判定部Ｑ１ｃは、操作部３１から入力された指示信号に基づいて、診断支援情報Ｃ及びマーカＭによる情報表示の開始又は終了のいずれかの指示があるか否かを判定する。指示入力判定部Ｑ１ｃによって情報表示の開始の指示信号があると判定されると、第１設定部Ｑ１は、第１開始時刻Ｃｓに所定制御情報をセットし、第１期間を開始させる。一方、指示入力判定部Ｑ１ｃによって情報表示の終了の指示信号があると判定されると、第１設定部Ｑ１は、第１終了時刻Ｃｅに所定制御情報をセットし、第１期間を終了させる。すなわち、第１設定部Ｑ１は、術者の指示入力に応じ、第１期間の開始及び終了の少なくともいずれか一方の設定を行う。

　延長判定部Ｑ１ｄは、第１終了時刻Ｃｅと第２終了時刻Ｍｅの差を判定する。より具体的には、延長判定部Ｑ１ｄは、第１期間と第２期間の各々の終了時刻の差が所定差よりも小さいか否かを判定する。第１設定部Ｑ１は、差が所定差よりも小さいと判定されたとき、診断支援情報Ｃが見やすくなるように、第１期間を所定延長時間だけ延長する。所定延長時間は、経験的又は実験的に予め定められる。

　第２設定部Ｑ２は、第１期間の設定に応じて第２期間を設定する。より具体的には、第２設定部Ｑ２は、第１期間の設定と診断支援情報Ｃに応じ、第２期間が開始する第２開始時刻Ｍｓと、第２期間が終了する第２終了時刻Ｍｅとを設定する。第２設定部Ｑ２は、重篤度判定部Ｑ２ａ、サイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、動き判定部Ｑ２ｄ、及び、処置動作判定部Ｑ２ｅを有する。

　重篤度判定部Ｑ２ａは、分類部Ｐ２から出力された診断支援情報Ｃに基づいて、重篤度を判定する。分類部Ｐ２が、腺腫性病変と非腺腫性病変の各々の確度を有する診断支援情報Ｃを出力すると、重篤度判定部Ｑ２ａは、確度に基づいて、注目領域Ｌが腺腫性病変又は非腺腫性病変のいずれであるかを判定する。例えば、腺腫性病変の確度が所定度合い以上であるとき、重篤度判定部Ｑ２ａは、注目領域Ｌが腺腫性病変であると判定する。また、非腺腫性病変の確度が所定度合い以上であるとき、重篤度判定部Ｑ２ａは、注目領域Ｌが非腺腫性病変であると判定する。第２設定部Ｑ２は、注目領域Ｌが非腺腫性病変と判定されたとき、より重篤度の高い注目領域Ｌを長く観察できるように、注目領域Ｌが腺腫性病変であると判定されたときよりも第２期間を長く設定する。非腺腫性病変及び腺腫性病変の各々の第２期間の長さは、経験的又は実験的に、予め定められる。以下のサイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、動き判定部Ｑ２ｄにおいても同様に、判定結果の各々に応じた第２期間の長さが、経験的又は実験的に、予め定められる。

　例えば、腺腫性病変であると判定されたときにおける第２期間が１秒に予め定められ、非腺腫性病変であると判定されたときにおける第２期間が２秒に予め定められているとき、重篤度判定部Ｑ２ａによって注目領域Ｌが非腺腫性病変であると判定されると、第２設定部Ｑ２は、第２期間の長さが２秒になるように、第２開始時刻Ｍｓ及び第２終了時刻Ｍｅを決定し、第２期間を設定する。より具体的には、非腺腫性病変であると判定されたとき、第２設定部Ｑ２は、第２開始時刻Ｍｓを第１開始時刻Ｃｓと同じ時刻に設定し、第２開始時刻Ｍｓに２秒加算した時刻を第２終了時刻Ｍｅに設定する。

　サイズ判定部Ｑ２ｂは、検出部Ｐ１によって検出された注目領域Ｌのサイズを判定する。検出部Ｐ１が所定検出処理によって注目領域Ｌのサイズを検出すると、サイズ判定部Ｑ２ｂは、サイズが所定サイズよりも小さいか否かを判定する。第２設定部Ｑ２は、サイズが所定サイズよりも小さいと判定されたとき、サイズが所定サイズよりも大きいと判定されたときよりも第２期間を長く設定する。

　また、サイズ判定部Ｑ２ｂは、小さい注目領域Ｌを無視することができるように、サイズが５ｍｍ以下であるか否かを判定する。第２設定部Ｑ２は、サイズが５ｍｍ以下であると判定されたとき、第２期間の設定の処理を行う。

　なお、第２設定部Ｑ２は、重篤度判定部Ｑ２ａとサイズ判定部Ｑ２ｂの判定結果の両方に基づいて、第２期間を設定してもよい。例えば、第２設定部Ｑ２は、注目領域Ｌが腺腫性病変であってサイズが所定サイズよりも小さいと判定されたとき、所定サイズよりも大きいと判定されたときよりも第２期間を長く設定してもよい。すなわち、サイズ判定部Ｑ２ｂは、サイズを判定し、第２設定部Ｑ２は、サイズ判定部Ｑ２ｂの判定の結果に応じ、第２期間を設定する。

　個数判定部Ｑ２ｃは、検出部Ｐ１から入力される注目領域Ｌの個数が所定個数よりも多いか否かを判定する。第２設定部Ｑ２は、個数が所定個数よりも多いと判定されたとき、個数が所定個数よりも少ないと判定されたときよりも第２期間を長く設定する。すなわち、第２設定部Ｑ２は、注目領域Ｌの個数に応じ、第２期間を設定する。

　また、第２設定部Ｑ２は、注目領域Ｌの個数が複数であるとき、注目領域Ｌの各々に互いに異なる第２期間を設定する。検出部Ｐ１によって注目領域Ｌが同時に複数検出されているとき、第２設定部Ｑ２は、第２期間の開始を互いに所定時間だけずらすことによって注目領域Ｌの各々の第２期間を設定してもよい。例えば、注目領域Ｌが３個検出され、所定時間が０．５秒であるとき、第２設定部Ｑ２は、１個目の注目領域Ｌの第２期間を開始させた後、０．５秒経過後に２個目の注目領域Ｌの第２期間を開始させ、さらに０．５秒経過後に３個目の注目領域Ｌの第２期間を開始させるように設定してもよい。

　動き判定部Ｑ２ｄは、検出部Ｐ１によって検出された注目領域Ｌの動きの判定を行う。より具体的には、動き判定部Ｑ２ｄは、内視鏡画像Ｘ内の注目領域Ｌの動き方向及び動き量の判定を行う。第２設定部Ｑ２は、動き方向及び動き量に応じ、第２期間を設定する。

　例えば、動き判定部Ｑ２ｄは、動き量が所定量よりも大きいか否かを判定する。第２設定部Ｑ２は、動き量が所定量よりも大きいと判定されたとき、動き量が所定量よりも小さいと判定されたときよりも第２期間を長く設定する。

　また、第２設定部Ｑ２は、動き方向が内視鏡画像Ｘの中心へ向かう方向であると判定されとき、動き方向が内視鏡画像Ｘの外方へ向かう方向であると判定されたときよりも、第２期間を長く設定する。

　処置動作判定部Ｑ２ｅは、検出部Ｐ１によって検出された処置具Ｔが所定処置動作をしたか否かの判定を行う。第２設定部Ｑ２は、所定処置動作をしたと判定されたとき、第２期間の終了の設定を行う。所定処置動作は、例えば、処置具Ｔの先端部から図示しないスネアを突出させる動作である。所定処置動作は、これに限定されず、例えば、処置具Ｔを注目領域Ｌに近付ける動作であってもよいし、注目領域Ｌに処置具Ｔから流体を噴き付ける動作であってもよいし、注目領域Ｌのマーキングを行う動作であってもよいし、又は、注目領域Ｌの腫瘍の切除の動作であってもよい。

　第１設定部及び第２設定部における判定条件は、工場出荷時又は術者の指示入力によって予め定めることができるように構成してもよい。この場合においても、第１期間と第２期間が同じになると、第１設定部Ｑ１は、第１期間に第２期間と重ならない期間が生じるように、第１終了時刻Ｃｅをさらに遅らせる。

　例えば、第１設定部Ｑ１は、検出部Ｐ１における注目領域Ｌの検出によって第１期間を開始するように予め定めてもよいし、レリーズ操作、フリーズ操作、又は、情報表示の開始等、術者の指示入力によって第１期間を開始するように予め定めてもよい。

　また、第１設定部Ｑ１は、注目領域Ｌの非検出によって第１期間を終了するように予め定めてもよいし、レリーズ解除、フリーズ解除、又は、情報表示の終了等、術者の指示入力によって第１期間を終了するように予め定めてもよいし、第１開始時刻Ｃｓから所定第１時間の経過によって第１期間を終了するように予め定めてもよい。

　また、第２設定部Ｑ２は、第１期間の開始に応じて第２期間を開始するように予め定めてもよいし、術者の指示入力によって第２期間を開始するように予め定めてもよい。

　また、第２設定部Ｑ２は、注目領域Ｌの非検出によって第２期間を終了するように予め定めてもよいし、術者の指示入力によって第２期間を終了するように予め定めてもよいし、第２開始時刻Ｍｓから所定第２時間の経過によって第２期間を終了するように予め定めてもよい。

　（動作）
　続いて、診断支援装置４１の動作を説明する。

　図４は、本発明の第１実施形態に係わる、診断支援装置４１の診断支援処理の一例を示すフローチャートである。

　操作部３１から診断支援処理の開始の指示入力があると、表示制御部４３は、記憶部４４からプログラムを読み込み、診断支援処理を開始する。

　内視鏡画像Ｘを取得する（Ｓ１）。表示制御部４３は、入力部４２を介して内視鏡２１によって取得した内視鏡画像Ｘを取得する。

　注目領域Ｌの位置情報を検出する（Ｓ２）。検出部Ｐ１における所定検出処理によって注目領域Ｌが検出され、注目領域Ｌの位置情報が出力される。

　診断支援情報Ｃを生成する（Ｓ３）。分類部Ｐ２の処理により、所定分類条件に基づいて注目領域Ｌが分類され、注目領域Ｌの重篤度を示す診断支援情報Ｃが出力される。

　第１期間と第２期間を設定する（Ｓ４）。期間設定部Ｐ３の処理により、互いに異なるように、第１期間と第２期間が設定される。

　表示画像Ｙの生成を行う（Ｓ５）。表示制御部４３は、第２領域Ａ２に内視鏡画像Ｘを表示する。表示制御部４３は、第１期間中に第１領域Ａ１に診断支援情報Ｃを表示する。表示制御部４３は、第２期間中に第２領域Ａ２の注目領域Ｌを囲むようにマーカＭを表示する。

　すなわち、診断支援プログラムは、内視鏡２１によって取得した内視鏡画像Ｘから、所定検出処理によって注目領域Ｌを検出し、注目領域Ｌの位置情報を出力するコードと、所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力するコードと、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において内視鏡画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御するコードと、をコンピュータに実行させる。

　また、診断支援方法は、検出部Ｐ１により、内視鏡２１によって取得した内視鏡画像Ｘから、所定検出処理によって注目領域Ｌを検出し、注目領域Ｌの位置情報を出力し、分類部Ｐ２により、所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力し、表示制御部４３により、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において内視鏡画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御する。

　図５は、本発明の第１実施形態に係わる、診断支援装置の表示画像Ｙの遷移の一例を説明するための説明図である。

　図５の表示画像Ｙ１には、注目領域Ｌを有する内視鏡画像Ｘが表示されている。診断支援装置４１では、注目領域Ｌが検出されるものの、術者が目視によって注目領域Ｌの診断を行うことができるように、表示画像Ｙ１上の診断支援情報ＣとマーカＭは、非表示にされる。

　術者が操作部３１を介して情報表示の開始の指示入力を行うと、指示入力判定部Ｑ１ｃが情報表示の開始の指示入力があったと判定する。第１設定部Ｑ１は、第１期間の開始の設定を行う。表示制御部４３は、第１開始時刻Ｃｓから表示画像Ｙ２に診断支援情報Ｃを表示する。第２設定部Ｑ２は、第１期間の開始に応じ、第２期間の開始の設定を行う。表示制御部４３は、第２開始時刻Ｍｓから表示画像Ｙ２にマークＭを表示する。第２設定部Ｑ２は、重篤度判定部Ｑ２ａ、サイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、及び、動き判定部Ｑ２ｄの判定結果に基づいて第２終了時刻Ｍｅを設定する。

　第２終了時刻Ｍｅになると、術者が診断支援情報Ｃと内視鏡画像Ｘを目視して診断をすることができるように、表示制御部４３は、診断支援情報Ｃを表示させた状態でマークＭを非表示にする。表示画像Ｙ３は、診断支援情報Ｃが表示され、かつマークＭが非表示された例を示す。

　術者は、目視による診断が終了した後、診断支援情報Ｃ及びマークＭを非表示にすることができる。術者が操作部３１を介して情報表示の終了の指示入力を行うと、指示入力判定部Ｑ１ｃが情報表示の終了の指示入力があったと判定し、第１設定部Ｑ１は、第１期間の終了の設定を行う。表示画像Ｙ４に示すように、表示制御部４３は、第１終了時刻Ｃｅにおいて、診断支援情報Ｃ及びマークＭの両方を非表示にする。なお、第１設定部Ｑ１は、延長判定部Ｑ１ｄによって第１終了時刻Ｃｅと第２終了時刻Ｍｅの差が所定差よりも小さいと判定されたとき、第１期間に、第２期間と重ならない期間が生じるように、第１期間を所定延長時間だけ延長する。

　内視鏡システムＥｓでは、注目領域Ｌを検出すると、内視鏡画像Ｘ上にマーカＭが表示され、内視鏡画像Ｘとは異なる領域に診断支援情報Ｃが表示される。続いて、内視鏡システムＥｓでは、診断支援情報Ｃが表示された状態でマーカＭが非表示にされる。これにより、術者は、内視鏡画像上のマーカＭによって注目領域Ｌの位置を把握し、診断支援情報Ｃから注目領域Ｌの重篤度を把握し、診断を進めることができる。続いて、術者は、マーカＭが非表示にされた注目領域Ｌを目視し、診断支援情報Ｃから注目領域Ｌの重篤度を把握し、診断を進めることができる。

　第１実施形態によれば、診断支援装置４１は、術者の診断中に内視鏡画像Ｘの観察を阻害しないように、注目領域Ｌの位置情報と注目領域Ｌの重篤度を示す診断支援情報Ｃを出力して診断を支援することができる。

　（第２実施形態）
　第１実施形態では、第１期間と第２期間が同時に開始するが、第２期間の終了に応じて第１期間が開始してもよい。

　図６は、本発明の第２実施形態に係わる、診断支援装置の表示画像Ｙの遷移の一例を説明するための説明図である。本実施形態では、他の実施形態と同じ構成については、説明を省略する。

　第２期間終了判定部Ｑ１ｅ（図３の２点鎖線）は、第２期間が終了したか否かを判定する。第２期間終了判定部Ｑ１ｅによって第２期間が終了したと判定されると、第１設定部Ｑ１は、第１期間を開始させる。

　指示入力判定部Ｑ１ｃは、操作部３１から入力された指示信号に基づいて、情報表示の開始又は終了のいずれかの指示があるか否かを判定する。指示入力判定部Ｑ１ｃによって情報表示の開始の指示信号があると判定されると、第２設定部Ｑ２は、第２開始時刻Ｍｓに所定制御情報をセットし、第２期間を開始させる。一方、指示入力判定部Ｑ１ｃによって第２期間の終了の指示信号があると判定されると、第２設定部Ｑ２は、第２終了時刻Ｍｅに所定制御情報をセットし、第２期間を終了させる。

　図６の表示画像Ｚ１、Ｚ４は、表示画像Ｙ１と同じであるため、説明を省略する。

　術者が操作部３１を介して情報表示の開始の指示入力を行うと、指示入力判定部Ｑ１ｃが情報表示の開始の指示入力があったと判定し、第２設定部Ｑ２は、第２期間の開始の設定を行う。表示制御部４３は、第２開始時刻Ｍｓから表示画像Ｚ２にマークＭを表示する。

　第２終了時刻Ｍｅになって第２期間が終了すると、第２期間終了判定部Ｑ１ｅは、第２期間が終了したと判定する。第２期間が終了したと判定されると、第１設定部Ｑ１は、第１期間の開始を設定する。表示制御部４３は、第１期間の開始によって診断支援情報Ｃを表示し、第２期間の終了によってマークＭを非表示にする。表示画像Ｚ３は、診断支援情報Ｃが表示にされ、かつマークＭが非表示にされた例を示す。

　内視鏡システムＥｓでは、注目領域Ｌを検出すると、内視鏡画像Ｘ上にマーカＭが表示される。続いて、内視鏡システムＥｓでは、マーカＭが非表示にされ、診断支援情報Ｃが表示される。これにより、術者は、内視鏡画像上のマーカＭによって注目領域Ｌの位置を把握し、診断を進めることができる。続いて、術者は、マーカＭが非表示にされた注目領域Ｌを目視し、診断支援情報Ｃから注目領域Ｌの重篤度を把握し、診断を進めることができる。

　第２実施形態によれば、診断支援装置４１は、術者の診断中に内視鏡画像Ｘの観察を阻害しないように、注目領域Ｌの位置情報と注目領域Ｌの重篤度を示す診断支援情報Ｃを出力して診断を支援することができる。

　なお、実施形態では、期間設定部Ｐ３は、継続判定部Ｑ１ａ、処置具判定部Ｑ１ｂ、指示入力判定部Ｑ１ｃ、延長判定部Ｑ１ｄ、第２期間終了判定部Ｑ１ｅ、重篤度判定部Ｑ２ａ、サイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、動き判定部Ｑ２ｄ、及び、処置動作判定部Ｑ２ｅを有するが、これらの一部を有するように構成してもよい。

　なお、実施形態では、表示部５１は１つであるが、複数設けられてもよい。例えば、表示部５１が２つ設けられているとき、一方を第１領域Ａ１とし、他方を第２領域Ａ２としてもよい。

　なお、実施形態の動作の説明では、情報表示の開始及び終了が、術者の指示入力に応じて行われるが、検出部Ｐ１による注目領域Ｌの検出に応じて行われてもよい。例えば、第１実施形態では、検出部Ｐ１による注目領域Ｌの検出の開始から終了までの期間を第１期間に設定してもよい。例えば、第２実施形態では、検出部Ｐ１による注目領域Ｌの検出の開始に応じて第２期間が開始し、注目領域Ｌの非検出に応じて第１期間が終了してもよい。

　なお、第１実施形態では、第１期間と第２期間が同時に開始するが、同時でなくてもよい。例えば、第１期間が第２期間よりも先に開始してもよいし、第２期間が第１期間よりも先に開始してもよい。

　なお、第２実施形態では、第２期間の終了に応じて第１期間が開始し、第１期間と第２期間が互いに重なる期間はない。第２期間と重ならない期間が第１期間に設けられれば、第１期間と第２期間が互いに重なる期間があってもよい。

　なお、実施形態では、第１期間が第２期間よりも後に終了するが、第２期間と重ならない期間が第１期間に設けられれば、第２期間が第１期間よりも後に終了してもよい。例えば、第１期間が第２期間よりも先に開始されれば、第２期間が第１期間よりも後に終了してもよい。

　本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。例えば、検出部Ｐ１、分類部Ｐ２、期間設定部Ｐ３の全て又は一部が回路によって構成されてもよい。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (24)

1. 　内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力する検出部と、
   　診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力する分類部と、
   　第１領域において前記診断支援情報を表示する第１期間と、第２領域において前記内視鏡画像に重畳して前記位置情報を表示する第２期間とが互いに異なるように、表示画像を制御する表示制御部と、
   　を有する診断支援装置。
2. 　前記表示制御部は、期間設定部を有し、
   　前記期間設定部は、前記第１期間に、前記第２期間と重ならない期間が生じるように、前記第１期間と前記第２期間の各々を設定する、
   　請求項１に記載の診断支援装置。
3. 　前記期間設定部は、第１設定部と第２設定部を有し、
   　前記第１設定部は、前記第１期間を設定し、
   　前記第２設定部は、前記第１期間の設定に応じて前記第２期間を設定する、
   　請求項２に記載の診断支援装置。
4. 　前記第１設定部は、前記注目領域が継続して検出されている期間を前記第１期間に設定する、請求項３に記載の診断支援装置。
5. 　前記第１設定部は、前記内視鏡画像内に処置具が検出されると、前記第１期間の終了の設定を行う、請求項３に記載の診断支援装置。
6. 　前記第１設定部は、術者の指示入力に応じ、前記第１期間の開始及び終了の少なくともいずれか一方の設定を行う、請求項３に記載の診断支援装置。
7. 　前記第１設定部は、前記第２期間が終了すると、前記第１期間の開始を設定する、請求項３に記載の診断支援装置。
8. 　前記第２設定部は、前記第１期間の設定と前記診断支援情報に応じ、前記第２期間を設定する、請求項３に記載の診断支援装置。
9. 　前記第２設定部は、前記重篤度に応じ、前記第２期間を設定する、請求項８に記載の診断支援装置。
10. 　前記分類部は、腺腫性病変と非腺腫性病変の各々の確度を有する前記診断支援情報を出力し、
    　前記期間設定部は、重篤度判定部を有し、
    　前記重篤度判定部は、前記確度に基づいて、前記注目領域が前記腺腫性病変又は前記非腺腫性病変のいずれであるかを判定し、
    　前記第２設定部は、前記注目領域が前記非腺腫性病変と判定されたとき、前記注目領域が前記腺腫性病変であると判定されたときよりも第２期間を長く設定する、
    　請求項９に記載の診断支援装置。
11. 　前記検出部は、前記注目領域のサイズを検出し、
    　前記期間設定部は、サイズ判定部を有し、
    　前記サイズ判定部は、前記サイズを判定し、
    　前記第２設定部は、前記サイズ判定部の判定の結果に応じ、前記第２期間を設定する、
    　請求項３に記載の診断支援装置。
12. 　前記サイズ判定部は、前記サイズが所定サイズよりも小さいか否かを判定し、
    　前記第２設定部は、前記サイズが前記所定サイズよりも小さいと判定されたとき、前記サイズが前記所定サイズよりも大きいと判定されたときよりも第２期間を長く設定する、
    　請求項１１に記載の診断支援装置。
13. 　前記サイズ判定部は、前記サイズが５ｍｍ以下であるか否かを判定し、
    　前記第２設定部は、前記サイズが５ｍｍ以下であると判定されたとき、前記第２期間の設定の処理を行う、
    　請求項１１に記載の診断支援装置。
14. 　前記分類部は、腺腫性病変と非腺腫性病変の各々の確度を有する前記診断支援情報を出力し、
    　前記期間設定部は、重篤度判定部を有し、
    　前記重篤度判定部は、前記確度に基づいて、前記注目領域が前記腺腫性病変又は前記非腺腫性病変のいずれであるかを判定し、
    　前記第２設定部は、前記注目領域が前記腺腫性病変であって前記サイズが前記所定サイズよりも小さいと判定されたとき、前記所定サイズよりも大きいと判定されたときよりも前記第２期間を長く設定する、
    　請求項１２に記載の診断支援装置。
15. 　前記第２設定部は、前記注目領域の個数に応じ、前記第２期間を設定する、請求項３に記載の診断支援装置。
16. 　前記期間設定部は、個数判定部を有し、
    　前記個数判定部は、前記個数が所定個数よりも多いか否かを判定し、
    　前記第２設定部は、前記個数が前記所定個数よりも多いと判定されたとき、前記個数が前記所定個数よりも少ないと判定されたときよりも前記第２期間を長く設定する、
    　請求項１５に記載の診断支援装置。
17. 　前記第２設定部は、前記個数が複数であるとき、前記注目領域の各々に互いに異なる前記第２期間を設定する、請求項１５に記載の診断支援装置。
18. 　前記期間設定部は、動き判定部を有し、
    　前記動き判定部は、前記内視鏡画像内の前記注目領域の動き方向及び動き量の判定を行い、
    　前記第２設定部は、前記動き方向及び前記動き量に応じ、前記第２期間を設定する、
    　請求項３に記載の診断支援装置。
19. 　前記動き判定部は、前記動き量が所定量よりも大きいか否かを判定し、
    　前記第２設定部は、前記動き量が前記所定量よりも大きいと判定されたとき、前記動き量が前記所定量よりも小さいと判定されたときよりも前記第２期間を長く設定する、
    　請求項１８に記載の診断支援装置。
20. 　前記第２設定部は、前記動き方向が内視鏡画像の中心へ向かう方向であると判定されとき、前記動き方向が内視鏡画像の外方へ向かう方向であると判定されたときよりも、前記第２期間を長く設定する、請求項１８に記載の診断支援装置。
21. 　前記期間設定部は、処置動作判定部を有し、
    　前記処置動作判定部は、前記検出部によって検出された処置具が所定処置動作をしたか否かの判定を行い、
    　前記第２設定部は、前記所定処置動作をしたと判定されたとき、前記第２期間の終了の設定を行う、
    　請求項３に記載の診断支援装置。
22. 　前記第１設定部は、延長判定部を有し、
    　前記延長判定部は、前記第１期間と前記第２期間の各々の終了時刻の差が所定差よりも小さいか否かを判定し、
    　前記第１設定部は、前記差が前記所定差よりも小さいと判定されたとき、前記第１期間を所定延長時間だけ延長する、
    　請求項３に記載の診断支援装置。
23. 　内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力するコードと、
    　診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力するコードと、
    　第１領域において前記診断支援情報を表示する第１期間と、第２領域において前記内視鏡画像に重畳して前記位置情報を表示する第２期間とが互いに異なるように、表示画像を制御するコードと、
    　をコンピュータに実行させるための診断支援プログラム。
24. 　検出部により、内視鏡によって取得した内視鏡画像から、注目領域を検出し、前記注目領域の位置情報を出力し、
    　分類部により、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力し、
    　表示制御部により、第１領域において前記診断支援情報を表示する第１期間と、第２領域において前記内視鏡画像に重畳して前記位置情報を表示する第２期間とが互いに異なるように、表示画像を制御する、
    　診断支援方法。

Images