以下、図面を参照して、本発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる画像表示装置を有する被検体内情報取得システムの一構成例を例示する模式図である。図1に示すように、本発明の実施の形態1にかかる被検体内情報取得システムは、被検体1内の画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2によって撮像された被検体1内の画像を受信する受信装置3と、受信装置3に受信された被検体1内の画像を表示する画像表示装置4と、かかる受信装置3と画像表示装置4との間のデータの受け渡しを行うための携帯型記録媒体5とを備える。
カプセル型内視鏡2は、被検体内の画像(具体的には臓器内部の画像)を撮像するためのものである。このようなカプセル型内視鏡2は、被検体1の内部に導入され、時系列に沿って被検体1内の画像を順次撮像する撮像機能と、撮像した被検体1内の画像群を外部の受信装置3に無線送信する無線通信機能とを有する。具体的には、カプセル型内視鏡2は、被検体1の口から飲込まれた後、この被検体1の臓器内部を蠕動等によって移動する。これと同時に、カプセル型内視鏡2は、所定間隔、例えば0.5秒間隔で被検体1内の画像を逐次撮像し、撮像した被検体1内の画像を含む無線信号を受信装置3に逐次送信する。
受信装置3は、例えば被検体1の体表上に分散配置された複数の受信アンテナ3a〜3hを有し、かかる複数の受信アンテナ3a〜3hの少なくとも一つを介してカプセル型内視鏡2からの無線信号を受信する。そして、受信装置3は、受信したカプセル型内視鏡2からの無線信号をもとに、被検体1内の画像群を取得する。また、受信装置3は、携帯型記録媒体5が着脱可能に挿着され、カプセル型内視鏡2によって撮像された被検体1内の画像群を携帯型記録媒体5に格納する。この場合、受信装置3は、かかる被検体1内の画像群に含まれる各画像の撮像時刻または受信時刻等を示す時間情報をこの画像群内の各画像に対応付けて携帯型記録媒体5に格納する。
受信アンテナ3a〜3hは、例えばループアンテナを用いて実現され、上述した受信装置3に接続される。受信アンテナ3a〜3hは、図1に示すように、被検体1の体表上の所定位置、例えば被検体1内におけるカプセル型内視鏡2の移動経路(すなわち消化管)に対応する位置に分散配置される。かかる受信アンテナ3a〜3hは、被検体1の臓器内部に導入されたカプセル型内視鏡2からの無線信号を捕捉し、補足した無線信号を受信装置3に伝送する。なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケットの所定位置に分散配置されてもよい。この場合、受信アンテナ3a〜3hは、被検体1がこのジャケットを着用することによって、被検体1内におけるカプセル型内視鏡2の移動経路に対応する被検体1の体表上の所定位置に配置される。このような受信アンテナは、被検体1に対して1以上配置されればよく、その配置数は、特に8つに限定されない。
携帯型記録媒体5は、コンパクトフラッシュ(登録商標)等の携帯可能な記録メディアである。携帯型記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。具体的には、携帯型記録媒体5は、受信装置3に挿着された場合、受信装置3に受信された被検体1内の画像群および各画像の時間情報等の各種データを逐次格納する。一方、携帯型記録媒体5は、画像表示装置4に挿着された場合、被検体1内の画像群および各画像の時間情報等の保存データを画像表示装置4に出力する。この場合、かかる携帯型記録媒体5の保存データは、画像表示装置4に取り込まれる。このようにして、携帯型記録媒体5は、かかる受信装置3と画像表示装置4との間のデータの受け渡しを行う。また、携帯型記録媒体5は、カプセル型内視鏡2を導入する被検体1に関する患者情報等が画像表示装置4によって書き込まれる。
画像表示装置4は、カプセル型内視鏡2が撮像した被検体1内の画像等を表示するためのものである。具体的には、画像表示装置4は、上述した携帯型記録媒体5の保存データを取り込むことによって、カプセル型内視鏡2によって撮像された被検体1内の画像群等の各種データを取得し、かかる被検体1内の画像群に含まれる各画像を表示するワークステーション等のような構成を有する。このような画像表示装置4は、医師または看護師等のユーザが被検体1内の画像を観察(検査)して被検体1を診断するための処理機能を有する。この場合、ユーザは、画像表示装置4に被検体1内の画像を順次表示させて被検体1内の生体部位、例えば食道、胃、小腸、および大腸等を観察(検査)し、これをもとに、被検体1を診断できる。
つぎに、本発明の実施の形態1にかかる画像表示装置4の構成について説明する。図2は、本発明の実施の形態1にかかる画像表示装置4の一構成例を模式的に示すブロック図である。図2に示すように、この実施の形態1にかかる画像表示装置4は、各種情報を入力する入力部11と、被検体1内の画像およびGUI(Graphical User Interface)等を画面表示する表示部12と、携帯型記録媒体5の保存データ(被検体1内の画像群等)を読み取るカードインターフェース(I/F)13とを有する。また、画像表示装置4は、被検体1の画像群等の各種データを保存する記憶部14と、画像表示装置4の各構成部を制御する制御部15とを有する。
入力部11は、キーボードおよびマウス等の入力デバイスを用いて実現され、ユーザによる入力操作によって、制御部15に各種情報を入力する。例えば、入力部11は、制御部15に対して指示する各種指示情報、被検体1に関する患者情報等を制御部15に入力する。なお、かかる入力部11によって入力される患者情報は、例えば被検体1の患者名、性別、生年月日、および患者ID等である。
表示部12は、CRTディスプレイまたは液晶ディスプレイ等の画像表示が可能なディスプレイを用いて実現され、制御部15によって表示指示された各種情報等を表示する。具体的には、表示部12は、被検体1の臓器内部を観察(検査)して被検体1を診断するための各種情報、例えば、カプセル型内視鏡2が撮像した被検体1内の画像群等を表示する。また、表示部12は、かかる被検体1内の画像群を観察するための各種GUIを表示する。このような表示部12は、かかる被検体1内の画像群に含まれる各画像を表示するための主表示領域100と、主表示領域100に表示される被検体1内の画像群の全体的な時間位置を示すタイムバー110と、現に主表示領域100に表示される被検体1内の画像(現表示画像)の時間位置を示すスライダ111と、かかる被検体1内の画像群に含まれる病変画像の時間位置を示す病変マークを表示するマーク表示部120とを有する。さらに、表示部12は、主表示領域100に被検体1内の画像を表示する際の各種表示操作を行うための表示操作アイコン群130と、主表示領域100に表示された被検体1内の画像群の中から選択された所望の画像を追加表示するための副表示領域140とを有する。
カードI/F13は、上述した携帯型記録媒体5が着脱可能に挿着され、かかる携帯型記録媒体5の保存データを読み取るとともに、得られた保存データを制御部15に転送する。また、カードI/F13は、挿着された携帯型記録媒体5に対し、制御部15によって書き込み指示された情報、例えば被検体1の患者情報等を書き込む。
記憶部14は、RAM、EEPROM、またはハードディスク等の大容量の記録媒体を用いて実現され、制御部15によって書き込み指示された各種データ等を保存し、制御部15によって読み出し指示された保存データを制御部15に送信する。このような記憶部14は、カプセル型内視鏡2によって撮像された被検体1内の画像群PG、画像群PG内の各画像の時間情報、および被検体1の患者情報等を保存する。この場合、かかる記憶部14に保存される各画像の時間情報は、画像群PGの各画像データに対してそれぞれ付加される。
制御部15は、画像表示装置4の各構成部を制御する。具体的には、制御部15は、入力部11、表示部12、カードI/F13、および記憶部14をそれぞれ制御し、かかる各構成部間の情報の入出力を制御する。このような制御部15は、カードI/F13に挿着された携帯型記録媒体5から、被検体1内の画像群PGと、この画像群PG内の各画像に対応付けられた時間情報とを取得する。制御部15は、かかる被検体1内の画像群PGと時間情報とを画像毎に対応付けて記憶部14に保存する。制御部15は、入力部11によって入力された指示情報に基づいて、かかる被検体1内の画像群に含まれる各画像を表示部12の主表示領域100に表示させる。
このような制御部15は、画像検出部15aおよび表示制御部15bを有する。画像検出部15aは、被検体1内の画像群PGに含まれる1以上の病変画像を検出する。具体的には、画像検出部15aは、被検体1内の画像群PGに含まれる処理対象の画像の色情報を検出し、検出した画像の色情報をもとに、この処理対象の画像が病変画像であるか否かを判断する。画像検出部15aは、この処理対象の画像が病変画像であると判断した場合、病変画像である旨を示すサイン(病変フラグ)をこの処理対象の画像(すなわち病変画像)に付加する。このようにして、画像検出部15aは、被検体1内の画像群PGに含まれる病変画像を検出する。かかる病変フラグが付加された病変画像は、画像群PGの一部として記憶部14に保存される。画像検出部15aは、このような病変画像の検出処理を画像群PGの全画像について実行する。なお、かかる画像検出部15aによって検出される画像の色情報として、例えば、画像の平均色、画像を形成する赤(R)、緑(G)、青(B)の各色要素の値(R値、G値、B値)等が挙げられる。
表示制御部15bは、記憶部14に保存された被検体1内の画像群PGに含まれる各画像を表示部12の主表示領域100に表示する制御を行う。この場合、かかる画像群PG内に病変画像が含まれていれば、表示制御部15bは、かかる被検体1内の病変画像を表示部12の主表示領域100に表示する制御を行う。また、表示制御部15bは、かかる主表示領域100に表示された画像群PGの中から選択された所望の画像を表示部12の副表示領域140に追加表示する制御を行う。この場合、表示制御部15bは、このように選択された所望の画像を縮小した縮小画像(例えばサムネイル画像)を副表示領域140に表示させる。
また、表示制御部15bは、かかる画像群PGに含まれる1以上の病変画像の時間位置を示す病変マークを表示部12のマーク表示部120に表示する制御を行う。この場合、表示制御部15bは、複数の画素によって形成されるタイムバー110の時間軸方向の画素数と主表示領域100に表示される画像群PGの画像数とをもとにタイムバー110の単位画素当りの画像数を算出し、この単位画素当りの画像数の画像が連続する画像群PG内の連続画像群毎に、上述した画像検出部15aによって検出された病変画像の病変画像数を計数する。そして、表示制御部15bは、かかる画像群PG内の連続画像群であって1以上の病変画像を含む連続画像群毎に、この病変画像数の計数結果に応じた表示態様をもつ病変マークをマーク表示部120に表示する制御を行う。このような表示制御部15bは、この病変画像数の計数結果に応じて例えば病変マークの表示色を変化させ、かかる病変画像数に応じた表示色の病変マークをマーク表示部120に表示する制御を行う。
その他、表示制御部15bは、各種GUIであるタイムバー110、スライダ111、および表示操作アイコン群130を表示部12に表示させる。この場合、表示制御部15bは、上述した画像群PG内の各画像の時間情報をもとに、この画像群PGの全体的な時間位置を示すタイムバー110を表示する制御を行い、この画像群PGのうちの現に主表示領域100に表示されている被検体1内の画像(すなわち現表示画像)に対応するタイムバー110上の時間位置にスライダ111を表示する制御を行う。
なお、上述した画像検出部15aによって検出される病変画像は、被検体1の臓器内部に生じた病変の部位を被写体に含む画像である。かかる病変画像の一例として、例えば出血部位を被写体に含む出血画像が挙げられる。
つぎに、被検体1内の画像群PGに含まれる病変画像が出血画像である場合を例示して、本発明の実施の形態1にかかる画像表示装置4の表示部12の表示内容を具体的に説明する。図3は、実施の形態1にかかる画像表示装置4の表示部12の表示内容を例示する模式図である。表示制御部15bは、制御部15によって所定のログイン処理が行われた場合、図3に示すようなウィンドウWを表示部12に表示させる。
図3に示すように、ウィンドウWには、主表示領域100と、タイムバー110と、スライダ111と、マーク表示部120と、表示操作アイコン群130と、副表示領域140とが形成される。また、ウィンドウWには、副表示領域140に表示された複数の縮小画像のスクロール操作を行うためのスクロール操作部141と、入力部11の操作によって各種GUIのクリック操作またはドラッグ操作等を行うためのカーソルKと、かかるウィンドウWを閉じるためのCloseアイコン150とが形成される。
主表示領域100は、表示処理対象の被検体1内の画像群PGに含まれる各画像を表示するための画像表示領域である。表示制御部15bは、入力部11によって入力された指示情報に基づいて、表示処理対象の画像群PG内の各画像を主表示領域100に表示する制御を行う。かかる表示制御部15bの制御によって、主表示領域100は、かかる画像群PG内の画像Pn(フレーム番号n=1,2,3,…)を表示する。また、表示制御部15bは、かかる主表示領域100内に、この主表示領域100の現表示画像(例えば画像Pn)の撮像年月日および撮像時刻と、この被検体1の患者情報(患者名、患者ID、性別、生年月日)とを表示する制御を行う。
タイムバー110およびスライダ111は、主表示領域100の現表示画像の時間位置を示すためのGUIである。タイムバー110は、時間軸方向の横サイズL(単位は画素)を有するバーであり、主表示領域100に表示される画像群PGの時間的な長さ(例えば画像群PGの撮像開始からの経過時間)を示す時間スケールが付される。このようなタイムバー110は、かかる横サイズLに相当する画素数(L画素)の画素群、すなわち、時間軸方向に配列されたL画素の画素群によって形成され、画像群PGの全体的な時間位置を示す。この場合、かかるタイムバー110を形成するL画素の画素群の単位画素(例えば1画素)は、画像数Nの画像が連続する画像群PG内の連続画像群を代表し、かかる画像数Nの連続画像群の時間位置に対応する。ここで、かかる画像群PG内の連続画像群の画像数Nは、タイムバー110を形成するL画素の画素群の単位画素当りの画像数である。表示制御部15bは、画像群PGの全画像数A(単位はフレーム)を上述したL画素(すなわちタイムバー110を形成する時間軸方向の画素数)によって除算して、かかる単位画素当りの画像数Nを算出する。
スライダ111は、かかるタイムバー110に沿って移動し、主表示領域100の現表示画像に対応するタイムバー110上の時間位置を示す。このようなスライダ111は、主表示領域100の現表示画像を含む画像群PG内の連続画像群であってタイムバーの単位画素によって代表される画像数Nの連続画像群の時間位置を示す。なお、かかるスライダ111の移動は、表示制御部15bによって制御される。表示制御部15bは、スライダ111が主表示領域100の現表示画像(被検体1内の画像)の時間位置を示すように、かかるタイムバー110上におけるスライダ111の移動と主表示領域100の現表示画像の表示切替動作とを制御する。
マーク表示部120は、画像群PGに含まれる1以上の病変画像の時間位置を示す1以上の病変マークをタイムバー110に沿って表示するマーク表示手段として機能する。具体的には、マーク表示部120は、時間軸方向の横サイズLと時間軸方向に対して垂直方向の縦サイズT(単位は画素)とを有し、かかる横サイズLと縦サイズTとによって規定される矩形領域内に格子状に配列された(L×T)画素の画素群によって形成される。このようなマーク表示部120は、上述したタイムバー110に沿ってバー状に形成され、画像群PGに含まれる1以上の病変画像の時間位置を示す1以上の病変マークをタイムバー110上に表示する。この場合、マーク表示部120は、表示制御部15bの制御をもとに、出血画像等の病変画像を含む画像数Nの連続画像群を代表するタイムバー110の単位画素に対応してこの画像数Nの連続画像群内の病変画像の時間位置を示す病変マークを表示する。
例えば、マーク表示部120は、表示制御部15bの制御をもとに、画像群PGに含まれる複数の出血画像に対応するタイムバー110上の時間位置に病変マーク群120a,120bをそれぞれ表示する。なお、病変マーク120a,120bは、上述したタイムバー110の単位画素に対応して表示される病変マークをそれぞれ複数含むものである。マーク表示部120は、1以上の出血画像を含む画像数Nの連続画像群(すなわち主表示領域100に表示される画像群PG内の連続画像群)を代表するタイムバー110の単位画素毎に、かかる病変マーク群120a,120b内の各病変マークをそれぞれ表示する。この場合、マーク表示部120は、例えば出血画像の示す病変(すなわち出血部位)に対応する色(例えば赤色)で病変マーク群120a,120b内の各病変マークを表示する。さらに詳細には、マーク表示部120は、かかる画像数Nの連続画像群に含まれる出血画像の画像数に応じて各病変マークの表示色(例えば出血部位に対応する赤色)の濃淡を異ならせた病変マーク群120a,120bを表示する。
このようにマーク表示部120が病変マーク群120a,120bを表示した状態において、主表示領域100の現表示画像(被検体1内の画像Pn)が出血部位BLを被写体に含む出血画像である場合、スライダ111は、この出血画像の時間位置を示す病変マーク群120a内の病変マークの位置、すなわち、この出血画像を含む画像数Nの連続画像群を代表するタイムバー110の単位画素に対応する時間位置に移動する。
表示操作アイコン群130は、被検体1内の画像群PGに含まれる各画像を主表示領域100に表示する際の表示操作を行うためのGUIである。かかる表示操作アイコン群130には、例えば図3に示すように、再生アイコン131と、コマ再生アイコン132と、頭出しアイコン133と、逆再生アイコン134と、逆コマ再生アイコン135と、頭出しアイコン136とが含まれる。なお、再生アイコン131は、時系列の順方向に沿って画像群PGの各画像を再生するためのGUIであり、コマ再生アイコン132は、時系列の順方向に沿って画像群PGの各画像をコマ送り再生するためのGUIである。逆再生アイコン134は、時系列の逆方向に沿って画像群PGの各画像を再生するためのGUIであり、逆コマ再生アイコン135は、時系列の逆方向に沿って画像群PGの各画像をコマ送り再生するためのGUIである。また、頭出しアイコン133は、画像群PGの最後に撮像した画像を表示するためのGUIであり、逆頭出しアイコン136は、画像群PGの最初に撮像した画像を表示するためのGUIである。
つぎに、上述したマーク表示部120内の病変マーク群120aを例示し、表示制御部15bの制御に基づいてマーク表示部120が表示する病変マークを詳細に説明する。図4は、実施の形態1にかかる画像表示装置4の表示制御部15bがマーク表示部120に表示させる病変マークの一具体例を示す模式図である。なお、図4には、マーク表示部120によって表示された病変マーク群120aの拡大図が示される。
図4に示すように、病変マーク群120aは、例えば、タイムバー110を形成する時間軸方向の画素列に沿って表示された5つの病変マークM1〜M5を含むものである。病変マークM1〜M5は、タイムバー110の単位画素112a〜112eのそれぞれに対応して表示される。このような病変マークM1〜M5は、かかる単位画素112a〜112eのそれぞれに代表される画像群PG内の画像数Nの各連続画像群にそれぞれ含まれる1以上の出血画像の時間位置をそれぞれ示す。
具体的には、病変マークM1〜M5は、時間軸方向に配列された画素群によって形成されるタイムバー110の時間軸にそれぞれ直交するバー状のマークであり、かかるタイムバー110の時間軸に対して垂直な方向に一次元配列された画素群によってそれぞれ形成される。この場合、かかる病変マークM1を形成する画素群は、タイムバー110の単位画素112aに対応して一次元配列される。これと同様に、かかる病変マークM2〜M5をそれぞれ形成する各画素群は、タイムバー110の単位画素112b〜112eにそれぞれ対応して一次元配列される。また、かかる病変マークM1〜M5のそれぞれを形成する各画素群の画素数は、上述したマーク表示部120の縦サイズTに相当する。
このような病変マークM1は、タイムバー110の単位画素112aによって代表される画像群PG内の連続画像群(上述した画像数Nの連続画像群)に含まれる1以上の出血画像を代表するとともに、かかる単位画素112aに代表される連続画像群内の出血画像の時間位置を一括して示す。これと同様に、病変マークM2〜M5は、タイムバー110の単位画素112b〜112eのそれぞれによって代表される画像数Nの各連続画像群内の1以上の出血画像をそれぞれ代表するとともに、かかる単位画素112b〜112eのそれぞれに代表される各連続画像群内の出血画像の時間位置をそれぞれ一括して示す。
また、このような病変マークM1〜M5の表示色は、タイムバー110の単位画素112a〜112eのそれぞれによって代表される画像数Nの各連続画像群内の出血画像数に応じて異なる。具体的には、病変マークM1〜M5が出血画像の示す病変(すなわち出血部位)に対応して同系色(例えば赤色系)で表示される場合、かかる病変マークM1〜M5の各表示色は、単位画素112a〜112eがそれぞれ代表する画像数Nの各連続画像群内の出血画像数の増大に伴って濃くなり、かかる出血画像数の減少に伴って淡くなる。
このような病変マークM1〜M5は、1以上の出血画像を含む画像群PG内の画像数Nの連続画像群毎に出血画像の時間位置を示すとともに、その表示色(例えば赤色系の濃淡)によって、かかる画像数Nの連続画像群毎に出血画像数の分布を示す。以上のことは、上述した病変マーク群120bについても同様である。
なお、このような病変マークを表示するマーク表示部120の背景(すなわち横サイズLと縦サイズTとによって規定される矩形領域)の明度は、病変マークとウィンドウWの背景との中間近傍の値であることが望ましく、かかるマーク表示部120の背景色は、病変マークに対して補色であることが望ましい。これによって、かかるマーク表示部120の背景と病変マークとの境界を明確化することができ、この結果、マーク表示部120が医師または看護師等のユーザに視認し易い態様の病変マークを表示できるからである。
つぎに、被検体1内の画像群PGに病変画像の一例である出血画像が含まれる場合を例示して、この画像群PG内の出血画像を検出する制御部15の動作を説明する。図5は、被検体1内の画像群PGに含まれる1以上の出血画像を検出する制御部15の処理手順を例示するフローチャートである。
図5に示すように、制御部15は、まず、被検体1内の画像群PGの中から処理対象の画像を読み込む(ステップS101)。この場合、制御部15は、カードI/F13に挿着された携帯型記録媒体5内の画像群PGから処理対象の画像Pn(フレーム番号n=1,2,3,…)を例えば時系列に沿って順次読み込む。
つぎに、制御部15は、処理対象の画像として読み込んだ被検体1内の画像が出血画像であるか否かを判断する(ステップS102)。この場合、画像検出部15aは、読み込んだ処理対象の画像の色情報を検出し、検出した色情報をもとに、この処理対象の画像が出血画像であるか否かを判断する。具体的には、画像検出部15aは、この処理対象の画像の色情報として画像の平均色を検出した場合、検出した画像の平均色が出血画像の平均色に近似していれば、この処理対象の画像を被検体1内の出血画像であると判断する。一方、画像検出部15aは、この処理対象の画像の色情報として、画像を形成するRGBの各色要素の値(R値、G値、B値)を検出した場合、検出したRGBの各色要素の値が出血画像の各色要素の数値範囲内であれば、この処理対象の画像を被検体1内の出血画像であると判断する。
制御部15は、この処理対象の画像が出血画像であると判断した場合(ステップS102,Yes)、この出血画像であると判断した処理対象の画像に対して出血フラグを付加する(ステップS103)。この場合、画像検出部15aは、上述したステップS102において出血画像であると判断した処理対象の画像(すなわち被検体1内の出血画像)に対して、出血画像である旨を示す出血フラグを付加する。このようにして、画像検出部15aは、被検体1内の画像群PGに含まれる出血画像を検出する。なお、かかる被検体1内の出血画像に付加される出血フラグは、上述した病変フラグの一例であって、出血画像である旨を示すサインである。
つぎに、制御部15は、かかる出血フラグを付加した処理対象の画像(すなわち出血画像)を記憶部14に保存する(ステップS104)。この場合、制御部15は、かかる出血フラグを付加した出血画像を被検体1内の画像群PGの一部として記憶部14に保存する。
その後、制御部15は、かかる被検体1内の画像群PGに含まれる全画像を処理完了したか否かを判断する(ステップS105)。具体的には、制御部15は、カードI/F13に挿着された携帯型記録媒体5内に未だ読み込んでいない被検体1内の画像が残っている場合、あるいは、記憶部14に未だ保存していない被検体1内の画像が携帯型記録媒体5内に残っている場合、かかる被検体1内の画像群PGの処理が完了していないと判断し(ステップS105,No)、上述したステップS101に戻り、このステップS101以降の処理手順を繰り返す。
制御部15は、上述したステップS101〜S105の処理手順を被検体1内の画像群PGに含まれる画像毎に繰り返し行い、かかる出血フラグが付加された出血画像を含む被検体1内の画像群PGを記憶部14に保存する。
一方、制御部15は、カードI/F13に挿着された携帯型記録媒体5から被検体1内の画像群PGを全て読み込んだ場合、あるいは、かかる携帯型記録媒体5に保存された被検体1内の画像群PGを全て記憶部14に保存した場合、かかる画像群PG内の全画像を処理完了と判断し(ステップS105,Yes)、かかる画像群PG内の出血画像の検出処理を終了する。
なお、制御部15は、上述したステップS102において処理対象の画像が出血画像ではないと判断した場合(ステップS102,No)、上述したステップS104に進み、このステップS104以降の処理手順を繰り返す。この場合、画像検出部15aは、ステップS102において出血画像ではないと判断した被検体1内の画像(すなわち正常な臓器の画像)に対して出血フラグを付加しない。制御部15は、この出血フラグが付加されていない被検体1内の画像、すなわち正常な臓器の画像を記憶部14に保存する。すなわち、かかる出血画像ではない被検体1内の画像は、出血フラグが付加されずに、被検体1内の画像群PGの一部として記憶部14に保存される。
つぎに、被検体1内の画像群PGに病変画像の一例である出血画像が含まれる場合を例示して、かかる画像群PG内の出血画像の時間位置を示す病変マークを表示する制御を行う制御部15の動作を説明する。図6は、出血画像の計数結果に応じた表示色をもつ病変マークを表示する制御を行う制御部15の処理手順の一例を示すフローチャートである。
制御部15は、主表示領域100に表示される被検体1内の画像群PGに含まれる画像数Nの連続画像群毎に出血画像数を計数し、画像検出部15aによって検出された1以上の出血画像(すなわち出血フラグが付加された画像)を含む画像数Nの連続画像群毎に、かかる出血画像数の計数結果に応じた表示色をもつ病変マークをマーク表示部120に表示させる。
すなわち図6に示すように、制御部15は、まず、タイムバー110の単位画素当りの画像数Nを算出する(ステップS201)。具体的には、表示制御部15bは、主表示領域100に表示される被検体1内の画像群PGの全画像数A[フレーム]とタイムバー110の横サイズL[画素]とを検出する。ここで、かかるタイムバー110の横サイズLは、上述したように、タイムバー110を形成する時間軸方向の画素群(画素列)の画素数と同値である。表示制御部15bは、かかる全画像数Aを横サイズL(すなわちL画素)によって除算し、タイムバー110の単位画素当りの画像数N[フレーム/単位画素]を算出する。なお、かかる単位画素当りの画像数Nは、タイムバー110の単位画素によって代表される画像群PG内の連続画像群の画像数である。
つぎに、制御部15は、主表示領域100に表示される被検体1内の画像群PGのフレーム番号nを初期化する(ステップS202)。この場合、表示制御部15bは、この画像群PGに含まれる画像数Nの連続画像群内の先頭画像を特定するためのフレーム番号nを初期値(例えばn=1)にする。
その後、制御部15は、主表示領域100に表示される被検体1内の画像群PGの中から、出血画像数の計数処理が行われる処理対象の連続画像群を決定する(ステップS203)。この場合、表示制御部15bは、現フレーム番号nの画像を先頭画像にして画像数Nの画像が連続する画像群PG内の連続画像群(すなわち画像数Nの連続画像群)をこの処理対象の連続画像群に決定する。
なお、かかる処理対象の連続画像群に決定された画像数Nの連続画像群の先頭画像を特定する現フレーム番号nは、上述したステップS202において初期化したフレーム番号または後述するステップS209において更新したフレーム番号である。
つぎに、制御部15は、ステップS203において処理対象の連続画像群に決定した画像数Nの連続画像群内の出血フラグを検索する(ステップS204)。この場合、表示制御部15bは、この画像数Nの連続画像群に含まれる各画像をフレーム番号順に順次読み込み、読み込んだ画像毎に出血フラグを検索する。ここで、この画像数Nの連続画像群に出血画像が含まれる場合、表示制御部15bは、かかる連続画像群内の出血画像を読み込むとともに、この出血画像に付加された出血フラグを読み込む。表示制御部15bは、このように出血画像とともに出血フラグを読み込むことによって、この出血画像に付加された出血フラグを検出する。すなわち、表示制御部15bは、この画像数Nの連続画像群に1以上の出血画像が含まれる場合、この画像数Nの連続画像群の中から出血画像数と同数の出血フラグを検出する。
続いて、制御部15は、ステップS204において検索処理した出血フラグの検索結果をもとに、この画像数Nの連続画像群における出血フラグの有無を判断する(ステップS205)。具体的には、表示制御部15bは、上述したステップS204において、この画像数Nの連続画像群の中から1以上の出血フラグを検出した場合、この画像数Nの連続画像群内に出血フラグありと判断する。
制御部15は、このように処理対象の連続画像群である画像数Nの連続画像群内に出血フラグありと判断した場合(ステップS205,Yes)、この処理対象の連続画像群に含まれる出血画像を計数する(ステップS206)。この場合、表示制御部15bは、この処理対象の連続画像群である画像数Nの連続画像群の中から検出した出血フラグを計数する。ここで、かかる出血フラグの検出数は、上述したように、この画像数Nの連続画像群内の出血画像数と同数である。したがって、表示制御部15bは、かかる出血フラグの検出数を計数することによって、この画像数Nの連続画像群に含まれる出血画像の出血画像数x[フレーム]を得る。
つぎに、制御部15は、ステップS206において得られた出血画像数xに対応して、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの表示色を設定する(ステップS207)。この場合、表示制御部15bは、この画像数Nの連続画像群内の出血画像数xを用いて病変マークの色要素を算出し、得られた色要素によって形成される色をこの病変マークの表示色に設定する。
具体的には、表示制御部15bは、例えば、この画像数Nの連続画像群内の出血画像数xを変数として含む次式(1)と次式(2),(3)とに基づいて、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの色要素を算出し、得られた色要素によって形成される色をこの病変マークの表示色に設定する。
R値=64+2×出血画像数x ・・・(1)
G値=0 ・・・(2)
B値=0 ・・・(3)
ここで、このような式(1)〜(3)に基づいて算出された色要素によって形成される色は、出血画像の示す病変(すなわち出血部位)に対応する赤色系であって、この画像数Nの連続画像群内の出血画像数xの増大に伴って濃色に変化し、この出血画像数xの減少に伴って淡色に変化する。表示制御部15bは、かかる式(1)〜(3)に基づいて病変マークの表示色を設定することによって、この画像数Nの連続画像群内の出血画像数xに応じてこの病変マークの表示色の濃淡を変化させる。
つぎに、制御部15は、表示部12に対し、ステップS207において設定した表示色をもつ病変マークを表示する制御を行う(ステップS208)。この場合、表示制御部15bは、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、この画像数Nの連続画像群内の出血画像数xに応じた表示色(すなわちステップS207において設定した表示色)をもつ病変マークを表示する制御を行う。かかる表示制御部15bの制御に基づいて、マーク表示部120は、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応する時間位置の画素列に、この画像数Nの連続画像群内の出血画像数xに応じた表示色で病変マークを表示する。
続いて、制御部15は、主表示領域100に表示される被検体1内の画像群PGのフレーム番号nを更新する(ステップS209)。この場合、表示制御部15bは、現処理対象の連続画像群内の先頭画像を特定する現フレーム番号nに対して画像数N(上述したステップS201において算出した画像数)を加算し、得られた値にフレーム番号nを更新する。このように更新されたフレーム番号nは、現処理対象の連続画像群に後続する画像群PG内の次の連続画像群における先頭画像を特定する。
その後、制御部15は、主表示領域100に表示される画像群PGの全画像に対して処理完了したか否かを判断する(ステップS210)。具体的には、表示制御部15bは、上述したステップS209において更新したフレーム番号nが画像群PGの全画像数A以下である場合、この画像群PGに含まれる画像の少なくとも一つは処理未完であると判断し(ステップS210,No)、上述したステップS203に戻り、このステップS203以降の処理手順を繰り返す。
一方、表示制御部15bは、上述したステップS209において更新したフレーム番号nが画像群PGの全画像数Aを超えた場合、この画像群PGの全画像に対して処理完了と判断し(ステップS210,Yes)、この画像群PGに関する病変マーク表示処理を完了する。この状態において、マーク表示部120は、画像群PGに含まれる画像数Nの各連続画像群のうちの1以上の出血画像を含む連続画像群毎に、出血画像数xに応じた表示色をもつ病変マークを表示する。
なお、制御部15は、上述したステップS205において、この処理対象の連続画像群である画像数Nの連続画像群内に出血フラグなしと判断した場合(ステップS205,No)、ステップS206〜S208の処理手順を行わずにステップS209に進む。この場合、表示制御部15bは、上述したステップS204において、この画像数Nの連続画像群の中から出血フラグを検出していない。すなわち、この画像数Nの連続画像群には、出血画像が含まれない。表示制御部15bは、この画像数Nの連続画像群に出血画像が含まれない場合、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、病変マークを表示させない。
つぎに、被検体1内の画像群PGに含まれる出血画像の時間位置を示す病変マークM1〜M5(図3,4参照)を例示して、1以上の出血画像を含む画像群PG内の連続画像群毎に出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う表示制御部15bの動作を具体的に説明する。図7は、出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う表示制御部15bの動作を具体的に説明するための模式図である。
主表示領域100に表示される被検体1内の画像群PGは、例えば6万フレームの画像を含む画像群(すなわち全画像数Aが6万フレームである画像群)であり、複数の出血画像を含む。ここで、タイムバー110の横サイズL(すなわちタイムバー110を形成する時間軸方向の画素数)が1000画素である場合、表示制御部15bは、画像群PGの全画像数A(=6万フレーム)をタイムバー110の横サイズL(=1000画素)によって除算し、このタイムバー110の単位画素当りの画像数N(=60フレーム)を算出する。
その後、表示制御部15bは、かかる単位画素当りの画像数Nの画像が連続する画像群PG内の連続画像群を順次決定し、かかる画像数Nの連続画像群毎に出血画像数xを計数する。そして、表示制御部15bは、1以上の出血画像を含む画像数Nの連続画像群毎に、出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う。
具体的には図7に示すように、表示制御部15bは、単位画素当りの画像数N(=60フレーム)の画像が連続する60フレームの連続画像群Gr1を画像群PGの中から決定する。なお、この連続画像群Gr1は、タイムバー110の単位画素112aによって代表される。すなわち、この連続画像群Gr1の時間位置は、この単位画素112aに対応する。
表示制御部15bは、この連続画像群Gr1に対して出血フラグの検索処理を行い、この出血フラグの検索結果をもとに連続画像群Gr1の出血画像数xを計数する。例えば、この連続画像群Gr1に10フレームの出血画像が含まれる場合、表示制御部15bは、この連続画像群Gr1の中から10個の出血フラグを検出し、この出血フラグの検出数(=10)を連続画像群Gr1の出血画像数xとして計数する。このようにして、表示制御部15bは、この連続画像群Gr1の出血画像数x=10を得る。
この連続画像群Gr1に10フレームの出血画像が含まれる場合、表示制御部15bは、この連続画像群Gr1の出血画像数x=10に応じた病変マークの表示色を設定する。具体的には、表示制御部15bは、上述した式(1)〜(3)に基づいて、出血画像数x=10に応じた色要素(R値=84、G値=0、B値=0)を算出し、得られた色要素によって形成される病変マークの表示色を設定する。
表示制御部15bは、このように設定した表示色(R値=84、G値=0、B値=0)をもつ病変マークM1を単位画素112aに対応するマーク表示部120内の時間位置に表示する制御を行う。かかる表示制御部15bの制御に基づいて、マーク表示部120は、単位画素112aに対応する時間位置に病変マークM1を表示する。
その後、表示制御部15bは、上述した連続画像群Gr1の場合と略同様に、タイムバー110の単位画素当りの画像数Nの画像が連続する画像群PG内の連続画像群Gr2〜Gr5を順次決定し、決定した連続画像群Gr2〜Gr5の各出血画像数xをそれぞれ計数する。そして、表示制御部15bは、上述した病変マークM1の場合と略同様に、かかる連続画像群Gr2〜Gr5の各出血画像数xに応じた各表示色をそれぞれもつ病変マークM2〜M5を表示する制御を行う。
具体的には、連続画像群Gr2〜Gr5は、上述した画像数N=60フレームの画像が連続する画像群PG内の60フレームの連続画像群であり、1以上の出血画像をそれぞれ含む。また、連続画像群Gr2〜Gr5は、上述した連続画像群Gr1の後に順次連続する。すなわち、連続画像群Gr2は連続画像群Gr1に後続し、連続画像群Gr3は連続画像群Gr2に後続し、連続画像群Gr4は連続画像群Gr3に後続し、連続画像群Gr5は連続画像群Gr4に後続する。このような連続画像群Gr2〜Gr5は、タイムバー110の単位画素112b〜112eにそれぞれ代表される。すなわち、かかるタイムバー110の単位画素112b〜112eは、連続画像群Gr2〜Gr5の各時間位置にそれぞれ対応する。
また、表示制御部15bは、連続画像群Gr2〜Gr5内の各出血フラグの検出数を順次計数し、連続画像群Gr2の出血画像数x=25、連続画像群Gr3の出血画像数x=50、連続画像群Gr4の出血画像数x=15、および連続画像群Gr5の出血画像数x=5を順次取得する。このような表示制御部15bは、上述した式(1)〜(3)に基づいて、連続画像群Gr2の出血画像数x=25に応じた病変マークM2の表示色(R値=114、G値=0、B値=0)と、連続画像群Gr3の出血画像数x=50に応じた病変マークM3の表示色(R値=164、G値=0、B値=0)と、連続画像群Gr4の出血画像数x=15に応じた病変マークM4の表示色(R値=94、G値=0、B値=0)と、連続画像群Gr5の出血画像数x=5に応じた病変マークM5の表示色(R値=74、G値=0、B値=0)とを順次設定する。
表示制御部15bは、かかる出血画像数xに応じた表示色をもつ病変マークM2〜M5を単位画素112b〜112eにそれぞれ対応するマーク表示部120内の各時間位置に順次表示する制御を行う。かかる表示制御部15bの制御に基づいて、マーク表示部120は、単位画素112b〜112eにそれぞれ対応する各時間位置に病変マークM2〜M5を順次表示する。
ここで、かかる表示制御部15bの制御に基づいて表示される病変マークM1〜M5は、連続画像群Gr1〜Gr5のそれぞれに含まれる各出血画像群をそれぞれ代表し、タイムバー110の単位画素112a〜112eに対応するマーク表示部120内の各画素列によってそれぞれ形成される。また、病変マークM1は、連続画像群Gr1の出血画像数x=10に応じた表示色(R値=84、G値=0、B値=0)を有し、病変マークM2は、連続画像群Gr2の出血画像数x=25に応じた表示色(R値=114、G値=0、B値=0)を有し、病変マークM3は、連続画像群Gr3の出血画像数x=50に応じた表示色(R値=164、G値=0、B値=0)を有する。病変マークM4は、連続画像群Gr4の出血画像数x=15に応じた表示色(R値=94、G値=0、B値=0)を有し、病変マークM5は、連続画像群Gr5の出血画像数x=5に応じた表示色(R値=74、G値=0、B値=0)を有する。
かかる病変マークM1〜M5の各表示色は、出血画像の示す出血部位に対応する赤色(すなわち出血部位を連想し易い色)であり、上述した連続画像群Gr1〜Gr5の各出血画像数xの増大に伴って濃くなる。具体的には、出血画像数x=50の出血画像を代表する病変マークM3の表示色は、50フレーム未満の出血画像を代表する病変マークM1,M2,M4,M5に比して濃い赤色である。出血画像数x=25の出血画像を代表する病変マークM2の表示色は、25フレーム未満の出血画像を代表する病変マークM1,M4,M5に比して濃い赤色である。出血画像数x=15の出血画像を代表する病変マークM4の表示色は、15フレーム未満の出血画像を代表する病変マークM1,M5に比して濃い赤色である。出血画像数x=10の出血画像を代表する病変マークM1の表示色は、10フレーム未満の出血画像を代表する病変マークM5に比して濃い赤色である。
このような病変マークM1〜M5は、連続画像群Gr1〜Gr5のそれぞれに含まれる出血画像の各時間位置をタイムバー110に沿って示すとともに、各表示色(具体的には赤色)の濃さによって、連続画像群Gr1〜Gr5の各出血画像数の分布をタイムバー110に沿って示すことができる。この場合、病変マークM1〜M5は、各病変マーク間での表示色の濃さの違いによって、連続画像群Gr1〜Gr5間で比較される出血画像数の多少を示すことができる。
医者または看護師等のユーザは、タイムバー110に沿って表示された病変マークM1〜M5の表示位置によって、画像群PGの全体的な時間位置内の何れの時間位置に出血画像が分布しているかを理解できる。これと同時に、ユーザは、かかる病変マークM1〜M5の表示色によって、画像群PGの全体的な時間位置における出血画像数の分布を容易に理解できるとともに、かかる出血画像の時間位置の間で比較される出血画像数の多少を容易に理解できる。
なお、上述した表示制御部15bは、図3に示した表示操作アイコン群130の操作によって入力される表示指示情報をもとに、主表示領域100に画像群PG内の画像Pn(フレーム番号n=1,2,3,…)を表示する制御を行う。具体的には、入力部11は、上述した表示操作アイコン群130のうちの所望のアイコンをクリック操作することによって、かかる所望のアイコンに対応する表示指示情報を制御部15に入力する。表示制御部15bは、かかる入力部11によって入力された表示指示情報に基づいて、画像群PG内の画像Pnを主表示領域100に表示する制御を行う。
例えば、表示制御部15bは、再生アイコン131のクリック操作が行われた場合、主表示領域100に被検体1内の画像Pnを時系列の順方向に沿って順次表示させ、コマ再生アイコン132のクリック操作が行われた場合、その都度、主表示領域100に被検体1内の画像Pnを時系列の順方向に沿って1フレームずつ表示させる。また、表示制御部15bは、逆再生アイコン134のクリック操作が行われた場合、主表示領域100に被検体1内の画像Pnを時系列の逆方向に沿って順次表示させ、逆コマ再生アイコン135のクリック操作が行われた場合、その都度、主表示領域100に被検体1内の画像Pnを時系列の逆方向に沿って1フレームずつ表示させる。
一方、表示制御部15bは、頭出しアイコン133のクリック操作が行われた場合、被検体1内の画像群PGのうちの最後に撮像された画像を主表示領域100に表示させる。また、表示制御部15bは、逆頭出しアイコン136のクリック操作が行われた場合、被検体1内の画像群PGのうちの最初に撮像された画像を主表示領域100に表示させる。
以上、説明したように、本発明の実施の形態1では、時系列に沿って臓器内部を撮像した被検体内の画像群に含まれる1以上の出血画像を検出し、この被検体内の画像群の全体的な時間位置を示すタイムバーを形成する時間軸方向の画素数をこの被検体内の画像群の全画像数によって除算して、このタイムバーの単位画素当りの画像数を算出し、この被検体内の画像群内においてこの単位画素当りの画像数の画像が連続する連続画像群毎に出血画像数を計数し、1以上の出血画像を含む連続画像群毎に、連続画像群内の出血画像の時間位置を示す病変マークをこの連続画像群の出血画像数に応じた表示色(例えば出血画像数に応じて異なる濃さの表示色)で表示するように構成した。このため、かかるタイムバーに沿って表示された1以上の病変マークの表示位置によって、被検体内の画像群の全体的な時間位置内における出血画像の時間位置を示すことができるとともに、かかる1以上の病変マークの表示色によって、この全体的な時間位置内における出血画像数の分布を示すことができる。この結果、時系列に沿って撮像された臓器内部の画像群に含まれる出血画像等の病変画像の時間位置を理解できるとともに、臓器内部の画像群の全体的な時間位置における病変画像数の分布を容易に理解できる画像表示装置を実現することができる。
この実施の形態1にかかる画像表示装置を用いることによって、ユーザは、被検体内の画像群に含まれる1以上の病変画像の時間位置を理解でき、かかる時間位置をもとに、病変画像が撮像された被検体内の臓器を容易に推測できる。これに加えて、ユーザは、被検体内の画像群の全体的な時間位置における病変画像数の分布を容易に理解でき、この被検体内の画像群に含まれる病変画像の実際の画像数に近似する病変画像数を容易に推測することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、タイムバー110の単位画素当りの画像数Nの画像が連続する連続画像群毎に計数した出血画像数xに応じて病変マークの表示色を変化させていたが、この実施の形態2では、かかる出血画像数xに応じて病変マークの表示サイズを変化させている。
図8は、本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。図8に示すように、この実施の形態2にかかる画像表示装置20は、上述した実施の形態1にかかる画像表示装置4の制御部15に代えて制御部25を有する。かかる画像表示装置20において、表示部12のマーク表示部120は、画像群PG内の画像数Nの連続画像群毎に計数された出血画像数xに応じて表示色を変化させた病変マークに代えて、かかる出血画像数xに応じて表示サイズを変化させた病変マークを表示する。また、本発明の実施の形態2にかかる被検体内情報取得システムは、上述した実施の形態1にかかる被検体内情報取得システム(図1参照)の画像表示装置4に代えて画像表示装置20を有する。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部25は、1以上の出血画像を含む画像群PG内の画像数Nの連続画像群毎に出血画像数xに応じた表示サイズの病変マークを表示する制御を行うマーク表示制御機能以外、上述した実施の形態1にかかる画像表示装置4の制御部15と同様の機能を有する。このような制御部25は、実施の形態1にかかる画像表示装置4の制御部15と同様に画像検出部15aを有し、上述した表示制御部15bに代えて表示制御部25bを有する。
表示制御部25bは、被検体1内の画像群PGに含まれる1以上の病変画像(例えば出血画像)の時間位置を示す病変マークを表示部12のマーク表示部120に表示する制御を行う。具体的には、表示制御部25bは、上述した実施の形態1の表示制御部15bと同様に、タイムバー110の単位画素当りの画像数Nを算出し、かかる画像数Nの画像が連続する画像群PG内の連続画像群毎に出血画像数xを計数する。表示制御部25bは、かかる画像数Nの連続画像群毎に計数した出血画像数xが1以上である場合、すなわち、かかる画像数Nの連続画像群に1以上の出血画像が含まれる場合、その都度、この1以上の出血画像を含む連続画像群の出血画像数xに応じた表示サイズをもつ病変マークをマーク表示部120に表示させる。この場合、表示制御部25bは、出血画像の示す出血部位に対応する赤色系(出血部位を連想し易い色)を病変マークの表示色に設定し、この赤色系の表示色をもつ病変マークの表示サイズを出血画像数xの増大に伴って大きくする。
なお、表示制御部25bは、このように出血画像数xに応じて表示サイズを変化させた病変マークをマーク表示部120に表示させるマーク表示制御機能以外、上述した実施の形態1の表示制御部15bと同様の機能を有する。
つぎに、被検体1の画像群PGに含まれる病変画像が出血画像である場合を例示して、本発明の実施の形態2にかかる画像表示装置20の表示部12の表示内容を具体的に説明する。図9は、実施の形態2にかかる画像表示装置20の表示部12の表示内容を例示する模式図である。
図9に示すように、この画像表示装置20の表示部12に表示されるウィンドウWにおいて、マーク表示部120は、画像数Nの連続画像群の出血画像数xに応じた表示色をもつ1以上の病変マーク(例えば上述した病変マーク群120a,120b)に代えて、かかる出血画像数xに応じた表示サイズをもつ1以上の病変マークを含む病変マーク群220a,220bを表示する。なお、かかる病変マーク群220a,220bを表示するマーク表示部120は、上述した実施の形態1の場合と同様に、時間軸方向の横サイズL[画素]と時間軸方向に対して垂直方向の縦サイズT[画素]とによって規定される矩形領域内に格子状に配列された(L×T)画素の画素群によって形成される。かかるマーク表示部120を含むウィンドウWの他の表示内容は、上述した実施の形態1の場合と同じである。
病変マーク群220a,220bは、タイムバー110の単位画素に対応して表示される病変マークをそれぞれ複数含むものである。かかる病変マーク群220a,220bに含まれる複数の病変マークのそれぞれは、マーク表示部120内の縦方向の画素列(すなわちタイムバー110の時間軸に直交する方向の画素列)に含まれる1以上の画素によって形成され、画像群PG内の画像数Nの連続画像群毎に表示制御部25bが計数した出血画像数xに応じた表示サイズをもつ。
つぎに、上述したマーク表示部120内の病変マーク群220aを例示し、表示制御部25bの制御に基づいてマーク表示部120が表示する病変マークを詳細に説明する。図10は、実施の形態2にかかる画像表示装置20の表示制御部25bがマーク表示部120に表示させる病変マークの一具体例を示す模式図である。なお、図10には、マーク表示部120によって表示された病変マーク群220aの拡大図が示される。
図10に示すように、病変マーク群220aは、例えば、タイムバー110を形成する時間軸方向の画素列に沿って表示された5つの病変マークM6〜M10を含むものである。病変マークM6〜M10は、タイムバー110の単位画素112a〜112eのそれぞれに対応して表示される。このような病変マークM6〜M10は、かかる単位画素112a〜112eのそれぞれに代表される画像群PG内の画像数Nの各連続画像群にそれぞれ含まれる1以上の出血画像の時間位置をそれぞれ示す。
具体的には、病変マークM6〜M10は、時間軸方向の垂直方向に一次元配列されたマーク表示部120内の画素群(すなわちタイムバー110の時間軸に直交する方向の画素列)に含まれる1以上の画素によってそれぞれ形成される。この場合、かかる病変マークM6を形成する1以上の画素は、タイムバー110の単位画素112aに対応してマーク表示部120の一底辺から時間軸方向の垂直方向(すなわちマーク表示部120の縦方向)に配列される。これと同様に、かかる病変マークM7〜M10をそれぞれ形成する1以上の各画素は、タイムバー110の単位画素112b〜112eにそれぞれ対応してマーク表示部120の一底辺から時間軸方向の垂直方向に配列される。
このような病変マークM6は、タイムバー110の単位画素112aによって代表される画像群PG内の連続画像群(上述した画像数Nの連続画像群)に含まれる1以上の出血画像を代表するとともに、かかる単位画素112aに代表される連続画像群内の出血画像の時間位置を一括して示す。これと同様に、病変マークM7〜M10は、タイムバー110の単位画素112b〜112eのそれぞれによって代表される画像数Nの各連続画像群内の1以上の出血画像をそれぞれ代表するとともに、かかる単位画素112b〜112eのそれぞれに代表される各連続画像群内の出血画像の時間位置をそれぞれ一括して示す。
また、このような病変マークM6〜M10の表示サイズは、タイムバー110の単位画素112a〜112eのそれぞれによって代表される画像数Nの各連続画像群内の出血画像数xに応じて異なる。具体的には、かかる病変マークM6〜M10の各表示サイズは、単位画素112a〜112eがそれぞれ代表する画像数Nの各連続画像群内の出血画像数xの増大に伴って大きくなり、かかる出血画像数xの減少に伴って小さくなる。すなわち、タイムバー110の時間軸に直交する病変マークM6〜M10の各画素数は、単位画素112a〜112eがそれぞれ代表する画像数Nの各連続画像群内の出血画像数xの増大に伴って増大し、かかる出血画像数xの減少に伴って減少する。この場合、かかる病変マークM6〜M10の各画像数の上限値は、マーク表示部120の縦サイズT[画素]と同値である。
このような病変マークM6〜M10は、1以上の出血画像を含む画像群PG内の画像数Nの連続画像群毎に出血画像の時間位置を示すとともに、その表示サイズ(縦サイズTを上限値として変化する病変マークの画素数)によって、かかる画像数Nの連続画像群毎に出血画像数の分布を示す。以上のことは、上述した病変マーク群220bについても同様である。
なお、上述したように出血画像数xに応じて表示サイズが変化する病変マーク(例えば病変マークM6〜M10)の表示色は、所望の色であってもよいが、出血画像の示す出血部位に対応する赤色系であることが望ましい。何故ならば、かかる病変マークの表示色を赤色系にすることによって、出血画像の示す出血部位を連想し易くなるからである。
また、このような病変マークを表示するマーク表示部120の背景(すなわち横サイズLと縦サイズTとによって規定される矩形領域)の明度は、病変マークとウィンドウWの背景との中間近傍の値であることが望ましく、かかるマーク表示部120の背景色は、病変マークに対して補色であることが望ましい。これによって、かかるマーク表示部120の背景と病変マークとの境界を明確化することができ、この結果、マーク表示部120が医師または看護師等のユーザに視認し易い態様の病変マークを表示できるからである。
つぎに、被検体1内の画像群PGに病変画像の一例である出血画像が含まれる場合を例示して、かかる画像群PG内の出血画像の時間位置を示す病変マークを表示する制御を行う制御部25の動作を説明する。図11は、出血画像の計数結果に応じた表示サイズをもつ病変マークを表示する制御を行う制御部25の処理手順の一例を示すフローチャートである。
制御部25は、上述したステップS201〜S210の処理手順(図6参照)と略同様の処理手順を行って、主表示領域100に表示される被検体1内の画像群PGに含まれる画像数Nの連続画像群毎に出血画像数xを計数し、かかる出血画像数xの計数結果に応じた表示サイズをもつ病変マークをマーク表示部120に表示させる。この場合、制御部25は、上述したステップS207,S208の処理手順に代えて、処理対象の連続画像群である画像数Nの連続画像群の出血画像数xに応じた病変マークの表示サイズを設定し、この設定した表示サイズをもつ病変マークをマーク表示部120に表示させる。
具体的には図11に示すように、表示制御部25bは、上述したステップS201〜S204と同様に、タイムバー110の単位画素当りの画像数Nを算出し(ステップS302)、被検体1内の画像群PGのフレーム番号nを初期化し(ステップS302)、この画像数Nの画像が連続する画像群PG内の連続画像群を処理対象の連続画像群に決定し(ステップS303)、この処理対象の連続画像群である画像数Nの連続画像群内の出血フラグを検索する(ステップS304)。
続いて、表示制御部25bは、上述したステップS305,S306と同様に、この画像数Nの連続画像群における出血フラグの有無を判断し(ステップS305)、出血フラグありと判断した場合(ステップ305,Yes)、この画像数Nの連続画像群に含まれる出血画像を計数し(ステップS306)、この処理対象の画像群である画像数Nの連続画像群の出血画像数xを得る。
つぎに、表示制御部25bは、ステップS306において得られた出血画像数xに対応して、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの表示サイズを設定する(ステップS307)。かかる表示制御部25bは、この画像数Nの連続画像群内の出血画像数xを用いて、病変マークを形成する画素列の画素数を算出し、得られた画素数をこの病変マークの表示サイズに設定する。
具体的には、表示制御部25bは、例えば、この処理対象の連続画像群の画像数N、この画像数Nの連続画像群内の出血画像数x、およびマーク表示部120の縦サイズTを変数として含む次式(4)に基づいて、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの表示サイズTx[画素]を算出する。この表示サイズTxは、この病変マークを形成する画素列の画素数である。表示制御部25bは、得られた表示サイズTxをこの病変マークの表示サイズに設定する。
表示サイズTx=10+(縦サイズT−10)×(出血画像数x/画像数N)・・・(4)
ここで、この式(4)に基づいて算出された表示サイズTx(すなわち病変マークの画素数)は、この画像数Nの連続画像群内の出血画像数xの増大に伴って増大し、この出血画像数xの減少に伴って減少する。表示制御部25bは、かかる式(4)に基づいて病変マークの表示サイズを設定することによって、この画像数Nの連続画像群内の出血画像数xに応じてこの病変マークの表示サイズを変化させる。
つぎに、表示制御部25bは、表示部12に対し、ステップS307において設定した表示サイズをもつ病変マークを表示する制御を行う(ステップS308)。具体的には、表示制御部25bは、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、この画像数Nの連続画像群内の出血画像数xに応じた表示サイズTxをもつ病変マークを表示する制御を行う。かかる表示制御部25bの制御に基づいて、マーク表示部120は、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応する時間位置に、この表示サイズTxの画素列によって形成される病変マークを表示する。
その後、表示制御部25bは、上述したステップS209と同様に、主表示領域100に表示される被検体1内の画像群PGのフレーム番号nを更新する(ステップS309)。そして、表示制御部25bは、上述したステップS210と同様に、この画像群PGの全画像に対して処理完了したか否かを判断し(ステップS310)、この画像群PGに含まれる画像の少なくとも一つは処理未完であると判断した場合(ステップS310,No)、上述したステップS303に戻り、このステップS303以降の処理手順を繰り返す。
一方、表示制御部25bは、この画像群PGの全画像に対して処理完了と判断した場合(ステップS310,Yes)、この画像群PGに関する病変マーク表示処理を完了する。この状態において、マーク表示部120は、画像群PGに含まれる画像数Nの各連続画像群のうちの1以上の出血画像を含む連続画像群毎に、出血画像数xに応じた表示サイズTxをもつ病変マークを表示する。
なお、表示制御部25bは、上述したステップS305において出血フラグなしと判断した場合(ステップS305,No)、ステップS306〜S308の処理手順を行わずにステップS309に進む。この場合、表示制御部25bは、上述したステップS304において、この画像数Nの連続画像群の中から出血フラグを検出していない。すなわち、この画像数Nの連続画像群には、出血画像が含まれない。表示制御部25bは、この画像数Nの連続画像群に出血画像が含まれない場合、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、病変マークを表示させない。
つぎに、被検体1内の画像群PGに含まれる出血画像の時間位置を示す病変マークM6〜M10(図9,10参照)を例示して、1以上の出血画像を含む画像群PG内の連続画像群毎に出血画像数xに応じた表示サイズをもつ病変マークを表示する制御を行う表示制御部25bの動作を具体的に説明する。図12は、出血画像数xに応じた表示サイズTxをもつ病変マークを表示する制御を行う表示制御部25bの動作を具体的に説明するための模式図である。
主表示領域100に表示される被検体1内の画像群PGは、例えば6万フレームの画像を含む画像群(すなわち全画像数Aが6万フレームである画像群)であり、複数の出血画像を含む。ここで、タイムバー110の横サイズL(すなわちタイムバー110を形成する時間軸方向の画素数)が1000画素である場合、表示制御部25bは、画像群PGの全画像数A(=6万フレーム)をタイムバー110の横サイズL(=1000画素)によって除算し、このタイムバー110の単位画素当りの画像数N(=60フレーム)を算出する。なお、このタイムバー110の縦サイズT(すなわち病変マークの表示サイズの上限値)は、例えば130画素である。
その後、表示制御部25bは、かかる単位画素当りの画像数Nの画像が連続する画像群PG内の連続画像群を順次決定し、かかる画像数Nの連続画像群毎に出血画像数xを計数する。そして、表示制御部25bは、1以上の出血画像を含む画像数Nの連続画像群毎に、出血画像数xに応じた表示サイズTxをもつ病変マークを表示する制御を行う。
具体的には図12に示すように、表示制御部25bは、単位画素当りの画像数N(=60フレーム)の画像が連続する60フレームの連続画像群Gr1を画像群PGの中から決定する。なお、この連続画像群Gr1は、上述した実施の形態1の場合と同様に、タイムバー110の単位画素112aによって代表される。
表示制御部25bは、上述した実施の形態1の場合と同様に、この連続画像群Gr1の中から10個の出血フラグを検出し、この出血フラグの検出数(=10)を連続画像群Gr1の出血画像数xとして計数する。このようにして、表示制御部25bは、この連続画像群Gr1の出血画像数x=10を得る。
この連続画像群Gr1に10フレームの出血画像が含まれる場合、表示制御部25bは、この連続画像群Gr1の出血画像数x=10に応じた病変マークの表示サイズを設定する。具体的には、表示制御部25bは、上述した式(4)に基づいて、出血画像数x=10に応じた表示サイズT10(=30画素)を算出し、この連続画像群Gr1内の出血画像の時間位置を示す病変マークの表示サイズとして、この得られた表示サイズT10を設定する。
表示制御部25bは、このように設定した表示サイズT10(=30画素)をもつ病変マークM6を単位画素112aに対応するマーク表示部120内の時間位置に表示する制御を行う。かかる表示制御部25bの制御に基づいて、マーク表示部120は、単位画素112aに対応する時間位置に病変マークM6を表示する。
その後、表示制御部25bは、上述した実施の形態1の場合と同様に、タイムバー110の単位画素当りの画像数N(=60)の画像が連続する画像群PG内の連続画像群Gr2〜Gr5を順次決定し、決定した連続画像群Gr2〜Gr5の各出血画像数xをそれぞれ計数する。そして、表示制御部25bは、上述した病変マークM6の場合と略同様に、かかる連続画像群Gr2〜Gr5の各出血画像数xに応じた各表示サイズTxをそれぞれもつ病変マークM7〜M10を表示する制御を行う。
なお、連続画像群Gr2〜Gr5は、上述した実施の形態1の場合と同様に、タイムバー110の単位画素112b〜112eにそれぞれ代表される60フレームの連続画像群であり、1以上の出血画像をそれぞれ含む。
表示制御部25bは、上述した実施の形態1の場合と同様に、連続画像群Gr2の出血画像数x=25、連続画像群Gr3の出血画像数x=50、連続画像群Gr4の出血画像数x=15、および連続画像群Gr5の出血画像数x=5を順次取得する。このような表示制御部25bは、上述した式(4)に基づいて、連続画像群Gr2の出血画像数x=25に応じた病変マークM7の表示サイズT25(=60画素)と、連続画像群Gr3の出血画像数x=50に応じた病変マークM8の表示サイズT50(=110画素)と、連続画像群Gr4の出血画像数x=15に応じた病変マークM9の表示サイズT15(=40画素)と、連続画像群Gr5の出血画像数x=5に応じた病変マークM10の表示サイズT5(=20画素)とを順次設定する。
表示制御部25bは、かかる出血画像数xに応じた表示サイズTxをもつ病変マークM7〜M10を単位画素112b〜112eにそれぞれ対応するマーク表示部120内の各時間位置に順次表示する制御を行う。かかる表示制御部25bの制御に基づいて、マーク表示部120は、単位画素112b〜112eにそれぞれ対応する各時間位置に病変マークM7〜M10を順次表示する。
ここで、かかる表示制御部25bの制御に基づいて表示される病変マークM6〜M10は、連続画像群Gr1〜Gr5のそれぞれに含まれる各出血画像群をそれぞれ代表する。また、表示サイズT10(=30画素)をもつ病変マークM6は、単位画素112aに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された30画素の画素列によって形成される。表示サイズT25(=60画素)をもつ病変マークM7は、単位画素112bに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された60画素の画素列によって形成される。表示サイズT50(=110画素)をもつ病変マークM8は、単位画素112cに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された110画素の画素列によって形成される。表示サイズT15(=40画素)をもつ病変マークM9は、単位画素112dに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された40画素の画素列によって形成される。表示サイズT5(=20画素)をもつ病変マークM10は、単位画素112eに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された20画素の画素列によって形成される。
かかる病変マークM6〜M10の各表示サイズTxは、上述した連続画像群Gr1〜Gr5の各出血画像数xの増大に伴って増大する。具体的には、出血画像数x=50の出血画像を代表する病変マークM8の表示サイズT50は、50フレーム未満の出血画像を代表する病変マークM6,M7,M9,M10に比して大きい。出血画像数x=25の出血画像を代表する病変マークM7の表示サイズT25は、25フレーム未満の出血画像を代表する病変マークM6,M9,M10に比して大きい。出血画像数x=15の出血画像を代表する病変マークM9の表示サイズT15は、15フレーム未満の出血画像を代表する病変マークM6,M10に比して大きい。出血画像数x=10の出血画像を代表する病変マークM6の表示サイズT10は、10フレーム未満の出血画像を代表する病変マークM10に比して大きい。
このような病変マークM6〜M10は、連続画像群Gr1〜Gr5のそれぞれに含まれる出血画像の各時間位置をタイムバー110に沿って示すとともに、各表示サイズTxによって、連続画像群Gr1〜Gr5の各出血画像数の分布をタイムバー110に沿って示すことができる。この場合、病変マークM6〜M10は、各病変マーク間での表示サイズTxの違いによって、連続画像群Gr1〜Gr5間で比較される出血画像数の多少を示すことができる。
医者または看護師等のユーザは、タイムバー110に沿って表示された病変マークM6〜M10の表示位置によって、画像群PGの全体的な時間位置内の何れの時間位置に出血画像が分布しているかを理解できる。これと同時に、ユーザは、かかる病変マークM6〜M10の表示サイズによって、画像群PGの全体的な時間位置における出血画像数の分布を容易に理解できるとともに、かかる出血画像の時間位置の間で比較される出血画像数の多少を容易に理解できる。
以上、説明したように、本発明の実施の形態2では、上述した病変マークの表示色に代えて、タイムバーの単位画素当りの画像数の画像が連続する連続画像群毎に計数した出血画像数に応じて病変マークの表示サイズを変化させ、かかる出血画像数に応じた表示サイズをもつ病変マークを表示するようにし、その他の構成を上述した実施の形態1と同様にした。このため、上述した実施の形態1の作用効果を享受するとともに、時系列に沿って撮像された臓器内部の画像群の全体的な時間位置内における病変画像数の分布を一層視認し易い表示態様で表示することができ、かかる病変画像数の分布をさらに容易に理解できる画像表示装置を実現することができる。
なお、本発明の実施の形態1では、上述した式(1)〜(3)に基づいて出血画像数xに応じた病変マークの表示色を設定していたが、かかる式(1)〜(3)は、出血画像数xに応じた病変マークの表示色を形成する各色要素(R値、G値、B値)の計算式の一例であり、本発明を限定するものではない。
具体的には、かかる病変マークの表示色を形成するR値の計算式は、上述した式(1)に限らず、出血画像数xに例示される病変画像数を変数として含み、かかる病変画像数に応じて0〜255の範囲内のR値が得られるものであればよい。この場合、かかるR値の計算式の各項の係数および定数は、所望の数値であってもよいが、病変画像数の変化に伴う赤色の濃さの変化が人間の視覚的にリニアな変化になるように設定されることが望ましい。
また、本発明の実施の形態1では、出血画像の示す出血部位に対応して病変マークの表示色を赤色(すなわち1≦R値≦255、G値=0、B値=0)に設定し、出血画像数xの変化に伴って病変マークの表示色(赤色)の濃さを変化させていたが、これに限らず、病変マークの表示色は、3つの色要素R、G、Bのうちの少なくとも2つを組み合わせて形成される色に設定し、出血画像数xに例示される病変画像数の変化に伴って、かかる病変マークの表示色の色相、明度、または彩度等の色情報を変化させてもよい。この場合、3つの色要素の値(R値、G値、B値)の少なくとも2つを1以上の数値に設定し、かかる少なくとも2つの色要素の値を病変画像数の変化に伴って1〜255の範囲内の数値にそれぞれ変化させればよい。
さらに、本発明の実施の形態1では、病変マークの表示色を形成する色要素の値(R値)を出血画像数xに対して線形変化させていたが、これに限らず、病変マークの表示色を形成する色要素の値(R値、G値、またはB値)を出血画像数x等の病変画像数に対して非線形変化させてもよい。この場合、かかる病変マークの表示色を形成する色要素の値の算出式は、病変画像数を変数として含む多次元関数によって形成すればよい。また、3つの色要素R、G、Bのうちの少なくとも2つを組み合わせて形成される色を病変マークの表示色として設定する場合、R値、G値、B値の各計算式のうちの少なくとも2つは、病変画像数を変数として含む多次元関数によって形成すればよい。さらには、かかる多次元関数は、病変画像数の変化に伴う病変マークの表示色の変化(例えば色相、明度、彩度、色の濃さ等の変化)が人間の視覚的にリニアな変化になるように設定されることが望ましい。
また、本発明の実施の形態2では、上述した式(4)に基づいて出血画像数xに応じた病変マークの表示サイズTxを設定していたが、かかる式(4)は、出血画像数xに応じた病変マークの表示サイズTxを算出する計算式の一例であり、本発明を限定するものではない。
具体的には、かかる病変マークの表示サイズTxの計算式は、上述した式(4)に限らず、出血画像数xに例示される病変画像数を変数として含み、かかる病変画像数に応じて0画素〜T画素(マーク表示部120の縦サイズTに相当)の範囲内の画素数が得られるものであればよい。この場合、かかる表示サイズTxの計算式の各項の係数および定数は、所望の数値であってもよいが、病変画像数の変化に伴う表示サイズTxの変化が人間の視覚的にリニアな変化になるように設定されることが望ましい。
また、本発明の実施の形態2では、病変マークの表示サイズTxを出血画像数xに対して線形変化させていたが、これに限らず、病変マークの表示サイズTxを出血画像数x等の病変画像数に対して非線形変化させてもよい。この場合、かかる病変マークの表示サイズTxの算出式は、病変画像数を変数として含む多次元関数によって形成すればよい。さらには、かかる多次元関数は、病変画像数の変化に伴う病変マークの表示サイズTxの変化が人間の視覚的にリニアな変化になるように設定されることが望ましい。
さらに、本発明の実施の形態1,2では、病変画像の示す病変(すなわち病変画像の被写体に含まれる病変)として、出血部位を例示したが、これに限らず、かかる病変画像の示す病変は、出血部位の他に、褪色調部位、発赤部位、凝固血部位、糜爛部位、潰瘍部位等の体内に発生し得る各種病変であってもよい。また、かかる病変画像の時間位置を示す病変マークの表示色は、この病変画像の示す病変(出血部位、褪色調部位、発赤部位、凝固血部位、糜爛部位、潰瘍部位等)に対応する色であることが望ましい。具体的には、病変画像の示す病変が出血部位、発赤部位、または凝固血部位である場合、かかる病変画像の時間位置を示す病変マークの表示色は赤色系であることが望ましい。また、病変画像の示す病変が褪色調部位、糜爛部位、または潰瘍部位である場合、かかる病変画像の時間位置を示す病変マークの表示色は白色または灰色系であることが望ましい。
また、本発明の実施の形態1,2では、携帯型記録媒体5から被検体1内の画像群PGを取り込む際に、この画像群PG内の1以上の病変画像を検出していたが、これに限らず、かかる携帯型記録媒体5から取り込んだ画像群PGを記憶部14に保存し、その後、この記憶部14内の画像群PGに含まれる1以上の病変画像を検出してもよい。