JP2008061704A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2008061704A
JP2008061704A JP2006240384A JP2006240384A JP2008061704A JP 2008061704 A JP2008061704 A JP 2008061704A JP 2006240384 A JP2006240384 A JP 2006240384A JP 2006240384 A JP2006240384 A JP 2006240384A JP 2008061704 A JP2008061704 A JP 2008061704A
Authority
JP
Japan
Prior art keywords
image
display
lesion
images
bleeding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006240384A
Other languages
English (en)
Other versions
JP4914680B2 (ja
Inventor
Katsumi Hirakawa
克己 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006240384A priority Critical patent/JP4914680B2/ja
Priority to US11/888,871 priority patent/US8900124B2/en
Priority to CN2007101431724A priority patent/CN101116608B/zh
Publication of JP2008061704A publication Critical patent/JP2008061704A/ja
Application granted granted Critical
Publication of JP4914680B2 publication Critical patent/JP4914680B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】時系列に沿って臓器内部を撮像した画像群内の病変画像の時間位置を理解できるとともに、この画像群の全体的な時間位置における病変画像数の分布を容易に理解できること。
【解決手段】本発明にかかる画像表示装置は、マーク表示部120と画像検出部15aと表示制御部15bとを備える。画像検出部15aは、被検体内の画像群PGに含まれる出血画像を検出する。マーク表示部120は、この画像群PGの全体的な時間位置を示すタイムバー110に沿って、出血画像の時間位置を示す病変マークを表示する。表示制御部15bは、タイムバー110の時間軸方向の画素数と画像群PGの画像数とをもとにタイムバー110の単位画素当りの画像数Nを算出し、画像数Nの画像が連続する画像群PG内の連続画像群毎に出血画像数xを計数し、出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う。
【選択図】 図2

Description

本発明は、患者等の被検体の臓器内部を時系列に沿って撮像した一連の画像を表示する画像表示装置に関するものである。
従来から、内視鏡分野においては、撮像機能と無線通信機能とを備えた飲込み型のカプセル型内視鏡が提案され、このようなカプセル型内視鏡を被検体の臓器内部に導入して臓器内部の画像群を取得する被検体内情報取得システムが開発されている。カプセル型内視鏡は、臓器内部の観察(検査)のために患者等の被検体の口から飲込まれる。その後、カプセル型内視鏡は、被検体から自然排出されるまでの間、胃や小腸等の臓器の内部を蠕動等によって移動するとともに、例えば0.5秒間隔で被検体の臓器内部の画像(以下、被検体内の画像という場合がある)を時系列に沿って順次撮像する。
カプセル型内視鏡が被検体の臓器内部を移動する間、このカプセル型内視鏡によって撮像された臓器内部の画像は、順次無線通信によって外部の受信装置に送信される。この受信装置は、受信アンテナおよび記憶媒体を有し、かかるカプセル型内視鏡から送信された臓器内部の画像を受信し、受信した臓器内部の画像を記憶媒体に順次保存するよう機能する。被検体は、かかる受信装置を携帯することによって、カプセル型内視鏡を飲込んでから自然排出するまでの間に亘り、自由に行動できる。
カプセル型内視鏡が被検体から自然排出された後、医師または看護師等のユーザにおいては、かかる受信装置の記憶媒体に保存された臓器内部の画像群を画像表示装置に取り込ませ、この画像表示装置のディスプレイに臓器内部の画像群を順次表示させる。ユーザは、かかる画像表示装置に表示させた被検体内の画像群を順次観察し、この被検体の診断を行うことができる(例えば、特許文献1参照)。
このような画像表示装置には、カプセル型内視鏡が時系列に沿って撮像した臓器内部の画像と臓器内部の画像群全体の時間位置を示すタイムバーとを表示し、かかる臓器内部の画像群の中に出血部位の画像(以下、出血画像という)が含まれる場合、かかる出血部画像の時間位置を示すマークをタイムバー上に付するものがある(例えば、特許文献2参照)。この特許文献2に記載された画像表示装置は、臓器内部の画像群の色情報を検出し、検出した色情報をもとに、この臓器内部の画像群の中から出血画像を検出する。かかる画像表示装置は、このように臓器内部の画像群の中から検出した出血画像に対応するタイムバー上の位置に、この出血画像の時間位置を示すマーク(以下、病変マークという)を表示する。医師または看護師等のユーザは、かかるタイムバー上に表示された病変マークを視認することによって、臓器内部の画像群に含まれる出血画像が被検体内の何れの臓器において撮像されたものであるかを容易に推測することができる。
特開2003−19111号公報 特開2004−337596号公報
ところで、上述したタイムバーは、一般に、直線状に配列された画素群によって形成される。かかるタイムバーを形成する画素群内の1画素は、画像表示装置に順次表示される臓器内部の画像群に含まれる所定画像数毎の連続画像群を代表する。例えば、直線状に配列された1000個の画素によってタイムバーが形成され、かかる1000画素のタイムバーが、カプセル型内視鏡によって撮像された6万枚の臓器内部の画像群全体の時間位置を示す場合、かかる1000画素のタイムバーの1画素は、6万枚の臓器内部の画像群に含まれる60枚の連続画像群を代表する。
このようなタイムバー上の時間位置(すなわちタイムバーの1画素に対応する位置)に表示される病変マークは、かかるタイムバーの1画素に代表される60枚の連続画像群内の1以上の出血画像を代表する。すなわち、このような病変マークは、かかる60枚の連続画像群に少なくとも1枚の出血画像が含まれる場合、その出血画像数によらず、同様に表示される。このため、かかる病変マークによって、臓器内部の画像群に含まれる出血画像の時間位置を理解することは可能だが、臓器内部の画像群の全体的な時間位置における出血画像数の分布を理解することは困難であるという問題点があった。
本発明は、上記事情に鑑みてなされたものであって、時系列に沿って撮像された臓器内部の画像群に含まれる出血画像等の病変画像の時間位置を理解できるとともに、臓器内部の画像群の全体的な時間位置における病変画像数の分布を容易に理解できる画像表示装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項1にかかる画像表示装置は、時系列に沿って被検体内を撮像した画像群を表示する画像表示装置において、前記画像群に含まれる病変画像を検出する画像検出手段と、前記画像群の全体的な時間位置を示すタイムバーに沿って該タイムバー上に前記病変画像の時間位置を示す病変マークを表示するマーク表示手段と、前記タイムバーを形成する時間軸方向の画素数と前記画像群の画像数とをもとに前記タイムバーの単位画素当りの画像数を算出し、該単位画素当りの画像数の画像が連続する前記画像群内の連続画像群毎に前記病変画像の病変画像数を計数し、1以上の前記病変画像を含む前記連続画像群毎に、前記病変画像数の計数結果に応じた表示態様をもつ前記病変マークを表示する制御を行う表示制御手段と、を備えたことを特徴とする。
また、請求項2にかかる画像表示装置は、上記の発明において、前記表示制御手段は、前記病変画像数に応じて前記病変マークの表示色を変化させることを特徴とする。
また、請求項3にかかる画像表示装置は、上記の発明において、前記表示制御手段は、前記病変画像数の増大に伴って前記病変マークの表示色を濃くすることを特徴とする。
また、請求項4にかかる画像表示装置は、上記の発明において、前記表示制御手段は、前記病変画像数の増大に伴って前記病変マークの表示サイズを大きくすることを特徴とする。
また、請求項5にかかる画像表示装置は、上記の発明において、前記表示制御手段は、前記病変画像数の増大に伴って前記時間軸に直交する前記病変マークの画素数を増大させることを特徴とする。
また、請求項6にかかる画像表示装置は、上記の発明において、前記病変マークの表示色は、前記病変画像の示す病変に対応する色であることを特徴とする。
この発明によれば、タイムバーの時間軸に沿って表示した1以上の病変マークの表示位置によって、被検体内の画像群の全体的な時間位置内における病変画像の時間位置を示すことができるとともに、かかる1以上の病変マークの表示態様(例えば表示色または表示サイズ)によって、この全体的な時間位置内における病変画像数の分布を示すことができる。この結果、時系列に沿って撮像された臓器内部の画像群に含まれる病変画像の時間位置を理解できるとともに、臓器内部の画像群の全体的な時間位置における病変画像数の分布を容易に理解可能な画像表示装置を実現できるという効果を奏する。
以下、図面を参照して、本発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる画像表示装置を有する被検体内情報取得システムの一構成例を例示する模式図である。図1に示すように、本発明の実施の形態1にかかる被検体内情報取得システムは、被検体1内の画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2によって撮像された被検体1内の画像を受信する受信装置3と、受信装置3に受信された被検体1内の画像を表示する画像表示装置4と、かかる受信装置3と画像表示装置4との間のデータの受け渡しを行うための携帯型記録媒体5とを備える。
カプセル型内視鏡2は、被検体内の画像(具体的には臓器内部の画像)を撮像するためのものである。このようなカプセル型内視鏡2は、被検体1の内部に導入され、時系列に沿って被検体1内の画像を順次撮像する撮像機能と、撮像した被検体1内の画像群を外部の受信装置3に無線送信する無線通信機能とを有する。具体的には、カプセル型内視鏡2は、被検体1の口から飲込まれた後、この被検体1の臓器内部を蠕動等によって移動する。これと同時に、カプセル型内視鏡2は、所定間隔、例えば0.5秒間隔で被検体1内の画像を逐次撮像し、撮像した被検体1内の画像を含む無線信号を受信装置3に逐次送信する。
受信装置3は、例えば被検体1の体表上に分散配置された複数の受信アンテナ3a〜3hを有し、かかる複数の受信アンテナ3a〜3hの少なくとも一つを介してカプセル型内視鏡2からの無線信号を受信する。そして、受信装置3は、受信したカプセル型内視鏡2からの無線信号をもとに、被検体1内の画像群を取得する。また、受信装置3は、携帯型記録媒体5が着脱可能に挿着され、カプセル型内視鏡2によって撮像された被検体1内の画像群を携帯型記録媒体5に格納する。この場合、受信装置3は、かかる被検体1内の画像群に含まれる各画像の撮像時刻または受信時刻等を示す時間情報をこの画像群内の各画像に対応付けて携帯型記録媒体5に格納する。
受信アンテナ3a〜3hは、例えばループアンテナを用いて実現され、上述した受信装置3に接続される。受信アンテナ3a〜3hは、図1に示すように、被検体1の体表上の所定位置、例えば被検体1内におけるカプセル型内視鏡2の移動経路(すなわち消化管)に対応する位置に分散配置される。かかる受信アンテナ3a〜3hは、被検体1の臓器内部に導入されたカプセル型内視鏡2からの無線信号を捕捉し、補足した無線信号を受信装置3に伝送する。なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケットの所定位置に分散配置されてもよい。この場合、受信アンテナ3a〜3hは、被検体1がこのジャケットを着用することによって、被検体1内におけるカプセル型内視鏡2の移動経路に対応する被検体1の体表上の所定位置に配置される。このような受信アンテナは、被検体1に対して1以上配置されればよく、その配置数は、特に8つに限定されない。
携帯型記録媒体5は、コンパクトフラッシュ(登録商標)等の携帯可能な記録メディアである。携帯型記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。具体的には、携帯型記録媒体5は、受信装置3に挿着された場合、受信装置3に受信された被検体1内の画像群および各画像の時間情報等の各種データを逐次格納する。一方、携帯型記録媒体5は、画像表示装置4に挿着された場合、被検体1内の画像群および各画像の時間情報等の保存データを画像表示装置4に出力する。この場合、かかる携帯型記録媒体5の保存データは、画像表示装置4に取り込まれる。このようにして、携帯型記録媒体5は、かかる受信装置3と画像表示装置4との間のデータの受け渡しを行う。また、携帯型記録媒体5は、カプセル型内視鏡2を導入する被検体1に関する患者情報等が画像表示装置4によって書き込まれる。
画像表示装置4は、カプセル型内視鏡2が撮像した被検体1内の画像等を表示するためのものである。具体的には、画像表示装置4は、上述した携帯型記録媒体5の保存データを取り込むことによって、カプセル型内視鏡2によって撮像された被検体1内の画像群等の各種データを取得し、かかる被検体1内の画像群に含まれる各画像を表示するワークステーション等のような構成を有する。このような画像表示装置4は、医師または看護師等のユーザが被検体1内の画像を観察(検査)して被検体1を診断するための処理機能を有する。この場合、ユーザは、画像表示装置4に被検体1内の画像を順次表示させて被検体1内の生体部位、例えば食道、胃、小腸、および大腸等を観察(検査)し、これをもとに、被検体1を診断できる。
つぎに、本発明の実施の形態1にかかる画像表示装置4の構成について説明する。図2は、本発明の実施の形態1にかかる画像表示装置4の一構成例を模式的に示すブロック図である。図2に示すように、この実施の形態1にかかる画像表示装置4は、各種情報を入力する入力部11と、被検体1内の画像およびGUI(Graphical User Interface)等を画面表示する表示部12と、携帯型記録媒体5の保存データ(被検体1内の画像群等)を読み取るカードインターフェース(I/F)13とを有する。また、画像表示装置4は、被検体1の画像群等の各種データを保存する記憶部14と、画像表示装置4の各構成部を制御する制御部15とを有する。
入力部11は、キーボードおよびマウス等の入力デバイスを用いて実現され、ユーザによる入力操作によって、制御部15に各種情報を入力する。例えば、入力部11は、制御部15に対して指示する各種指示情報、被検体1に関する患者情報等を制御部15に入力する。なお、かかる入力部11によって入力される患者情報は、例えば被検体1の患者名、性別、生年月日、および患者ID等である。
表示部12は、CRTディスプレイまたは液晶ディスプレイ等の画像表示が可能なディスプレイを用いて実現され、制御部15によって表示指示された各種情報等を表示する。具体的には、表示部12は、被検体1の臓器内部を観察(検査)して被検体1を診断するための各種情報、例えば、カプセル型内視鏡2が撮像した被検体1内の画像群等を表示する。また、表示部12は、かかる被検体1内の画像群を観察するための各種GUIを表示する。このような表示部12は、かかる被検体1内の画像群に含まれる各画像を表示するための主表示領域100と、主表示領域100に表示される被検体1内の画像群の全体的な時間位置を示すタイムバー110と、現に主表示領域100に表示される被検体1内の画像(現表示画像)の時間位置を示すスライダ111と、かかる被検体1内の画像群に含まれる病変画像の時間位置を示す病変マークを表示するマーク表示部120とを有する。さらに、表示部12は、主表示領域100に被検体1内の画像を表示する際の各種表示操作を行うための表示操作アイコン群130と、主表示領域100に表示された被検体1内の画像群の中から選択された所望の画像を追加表示するための副表示領域140とを有する。
カードI/F13は、上述した携帯型記録媒体5が着脱可能に挿着され、かかる携帯型記録媒体5の保存データを読み取るとともに、得られた保存データを制御部15に転送する。また、カードI/F13は、挿着された携帯型記録媒体5に対し、制御部15によって書き込み指示された情報、例えば被検体1の患者情報等を書き込む。
記憶部14は、RAM、EEPROM、またはハードディスク等の大容量の記録媒体を用いて実現され、制御部15によって書き込み指示された各種データ等を保存し、制御部15によって読み出し指示された保存データを制御部15に送信する。このような記憶部14は、カプセル型内視鏡2によって撮像された被検体1内の画像群PG、画像群PG内の各画像の時間情報、および被検体1の患者情報等を保存する。この場合、かかる記憶部14に保存される各画像の時間情報は、画像群PGの各画像データに対してそれぞれ付加される。
制御部15は、画像表示装置4の各構成部を制御する。具体的には、制御部15は、入力部11、表示部12、カードI/F13、および記憶部14をそれぞれ制御し、かかる各構成部間の情報の入出力を制御する。このような制御部15は、カードI/F13に挿着された携帯型記録媒体5から、被検体1内の画像群PGと、この画像群PG内の各画像に対応付けられた時間情報とを取得する。制御部15は、かかる被検体1内の画像群PGと時間情報とを画像毎に対応付けて記憶部14に保存する。制御部15は、入力部11によって入力された指示情報に基づいて、かかる被検体1内の画像群に含まれる各画像を表示部12の主表示領域100に表示させる。
このような制御部15は、画像検出部15aおよび表示制御部15bを有する。画像検出部15aは、被検体1内の画像群PGに含まれる1以上の病変画像を検出する。具体的には、画像検出部15aは、被検体1内の画像群PGに含まれる処理対象の画像の色情報を検出し、検出した画像の色情報をもとに、この処理対象の画像が病変画像であるか否かを判断する。画像検出部15aは、この処理対象の画像が病変画像であると判断した場合、病変画像である旨を示すサイン(病変フラグ)をこの処理対象の画像(すなわち病変画像)に付加する。このようにして、画像検出部15aは、被検体1内の画像群PGに含まれる病変画像を検出する。かかる病変フラグが付加された病変画像は、画像群PGの一部として記憶部14に保存される。画像検出部15aは、このような病変画像の検出処理を画像群PGの全画像について実行する。なお、かかる画像検出部15aによって検出される画像の色情報として、例えば、画像の平均色、画像を形成する赤(R)、緑(G)、青(B)の各色要素の値(R値、G値、B値)等が挙げられる。
表示制御部15bは、記憶部14に保存された被検体1内の画像群PGに含まれる各画像を表示部12の主表示領域100に表示する制御を行う。この場合、かかる画像群PG内に病変画像が含まれていれば、表示制御部15bは、かかる被検体1内の病変画像を表示部12の主表示領域100に表示する制御を行う。また、表示制御部15bは、かかる主表示領域100に表示された画像群PGの中から選択された所望の画像を表示部12の副表示領域140に追加表示する制御を行う。この場合、表示制御部15bは、このように選択された所望の画像を縮小した縮小画像(例えばサムネイル画像)を副表示領域140に表示させる。
また、表示制御部15bは、かかる画像群PGに含まれる1以上の病変画像の時間位置を示す病変マークを表示部12のマーク表示部120に表示する制御を行う。この場合、表示制御部15bは、複数の画素によって形成されるタイムバー110の時間軸方向の画素数と主表示領域100に表示される画像群PGの画像数とをもとにタイムバー110の単位画素当りの画像数を算出し、この単位画素当りの画像数の画像が連続する画像群PG内の連続画像群毎に、上述した画像検出部15aによって検出された病変画像の病変画像数を計数する。そして、表示制御部15bは、かかる画像群PG内の連続画像群であって1以上の病変画像を含む連続画像群毎に、この病変画像数の計数結果に応じた表示態様をもつ病変マークをマーク表示部120に表示する制御を行う。このような表示制御部15bは、この病変画像数の計数結果に応じて例えば病変マークの表示色を変化させ、かかる病変画像数に応じた表示色の病変マークをマーク表示部120に表示する制御を行う。
その他、表示制御部15bは、各種GUIであるタイムバー110、スライダ111、および表示操作アイコン群130を表示部12に表示させる。この場合、表示制御部15bは、上述した画像群PG内の各画像の時間情報をもとに、この画像群PGの全体的な時間位置を示すタイムバー110を表示する制御を行い、この画像群PGのうちの現に主表示領域100に表示されている被検体1内の画像(すなわち現表示画像)に対応するタイムバー110上の時間位置にスライダ111を表示する制御を行う。
なお、上述した画像検出部15aによって検出される病変画像は、被検体1の臓器内部に生じた病変の部位を被写体に含む画像である。かかる病変画像の一例として、例えば出血部位を被写体に含む出血画像が挙げられる。
つぎに、被検体1内の画像群PGに含まれる病変画像が出血画像である場合を例示して、本発明の実施の形態1にかかる画像表示装置4の表示部12の表示内容を具体的に説明する。図3は、実施の形態1にかかる画像表示装置4の表示部12の表示内容を例示する模式図である。表示制御部15bは、制御部15によって所定のログイン処理が行われた場合、図3に示すようなウィンドウWを表示部12に表示させる。
図3に示すように、ウィンドウWには、主表示領域100と、タイムバー110と、スライダ111と、マーク表示部120と、表示操作アイコン群130と、副表示領域140とが形成される。また、ウィンドウWには、副表示領域140に表示された複数の縮小画像のスクロール操作を行うためのスクロール操作部141と、入力部11の操作によって各種GUIのクリック操作またはドラッグ操作等を行うためのカーソルKと、かかるウィンドウWを閉じるためのCloseアイコン150とが形成される。
主表示領域100は、表示処理対象の被検体1内の画像群PGに含まれる各画像を表示するための画像表示領域である。表示制御部15bは、入力部11によって入力された指示情報に基づいて、表示処理対象の画像群PG内の各画像を主表示領域100に表示する制御を行う。かかる表示制御部15bの制御によって、主表示領域100は、かかる画像群PG内の画像Pn(フレーム番号n=1,2,3,…)を表示する。また、表示制御部15bは、かかる主表示領域100内に、この主表示領域100の現表示画像(例えば画像Pn)の撮像年月日および撮像時刻と、この被検体1の患者情報(患者名、患者ID、性別、生年月日)とを表示する制御を行う。
タイムバー110およびスライダ111は、主表示領域100の現表示画像の時間位置を示すためのGUIである。タイムバー110は、時間軸方向の横サイズL(単位は画素)を有するバーであり、主表示領域100に表示される画像群PGの時間的な長さ(例えば画像群PGの撮像開始からの経過時間)を示す時間スケールが付される。このようなタイムバー110は、かかる横サイズLに相当する画素数(L画素)の画素群、すなわち、時間軸方向に配列されたL画素の画素群によって形成され、画像群PGの全体的な時間位置を示す。この場合、かかるタイムバー110を形成するL画素の画素群の単位画素(例えば1画素)は、画像数Nの画像が連続する画像群PG内の連続画像群を代表し、かかる画像数Nの連続画像群の時間位置に対応する。ここで、かかる画像群PG内の連続画像群の画像数Nは、タイムバー110を形成するL画素の画素群の単位画素当りの画像数である。表示制御部15bは、画像群PGの全画像数A(単位はフレーム)を上述したL画素(すなわちタイムバー110を形成する時間軸方向の画素数)によって除算して、かかる単位画素当りの画像数Nを算出する。
スライダ111は、かかるタイムバー110に沿って移動し、主表示領域100の現表示画像に対応するタイムバー110上の時間位置を示す。このようなスライダ111は、主表示領域100の現表示画像を含む画像群PG内の連続画像群であってタイムバーの単位画素によって代表される画像数Nの連続画像群の時間位置を示す。なお、かかるスライダ111の移動は、表示制御部15bによって制御される。表示制御部15bは、スライダ111が主表示領域100の現表示画像(被検体1内の画像)の時間位置を示すように、かかるタイムバー110上におけるスライダ111の移動と主表示領域100の現表示画像の表示切替動作とを制御する。
マーク表示部120は、画像群PGに含まれる1以上の病変画像の時間位置を示す1以上の病変マークをタイムバー110に沿って表示するマーク表示手段として機能する。具体的には、マーク表示部120は、時間軸方向の横サイズLと時間軸方向に対して垂直方向の縦サイズT(単位は画素)とを有し、かかる横サイズLと縦サイズTとによって規定される矩形領域内に格子状に配列された(L×T)画素の画素群によって形成される。このようなマーク表示部120は、上述したタイムバー110に沿ってバー状に形成され、画像群PGに含まれる1以上の病変画像の時間位置を示す1以上の病変マークをタイムバー110上に表示する。この場合、マーク表示部120は、表示制御部15bの制御をもとに、出血画像等の病変画像を含む画像数Nの連続画像群を代表するタイムバー110の単位画素に対応してこの画像数Nの連続画像群内の病変画像の時間位置を示す病変マークを表示する。
例えば、マーク表示部120は、表示制御部15bの制御をもとに、画像群PGに含まれる複数の出血画像に対応するタイムバー110上の時間位置に病変マーク群120a,120bをそれぞれ表示する。なお、病変マーク120a,120bは、上述したタイムバー110の単位画素に対応して表示される病変マークをそれぞれ複数含むものである。マーク表示部120は、1以上の出血画像を含む画像数Nの連続画像群(すなわち主表示領域100に表示される画像群PG内の連続画像群)を代表するタイムバー110の単位画素毎に、かかる病変マーク群120a,120b内の各病変マークをそれぞれ表示する。この場合、マーク表示部120は、例えば出血画像の示す病変(すなわち出血部位)に対応する色(例えば赤色)で病変マーク群120a,120b内の各病変マークを表示する。さらに詳細には、マーク表示部120は、かかる画像数Nの連続画像群に含まれる出血画像の画像数に応じて各病変マークの表示色(例えば出血部位に対応する赤色)の濃淡を異ならせた病変マーク群120a,120bを表示する。
このようにマーク表示部120が病変マーク群120a,120bを表示した状態において、主表示領域100の現表示画像(被検体1内の画像Pn)が出血部位BLを被写体に含む出血画像である場合、スライダ111は、この出血画像の時間位置を示す病変マーク群120a内の病変マークの位置、すなわち、この出血画像を含む画像数Nの連続画像群を代表するタイムバー110の単位画素に対応する時間位置に移動する。
表示操作アイコン群130は、被検体1内の画像群PGに含まれる各画像を主表示領域100に表示する際の表示操作を行うためのGUIである。かかる表示操作アイコン群130には、例えば図3に示すように、再生アイコン131と、コマ再生アイコン132と、頭出しアイコン133と、逆再生アイコン134と、逆コマ再生アイコン135と、頭出しアイコン136とが含まれる。なお、再生アイコン131は、時系列の順方向に沿って画像群PGの各画像を再生するためのGUIであり、コマ再生アイコン132は、時系列の順方向に沿って画像群PGの各画像をコマ送り再生するためのGUIである。逆再生アイコン134は、時系列の逆方向に沿って画像群PGの各画像を再生するためのGUIであり、逆コマ再生アイコン135は、時系列の逆方向に沿って画像群PGの各画像をコマ送り再生するためのGUIである。また、頭出しアイコン133は、画像群PGの最後に撮像した画像を表示するためのGUIであり、逆頭出しアイコン136は、画像群PGの最初に撮像した画像を表示するためのGUIである。
つぎに、上述したマーク表示部120内の病変マーク群120aを例示し、表示制御部15bの制御に基づいてマーク表示部120が表示する病変マークを詳細に説明する。図4は、実施の形態1にかかる画像表示装置4の表示制御部15bがマーク表示部120に表示させる病変マークの一具体例を示す模式図である。なお、図4には、マーク表示部120によって表示された病変マーク群120aの拡大図が示される。
図4に示すように、病変マーク群120aは、例えば、タイムバー110を形成する時間軸方向の画素列に沿って表示された5つの病変マークM1〜M5を含むものである。病変マークM1〜M5は、タイムバー110の単位画素112a〜112eのそれぞれに対応して表示される。このような病変マークM1〜M5は、かかる単位画素112a〜112eのそれぞれに代表される画像群PG内の画像数Nの各連続画像群にそれぞれ含まれる1以上の出血画像の時間位置をそれぞれ示す。
具体的には、病変マークM1〜M5は、時間軸方向に配列された画素群によって形成されるタイムバー110の時間軸にそれぞれ直交するバー状のマークであり、かかるタイムバー110の時間軸に対して垂直な方向に一次元配列された画素群によってそれぞれ形成される。この場合、かかる病変マークM1を形成する画素群は、タイムバー110の単位画素112aに対応して一次元配列される。これと同様に、かかる病変マークM2〜M5をそれぞれ形成する各画素群は、タイムバー110の単位画素112b〜112eにそれぞれ対応して一次元配列される。また、かかる病変マークM1〜M5のそれぞれを形成する各画素群の画素数は、上述したマーク表示部120の縦サイズTに相当する。
このような病変マークM1は、タイムバー110の単位画素112aによって代表される画像群PG内の連続画像群(上述した画像数Nの連続画像群)に含まれる1以上の出血画像を代表するとともに、かかる単位画素112aに代表される連続画像群内の出血画像の時間位置を一括して示す。これと同様に、病変マークM2〜M5は、タイムバー110の単位画素112b〜112eのそれぞれによって代表される画像数Nの各連続画像群内の1以上の出血画像をそれぞれ代表するとともに、かかる単位画素112b〜112eのそれぞれに代表される各連続画像群内の出血画像の時間位置をそれぞれ一括して示す。
また、このような病変マークM1〜M5の表示色は、タイムバー110の単位画素112a〜112eのそれぞれによって代表される画像数Nの各連続画像群内の出血画像数に応じて異なる。具体的には、病変マークM1〜M5が出血画像の示す病変(すなわち出血部位)に対応して同系色(例えば赤色系)で表示される場合、かかる病変マークM1〜M5の各表示色は、単位画素112a〜112eがそれぞれ代表する画像数Nの各連続画像群内の出血画像数の増大に伴って濃くなり、かかる出血画像数の減少に伴って淡くなる。
このような病変マークM1〜M5は、1以上の出血画像を含む画像群PG内の画像数Nの連続画像群毎に出血画像の時間位置を示すとともに、その表示色(例えば赤色系の濃淡)によって、かかる画像数Nの連続画像群毎に出血画像数の分布を示す。以上のことは、上述した病変マーク群120bについても同様である。
なお、このような病変マークを表示するマーク表示部120の背景(すなわち横サイズLと縦サイズTとによって規定される矩形領域)の明度は、病変マークとウィンドウWの背景との中間近傍の値であることが望ましく、かかるマーク表示部120の背景色は、病変マークに対して補色であることが望ましい。これによって、かかるマーク表示部120の背景と病変マークとの境界を明確化することができ、この結果、マーク表示部120が医師または看護師等のユーザに視認し易い態様の病変マークを表示できるからである。
つぎに、被検体1内の画像群PGに病変画像の一例である出血画像が含まれる場合を例示して、この画像群PG内の出血画像を検出する制御部15の動作を説明する。図5は、被検体1内の画像群PGに含まれる1以上の出血画像を検出する制御部15の処理手順を例示するフローチャートである。
図5に示すように、制御部15は、まず、被検体1内の画像群PGの中から処理対象の画像を読み込む(ステップS101)。この場合、制御部15は、カードI/F13に挿着された携帯型記録媒体5内の画像群PGから処理対象の画像Pn(フレーム番号n=1,2,3,…)を例えば時系列に沿って順次読み込む。
つぎに、制御部15は、処理対象の画像として読み込んだ被検体1内の画像が出血画像であるか否かを判断する(ステップS102)。この場合、画像検出部15aは、読み込んだ処理対象の画像の色情報を検出し、検出した色情報をもとに、この処理対象の画像が出血画像であるか否かを判断する。具体的には、画像検出部15aは、この処理対象の画像の色情報として画像の平均色を検出した場合、検出した画像の平均色が出血画像の平均色に近似していれば、この処理対象の画像を被検体1内の出血画像であると判断する。一方、画像検出部15aは、この処理対象の画像の色情報として、画像を形成するRGBの各色要素の値(R値、G値、B値)を検出した場合、検出したRGBの各色要素の値が出血画像の各色要素の数値範囲内であれば、この処理対象の画像を被検体1内の出血画像であると判断する。
制御部15は、この処理対象の画像が出血画像であると判断した場合(ステップS102,Yes)、この出血画像であると判断した処理対象の画像に対して出血フラグを付加する(ステップS103)。この場合、画像検出部15aは、上述したステップS102において出血画像であると判断した処理対象の画像(すなわち被検体1内の出血画像)に対して、出血画像である旨を示す出血フラグを付加する。このようにして、画像検出部15aは、被検体1内の画像群PGに含まれる出血画像を検出する。なお、かかる被検体1内の出血画像に付加される出血フラグは、上述した病変フラグの一例であって、出血画像である旨を示すサインである。
つぎに、制御部15は、かかる出血フラグを付加した処理対象の画像(すなわち出血画像)を記憶部14に保存する(ステップS104)。この場合、制御部15は、かかる出血フラグを付加した出血画像を被検体1内の画像群PGの一部として記憶部14に保存する。
その後、制御部15は、かかる被検体1内の画像群PGに含まれる全画像を処理完了したか否かを判断する(ステップS105)。具体的には、制御部15は、カードI/F13に挿着された携帯型記録媒体5内に未だ読み込んでいない被検体1内の画像が残っている場合、あるいは、記憶部14に未だ保存していない被検体1内の画像が携帯型記録媒体5内に残っている場合、かかる被検体1内の画像群PGの処理が完了していないと判断し(ステップS105,No)、上述したステップS101に戻り、このステップS101以降の処理手順を繰り返す。
制御部15は、上述したステップS101〜S105の処理手順を被検体1内の画像群PGに含まれる画像毎に繰り返し行い、かかる出血フラグが付加された出血画像を含む被検体1内の画像群PGを記憶部14に保存する。
一方、制御部15は、カードI/F13に挿着された携帯型記録媒体5から被検体1内の画像群PGを全て読み込んだ場合、あるいは、かかる携帯型記録媒体5に保存された被検体1内の画像群PGを全て記憶部14に保存した場合、かかる画像群PG内の全画像を処理完了と判断し(ステップS105,Yes)、かかる画像群PG内の出血画像の検出処理を終了する。
なお、制御部15は、上述したステップS102において処理対象の画像が出血画像ではないと判断した場合(ステップS102,No)、上述したステップS104に進み、このステップS104以降の処理手順を繰り返す。この場合、画像検出部15aは、ステップS102において出血画像ではないと判断した被検体1内の画像(すなわち正常な臓器の画像)に対して出血フラグを付加しない。制御部15は、この出血フラグが付加されていない被検体1内の画像、すなわち正常な臓器の画像を記憶部14に保存する。すなわち、かかる出血画像ではない被検体1内の画像は、出血フラグが付加されずに、被検体1内の画像群PGの一部として記憶部14に保存される。
つぎに、被検体1内の画像群PGに病変画像の一例である出血画像が含まれる場合を例示して、かかる画像群PG内の出血画像の時間位置を示す病変マークを表示する制御を行う制御部15の動作を説明する。図6は、出血画像の計数結果に応じた表示色をもつ病変マークを表示する制御を行う制御部15の処理手順の一例を示すフローチャートである。
制御部15は、主表示領域100に表示される被検体1内の画像群PGに含まれる画像数Nの連続画像群毎に出血画像数を計数し、画像検出部15aによって検出された1以上の出血画像(すなわち出血フラグが付加された画像)を含む画像数Nの連続画像群毎に、かかる出血画像数の計数結果に応じた表示色をもつ病変マークをマーク表示部120に表示させる。
すなわち図6に示すように、制御部15は、まず、タイムバー110の単位画素当りの画像数Nを算出する(ステップS201)。具体的には、表示制御部15bは、主表示領域100に表示される被検体1内の画像群PGの全画像数A[フレーム]とタイムバー110の横サイズL[画素]とを検出する。ここで、かかるタイムバー110の横サイズLは、上述したように、タイムバー110を形成する時間軸方向の画素群(画素列)の画素数と同値である。表示制御部15bは、かかる全画像数Aを横サイズL(すなわちL画素)によって除算し、タイムバー110の単位画素当りの画像数N[フレーム/単位画素]を算出する。なお、かかる単位画素当りの画像数Nは、タイムバー110の単位画素によって代表される画像群PG内の連続画像群の画像数である。
つぎに、制御部15は、主表示領域100に表示される被検体1内の画像群PGのフレーム番号nを初期化する(ステップS202)。この場合、表示制御部15bは、この画像群PGに含まれる画像数Nの連続画像群内の先頭画像を特定するためのフレーム番号nを初期値(例えばn=1)にする。
その後、制御部15は、主表示領域100に表示される被検体1内の画像群PGの中から、出血画像数の計数処理が行われる処理対象の連続画像群を決定する(ステップS203)。この場合、表示制御部15bは、現フレーム番号nの画像を先頭画像にして画像数Nの画像が連続する画像群PG内の連続画像群(すなわち画像数Nの連続画像群)をこの処理対象の連続画像群に決定する。
なお、かかる処理対象の連続画像群に決定された画像数Nの連続画像群の先頭画像を特定する現フレーム番号nは、上述したステップS202において初期化したフレーム番号または後述するステップS209において更新したフレーム番号である。
つぎに、制御部15は、ステップS203において処理対象の連続画像群に決定した画像数Nの連続画像群内の出血フラグを検索する(ステップS204)。この場合、表示制御部15bは、この画像数Nの連続画像群に含まれる各画像をフレーム番号順に順次読み込み、読み込んだ画像毎に出血フラグを検索する。ここで、この画像数Nの連続画像群に出血画像が含まれる場合、表示制御部15bは、かかる連続画像群内の出血画像を読み込むとともに、この出血画像に付加された出血フラグを読み込む。表示制御部15bは、このように出血画像とともに出血フラグを読み込むことによって、この出血画像に付加された出血フラグを検出する。すなわち、表示制御部15bは、この画像数Nの連続画像群に1以上の出血画像が含まれる場合、この画像数Nの連続画像群の中から出血画像数と同数の出血フラグを検出する。
続いて、制御部15は、ステップS204において検索処理した出血フラグの検索結果をもとに、この画像数Nの連続画像群における出血フラグの有無を判断する(ステップS205)。具体的には、表示制御部15bは、上述したステップS204において、この画像数Nの連続画像群の中から1以上の出血フラグを検出した場合、この画像数Nの連続画像群内に出血フラグありと判断する。
制御部15は、このように処理対象の連続画像群である画像数Nの連続画像群内に出血フラグありと判断した場合(ステップS205,Yes)、この処理対象の連続画像群に含まれる出血画像を計数する(ステップS206)。この場合、表示制御部15bは、この処理対象の連続画像群である画像数Nの連続画像群の中から検出した出血フラグを計数する。ここで、かかる出血フラグの検出数は、上述したように、この画像数Nの連続画像群内の出血画像数と同数である。したがって、表示制御部15bは、かかる出血フラグの検出数を計数することによって、この画像数Nの連続画像群に含まれる出血画像の出血画像数x[フレーム]を得る。
つぎに、制御部15は、ステップS206において得られた出血画像数xに対応して、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの表示色を設定する(ステップS207)。この場合、表示制御部15bは、この画像数Nの連続画像群内の出血画像数xを用いて病変マークの色要素を算出し、得られた色要素によって形成される色をこの病変マークの表示色に設定する。
具体的には、表示制御部15bは、例えば、この画像数Nの連続画像群内の出血画像数xを変数として含む次式(1)と次式(2),(3)とに基づいて、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの色要素を算出し、得られた色要素によって形成される色をこの病変マークの表示色に設定する。

R値=64+2×出血画像数x ・・・(1)
G値=0 ・・・(2)
B値=0 ・・・(3)
ここで、このような式(1)〜(3)に基づいて算出された色要素によって形成される色は、出血画像の示す病変(すなわち出血部位)に対応する赤色系であって、この画像数Nの連続画像群内の出血画像数xの増大に伴って濃色に変化し、この出血画像数xの減少に伴って淡色に変化する。表示制御部15bは、かかる式(1)〜(3)に基づいて病変マークの表示色を設定することによって、この画像数Nの連続画像群内の出血画像数xに応じてこの病変マークの表示色の濃淡を変化させる。
つぎに、制御部15は、表示部12に対し、ステップS207において設定した表示色をもつ病変マークを表示する制御を行う(ステップS208)。この場合、表示制御部15bは、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、この画像数Nの連続画像群内の出血画像数xに応じた表示色(すなわちステップS207において設定した表示色)をもつ病変マークを表示する制御を行う。かかる表示制御部15bの制御に基づいて、マーク表示部120は、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応する時間位置の画素列に、この画像数Nの連続画像群内の出血画像数xに応じた表示色で病変マークを表示する。
続いて、制御部15は、主表示領域100に表示される被検体1内の画像群PGのフレーム番号nを更新する(ステップS209)。この場合、表示制御部15bは、現処理対象の連続画像群内の先頭画像を特定する現フレーム番号nに対して画像数N(上述したステップS201において算出した画像数)を加算し、得られた値にフレーム番号nを更新する。このように更新されたフレーム番号nは、現処理対象の連続画像群に後続する画像群PG内の次の連続画像群における先頭画像を特定する。
その後、制御部15は、主表示領域100に表示される画像群PGの全画像に対して処理完了したか否かを判断する(ステップS210)。具体的には、表示制御部15bは、上述したステップS209において更新したフレーム番号nが画像群PGの全画像数A以下である場合、この画像群PGに含まれる画像の少なくとも一つは処理未完であると判断し(ステップS210,No)、上述したステップS203に戻り、このステップS203以降の処理手順を繰り返す。
一方、表示制御部15bは、上述したステップS209において更新したフレーム番号nが画像群PGの全画像数Aを超えた場合、この画像群PGの全画像に対して処理完了と判断し(ステップS210,Yes)、この画像群PGに関する病変マーク表示処理を完了する。この状態において、マーク表示部120は、画像群PGに含まれる画像数Nの各連続画像群のうちの1以上の出血画像を含む連続画像群毎に、出血画像数xに応じた表示色をもつ病変マークを表示する。
なお、制御部15は、上述したステップS205において、この処理対象の連続画像群である画像数Nの連続画像群内に出血フラグなしと判断した場合(ステップS205,No)、ステップS206〜S208の処理手順を行わずにステップS209に進む。この場合、表示制御部15bは、上述したステップS204において、この画像数Nの連続画像群の中から出血フラグを検出していない。すなわち、この画像数Nの連続画像群には、出血画像が含まれない。表示制御部15bは、この画像数Nの連続画像群に出血画像が含まれない場合、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、病変マークを表示させない。
つぎに、被検体1内の画像群PGに含まれる出血画像の時間位置を示す病変マークM1〜M5(図3,4参照)を例示して、1以上の出血画像を含む画像群PG内の連続画像群毎に出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う表示制御部15bの動作を具体的に説明する。図7は、出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う表示制御部15bの動作を具体的に説明するための模式図である。
主表示領域100に表示される被検体1内の画像群PGは、例えば6万フレームの画像を含む画像群(すなわち全画像数Aが6万フレームである画像群)であり、複数の出血画像を含む。ここで、タイムバー110の横サイズL(すなわちタイムバー110を形成する時間軸方向の画素数)が1000画素である場合、表示制御部15bは、画像群PGの全画像数A(=6万フレーム)をタイムバー110の横サイズL(=1000画素)によって除算し、このタイムバー110の単位画素当りの画像数N(=60フレーム)を算出する。
その後、表示制御部15bは、かかる単位画素当りの画像数Nの画像が連続する画像群PG内の連続画像群を順次決定し、かかる画像数Nの連続画像群毎に出血画像数xを計数する。そして、表示制御部15bは、1以上の出血画像を含む画像数Nの連続画像群毎に、出血画像数xに応じた表示色をもつ病変マークを表示する制御を行う。
具体的には図7に示すように、表示制御部15bは、単位画素当りの画像数N(=60フレーム)の画像が連続する60フレームの連続画像群Gr1を画像群PGの中から決定する。なお、この連続画像群Gr1は、タイムバー110の単位画素112aによって代表される。すなわち、この連続画像群Gr1の時間位置は、この単位画素112aに対応する。
表示制御部15bは、この連続画像群Gr1に対して出血フラグの検索処理を行い、この出血フラグの検索結果をもとに連続画像群Gr1の出血画像数xを計数する。例えば、この連続画像群Gr1に10フレームの出血画像が含まれる場合、表示制御部15bは、この連続画像群Gr1の中から10個の出血フラグを検出し、この出血フラグの検出数(=10)を連続画像群Gr1の出血画像数xとして計数する。このようにして、表示制御部15bは、この連続画像群Gr1の出血画像数x=10を得る。
この連続画像群Gr1に10フレームの出血画像が含まれる場合、表示制御部15bは、この連続画像群Gr1の出血画像数x=10に応じた病変マークの表示色を設定する。具体的には、表示制御部15bは、上述した式(1)〜(3)に基づいて、出血画像数x=10に応じた色要素(R値=84、G値=0、B値=0)を算出し、得られた色要素によって形成される病変マークの表示色を設定する。
表示制御部15bは、このように設定した表示色(R値=84、G値=0、B値=0)をもつ病変マークM1を単位画素112aに対応するマーク表示部120内の時間位置に表示する制御を行う。かかる表示制御部15bの制御に基づいて、マーク表示部120は、単位画素112aに対応する時間位置に病変マークM1を表示する。
その後、表示制御部15bは、上述した連続画像群Gr1の場合と略同様に、タイムバー110の単位画素当りの画像数Nの画像が連続する画像群PG内の連続画像群Gr2〜Gr5を順次決定し、決定した連続画像群Gr2〜Gr5の各出血画像数xをそれぞれ計数する。そして、表示制御部15bは、上述した病変マークM1の場合と略同様に、かかる連続画像群Gr2〜Gr5の各出血画像数xに応じた各表示色をそれぞれもつ病変マークM2〜M5を表示する制御を行う。
具体的には、連続画像群Gr2〜Gr5は、上述した画像数N=60フレームの画像が連続する画像群PG内の60フレームの連続画像群であり、1以上の出血画像をそれぞれ含む。また、連続画像群Gr2〜Gr5は、上述した連続画像群Gr1の後に順次連続する。すなわち、連続画像群Gr2は連続画像群Gr1に後続し、連続画像群Gr3は連続画像群Gr2に後続し、連続画像群Gr4は連続画像群Gr3に後続し、連続画像群Gr5は連続画像群Gr4に後続する。このような連続画像群Gr2〜Gr5は、タイムバー110の単位画素112b〜112eにそれぞれ代表される。すなわち、かかるタイムバー110の単位画素112b〜112eは、連続画像群Gr2〜Gr5の各時間位置にそれぞれ対応する。
また、表示制御部15bは、連続画像群Gr2〜Gr5内の各出血フラグの検出数を順次計数し、連続画像群Gr2の出血画像数x=25、連続画像群Gr3の出血画像数x=50、連続画像群Gr4の出血画像数x=15、および連続画像群Gr5の出血画像数x=5を順次取得する。このような表示制御部15bは、上述した式(1)〜(3)に基づいて、連続画像群Gr2の出血画像数x=25に応じた病変マークM2の表示色(R値=114、G値=0、B値=0)と、連続画像群Gr3の出血画像数x=50に応じた病変マークM3の表示色(R値=164、G値=0、B値=0)と、連続画像群Gr4の出血画像数x=15に応じた病変マークM4の表示色(R値=94、G値=0、B値=0)と、連続画像群Gr5の出血画像数x=5に応じた病変マークM5の表示色(R値=74、G値=0、B値=0)とを順次設定する。
表示制御部15bは、かかる出血画像数xに応じた表示色をもつ病変マークM2〜M5を単位画素112b〜112eにそれぞれ対応するマーク表示部120内の各時間位置に順次表示する制御を行う。かかる表示制御部15bの制御に基づいて、マーク表示部120は、単位画素112b〜112eにそれぞれ対応する各時間位置に病変マークM2〜M5を順次表示する。
ここで、かかる表示制御部15bの制御に基づいて表示される病変マークM1〜M5は、連続画像群Gr1〜Gr5のそれぞれに含まれる各出血画像群をそれぞれ代表し、タイムバー110の単位画素112a〜112eに対応するマーク表示部120内の各画素列によってそれぞれ形成される。また、病変マークM1は、連続画像群Gr1の出血画像数x=10に応じた表示色(R値=84、G値=0、B値=0)を有し、病変マークM2は、連続画像群Gr2の出血画像数x=25に応じた表示色(R値=114、G値=0、B値=0)を有し、病変マークM3は、連続画像群Gr3の出血画像数x=50に応じた表示色(R値=164、G値=0、B値=0)を有する。病変マークM4は、連続画像群Gr4の出血画像数x=15に応じた表示色(R値=94、G値=0、B値=0)を有し、病変マークM5は、連続画像群Gr5の出血画像数x=5に応じた表示色(R値=74、G値=0、B値=0)を有する。
かかる病変マークM1〜M5の各表示色は、出血画像の示す出血部位に対応する赤色(すなわち出血部位を連想し易い色)であり、上述した連続画像群Gr1〜Gr5の各出血画像数xの増大に伴って濃くなる。具体的には、出血画像数x=50の出血画像を代表する病変マークM3の表示色は、50フレーム未満の出血画像を代表する病変マークM1,M2,M4,M5に比して濃い赤色である。出血画像数x=25の出血画像を代表する病変マークM2の表示色は、25フレーム未満の出血画像を代表する病変マークM1,M4,M5に比して濃い赤色である。出血画像数x=15の出血画像を代表する病変マークM4の表示色は、15フレーム未満の出血画像を代表する病変マークM1,M5に比して濃い赤色である。出血画像数x=10の出血画像を代表する病変マークM1の表示色は、10フレーム未満の出血画像を代表する病変マークM5に比して濃い赤色である。
このような病変マークM1〜M5は、連続画像群Gr1〜Gr5のそれぞれに含まれる出血画像の各時間位置をタイムバー110に沿って示すとともに、各表示色(具体的には赤色)の濃さによって、連続画像群Gr1〜Gr5の各出血画像数の分布をタイムバー110に沿って示すことができる。この場合、病変マークM1〜M5は、各病変マーク間での表示色の濃さの違いによって、連続画像群Gr1〜Gr5間で比較される出血画像数の多少を示すことができる。
医者または看護師等のユーザは、タイムバー110に沿って表示された病変マークM1〜M5の表示位置によって、画像群PGの全体的な時間位置内の何れの時間位置に出血画像が分布しているかを理解できる。これと同時に、ユーザは、かかる病変マークM1〜M5の表示色によって、画像群PGの全体的な時間位置における出血画像数の分布を容易に理解できるとともに、かかる出血画像の時間位置の間で比較される出血画像数の多少を容易に理解できる。
なお、上述した表示制御部15bは、図3に示した表示操作アイコン群130の操作によって入力される表示指示情報をもとに、主表示領域100に画像群PG内の画像Pn(フレーム番号n=1,2,3,…)を表示する制御を行う。具体的には、入力部11は、上述した表示操作アイコン群130のうちの所望のアイコンをクリック操作することによって、かかる所望のアイコンに対応する表示指示情報を制御部15に入力する。表示制御部15bは、かかる入力部11によって入力された表示指示情報に基づいて、画像群PG内の画像Pnを主表示領域100に表示する制御を行う。
例えば、表示制御部15bは、再生アイコン131のクリック操作が行われた場合、主表示領域100に被検体1内の画像Pnを時系列の順方向に沿って順次表示させ、コマ再生アイコン132のクリック操作が行われた場合、その都度、主表示領域100に被検体1内の画像Pnを時系列の順方向に沿って1フレームずつ表示させる。また、表示制御部15bは、逆再生アイコン134のクリック操作が行われた場合、主表示領域100に被検体1内の画像Pnを時系列の逆方向に沿って順次表示させ、逆コマ再生アイコン135のクリック操作が行われた場合、その都度、主表示領域100に被検体1内の画像Pnを時系列の逆方向に沿って1フレームずつ表示させる。
一方、表示制御部15bは、頭出しアイコン133のクリック操作が行われた場合、被検体1内の画像群PGのうちの最後に撮像された画像を主表示領域100に表示させる。また、表示制御部15bは、逆頭出しアイコン136のクリック操作が行われた場合、被検体1内の画像群PGのうちの最初に撮像された画像を主表示領域100に表示させる。
以上、説明したように、本発明の実施の形態1では、時系列に沿って臓器内部を撮像した被検体内の画像群に含まれる1以上の出血画像を検出し、この被検体内の画像群の全体的な時間位置を示すタイムバーを形成する時間軸方向の画素数をこの被検体内の画像群の全画像数によって除算して、このタイムバーの単位画素当りの画像数を算出し、この被検体内の画像群内においてこの単位画素当りの画像数の画像が連続する連続画像群毎に出血画像数を計数し、1以上の出血画像を含む連続画像群毎に、連続画像群内の出血画像の時間位置を示す病変マークをこの連続画像群の出血画像数に応じた表示色(例えば出血画像数に応じて異なる濃さの表示色)で表示するように構成した。このため、かかるタイムバーに沿って表示された1以上の病変マークの表示位置によって、被検体内の画像群の全体的な時間位置内における出血画像の時間位置を示すことができるとともに、かかる1以上の病変マークの表示色によって、この全体的な時間位置内における出血画像数の分布を示すことができる。この結果、時系列に沿って撮像された臓器内部の画像群に含まれる出血画像等の病変画像の時間位置を理解できるとともに、臓器内部の画像群の全体的な時間位置における病変画像数の分布を容易に理解できる画像表示装置を実現することができる。
この実施の形態1にかかる画像表示装置を用いることによって、ユーザは、被検体内の画像群に含まれる1以上の病変画像の時間位置を理解でき、かかる時間位置をもとに、病変画像が撮像された被検体内の臓器を容易に推測できる。これに加えて、ユーザは、被検体内の画像群の全体的な時間位置における病変画像数の分布を容易に理解でき、この被検体内の画像群に含まれる病変画像の実際の画像数に近似する病変画像数を容易に推測することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、タイムバー110の単位画素当りの画像数Nの画像が連続する連続画像群毎に計数した出血画像数xに応じて病変マークの表示色を変化させていたが、この実施の形態2では、かかる出血画像数xに応じて病変マークの表示サイズを変化させている。
図8は、本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。図8に示すように、この実施の形態2にかかる画像表示装置20は、上述した実施の形態1にかかる画像表示装置4の制御部15に代えて制御部25を有する。かかる画像表示装置20において、表示部12のマーク表示部120は、画像群PG内の画像数Nの連続画像群毎に計数された出血画像数xに応じて表示色を変化させた病変マークに代えて、かかる出血画像数xに応じて表示サイズを変化させた病変マークを表示する。また、本発明の実施の形態2にかかる被検体内情報取得システムは、上述した実施の形態1にかかる被検体内情報取得システム(図1参照)の画像表示装置4に代えて画像表示装置20を有する。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部25は、1以上の出血画像を含む画像群PG内の画像数Nの連続画像群毎に出血画像数xに応じた表示サイズの病変マークを表示する制御を行うマーク表示制御機能以外、上述した実施の形態1にかかる画像表示装置4の制御部15と同様の機能を有する。このような制御部25は、実施の形態1にかかる画像表示装置4の制御部15と同様に画像検出部15aを有し、上述した表示制御部15bに代えて表示制御部25bを有する。
表示制御部25bは、被検体1内の画像群PGに含まれる1以上の病変画像(例えば出血画像)の時間位置を示す病変マークを表示部12のマーク表示部120に表示する制御を行う。具体的には、表示制御部25bは、上述した実施の形態1の表示制御部15bと同様に、タイムバー110の単位画素当りの画像数Nを算出し、かかる画像数Nの画像が連続する画像群PG内の連続画像群毎に出血画像数xを計数する。表示制御部25bは、かかる画像数Nの連続画像群毎に計数した出血画像数xが1以上である場合、すなわち、かかる画像数Nの連続画像群に1以上の出血画像が含まれる場合、その都度、この1以上の出血画像を含む連続画像群の出血画像数xに応じた表示サイズをもつ病変マークをマーク表示部120に表示させる。この場合、表示制御部25bは、出血画像の示す出血部位に対応する赤色系(出血部位を連想し易い色)を病変マークの表示色に設定し、この赤色系の表示色をもつ病変マークの表示サイズを出血画像数xの増大に伴って大きくする。
なお、表示制御部25bは、このように出血画像数xに応じて表示サイズを変化させた病変マークをマーク表示部120に表示させるマーク表示制御機能以外、上述した実施の形態1の表示制御部15bと同様の機能を有する。
つぎに、被検体1の画像群PGに含まれる病変画像が出血画像である場合を例示して、本発明の実施の形態2にかかる画像表示装置20の表示部12の表示内容を具体的に説明する。図9は、実施の形態2にかかる画像表示装置20の表示部12の表示内容を例示する模式図である。
図9に示すように、この画像表示装置20の表示部12に表示されるウィンドウWにおいて、マーク表示部120は、画像数Nの連続画像群の出血画像数xに応じた表示色をもつ1以上の病変マーク(例えば上述した病変マーク群120a,120b)に代えて、かかる出血画像数xに応じた表示サイズをもつ1以上の病変マークを含む病変マーク群220a,220bを表示する。なお、かかる病変マーク群220a,220bを表示するマーク表示部120は、上述した実施の形態1の場合と同様に、時間軸方向の横サイズL[画素]と時間軸方向に対して垂直方向の縦サイズT[画素]とによって規定される矩形領域内に格子状に配列された(L×T)画素の画素群によって形成される。かかるマーク表示部120を含むウィンドウWの他の表示内容は、上述した実施の形態1の場合と同じである。
病変マーク群220a,220bは、タイムバー110の単位画素に対応して表示される病変マークをそれぞれ複数含むものである。かかる病変マーク群220a,220bに含まれる複数の病変マークのそれぞれは、マーク表示部120内の縦方向の画素列(すなわちタイムバー110の時間軸に直交する方向の画素列)に含まれる1以上の画素によって形成され、画像群PG内の画像数Nの連続画像群毎に表示制御部25bが計数した出血画像数xに応じた表示サイズをもつ。
つぎに、上述したマーク表示部120内の病変マーク群220aを例示し、表示制御部25bの制御に基づいてマーク表示部120が表示する病変マークを詳細に説明する。図10は、実施の形態2にかかる画像表示装置20の表示制御部25bがマーク表示部120に表示させる病変マークの一具体例を示す模式図である。なお、図10には、マーク表示部120によって表示された病変マーク群220aの拡大図が示される。
図10に示すように、病変マーク群220aは、例えば、タイムバー110を形成する時間軸方向の画素列に沿って表示された5つの病変マークM6〜M10を含むものである。病変マークM6〜M10は、タイムバー110の単位画素112a〜112eのそれぞれに対応して表示される。このような病変マークM6〜M10は、かかる単位画素112a〜112eのそれぞれに代表される画像群PG内の画像数Nの各連続画像群にそれぞれ含まれる1以上の出血画像の時間位置をそれぞれ示す。
具体的には、病変マークM6〜M10は、時間軸方向の垂直方向に一次元配列されたマーク表示部120内の画素群(すなわちタイムバー110の時間軸に直交する方向の画素列)に含まれる1以上の画素によってそれぞれ形成される。この場合、かかる病変マークM6を形成する1以上の画素は、タイムバー110の単位画素112aに対応してマーク表示部120の一底辺から時間軸方向の垂直方向(すなわちマーク表示部120の縦方向)に配列される。これと同様に、かかる病変マークM7〜M10をそれぞれ形成する1以上の各画素は、タイムバー110の単位画素112b〜112eにそれぞれ対応してマーク表示部120の一底辺から時間軸方向の垂直方向に配列される。
このような病変マークM6は、タイムバー110の単位画素112aによって代表される画像群PG内の連続画像群(上述した画像数Nの連続画像群)に含まれる1以上の出血画像を代表するとともに、かかる単位画素112aに代表される連続画像群内の出血画像の時間位置を一括して示す。これと同様に、病変マークM7〜M10は、タイムバー110の単位画素112b〜112eのそれぞれによって代表される画像数Nの各連続画像群内の1以上の出血画像をそれぞれ代表するとともに、かかる単位画素112b〜112eのそれぞれに代表される各連続画像群内の出血画像の時間位置をそれぞれ一括して示す。
また、このような病変マークM6〜M10の表示サイズは、タイムバー110の単位画素112a〜112eのそれぞれによって代表される画像数Nの各連続画像群内の出血画像数xに応じて異なる。具体的には、かかる病変マークM6〜M10の各表示サイズは、単位画素112a〜112eがそれぞれ代表する画像数Nの各連続画像群内の出血画像数xの増大に伴って大きくなり、かかる出血画像数xの減少に伴って小さくなる。すなわち、タイムバー110の時間軸に直交する病変マークM6〜M10の各画素数は、単位画素112a〜112eがそれぞれ代表する画像数Nの各連続画像群内の出血画像数xの増大に伴って増大し、かかる出血画像数xの減少に伴って減少する。この場合、かかる病変マークM6〜M10の各画像数の上限値は、マーク表示部120の縦サイズT[画素]と同値である。
このような病変マークM6〜M10は、1以上の出血画像を含む画像群PG内の画像数Nの連続画像群毎に出血画像の時間位置を示すとともに、その表示サイズ(縦サイズTを上限値として変化する病変マークの画素数)によって、かかる画像数Nの連続画像群毎に出血画像数の分布を示す。以上のことは、上述した病変マーク群220bについても同様である。
なお、上述したように出血画像数xに応じて表示サイズが変化する病変マーク(例えば病変マークM6〜M10)の表示色は、所望の色であってもよいが、出血画像の示す出血部位に対応する赤色系であることが望ましい。何故ならば、かかる病変マークの表示色を赤色系にすることによって、出血画像の示す出血部位を連想し易くなるからである。
また、このような病変マークを表示するマーク表示部120の背景(すなわち横サイズLと縦サイズTとによって規定される矩形領域)の明度は、病変マークとウィンドウWの背景との中間近傍の値であることが望ましく、かかるマーク表示部120の背景色は、病変マークに対して補色であることが望ましい。これによって、かかるマーク表示部120の背景と病変マークとの境界を明確化することができ、この結果、マーク表示部120が医師または看護師等のユーザに視認し易い態様の病変マークを表示できるからである。
つぎに、被検体1内の画像群PGに病変画像の一例である出血画像が含まれる場合を例示して、かかる画像群PG内の出血画像の時間位置を示す病変マークを表示する制御を行う制御部25の動作を説明する。図11は、出血画像の計数結果に応じた表示サイズをもつ病変マークを表示する制御を行う制御部25の処理手順の一例を示すフローチャートである。
制御部25は、上述したステップS201〜S210の処理手順(図6参照)と略同様の処理手順を行って、主表示領域100に表示される被検体1内の画像群PGに含まれる画像数Nの連続画像群毎に出血画像数xを計数し、かかる出血画像数xの計数結果に応じた表示サイズをもつ病変マークをマーク表示部120に表示させる。この場合、制御部25は、上述したステップS207,S208の処理手順に代えて、処理対象の連続画像群である画像数Nの連続画像群の出血画像数xに応じた病変マークの表示サイズを設定し、この設定した表示サイズをもつ病変マークをマーク表示部120に表示させる。
具体的には図11に示すように、表示制御部25bは、上述したステップS201〜S204と同様に、タイムバー110の単位画素当りの画像数Nを算出し(ステップS302)、被検体1内の画像群PGのフレーム番号nを初期化し(ステップS302)、この画像数Nの画像が連続する画像群PG内の連続画像群を処理対象の連続画像群に決定し(ステップS303)、この処理対象の連続画像群である画像数Nの連続画像群内の出血フラグを検索する(ステップS304)。
続いて、表示制御部25bは、上述したステップS305,S306と同様に、この画像数Nの連続画像群における出血フラグの有無を判断し(ステップS305)、出血フラグありと判断した場合(ステップ305,Yes)、この画像数Nの連続画像群に含まれる出血画像を計数し(ステップS306)、この処理対象の画像群である画像数Nの連続画像群の出血画像数xを得る。
つぎに、表示制御部25bは、ステップS306において得られた出血画像数xに対応して、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの表示サイズを設定する(ステップS307)。かかる表示制御部25bは、この画像数Nの連続画像群内の出血画像数xを用いて、病変マークを形成する画素列の画素数を算出し、得られた画素数をこの病変マークの表示サイズに設定する。
具体的には、表示制御部25bは、例えば、この処理対象の連続画像群の画像数N、この画像数Nの連続画像群内の出血画像数x、およびマーク表示部120の縦サイズTを変数として含む次式(4)に基づいて、この画像数Nの連続画像群に含まれる1以上の出血画像の時間位置を示す病変マークの表示サイズTx[画素]を算出する。この表示サイズTxは、この病変マークを形成する画素列の画素数である。表示制御部25bは、得られた表示サイズTxをこの病変マークの表示サイズに設定する。

表示サイズTx=10+(縦サイズT−10)×(出血画像数x/画像数N)・・・(4)
ここで、この式(4)に基づいて算出された表示サイズTx(すなわち病変マークの画素数)は、この画像数Nの連続画像群内の出血画像数xの増大に伴って増大し、この出血画像数xの減少に伴って減少する。表示制御部25bは、かかる式(4)に基づいて病変マークの表示サイズを設定することによって、この画像数Nの連続画像群内の出血画像数xに応じてこの病変マークの表示サイズを変化させる。
つぎに、表示制御部25bは、表示部12に対し、ステップS307において設定した表示サイズをもつ病変マークを表示する制御を行う(ステップS308)。具体的には、表示制御部25bは、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、この画像数Nの連続画像群内の出血画像数xに応じた表示サイズTxをもつ病変マークを表示する制御を行う。かかる表示制御部25bの制御に基づいて、マーク表示部120は、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応する時間位置に、この表示サイズTxの画素列によって形成される病変マークを表示する。
その後、表示制御部25bは、上述したステップS209と同様に、主表示領域100に表示される被検体1内の画像群PGのフレーム番号nを更新する(ステップS309)。そして、表示制御部25bは、上述したステップS210と同様に、この画像群PGの全画像に対して処理完了したか否かを判断し(ステップS310)、この画像群PGに含まれる画像の少なくとも一つは処理未完であると判断した場合(ステップS310,No)、上述したステップS303に戻り、このステップS303以降の処理手順を繰り返す。
一方、表示制御部25bは、この画像群PGの全画像に対して処理完了と判断した場合(ステップS310,Yes)、この画像群PGに関する病変マーク表示処理を完了する。この状態において、マーク表示部120は、画像群PGに含まれる画像数Nの各連続画像群のうちの1以上の出血画像を含む連続画像群毎に、出血画像数xに応じた表示サイズTxをもつ病変マークを表示する。
なお、表示制御部25bは、上述したステップS305において出血フラグなしと判断した場合(ステップS305,No)、ステップS306〜S308の処理手順を行わずにステップS309に進む。この場合、表示制御部25bは、上述したステップS304において、この画像数Nの連続画像群の中から出血フラグを検出していない。すなわち、この画像数Nの連続画像群には、出血画像が含まれない。表示制御部25bは、この画像数Nの連続画像群に出血画像が含まれない場合、この画像数Nの連続画像群を代表するタイムバー110の単位画素に対応するマーク表示部120内の時間位置に、病変マークを表示させない。
つぎに、被検体1内の画像群PGに含まれる出血画像の時間位置を示す病変マークM6〜M10(図9,10参照)を例示して、1以上の出血画像を含む画像群PG内の連続画像群毎に出血画像数xに応じた表示サイズをもつ病変マークを表示する制御を行う表示制御部25bの動作を具体的に説明する。図12は、出血画像数xに応じた表示サイズTxをもつ病変マークを表示する制御を行う表示制御部25bの動作を具体的に説明するための模式図である。
主表示領域100に表示される被検体1内の画像群PGは、例えば6万フレームの画像を含む画像群(すなわち全画像数Aが6万フレームである画像群)であり、複数の出血画像を含む。ここで、タイムバー110の横サイズL(すなわちタイムバー110を形成する時間軸方向の画素数)が1000画素である場合、表示制御部25bは、画像群PGの全画像数A(=6万フレーム)をタイムバー110の横サイズL(=1000画素)によって除算し、このタイムバー110の単位画素当りの画像数N(=60フレーム)を算出する。なお、このタイムバー110の縦サイズT(すなわち病変マークの表示サイズの上限値)は、例えば130画素である。
その後、表示制御部25bは、かかる単位画素当りの画像数Nの画像が連続する画像群PG内の連続画像群を順次決定し、かかる画像数Nの連続画像群毎に出血画像数xを計数する。そして、表示制御部25bは、1以上の出血画像を含む画像数Nの連続画像群毎に、出血画像数xに応じた表示サイズTxをもつ病変マークを表示する制御を行う。
具体的には図12に示すように、表示制御部25bは、単位画素当りの画像数N(=60フレーム)の画像が連続する60フレームの連続画像群Gr1を画像群PGの中から決定する。なお、この連続画像群Gr1は、上述した実施の形態1の場合と同様に、タイムバー110の単位画素112aによって代表される。
表示制御部25bは、上述した実施の形態1の場合と同様に、この連続画像群Gr1の中から10個の出血フラグを検出し、この出血フラグの検出数(=10)を連続画像群Gr1の出血画像数xとして計数する。このようにして、表示制御部25bは、この連続画像群Gr1の出血画像数x=10を得る。
この連続画像群Gr1に10フレームの出血画像が含まれる場合、表示制御部25bは、この連続画像群Gr1の出血画像数x=10に応じた病変マークの表示サイズを設定する。具体的には、表示制御部25bは、上述した式(4)に基づいて、出血画像数x=10に応じた表示サイズT10(=30画素)を算出し、この連続画像群Gr1内の出血画像の時間位置を示す病変マークの表示サイズとして、この得られた表示サイズT10を設定する。
表示制御部25bは、このように設定した表示サイズT10(=30画素)をもつ病変マークM6を単位画素112aに対応するマーク表示部120内の時間位置に表示する制御を行う。かかる表示制御部25bの制御に基づいて、マーク表示部120は、単位画素112aに対応する時間位置に病変マークM6を表示する。
その後、表示制御部25bは、上述した実施の形態1の場合と同様に、タイムバー110の単位画素当りの画像数N(=60)の画像が連続する画像群PG内の連続画像群Gr2〜Gr5を順次決定し、決定した連続画像群Gr2〜Gr5の各出血画像数xをそれぞれ計数する。そして、表示制御部25bは、上述した病変マークM6の場合と略同様に、かかる連続画像群Gr2〜Gr5の各出血画像数xに応じた各表示サイズTxをそれぞれもつ病変マークM7〜M10を表示する制御を行う。
なお、連続画像群Gr2〜Gr5は、上述した実施の形態1の場合と同様に、タイムバー110の単位画素112b〜112eにそれぞれ代表される60フレームの連続画像群であり、1以上の出血画像をそれぞれ含む。
表示制御部25bは、上述した実施の形態1の場合と同様に、連続画像群Gr2の出血画像数x=25、連続画像群Gr3の出血画像数x=50、連続画像群Gr4の出血画像数x=15、および連続画像群Gr5の出血画像数x=5を順次取得する。このような表示制御部25bは、上述した式(4)に基づいて、連続画像群Gr2の出血画像数x=25に応じた病変マークM7の表示サイズT25(=60画素)と、連続画像群Gr3の出血画像数x=50に応じた病変マークM8の表示サイズT50(=110画素)と、連続画像群Gr4の出血画像数x=15に応じた病変マークM9の表示サイズT15(=40画素)と、連続画像群Gr5の出血画像数x=5に応じた病変マークM10の表示サイズT5(=20画素)とを順次設定する。
表示制御部25bは、かかる出血画像数xに応じた表示サイズTxをもつ病変マークM7〜M10を単位画素112b〜112eにそれぞれ対応するマーク表示部120内の各時間位置に順次表示する制御を行う。かかる表示制御部25bの制御に基づいて、マーク表示部120は、単位画素112b〜112eにそれぞれ対応する各時間位置に病変マークM7〜M10を順次表示する。
ここで、かかる表示制御部25bの制御に基づいて表示される病変マークM6〜M10は、連続画像群Gr1〜Gr5のそれぞれに含まれる各出血画像群をそれぞれ代表する。また、表示サイズT10(=30画素)をもつ病変マークM6は、単位画素112aに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された30画素の画素列によって形成される。表示サイズT25(=60画素)をもつ病変マークM7は、単位画素112bに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された60画素の画素列によって形成される。表示サイズT50(=110画素)をもつ病変マークM8は、単位画素112cに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された110画素の画素列によって形成される。表示サイズT15(=40画素)をもつ病変マークM9は、単位画素112dに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された40画素の画素列によって形成される。表示サイズT5(=20画素)をもつ病変マークM10は、単位画素112eに対応するマーク表示部120内の時間位置において、マーク表示部120の一底辺からマーク表示部120の縦方向に配列された20画素の画素列によって形成される。
かかる病変マークM6〜M10の各表示サイズTxは、上述した連続画像群Gr1〜Gr5の各出血画像数xの増大に伴って増大する。具体的には、出血画像数x=50の出血画像を代表する病変マークM8の表示サイズT50は、50フレーム未満の出血画像を代表する病変マークM6,M7,M9,M10に比して大きい。出血画像数x=25の出血画像を代表する病変マークM7の表示サイズT25は、25フレーム未満の出血画像を代表する病変マークM6,M9,M10に比して大きい。出血画像数x=15の出血画像を代表する病変マークM9の表示サイズT15は、15フレーム未満の出血画像を代表する病変マークM6,M10に比して大きい。出血画像数x=10の出血画像を代表する病変マークM6の表示サイズT10は、10フレーム未満の出血画像を代表する病変マークM10に比して大きい。
このような病変マークM6〜M10は、連続画像群Gr1〜Gr5のそれぞれに含まれる出血画像の各時間位置をタイムバー110に沿って示すとともに、各表示サイズTxによって、連続画像群Gr1〜Gr5の各出血画像数の分布をタイムバー110に沿って示すことができる。この場合、病変マークM6〜M10は、各病変マーク間での表示サイズTxの違いによって、連続画像群Gr1〜Gr5間で比較される出血画像数の多少を示すことができる。
医者または看護師等のユーザは、タイムバー110に沿って表示された病変マークM6〜M10の表示位置によって、画像群PGの全体的な時間位置内の何れの時間位置に出血画像が分布しているかを理解できる。これと同時に、ユーザは、かかる病変マークM6〜M10の表示サイズによって、画像群PGの全体的な時間位置における出血画像数の分布を容易に理解できるとともに、かかる出血画像の時間位置の間で比較される出血画像数の多少を容易に理解できる。
以上、説明したように、本発明の実施の形態2では、上述した病変マークの表示色に代えて、タイムバーの単位画素当りの画像数の画像が連続する連続画像群毎に計数した出血画像数に応じて病変マークの表示サイズを変化させ、かかる出血画像数に応じた表示サイズをもつ病変マークを表示するようにし、その他の構成を上述した実施の形態1と同様にした。このため、上述した実施の形態1の作用効果を享受するとともに、時系列に沿って撮像された臓器内部の画像群の全体的な時間位置内における病変画像数の分布を一層視認し易い表示態様で表示することができ、かかる病変画像数の分布をさらに容易に理解できる画像表示装置を実現することができる。
なお、本発明の実施の形態1では、上述した式(1)〜(3)に基づいて出血画像数xに応じた病変マークの表示色を設定していたが、かかる式(1)〜(3)は、出血画像数xに応じた病変マークの表示色を形成する各色要素(R値、G値、B値)の計算式の一例であり、本発明を限定するものではない。
具体的には、かかる病変マークの表示色を形成するR値の計算式は、上述した式(1)に限らず、出血画像数xに例示される病変画像数を変数として含み、かかる病変画像数に応じて0〜255の範囲内のR値が得られるものであればよい。この場合、かかるR値の計算式の各項の係数および定数は、所望の数値であってもよいが、病変画像数の変化に伴う赤色の濃さの変化が人間の視覚的にリニアな変化になるように設定されることが望ましい。
また、本発明の実施の形態1では、出血画像の示す出血部位に対応して病変マークの表示色を赤色(すなわち1≦R値≦255、G値=0、B値=0)に設定し、出血画像数xの変化に伴って病変マークの表示色(赤色)の濃さを変化させていたが、これに限らず、病変マークの表示色は、3つの色要素R、G、Bのうちの少なくとも2つを組み合わせて形成される色に設定し、出血画像数xに例示される病変画像数の変化に伴って、かかる病変マークの表示色の色相、明度、または彩度等の色情報を変化させてもよい。この場合、3つの色要素の値(R値、G値、B値)の少なくとも2つを1以上の数値に設定し、かかる少なくとも2つの色要素の値を病変画像数の変化に伴って1〜255の範囲内の数値にそれぞれ変化させればよい。
さらに、本発明の実施の形態1では、病変マークの表示色を形成する色要素の値(R値)を出血画像数xに対して線形変化させていたが、これに限らず、病変マークの表示色を形成する色要素の値(R値、G値、またはB値)を出血画像数x等の病変画像数に対して非線形変化させてもよい。この場合、かかる病変マークの表示色を形成する色要素の値の算出式は、病変画像数を変数として含む多次元関数によって形成すればよい。また、3つの色要素R、G、Bのうちの少なくとも2つを組み合わせて形成される色を病変マークの表示色として設定する場合、R値、G値、B値の各計算式のうちの少なくとも2つは、病変画像数を変数として含む多次元関数によって形成すればよい。さらには、かかる多次元関数は、病変画像数の変化に伴う病変マークの表示色の変化(例えば色相、明度、彩度、色の濃さ等の変化)が人間の視覚的にリニアな変化になるように設定されることが望ましい。
また、本発明の実施の形態2では、上述した式(4)に基づいて出血画像数xに応じた病変マークの表示サイズTxを設定していたが、かかる式(4)は、出血画像数xに応じた病変マークの表示サイズTxを算出する計算式の一例であり、本発明を限定するものではない。
具体的には、かかる病変マークの表示サイズTxの計算式は、上述した式(4)に限らず、出血画像数xに例示される病変画像数を変数として含み、かかる病変画像数に応じて0画素〜T画素(マーク表示部120の縦サイズTに相当)の範囲内の画素数が得られるものであればよい。この場合、かかる表示サイズTxの計算式の各項の係数および定数は、所望の数値であってもよいが、病変画像数の変化に伴う表示サイズTxの変化が人間の視覚的にリニアな変化になるように設定されることが望ましい。
また、本発明の実施の形態2では、病変マークの表示サイズTxを出血画像数xに対して線形変化させていたが、これに限らず、病変マークの表示サイズTxを出血画像数x等の病変画像数に対して非線形変化させてもよい。この場合、かかる病変マークの表示サイズTxの算出式は、病変画像数を変数として含む多次元関数によって形成すればよい。さらには、かかる多次元関数は、病変画像数の変化に伴う病変マークの表示サイズTxの変化が人間の視覚的にリニアな変化になるように設定されることが望ましい。
さらに、本発明の実施の形態1,2では、病変画像の示す病変(すなわち病変画像の被写体に含まれる病変)として、出血部位を例示したが、これに限らず、かかる病変画像の示す病変は、出血部位の他に、褪色調部位、発赤部位、凝固血部位、糜爛部位、潰瘍部位等の体内に発生し得る各種病変であってもよい。また、かかる病変画像の時間位置を示す病変マークの表示色は、この病変画像の示す病変(出血部位、褪色調部位、発赤部位、凝固血部位、糜爛部位、潰瘍部位等)に対応する色であることが望ましい。具体的には、病変画像の示す病変が出血部位、発赤部位、または凝固血部位である場合、かかる病変画像の時間位置を示す病変マークの表示色は赤色系であることが望ましい。また、病変画像の示す病変が褪色調部位、糜爛部位、または潰瘍部位である場合、かかる病変画像の時間位置を示す病変マークの表示色は白色または灰色系であることが望ましい。
また、本発明の実施の形態1,2では、携帯型記録媒体5から被検体1内の画像群PGを取り込む際に、この画像群PG内の1以上の病変画像を検出していたが、これに限らず、かかる携帯型記録媒体5から取り込んだ画像群PGを記憶部14に保存し、その後、この記憶部14内の画像群PGに含まれる1以上の病変画像を検出してもよい。
本発明の実施の形態1にかかる画像表示装置を有する被検体内情報取得システムの一構成例を例示する模式図である。 本発明の実施の形態1にかかる画像表示装置の一構成例を模式的に示すブロック図である。 実施の形態1にかかる画像表示装置の表示部の表示内容を例示する模式図である。 実施の形態1にかかる画像表示装置の表示制御部がマーク表示部に表示させる病変マークの一具体例を示す模式図である。 被検体内の画像群に含まれる1以上の出血画像を検出する制御部の処理手順を例示するフローチャートである。 出血画像の計数結果に応じた表示色をもつ病変マークを表示する制御を行う制御部の処理手順の一例を示すフローチャートである。 出血画像数に応じた表示色をもつ病変マークを表示する制御を行う表示制御部の動作を具体的に説明するための模式図である。 本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。 実施の形態2にかかる画像表示装置の表示部の表示内容を例示する模式図である。 実施の形態2にかかる画像表示装置の表示制御部がマーク表示部に表示させる病変マークの一具体例を示す模式図である。 出血画像の計数結果に応じた表示サイズをもつ病変マークを表示する制御を行う制御部の処理手順の一例を示すフローチャートである。 出血画像数に応じた表示サイズをもつ病変マークを表示する制御を行う表示制御部の動作を具体的に説明するための模式図である。
符号の説明
1 被検体
2 カプセル型内視鏡
3 受信装置
3a〜3h 受信アンテナ
4,20 画像表示装置
5 携帯型記録媒体
11 入力部
12 表示部
13 カードI/F
14 記憶部
15,25 制御部
15a 画像検出部
15b,25b 表示制御部
100 主表示領域
110 タイムバー
111 スライダ
112a〜112e 単位画素
120 マーク表示部
120a,120b,220a,220b 病変マーク群
130 表示操作アイコン群
131 再生アイコン
132 コマ再生アイコン
133 頭出しアイコン
134 逆再生アイコン
135 逆コマ再生アイコン
136 逆頭出しアイコン
140 副表示領域
141 スクロール操作部
150 Closeアイコン
BL 出血部位
Gr1〜Gr5 連続画像群
K カーソル
M1〜M10 病変マーク
PG 画像群
n 画像
W ウィンドウ

Claims (6)

  1. 時系列に沿って被検体内を撮像した画像群を表示する画像表示装置において、
    前記画像群に含まれる病変画像を検出する画像検出手段と、
    前記画像群の全体的な時間位置を示すタイムバーに沿って該タイムバー上に前記病変画像の時間位置を示す病変マークを表示するマーク表示手段と、
    前記タイムバーを形成する時間軸方向の画素数と前記画像群の画像数とをもとに前記タイムバーの単位画素当りの画像数を算出し、該単位画素当りの画像数の画像が連続する前記画像群内の連続画像群毎に前記病変画像の病変画像数を計数し、1以上の前記病変画像を含む前記連続画像群毎に、前記病変画像数の計数結果に応じた表示態様をもつ前記病変マークを表示する制御を行う表示制御手段と、
    を備えたことを特徴とする画像表示装置。
  2. 前記表示制御手段は、前記病変画像数に応じて前記病変マークの表示色を変化させることを特徴とする請求項1に記載の画像表示装置。
  3. 前記表示制御手段は、前記病変画像数の増大に伴って前記病変マークの表示色を濃くすることを特徴とする請求項2に記載の画像表示装置。
  4. 前記表示制御手段は、前記病変画像数の増大に伴って前記病変マークの表示サイズを大きくすることを特徴とする請求項1に記載の画像表示装置。
  5. 前記表示制御手段は、前記病変画像数の増大に伴って前記時間軸に直交する前記病変マークの画素数を増大させることを特徴とする請求項4に記載の画像表示装置。
  6. 前記病変マークの表示色は、前記病変画像の示す病変に対応する色であることを特徴とする請求項1〜5のいずれか一つに記載の画像表示装置。
JP2006240384A 2006-08-03 2006-09-05 画像表示装置 Expired - Fee Related JP4914680B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006240384A JP4914680B2 (ja) 2006-09-05 2006-09-05 画像表示装置
US11/888,871 US8900124B2 (en) 2006-08-03 2007-08-02 Image display device
CN2007101431724A CN101116608B (zh) 2006-08-03 2007-08-03 图像显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006240384A JP4914680B2 (ja) 2006-09-05 2006-09-05 画像表示装置

Publications (2)

Publication Number Publication Date
JP2008061704A true JP2008061704A (ja) 2008-03-21
JP4914680B2 JP4914680B2 (ja) 2012-04-11

Family

ID=39284947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006240384A Expired - Fee Related JP4914680B2 (ja) 2006-08-03 2006-09-05 画像表示装置

Country Status (1)

Country Link
JP (1) JP4914680B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置
JP2012249936A (ja) * 2011-06-06 2012-12-20 Toshiba Corp 医用画像処理システム
JP2013017812A (ja) * 2011-06-14 2013-01-31 Toshiba Corp 医用画像表示装置およびプログラム
US20130139080A1 (en) * 2011-11-30 2013-05-30 Thomson Licensing Method and apparatus for visualizing a data set
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2017151719A (ja) * 2016-02-24 2017-08-31 株式会社東芝 表示制御装置、表示制御方法およびプログラム
WO2017199408A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
WO2019054265A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020039929A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2019039259A1 (ja) * 2017-08-25 2020-10-29 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
JPWO2020066670A1 (ja) * 2018-09-27 2021-06-10 Hoya株式会社 電子内視鏡システム
WO2021132023A1 (ja) * 2019-12-26 2021-07-01 富士フイルム株式会社 医用画像処理装置、医用画像処理方法及びプログラム
WO2023175916A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328209A (ja) * 1998-05-18 1999-11-30 Canon Inc 画像検索装置及び方法
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
WO2005031650A1 (en) * 2003-10-02 2005-04-07 Given Imaging Ltd. System and method for presentation of data streams
JP2005107867A (ja) * 2003-09-30 2005-04-21 Nec Corp アルバム作成装置及びその方法
JP2006061469A (ja) * 2004-08-27 2006-03-09 Olympus Corp 画像表示装置および画像表示プログラム
JP2006138957A (ja) * 2004-11-10 2006-06-01 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328209A (ja) * 1998-05-18 1999-11-30 Canon Inc 画像検索装置及び方法
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2005107867A (ja) * 2003-09-30 2005-04-21 Nec Corp アルバム作成装置及びその方法
WO2005031650A1 (en) * 2003-10-02 2005-04-07 Given Imaging Ltd. System and method for presentation of data streams
JP2006061469A (ja) * 2004-08-27 2006-03-09 Olympus Corp 画像表示装置および画像表示プログラム
JP2006138957A (ja) * 2004-11-10 2006-06-01 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置
JP2012249936A (ja) * 2011-06-06 2012-12-20 Toshiba Corp 医用画像処理システム
JP2013017812A (ja) * 2011-06-14 2013-01-31 Toshiba Corp 医用画像表示装置およびプログラム
US20130139080A1 (en) * 2011-11-30 2013-05-30 Thomson Licensing Method and apparatus for visualizing a data set
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017115442A1 (ja) * 2015-12-28 2018-10-18 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2017151719A (ja) * 2016-02-24 2017-08-31 株式会社東芝 表示制御装置、表示制御方法およびプログラム
US10783930B2 (en) 2016-02-24 2020-09-22 Kabushiki Kaisha Toshiba Display control device, display control method, and computer program product
US10776921B2 (en) 2016-05-19 2020-09-15 Olympus Corporation Image processing apparatus, operation method for image processing apparatus, and recording medium
WO2017199408A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JPWO2017199408A1 (ja) * 2016-05-19 2019-04-04 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US11103197B2 (en) 2017-08-25 2021-08-31 Fujifilm Corporation Diagnosis support system, endoscope system, processor and diagnosis support method
JPWO2019039259A1 (ja) * 2017-08-25 2020-10-29 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
US11449988B2 (en) 2017-09-15 2022-09-20 Fujifilm Corporation Medical image processing apparatus
WO2019054265A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置
JPWO2019054265A1 (ja) * 2017-09-15 2020-10-01 富士フイルム株式会社 医療画像処理装置
CN112105286A (zh) * 2018-05-17 2020-12-18 富士胶片株式会社 内窥镜装置、内窥镜操作方法及程序
EP3795062A4 (en) * 2018-05-17 2021-06-16 FUJIFILM Corporation ENDOSCOPE DEVICE, ENDOSCOPE OPERATING PROCESS AND PROGRAM
US11950760B2 (en) 2018-05-17 2024-04-09 Fujifilm Corporation Endoscope apparatus, endoscope operation method, and program
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
JP7130043B2 (ja) 2018-08-23 2022-09-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2020039929A1 (ja) * 2018-08-23 2021-08-26 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020039929A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2020066670A1 (ja) * 2018-09-27 2021-06-10 Hoya株式会社 電子内視鏡システム
US11944261B2 (en) 2018-09-27 2024-04-02 Hoya Corporation Electronic endoscope system and data processing device
JPWO2021132023A1 (ja) * 2019-12-26 2021-07-01
EP4082421A4 (en) * 2019-12-26 2023-02-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
WO2021132023A1 (ja) * 2019-12-26 2021-07-01 富士フイルム株式会社 医用画像処理装置、医用画像処理方法及びプログラム
WO2023175916A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法

Also Published As

Publication number Publication date
JP4914680B2 (ja) 2012-04-11

Similar Documents

Publication Publication Date Title
JP4914680B2 (ja) 画像表示装置
JP5005981B2 (ja) 画像表示装置
US8900124B2 (en) Image display device
US9042664B2 (en) Image display apparatus
US8233037B2 (en) Image display apparatus
US8216129B2 (en) Image display apparatus, endoscope system using the same, and image display method
EP1787574B1 (en) Image display device, image display method, and image display program
US20090040235A1 (en) Image processing apparatus, computer program product, and image processing method
EP2181642A1 (en) Image processing apparatus, image processing program, and image processing method
EP1952751B1 (en) Device for displaying in vivo image, receiving device, and image display system and method using them
JP5327641B2 (ja) 画像情報の表示処理装置
JP4891646B2 (ja) 画像表示装置
JP2007075158A (ja) 画像表示装置
JP5231160B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
JP4789961B2 (ja) 画像表示装置
JP2013075244A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP4594834B2 (ja) 画像表示装置
WO2012042966A1 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2008022918A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

R151 Written notification of patent or utility model registration

Ref document number: 4914680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees