JP3639030B2 - 画像表示システム及びそのシステムを用いた画像表示方法 - Google Patents
画像表示システム及びそのシステムを用いた画像表示方法 Download PDFInfo
- Publication number
- JP3639030B2 JP3639030B2 JP04101696A JP4101696A JP3639030B2 JP 3639030 B2 JP3639030 B2 JP 3639030B2 JP 04101696 A JP04101696 A JP 04101696A JP 4101696 A JP4101696 A JP 4101696A JP 3639030 B2 JP3639030 B2 JP 3639030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tomographic
- images
- tomographic image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 95
- 238000012545 processing Methods 0.000 claims description 172
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 description 64
- 238000012986 modification Methods 0.000 description 35
- 230000004048 modification Effects 0.000 description 35
- 230000000052 comparative effect Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 230000001360 synchronised effect Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101150111160 ALA1 gene Proteins 0.000 description 2
- 101150118692 ALS5 gene Proteins 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 101100177443 Spinacia oleracea HEMB gene Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
【発明の属する技術分野】
本発明は、複数の検査によって得られた複数組の診断用断層像群(三次元画像)を表示する画像表示システム及びそのシステムを用いた画像表示方法に係り、特に、複数組の三次元画像の中から解剖学的位置が略同一の断層像のグループ(以下、断層像対という)を見比べて読影する際に用いられる画像表示システム及びそのシステムを用いた画像表示方法に関する。
【0002】
【従来の技術】
同一あるいは異なる医用画像撮影モダリティ(例えば、CT装置、MRI装置等)により複数回の検査を行なって得られた三次元画像(複数枚の断層像)を比較読影することは、存在診断及び鑑別診断に大きく貢献している。なお、本発明では、上述したように同一あるいは異なる医用画像撮影モダリティで得られた断層像を見比べて読影することを比較読影という。
【0003】
特に、新しく撮影した検査画像を同一被検体の過去の検査画像と比較すると、異常部位の発生は画像間の変化として認識されるため、診断の正確さが向上することは良く知られている。
【0004】
例えば、異なる2つの検査(第1の検査、第2の検査)によりそれぞれ得られた複数枚の断層像を比較読影する場合では、予め2つの画像表示システムを用意し、一方の画像表示システムのモニタには第1の検査で得られた複数枚の断層像(第1の三次元画像)を表示し、他方の画像表示システムのモニタには第2の検査で得られた複数枚の断層像(第2の三次元画像)を表示する。
【0005】
そして、その2つの画像表示システムを別々に操作しながら第1の三次元画像及び第2の三次元画像を順次表示し、被検体における解剖学的にほとんど同一と判断できる(みなされる)断層位置(以下、解剖学的断層位置という)の一対の断層像をそれぞれのシステムにおいて選択して比較読影を行なっていた。
【0006】
【発明が解決しようとする課題】
上述したように異なる2つの検査で得られた複数枚の断層像を比較読影する場合では、複数枚の断層像から解剖学的断層位置が略同一の一対の断層像を選択しなければならない。しかし、その一対の断層像の選択は、三次元画像全体を比較読影する上で、例えば次のような問題点を有している。したがって比較読影は、現在では三次元画像中の一部の断層像を比較すればよい鑑別診断の一部に使用されているのみであった。
【0007】
問題点(1)・比較する三次元画像の断層間隔(スライス間隔)が違う場合は、解剖学的断層位置が略同一の一対の断層像対を比較する度に、次の解剖学的断層位置が略同一の断層像対を見付けなければならないため、読影者はその操作に非常に多くの労力を費やしていた。また、たまたま断層間隔が同じであっても、三次元画像全体を比較するために断層像を順次更新していく際、その断層像を次々に更新する操作が比較する断層像の数だけ必要になるため、これも読影者にとっては煩わしい処理であり、負担が増加してしまった。
【0008】
問題点(2)・表示画像と実物体との空間的距離の比率が比較する検査画像間で異なっていた場合、断層像中の任意の部位の大きさが検査画像間で異なっているので、注目する部位毎に解剖学的知識を利用して対応づけを行なわなければならない。したがって、読影者の負担が大きかった。
【0009】
問題点(3)・検査装置で得られた断層像間隔が異なっている場合、一度解剖学的断層位置の合った断層像を見付けた後も、常に解剖学的断層位置を合わせながら比較読影しなければならないため、読影者は非常に多くの労力を必要としていた。
【0010】
問題点(4)・WW、WL、ブライトネス、コントラスト、ルックアップテーブル、及びγ特性等のモニタの特性や画像にかかっているフィルタ(以下、単にフィルタという)の種類等の表示条件の一部もしくは全部をそれぞれの画像表示システムで一致させることは非常に困難であった。例えば、WW、WL、ルックアップテーブル、及びフィルタの種類を合わせるためには、比較する画像毎に数回の設定が必要であり、読影者の負担が増大した。また、異なるモニタ間で比較読影する場合、一般的にはブライトネスやコントラストの正確なレベルは数値的に把握できないので、これを合わせるのは非常に困難であり、比較読影の際にたいへん不便であった。
【0011】
また、そのブライトネスやコントラストの正確なレベルを数値として把握できたとしても、WW等と同じように比較する画像毎に数回の設定が必要となるため、非常に煩わしかった。さらに、γ特性等のモニタ自体の特性を合わせることは製品設計時、もしくは出荷時でなければ不可能であるため、比較読影の際にたいへん不便であった。
【0012】
問題点(5)・複数のモニタを、そのモニタ画面どうしが互いに比較しやすいように階層構造に配設している場合や、多数のウインドウ表示が可能な場合、及び多数の画像を記録できるフィルム出力が可能な場合等では、複数のモニタ、複数のウインドウ、あるいはフィルム上での比較しやすい位置、例えば、対応する表示領域における隣接する上下の位置等に比較画像を持ってくることが必要である。このためには、目的の位置に比較画像を表示し直さなければならないため、読影者の負担が大きかった。
【0013】
本発明は上述した問題点を全て解決するためになされたもので、最初に解剖学的断層位置が略同一の断層像対を指定した後は、その他の解剖学的断層位置が略同一の断層像対を例えば自動的に、しかも読影者にとって比較読影しやすい表示態様で順次表示することができる画像表示システムを提供することにより、比較読影に係る読影者の負担、読影時間や読影にかかるコストを大幅に低減させることをその目的とする。
【0014】
【課題を解決するための手段】
前記目的を達成するため請求項1に記載した画像表示システムによれば、少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、かつ、それぞれの組が複数枚の断層像で構成される複数組の三次元画像を出力デバイスに表示するようにした画像表示システムにおいて、前記複数組の三次元画像の中から、前記検査の撮影時の解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を第1の断層像対として少なくとも1つ指定する指定手段と、前記複数組の三次元画像のうちの少なくとも1組の三次元画像を成す複数の断層像の断層間隔及び前記指定手段により指定された前記第1の断層像対間の位置情報に基づいて、前記解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を断層像対として少なくとも1つの断層像対を前記複数組の三次元画像を用いて設定する断層像対設定手段と、この断層像対設定手段により設定された少なくとも1つの断層像対を前記出力デバイスに表示させる表示制御手段と、を備えている。
【0015】
特に、請求項2に記載した画像表示システムによれば、前記断層像対設定手段は、前記解剖学的断層位置が略同一の断層像対を自動的に導出するように構成した手段である。
【0016】
特に、請求項3に記載した画像表示システムによれば、前記表示制御手段は、前記各断層像対を構成する複数の断層像を同期させて前記出力デバイスに表示させるように構成している。
【0017】
特に、請求項4に記載した画像表示システムによれば、前記断層像対設定手段は複数の前記断層像対を設定するように構成した手段であり、前記表示制御手段は、前記複数の断層像対を所定間隔毎に順次、前記出力デバイスに表示させるように構成している。
【0018】
また、特に、請求項5に記載した画像表示システムによれば、前記指定手段は、前記複数組の三次元画像の中から基準となる一組の三次元画像を指定する第1の指定手段と、この基準となる三次元画像の中の少なくとも1つの断層像と前記解剖学的断層位置が略同一である残りの組の三次元画像中の断層像を全ての三次元画像が間接的に関連付けられるように指定する第2の指定手段とを備えている。
【0019】
さらに、請求項6に記載した画像表示システムによれば、前記指定手段は、前記三次元画像の中から前記第1の断層像対を自動的に選択する選択手段を有する。
【0020】
さらにまた、請求項7に記載した画像表示システムによれば、前記選択手段は、前記複数組の三次元画像の相互間の相互相関により得られるシフト量を特徴量として用いて前記第1の断層像対を選択するようにしている。
【0021】
そして、請求項8に記載した画像表示システムによれば、前記位置情報は、前記三次元画像の断層面に垂直な方向に設定された座標軸に基づく位置座標情報である。
【0022】
請求項9に記載した画像表示システムによれば、前記断層像対設定手段は、前記複数組の三次元画像間の位置座標情報のズレ量を算出する手段と、前記位置座標情報のズレ量に基づいて、各三次元画像間の相対的な位置座標を求める手段と、前記各三次元画像間の相対的な位置座標上において任意の位置を指定する指定手段と、この指定された位置に対応する断層像を各三次元画像の中から求める取得手段とを備え、前記表示制御手段は、各三次元画像からそれぞれ求められた断層像グループを断層像対として前記出力デバイスに表示するようにしている。
【0023】
特に、請求項10に記載した画像表示システムによれば、前記取得手段は、前記指定された位置に対応する断層像が無い場合、前記指定位置近傍の位置の少なくとも1枚の断層像を用いて新たに断層像データを作成する補間処理により当該指定位置に対応する断層像を求める手段である。
【0024】
また特に、請求項11に記載した画像表示システムによれば、前記取得手段は、前記指定された位置に対応する断層像が無い場合、前記指定された位置に最も近い位置の断層像を前記指定位置に対応する断層像として各三次元画像の中から選択する手段である。
【0025】
さらに、請求項12に記載した画像表示システムによれば、前記取得手段は、前記指定された位置に対応する断層像が無い場合、前記座標軸上において前記指定された位置に隣接する位置のペアの断層像を前記指定位置に対応する断層像として各三次元画像の中から選択する手段であり、前記表示制御手段は、前記指定位置に対応する前記ペアの断層像を、全体で断層像対のグループとなるように対毎に前記出力デバイスに表示するようにしている。
【0026】
一方、請求項13に記載した画像表示システムによれば、前記複数組の三次元画像の各断層像は略等しい断層間隔で取得され、前記断層像対設定手段は、前記略等しい断層間隔及び前記第1の断層像対間の位置情報に基づいて前記複数組の三次元画像を用いて前記解剖学的断層位置が略同一の少なくとも1つの断層像対を設定するようにしている。
【0027】
そして、請求項14に記載した画像表示システムによれば、前記出力デバイスは、階層構造に配設された複数のモニタを備え、前記表示制御手段は、前記断層像対を形成する複数の断層像をそれぞれ前記複数のモニタに当該複数の断層像の少なくとも一部が互いに隣接するように表示させている。
【0028】
特に、請求項15に記載した画像表示システムによれば、前記表示制御手段は、前記各モニタにおける前記断層像対を構成する複数の断層像の明るさ、コントラスト、及び、適用される画像フィルタを含む画像パラメータの少なくとも一部を同一にして当該複数の断層像を当該各モニタにそれぞれ表示させるようにしている。
【0029】
また、特に、請求項16に記載した画像表示システムによれば、前記出力デバイスは、複数の表示領域を有した少なくとも1つのモニタを備え、前記表示制御手段は、前記断層像対を形成する複数の断層像をそれぞれ前記複数の表示領域に表示させるようにしている。
【0030】
さらに、請求項17に記載した画像表示システムによれば、前記表示領域は、m行n列(m、nは、2以上の自然数)のマトリクス状に配列され、前記表示制御手段は、前記断層像対を構成する複数の断層像を前記表示領域の互いに隣接した行あるいは列にそれぞれ表示させるようにしている。
【0031】
そして、請求項18に記載した画像表示システムによれば、前記表示制御手段は、前記断層像対を形成する複数の断層像の内の少なくとも一対の断層像をサブトラクション処理するサブトラクション処理手段を備え、このサブトラクション処理により得られたサブトラクション画像を前記出力デバイスにより表示させるようにしている。
【0032】
さらに、前記目的を達成するため請求項19に記載した画像表示システムによれば、少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、かつ、それぞれの組が複数枚の断層像で構成される複数組の三次元画像を出力デバイスに表示するようにした画像表示システムにおいて、前記複数組の三次元画像の中から、前記検査の撮影時の解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を第1の断層像対として少なくとも1つ指定する指定手段と、前記複数組の三次元画像のうちの少なくとも1組の三次元画像を成す複数の断層像の断層間隔及び前記指定手段により指定された前記第1の断層像対間の位置情報に基づいて、前記解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を断層像対として少なくとも1つの断層像対を前記複数組の三次元画像を用いて設定する断層像対設定手段と、この断層像対設定手段により設定された少なくとも1つの断層像対を前記出力デバイスに表示させる表示制御手段と、前記出力デバイスに表示された断層像対を構成する複数の断層像の中から任意の1枚の第1の断層像上に関心領域を設定する手段と、前記関心領域が設定された第1の断層像以外の当該複数の断層像の中から任意の1枚の第2の断層像を指定する手段と、前記第1の断層像の前記関心領域部分の画像を、前記第2の断層像上の前記関心領域に相当する部分の画像に変換する変換手段と、を備えている。
【0033】
さらにまた、前記目的を達成するため請求項20に記載した画像表示システムを用いた画像表示方法によれば、少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、かつ、それぞれの組が複数枚の断層像で構成される複数組の三次元画像を出力デバイスに表示するようにした画像表示システムを用いた画像表示方法において、前記複数組の三次元画像の中から、前記検査の撮影時の解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を第1の断層像対として少なくとも1つ指定する第1のステップと、前記複数組の三次元画像のうちの少なくとも1組の三次元画像を成す複数の断層像の断層間隔及び前記第1の断層像対間の位置情報に基づいて、前記解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を断層像対として少なくとも1つの断層像対を前記複数組の三次元画像を用いて設定する第2のステップと、この第2のステップにより設定された少なくとも1つの断層像対を前記出力デバイスに順次表示させる第3のステップと、を有している。
【0034】
請求項1乃至18、19又は20に記載した画像表示システム及びそのシステムを用いた画像表示方法によれば、少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、組毎に複数枚の断層像から成る複数組の三次元画像の中から、指定手段を介して、異なる組相互間で解剖学的断層位置が略同一の第1の断層像対が少なくとも1つ指定される。そして、複数組の三次元画像中の少なくとも1組のある三次元画像を成す複数の断層像の間隔及び前記第1の断層像対間の位置情報(例えば、三次元画像の断層面に垂直な方向に設定された座標軸に基づく位置座標)に基づいて、断層像対設定手段により、前記複数の三次元画像から異なる組相互間で解剖学的断層位置が略同一の断層像対が設定される。この断層像対は、表示制御手段により、例えば当該各断層像対を構成する複数の断層像を同期させて、且つ所定間隔毎に出力デバイスに順次表示される。つまり、最初に、異なる組相互間で解剖学的断層位置が略同一の断層像対を指定することだけで、以下、その他の、異なる組相互間で解剖学的断層位置が略同一の断層像対が出力デバイスに自動的に表示される。
【0035】
特に、請求項6乃至7に記載した画像表示システムによれば、例えば選択手段により、前記複数組の三次元画像の相互間の相互相関により得られるシフト量を特徴量として用いて最初の断層像対が自動的に選択され、出力デバイスを介して表示されるため、読影者の操作の必要なしに、解剖学的断層位置が略同一の断層像対が順次出力デバイスを介して自動的に表示される。
【0036】
特に、請求項9に記載した画像表示システムによれば、前記断層像対設定手段として、ズレ量算出手段により前記複数組の三次元画像間の位置座標情報のズレ量が算出され、算出された位置座標情報のズレ量に基づいて、各三次元画像間の相対的な位置座標が求められる。そして、指定手段により各三次元画像間の相対的な位置座標上において任意の位置が指定され、この指定された位置に対応する断層像が各三次元画像の中から求められる。このとき、表示制御手段により、各三次元画像からそれぞれ求められた断層像グループが断層像対として前記出力デバイスに表示される。
【0037】
特に、請求項10に記載した画像表示システムによれば、指定された位置に対応する断層像が無い場合には、指定位置近傍の位置の少なくとも1枚の断層像を用いて新たに断層像データを作成する補間処理により当該指定位置に対応する断層像が求められ、また、請求項11に記載した画像表示システムによれば、指定された位置に対応する断層像が無い場合、指定された位置に最も近い位置の断層像が前記指定位置に対応する断層像として各三次元画像の中から選択される。さらに、指定された位置に対応する断層像が無い場合、前記座標軸上において前記指定された位置に隣接する位置のペアの断層像が前記指定位置に対応する断層像として各三次元画像の中から選択され、表示制御手段は、指定位置に対応する前記ペアの断層像が全体で断層像対のグループとなるように組毎に前記出力デバイスに表示される。
【0038】
そして、請求項13に記載した画像表示システムによれば、前記複数組の三次元画像の各断層像は略等しい断層間隔で取得されている。このとき、断層像対設定手段により、その略等しい断層間隔及び前記第1の断層像対間の位置情報に基づいて前記複数組の三次元画像を用いて前記解剖学的断層位置が略同一の少なくとも1つの断層像対が設定される。
【0039】
また、特に、請求項14に記載した画像表示システムによれば、出力デバイスには、階層構造に配設された複数のモニタが備えられ、断層像対を形成する複数の断層像は、表示制御手段によりそれぞれ複数のモニタに当該複数の断層像の少なくとも一部が互いに隣接するように表示される。
【0040】
さらに、請求項15に記載した画像表示システムによれば、各モニタにおける複数の断層像対を構成する断層像の明るさ、コントラスト、適用される画像フィルタ等の画像パラメータの少なくとも一部が同一となるように各モニタにそれぞれ表示される。
【0041】
そして、請求項16又は請求項17に記載した画像表示システムによれば、出力デバイスには、例えばm行n列(m、nは、2以上の自然数)のマトリクス状に配列された複数の表示領域を有した少なくとも1つのモニタが備えられ、断層像対を形成する複数の断層像は、表示制御手段により、その表示領域の互いに隣接した行あるいは列にそれぞれ表示される。
【0042】
特に、請求項18に記載した画像表示システムによれば、断層像対を形成する複数の断層像の内の例えば一対の断層像は、サブトラクション処理手段によりサブトラクション処理され、このサブトラクション処理により得られたサブトラクション画像は、表示制御手段の制御により、出力デバイスに表示される。
【0043】
一方、請求項19に記載した画像表示システムによれば、出力デバイスに表示された複数枚の断層像(例えば断層像対)の中から任意の1枚の第1の断層像上に関心領域が設定され、その関心領域が設定された第1の断層像を含む三次元画像以外の複数組の三次元画像の中から、第1の断層像と解剖学的断層位置が略同一の任意の1枚の第2の断層像が指定される。そして、第1の断層像の前記関心領域部分の画像が、変換手段により第2の断層像上の関心領域に相当する部分の画像に変換される。
【0044】
【発明の実施の形態】
以下、本発明の実施形態について、特に医用画像撮影モダリティとしてCT装置を用いた画像表示システムを添付図面を参照して説明する。
【0045】
図1は、CT装置を用いた画像表示システムの一例を示す概略ブロック図である。
【0046】
この画像表示システムは、CT装置1と、CT装置1の画像撮影により取得された画像データを保持する画像データベース(以下、画像DBという)2と、装置全体の制御を行なう制御装置3と、複数個(本実施形態では、m個)の画像処理装置4a1〜4amと、複数個(本実施形態では、n個)の表示装置5a1〜5anとを備えている。
【0047】
CT装置1は、図示しない架台や寝台等を有し、架台内に搬送された被検体(本実施形態では患者とする)に対してCTスキャンを実行することにより、当該患者の体軸方向に直交する例えばアキシャル方向の断層像データから成る三次元画像データを取得可能に構成されている。さらに、本実施形態では、患者の診断部位の系時変化等を比較読影するために、同一の患者に対して時間を隔てた複数回のCTスキャンが実行されている。そして、その結果得られた複数の三次元画像データ(A,B,C,…;なお、三次元画像データAが一番新しく取得された三次元画像データであり、以下、三次元画像データB、三次元画像データC、…と順に古いものとなっている)は、それぞれスライス番号1〜NのN枚の断層像データとして画像DB2に格納されるようになっている。
【0048】
制御装置3は、表示システム全体を制御するための中央処理装置(以下、制御用CPUという)3aと、制御用CPU3aの処理に必要なプログラムデータや処理データ等を記憶する主メモリ3bと、読影者(操作者)からのデータやコマンド入力用の例えばキーボード等を備えた入力部3cとから構成されている。また、これらの制御用CPU3a、メモリ3b、及び入力部3cは相互にバス接続され、そのバスB1を介して互いにデータの受け渡しを行なっている。
【0049】
画像処理装置4a1〜4amは、画像処理演算処理や処理装置全体の制御を行なうためのCPU4b1〜4bmと、CPU4b1〜4bmの処理に必要なプログラムデータや処理データ等を記憶しているメモリ4c1〜4cmと、CPU4b1〜4bmにおける画像処理時の画像データ、または、画像処理後の画像データを記憶可能な複数枚のフレームメモリ等を有した画像記憶部4e1〜4emとをそれぞれ備えている。また、画像処理装置4a1(その他の画像処理装置4a2〜4amも同様とする)の処理用CPU4b1、メモリ4c1、入力部4d1、及び画像記憶部4e1は、相互にバス接続され、そのバスBa1(他の画像処理装置4a2〜4amでは、バスBa2〜バスBam)を介して互いにデータの受け渡しを行なっている。
【0050】
表示装置5a1〜5anは、それぞれ図2に示すように、データ変換用のルックアップテーブル(以下、LUTという)5b1〜5bnと、画像データ保持用の画像メモリ5c1〜5cnと、表示制御部、D/A変換器、及びモニタM1〜Mn等から成る表示部5d1〜5dnとを備えている。また、この表示装置5a1〜5anは、相互にバスB2を介して接続されている。このバスB2は、各画像処理装置4a1〜4amの接続バスBa1〜Bamにバス接続されている。
【0051】
そして、CT装置1、画像DB2、制御装置3の制御用CPU3a、及び各画像処理装置4a1〜4amのCPU4b1〜4bmは、相互にバス接続され、そのバスB3を介して互いに画像データ、生データ(投影データ)等の処理データやコマンドデータ等の受け渡しを行なっている。
【0052】
制御装置3は、制御用CPU3aの処理により画像DB2からの複数の断層像データ群の読み出しや、その読み出された各三次元画像データに対応する画像処理装置4a1〜4am、及び表示装置5a1〜5anの割り当て等の制御を行なうとともに、その複数の断層像データ群間の位置合わせを行なうようになっている。なお、複数の三次元画像データを読み出した際の処理装置4a1〜4am、及び表示装置5a1〜5anの割り当ては予め定められており、その割り当てのデータは、主メモリ3bに記憶されている。なお、本実施形態では、画像DB2から複数の三次元画像データが読み出される順序に従って順次処理装置4a1、4a2、…が当該複数の三次元画像データを処理するように割り当てられている。また、本実施形態では、処理装置4a1〜4amはそれぞれ表示装置5a1〜5amに対応するように割り当てられている。
【0053】
また、制御装置3の入力部3cは、例えば図3Aに示すように、操作卓上に、画像送りコマンド、停止コマンド、早送りコマンド等の画像表示コマンド、必要なデータ、及びROI等を入力可能なマウスm、キーボードK、及び画像指定部I1及びI2を有している。この画像指定部I1は、2つの三次元画像データを同期させて表示する際に用いられる一種のセレクタであり、2つの方向(例えば、左右方向)に傾斜可能なレバーと、このレバーの傾斜方向を検出する図示しない検出器等から構成されている。また、このレバーは、所定の傾斜角度になると固定することができる。なお、所定の傾斜角度に到達するまでは、初期状態(直立状態)に戻ろうとする力が働くようになっている。
【0054】
そして、レバーの傾斜方向により、制御装置3の制御用CPU3aの制御対象である所定の表示装置(例えば、5a1、5a2)に表示された画像を指定(セレクト)することができる。また、レバーが直立の状態は、初期状態あるいは同期表示状態を表している。
【0055】
また、画像指定部I2は、比較する三次元画像が2組より多い場合に用いられる。この画像指定部I2の具体的な例として、次の2つが考えられる。
【0056】
(1)マニュアル車のギアのように構成され、ローの位置では三次元画像Aの操作、セカンド、サード、トップ、オーバートップでは、同様にそれぞれ三次元画像B,C,D,Eの操作を行ない、ニュートラルの位置の時に、全ての三次元画像を同期させるようになっている。
【0057】
(2)前記(1)の画像指定部I2(セレクタ)では、後述する連鎖状(間接的な場合を含む)の指定や、表示している三次元画像の中の一部を同期させることができないので、図3Bのようなセレクタを用いる。このセレクタには、スイッチSM1〜SMk(モニタの数に対応、図3Bでは、6つのスイッチを有している),SHIFTキー(SHIFT),同期解除スイッチC,次断層像表示指令スイッチ(P,N),及びトラックボールTを備え、これらのスイッチのオン・オフ状態は、制御装置3の制御用CPU3aに送られるようになっている。
【0058】
スイッチSM1〜SM6は、モニタM1〜M6に表示されている三次元画像を選択するスイッチとなっており、スイッチSM1〜SM6を押すとそのスイッチSM1〜SM6がバックライトによって点灯し、選択されたことを読影者が認識可能になっている。
【0059】
SHIFTキーは、同期表示を指定する際に用いられるキーである。
【0060】
同期解除キーCは、同期表示状態を解除するキーである。
【0061】
次断層像表示指令スイッチは、次のコマの断層像を表示する旨を指令するスイッチで、“N”を押すと次コマの断層像、“P”を押すと一つ手前のコマの断層像の表示指令である。また、トラックボールTも同様に断層像表示指令スイッチであり、前後のみに回転するようになっている。そして、順回転の場合は順次断層像をめくり、逆回転の場合は順次断層像を戻していくようになっている。
【0062】
画像処理装置4a1〜4amは、制御用CPU3aからの制御指令に応じた各CPU4b1〜4bmの制御に基づいて、表示画素(ピクセル)サイズ、表示する断層像の間隔、WW(ウインドウ幅)、WL(ウインドウレベル)、座標系の被検体の絶対座標系に対する回転角、フィルタの種類等の第1の表示条件を設定できるようになっている。なお、表示ピクセルサイズ(単位の例:[mm/pixel])とは、再構成画像の1ピクセルの間隔の実物被検体上での空間的距離を表している。また、被検体の絶対座標系に対する回転角とは、被検体の水平真右横方向(x軸)、水平真正面方向(y軸)、及び体軸方向(z軸)で決まる直交座標系(被検体の絶対座標系)に対して、得られた断層像の座標系の傾き角(回転角)を表している。なお、この第1の表示条件は、通常、各処理装置4a1〜4amにおいて予め定められている。
【0063】
そして、画像処理装置4a1〜4amは、CPU4b1〜4bmの処理により、制御用CPU3aの割り当てに応じて送られてきた各三次元画像データに対して上記第1の表示条件に応じた画像処理を施すようになっている。そして、画像処理の施された各三次元画像データを同じく割り当てられた表示装置5a1〜5anに送るようになっている。
【0064】
この表示装置5a1〜5anは、LUT5b1〜5bnにより、入力される三次元画像データに対し濃度階調変換(γ特性変換)等の画像処理を施すようになっている。なお、LUT5b1〜5bnのアドレスの内容(データ)は、処理装置4a1〜4anのCPU4b1〜4bnからの制御信号に応じて書き換え可能になっている。また、表示部5d1〜5dnの表示制御部は、CPU4b1〜4bnからの制御信号に応じてブライトネス、コントラスト等のモニタM1〜Mnの諸特性を変更可能になっている。なお、本実施形態では、表示装置5a1〜5anで設定されるγ特性変換やブライトネス、コントラスト等の設定条件を第2の表示条件という。さらに、表示装置5d1〜5dnの各モニタM1〜Mnは、その表示領域(表示画面)がマトリクス状(例えばm行n列)に配列するように、階層構造で一体的に設けられている(図4参照、なお、図4では、モニタの数が6個の場合(M1〜M6)であり、2行3列に配列された場合について示している)。
【0065】
次に、画像表示システムの全体動作について説明する。
【0066】
図5乃至図6は、予め撮影された複数の三次元画像データ「A、B、…」の中から解剖学的断層位置が略同一の断層像対を同期させて表示する際のシステム全体の動作を表す概略フローチャートである。
【0067】
今、画像DB2に格納された複数の三次元画像データ「A、B、…」の中から解剖学的断層位置が略同一とみなされる断層像を比較読影する場合、入力部3cからの指令により起動した制御用CPU3aは、主メモリ3bを参照して割り当てデータを読み込むと共に、画像DB2から複数(例えばk(<m,n)組)の三次元画像データ「A(1番目)、B、…、K(k番目)」を順次読み出し、当該割り当てデータ(最初に読み出された三次元画像データA→処理装置4a1、次に読み出された三次元画像データB→処理装置4a2、…)に応じて、対応する処理装置4a1〜4akに送る(ステップ101)。三次元画像データ「A〜K」を受け取った各処理装置4a1〜4akのCPU4b1〜4bkは、その三次元画像データ「A〜K」を画像記憶部4e1〜4ekに記憶するとともに、その各三次元画像データ「A〜K」の内の最初の1枚目(最初のスライス位置;すなわち最初のスライス番号)の断層像データ「A1〜K1」を対応する表示装置5a1〜5akに表示させる処理を行なう。この結果、表示部5d1〜5dkのモニタM1〜Mkには、各三次元画像データ「A〜K」の中の最初のスライス位置の断層像「A1〜K1」が、第1及び第2の表示条件に基づく表示態様で表示される。また、それぞれの処理装置4a1〜4akの表示装置5a1〜5akの割り当てデータは、各メモリ4c1〜4ckに記憶される(ステップ102)。
【0068】
そして、制御用CPU3aは、第1の表示条件、第2の表示条件を変更するか否かの判断を行なう(ステップ103)。今、入力部3cから第1の表示条件、第2の表示条件を変更する旨のデータ(表示条件変更データ)が送られている場合、このステップ103の判断の結果はYESとなり、制御用CPU3aの処理はステップ104の処理に移行する。
【0069】
ステップ104の処理において制御用CPU3aは、入力された表示条件変更データを読み込むとともに、主メモリ3bに記憶された割り当てデータにしたがって、対応する各処理装置4a1〜4akに対し、表示条件の変更及びその内容を含む表示条件変更指令を送る。処理装置4a1〜4akのCPU4b1〜4bkは、表示条件変更指令のデータをメモリ4c1〜4ckに記憶すると同時に、第2の表示条件の変更に関しては、割り当てられたモニタM1〜Mkの設定を変更する。また、第1の表示条件に関しては、次に画像記憶部4e1〜4ekから読み込んだ三次元画像データ「A〜K」に対し、変更された第1の表示条件に応じた画像処理を施した後で表示装置5a1〜5akのモニタM1〜Mkに表示させ(ステップ105)、ステップ106に進む。
【0070】
また、ステップ103の判断の際に、表示条件変更データが入力されていない場合は、そのステップ103の判断の結果はNOとなり、ステップ106に進む。
【0071】
一方、読影者は、各モニタM1〜Mkに表示された断層像を見ながら、同期表示させる際のスライス間隔(表示間隔)や表示態様の基準(総称して基準データという)を設定する。この設定では、基準となる断層像(基準断層像)を入力部3cの例えば画像指定部I1、I2により入力(指定)してもよい。なお、画像指定部I1により入力する場合は、基準としたい断層像方向にレバーを固定しない位置まで傾斜させることにより、指定することができる。
【0072】
また、スライス間隔の基準となる断層像と表示態様(第1及び第2の表示条件)の基準となる断層像とを別個に指定してもよい。さらに、すべての断層像の表示態様とは、異なった表示態様にしたければ、再度表示条件を入力することも可能である。なお、本実施形態では、断層像「A1」、つまり三次元画像「A」を基準断層像としている。
【0073】
制御用CPU3aは、このようにして送られた基準データを主メモリ3bに読み込む(ステップ106)。
【0074】
さらに、読影者は、各モニタM1〜Mkに表示された断層像の内、同期表示させて比較読影したい複数の三次元画像を入力部3cの例えば画像指定部I2により入力(指定)するとともに、基準断層像の所望のスライス位置の断層像と解剖学的断層位置が略同一の断層像(この解剖学的断層位置が略同一の断層像の集団(グループ)を断層像対という)を比較読影したい複数の三次元画像の中から指定する。
【0075】
もし、三次元画像が2組(表示装置5a1のモニタM1に表示された三次元画像Aと表示装置5a2のモニタM2に表示された三次元画像B)の場合、読影者は、比較読影する三次元画像を選ぶ必要はなく、最初に、画像指定部I1のレバーを右(表示装置5a1に対応)に倒す。このとき、制御用CPU3aは、その傾斜方向を読み込み、比較読影対象である三次元画像Aを認識する。この状態で、読影者がキーボードKのリターンキー等により画像送りコマンドを入力することにより、制御用CPU3a、処理装置4a1、及び表示装置5a1の処理により、当該モニタM1に表示された三次元画像Aの断層像が1コマずつ順送りされる。
【0076】
そして、読影者は、順次表示された断層像を見ながら、任意のスライス位置(スライス番号)、例えばスライス番号がLA(1≦LA≦N)の断層像ALAを指定する。
【0077】
続いて読影者は、レバーを左に倒して、三次元画像B(その表示された断層像)を選ぶ。このレバーを左に倒した状態では、制御用CPU3aは、三次元画像Bの制御を行なうようになっている。したがって、三次元画像Aの場合と同様に、読影者がキーボードKのリターンキー等により画像送りコマンドを入力することにより、当該モニタM2に表示された三次元画像Bの断層像は1コマずつ順送りされる。読影者は、順次表示された三次元画像Bの断層像を見ながら、断層像ALAと解剖学的断層位置が略同一の断層像を指定する(図8参照;ただし、図8は三次元画像「A,B」間の関係を示している)。このようにして、読影者は、三次元画像Aの表示断層像と略同一の断層像(つまり、断層像対)を指定することができる。
【0078】
一方、複数組の三次元画像を比較する場合には、まず、読影者は、基準断層像に対応したスイッチSM1を押してモニタM1の三次元画像Aを選択する。そして、読影者は、例えば、次断層像表示指令スイッチNを押すことにより、制御用CPU3a、処理装置4a1、表示装置5a1の処理により、当該モニタM1に表示された三次元画像Aの断層像が1コマずつ順送りされる。
【0079】
読影者は、順次表示された断層像を見ながら、任意のスライス位置(スライス番号)、例えばスライス番号がLA(1≦LA≦N)の断層像ALAを指定する。
【0080】
次に読影者は、同期表示させたい三次元画像を指定する。今、読影者は、モニタM3に表示された三次元画像C、及びモニタM6に表示された三次元画像Fを三次元画像Aとともに比較読影したいとする。このとき、読影者は、まず、スイッチSM3を選択し、次断層像表示指令スイッチN等を操作してモニタM1に表示された基準の断層像ALAと略同一の解剖学的断層位置の断層像(すなわち、断層像対)を選ぶ。この第1の断層像対の指定が終わった後で、SM1とSM3を同時に選択すると、SM1とSM3は同時にオン(点灯)となり、これを解除するまで、SM1を押すとSM3も同時にオンとなる(つまり、スイッチSM1とスイッチSM3は同期している)。なお、同時にオンするのが難しければ、SHIFTキーを押しながらSM1とSM3を順次押してもよい。この場合、制御CPU3aは、SHIFTキーを押されている間は、同時に押されていると判断するようになっている。このようなSHIFTキーの使い方は、同時にスイッチを押すことに比べて、3つ以上のものを容易に選択することができるという特長を有している。ただし、後述するように、比較の便宜のため、モニタM3の位置に表示した断層像をモニタM2に移動させた場合、同時にM3はオフとなり、M2がオンとなるようになっている。
【0081】
次にスイッチSM6を選択し、次断層像表示指令スイッチN等を操作することによりモニタM6の断層像を順次表示して、任意のスライス位置の位置合わせをしやすい断層像を選ぶ。
【0082】
そして、スイッチSM3を選択し、次断層像表示指令スイッチN等を操作することによりモニタM3の断層像を順次表示して、モニタM6の断層像と略同一の断層像を選ぶ(このときスイッチSM1とSM3とは同時にオンとなり、モニタM3の断層像が順送りされるのに同期してモニタM1の断層像も順送りされ、略同一の断層像が表示される)。この処理により、各三次元画像A,C,Fを間接的に関連付けることができる。このスイッチ間の同期を解除するには、同期解除スイッチCを用いる。例えば、スイッチCを押したとき、スイッチSM1が押されていれば、スイッチSM1とその他のスイッチとの間の同期が解除され、なにも押されていなければ、全ての同期が解除される。
【0083】
以上の例では、モニタM1、モニタM3、及びモニタM6に表示された三次元画像が比較読影の対象として選択され、断層像対が指定されたが、その指定は、三次元画像A→三次元画像C、三次元画像F→三次元画像C(及び同期している三次元画像A)の手順で行なわれている。しかし、この手順はこのように限定されるものではなく、要は、三次元画像A、三次元画像C、三次元画像Fが間接的に関連付けられればどんな手順でもよい。この間接的に関連付けられるという言葉は、三次元画像Aと三次元画像Cとの間に少なくとも1つの断層像対があり、三次元画像Cと三次元画像Fとの間に少なくとも1つの断層像対があるような場合(三次元画像Aと三次元画像Fとは三次元画像Cを介して間接的に関連づけられている)ということを意味している。
【0084】
したがって、例えばモニタM1〜M6に表示された三次元画像データ「A〜F」を比較読影の対象として選択し、その断層像対を指定するとした場合において、基準断層像Aとの断層像対を三次元画像B〜Fの中から選ぶというやり方を用いた場合には、読影者は、最初のスライス位置LAの断層像ALAと解剖学的断層位置が略同一の断層像を、三次元画像B〜Fをそれぞれ順送りしながら指定することになる。そして、その断層像対の指定が終了したか、あるいは最初の断層像ALAと解剖学的断層位置が略同一の断層像が無かった場合、基準となる三次元画像Aの中から次なる所望のスライス位置LA1の断層像ALA1を指定するとともに、その断層像ALA1と解剖学的断層位置が略同一の断層像を三次元画像「B〜F」の中から、同様の手順で指定する。
【0085】
そして、以下、読影者が必要な枚数、しかも、比較を行なう全ての三次元画像「B〜F」が、指定された三次元画像A中の断層像と解剖学的断層位置が略同一の断層像を最低1枚持つ(三次元画像「A〜F」が間接的に関連づけられる)ように、それぞれ三次元画像A〜Fの中の断層像の指定が行なわれる。
【0086】
断層像対が指定されたとき、最初の断層像対を形成する各断層像のスライス位置(断層像ALA(スライス位置LA)、及び各三次元画像「B〜F」の中の指定された断層像のスライス位置(スライス番号))、及びその他の断層像対を形成する各断層像のスライス位置は、制御用CPU3aの処理により、相互に関連づけられて主メモリ3bに記憶される。
【0087】
また、比較読影する三次元画像が2組(三次元画像A及び三次元画像B)の場合(つまり、画像指定部I1を用いて断層像対の指定を行なった場合)、この断層像対の指定が終わった後で、画像指定部I1を直立状態する(レバーを真ん中にもってくる)。なお、これは、後述する断層像対同時表示指令として、例えば、キーボードKからコマンドを入力した場合に、三次元画像Aと三次元画像Bとの間の断層像対をなす断層像が同期して表示されるためのモード(同期モード)を表している(ステップ107)。
【0088】
続いて、制御用CPU3aは、断層像対を形成する三次元画像データ「A〜F」中の各断層像がそれぞれ表示されたモニタM1〜M6の位置関係を主メモリ3bに記憶された割り当てデータに基づいて、当該指定された三次元画像データ「A〜F」中の各断層像が互いに隣接した上下、もしくは左右に表示されているか否か、あるいはその隣接される断層像の数が最も多くなっているか否かを調べる。そして、各処理装置4a1〜4akへの表示装置5a1〜5akへの割り当てを変更するか否かを判断する(ステップ108)。この結果、もし当該三次元画像データ「A〜F」中の各断層像が互いに隣接していないか、あるいは隣接している断層像の数が少ない場合は、ステップ108の判断はYESとなり、ステップ109において、各処理装置4a1〜4akへの表示装置5a1〜5akの割り当てを変更し、その結果を主メモリ3bに記憶する。そして、割り当て変更指令を処理装置4a1〜4akに送る。
【0089】
例えば、もし指定された三次元画像データが2つであり、その2つの三次元画像データ中の断層像対を形成する各断層像がモニタM1及びM3に表示されている場合(つまり、2つの三次元画像データ処理装置4a1及び4a3に割り当てられている場合)、その2つの断層像は隣接していない(図4参照)。したがって、制御用CPU3aは、2つの三次元画像データに対する処理装置(4a1、4a3)の割り当てを、例えば(4a1、4a2)に変更する指令を処理装置4a1〜4a3に送るわけである。
【0090】
処理装置4a1〜4a6は、割り当て変更指令が送られた場合、その変更指令をメモリ4c1〜4c6に読み込み、変更された割り当てに基づいて、送られる断層像データを割り当てに対応したモニタM1〜M6に表示させる処理を行なう(ステップ109)。
【0091】
一方、当該三次元画像データ「A〜F」中の各断層像が互いに隣接しているか、あるいは隣接している断層像の数が最大の場合は、ステップ108の判断の結果はNOであり、ステップ110に進む。
【0092】
なお、本実施形態では、三次元画像データ「A〜F」は、互いに隣接した上下、もしくは左右に表示されているため、変更処理は行なわない。
【0093】
そして、読影者は、断層像対が指定されたスイッチSM1〜SM6を同時に選択する。このとき、スイッチSM1〜スイッチSM6は同時にオン(点灯)し、これを解除するまでは、例えば、スイッチSM6を押せば、残りのすべてのスイッチSM1〜SM5が同時にオンとなる。このようにして、各三次元画像「A〜F」を間接的に関連付ける、つまり、同期させることができる。なお、この同期を解除するには同期解除スイッチCを用いる。例えば、同期解除スイッチCを押したとき、SM1が押されていれば、SM1とその他のスイッチとの間の同期が解除され、なにも押されていなければ、全ての同期が解除される。
【0094】
一方、制御用CPU3aは、処理装置4a1〜4a6に対し、同期モードに入ったことの通知、及び基準データを送る(ステップ110)。
【0095】
次いで、ステップ111以降において、制御用CPU3aは、各三次元画像「A〜F」の断層間方向の位置合わせ処理を行なう。
【0096】
すなわち、制御用CPU3aは、上記断層像対を含む三次元画像「A〜F」の中からある2つの三次元画像(本実施形態では、基準となる三次元画像Aと任意の三次元画像Bとする)との双方の三次元画像の間隔方向(つまり、体軸(z方向))の座標(z座標とする)を、スライス番号と断層間隔を用いて次のように設定する(ステップ111)。
【0097】
【数1】
z=(スライス番号)×(断層間隔) ……(1)
【0098】
そして、制御用CPU3aは、三次元画像Aと三次元画像Bとの間における断層像対の数が一対であるか否かを判断する(ステップ112)。この結果、YESである場合は、ステップ112において、その指定された一対の断層像対が、それぞれの座標でどの位置にあたるかを演算し、座標間のズレ量を求める。例えば、三次元画像「A、B」の断層像対の座標が、それぞれzA 0とzB 0とすると、三次元画像Bの座標は三次元画像Aのものに対して(zB 0−zA 0)だけズレており、3次元画像Bの任意の座標zBは、zA+(zB 0−zA 0)によりzAの座標に変換される(ステップ113)。
【0099】
また、指定された断層像対が一対より多い場合は、ステップ112の判断はNOとなり、ステップ114において、複数の断層像対の位置データに基づいて、上記(1)式で決まるzA座標とzB座標間の矛盾が最小となる処理を行ない、zA座標とzB座標間の相対的なズレ量を演算する。今、これらの座標の相対的なズレ量をzeとすると、断層像対間の誤差Eは次式のように表せる。
【0100】
【数2】
なお、ここでは指定された断層像対はs対であり、zA iとzB iはi番目(i=1、2、…、s)の断層像対のz座標とする。誤差Eを最小にするために、「ΔE/Δze=0」として(2)式を解くと、次式が得られる。
【0101】
【数3】
【0102】
したがって、1対のときと同様に、zBの任意の座標はzA+zeによりzAの座標に変換される。この相対的なズレ量zeとその対象となる三次元画像(断層像Aと断層像B)はすべて制御装置3内の主メモリ3b内に記憶される(ステップ114)。そして、制御用CPU3aの処理はステップ115へ移行する。
【0103】
制御用CPU3aは、上述した処理を三次元画像「B,C」間、三次元画像「C,D間」…にも繰り返し行ない、すべての三次元画像「A〜F」の座標の相対的な関係を間接的に関連付ける。なお、この「間接的に」とは、例えば三次元画像Aのz座標と三次元画像Bのz座標、三次元画像Bのz座標と三次元画像Cのz座標、三次元画像Cのz座標と三次元画像Dのz座標、…、となって最後に三次元画像Fのz座標と三次元画像Aのz座標と連鎖状に関連づけられることや、三次元画像Aのz座標と三次元画像Bのz座標、三次元画像Aのz座標と三次元画像Cのz座標、三次元画像Cのz座標と三次元画像Dのz座標、…のように、三次元画像A〜三次元画像Fが互いに(相対的に)関連付けられることを意味している。なお、このとき、制御用CPU3aは、各三次元画像「A〜F」の中で関連付やすい三次元画像のペアを当該三次元画像「A〜F」のそれぞれのz座標に基づいて選択することもできる(ステップ115)。
【0104】
そして、制御用CPU3aは、すべての三次元画像「A〜F」の座標の相対的な関係が間接的に関連付けられているか否かを判断する(ステップ116)。
【0105】
三次元画像「A〜F」の座標が相対的に関連付けられていない場合、ステップ116の判断はNOとなり、上述したステップ115に戻り、上述した処理を繰り返す。
【0106】
このステップ116の判断の結果YESの場合には、すべての三次元画像「A〜F」のz座標が連鎖状に関連づけられているため、ステップ117の処理に進む。
【0107】
ステップ117の処理では、制御用CPU3aは、主メモリ3bに記憶された各三次元画像「A〜F」のz座標間のズレ量に基づいて、このズレ量を基準三次元画像Aを基準にしたズレ量に算出し直す。例えば、基準三次元画像Aに対する三次元画像Bのズレ量をgAB、三次元画像Bに対する三次元画像Cのズレ量をgBC、三次元画像Cに対する三次元画像Dのズレ量をgCD、三次元画像Dに対する三次元画像Eのズレ量をgDE、三次元画像Eに対する三次元画像Fのズレ量をgEFとすると、基準三次元画像Aの任意の位置(z座標)から三次元画像Bの対応する位置を求める式は、「zA+(gAB)」となる。同様に、基準三次元画像Aの任意の位置から三次元画像C,D,E,Fの対応する位置を求める式は、それぞれ、「zA+(gAB+gBC)」、「zA+(gAB+gBC+gCD)」、「zA+(gAB+gBC+gCD+gDE)」、「zA+(gAB+gBC+gCD+gDE+gEF)」となる。このような各相対関係から、全体の関係を求めることは広く一般的に行なわれている。また、コンピュータ上で実現するアルゴリズムも数多く提案されている。
【0108】
このようにして求められた基準三次元画像Aの座標に対する各三次元画像「B〜F」の座標のズレ量は、対応する処理装置4a1〜4a6のメモリ4c1〜4c6に記憶される。基準座標に対応する各座標のズレ量は、前記の例では、括弧()内のものになる。つまり、基準三次元画像の基準となる座標に対してこのズレ量を加味することにより、各三次元画像間「A〜F」の位置合わせを行なうことができる(ステップ117)。
【0109】
続いて処理は図6のステップ118の処理に移行し、制御用CPU3aは、任意の基準となるスライス位置、すなわち、そのスライス位置に対応するz座標の断層像対を同期させて表示する旨を表す表示指令を各処理装置4a1〜4a6に送る。なお、このスライス位置は、予め定められていてもよいし、入力部3cから別個に指定されたものであってもよい。また、基準断層像Aの最初のスライス位置としてもよい(ステップ118)。処理装置4a1〜4a6のCPU4b1〜4b6は、入力されたスライス位置、及びメモリ4c1〜4c6に記憶されたズレ量に基づいて各三次元画像間の位置合わせを行ない、それぞれ基準となるz座標(Za1、Zb1、…、Zf1)を算出する(ステップ119)。
【0110】
そして、各CPU4b1〜4bkは、算出されたz座標位置(Za1、Zb1、…、Zf1)に断層像データが存在するか否かを判断する(ステップ120)。この判断の結果NO、つまり断層像データが存在しなければ、この算出されたz位置(Za1、Zb1、…、Zf1)の断層像データを求める。
【0111】
この場合の考え方を図9を参照して説明する。図9(a),(b)に示すように、三次元画像は、ピクセルを固定してz方向にピクセル値をプロットすると、一定間隔zd毎に値が記録されていくことになる。つまり、標本化されている状態で、標本点間の値を推定する問題となる。したがって、後述する文献(1)に示される補間処理を行なうことにより、あるピクセル位置の値を求めることができる。この処理を全てのピクセルに行なうことにより、断層像データが無いz座標位置での断層像データを新たに作成することができる。なお、図9(b)の例では、補間手法として1次(線形)補間を用いた場合を紹介している。
【0112】
すなわち、ステップ114では、各処理装置のCPU4b1〜4b6は、算出されたz座標位置(Za1、Zb1、…、Zf1)の前後の断層像データ(図9(b)では、z0、z0+zd、z0+2zd、…、z0+(n)zdの各データを用いた補間処理を行なって、算出されたz座標(Za1、Zb1、…、Zf1)に対応する新たな断層像データをそれぞれ作成し、画像記憶部4c1〜4c6に記憶する(ステップ121)。
【0113】
一方、ステップ120の判断の結果YESであれば、ステップ122の処理に移行する。
【0114】
そして、各処理装置4a1〜4a6のCPU4b1〜4b6は、画像記憶部4c1〜4c6に記憶されている、基準z座標(Za1、Zb1、…、Zf1)に対応する断層像データ「A(Za1)、B(Zb1)、…、F(Zf1)」、すなわち略同一の解剖学的断層位置の断層像データ対「A(Za1)、B(Zb1)、…、F(Zf1)」をそれぞれ読み出し、メモリ4c1〜4c6を参照しながら第1の表示条件である表示画素(ピクセル)サイズ、表示する断層像の間隔、WW(ウインドウ幅)、WL(ウインドウレベル)、座標系の被検体の絶対座標系に対する回転角、フィルタの種類等の設定値にしたがって画像処理を施す。なお、ピクセルサイズを一致させることは、図10に示すように、同じ大きさの物体を画像上でも同じ大きさにすることに相当する。つまり、ある表示態様の基準となる三次元画像「A」にすべての三次元画像「B〜F」を合わせることにより、作成される全ての三次元画像「A〜F」が同一のピクセルサイズとなる。また、座標系を基準断層像Aに一致させることは、図11に示すように、同一構造を同一の角度から観察出来ることに相当する。つまり、ある基準三次元画像Aの座標系に全ての三次元画像「B〜F」の座標系を合わせるべく、データの回転処理等を施しているわけである。但し、この図11では、断層面内での回転しか行なっていないが、断層面の傾きを変えるような三次元的な回転も同様に処理できる。これらの処理を合わせて行なうと、ピクセル毎の比較までもが可能となる。ピクセルサイズや座標系を基準データに合わせる方法は、文献(1)等により広く知られている座標変換技術(回転・拡大・縮小)と補間技術とを組み合わせて実現できる。これらを組み合わせた例は、文献(2)に触れられている。また、同様の処理を行なう幾何学的歪に対する補正については、文献(3)に示されており、広く一般で使われている。
【0115】
なお、座標系の基準データに対する回転角情報だけでは、座標系の角度合わせが不十分な場合、または対象とする三次元画像に被検体の絶対座標系に対する回転角の情報が無い場合には、データ収集時の情報(記録や記憶等)や解剖学的知識を利用して、座標系の傾斜角を推定することもできる(ステップ122)。
【0116】
そして、各CPU4b1〜4b6は、画像処理が施された断層像データ対「A(Za1)、B(Zb1)、…、F(Zf1)」を割り当てられた表示装置5a1〜5a6に送る(ステップ123)。各表示装置5a1〜5a6は、送られた断層像データ「A(Za1)、B(Zb1)、…、F(Zf1)」に対し第2の表示条件であるγ特性変換等の画像処理やブライトネス、コントラスト等の設定を行なった後、その断層像「A(Za1)、B(Zb1)、…、F(Zf1)」をモニタM1〜M6に同一のタイミングで表示する(ステップ124)。
【0117】
このとき、操作者は、入力部3cのキーボードK、あるいは画像指定部I2の次断層像表示指令スイッチN(または、トラックボールT)を操作して次断層像対を表示する指令を入力する(シングルアクション)か、あるいは、入力部3cのキーボードK等から、動画のように予め定められたタイミングに基づいて、表示された断層像対から所定間隔Δd離れた次の断層像対を同期させて順次表示させる指令(シングルコマンド)を入力する。制御用CPU3aは、入力されたシングルアクション、あるいはシングルコマンドに応じて、表示された断層像対「A(Za1)、B(Zb1)、…、F(Zf1)」から所定間隔離れた次の断層像対を同期させて表示させる指令を各処理装置4a1〜4a6のCPU4b1〜4b6に送る(ステップ125)。なお、この所定間隔は、この場合、基準断層像Aの断層間隔Δdである。なお、所定間隔Δdは読影中に変更することができる。これは、注目する領域を細かく観察することにより、正確な診断を行なうことができると同時に、あまり、関心のない領域(例えば、疾病を起している可能性の低い部位)は粗く観察することにより、読影時間を節約することができる。
【0118】
各CPU4b1〜4bkは、次断層像対表示指令を受け取ると、現在表示画像から所定間隔Δd離れた位置のz座標(Za2、Zb2、…、Zf2)に基づいて断層像データ「A(Za2)、B(Zb2)、…、F(Zf2)」を画像メモリ4e1〜4ekから同一のタイミングで読み出す。もし、その位置に断層像データが無い場合は、ステップ121,ステップ122と同様の処理を行ない、断層像データを作成する)。この読み出された断層像データ「A(Za2)、B(Zb2)、…、F(Zf2)」は、ステップ123、124と同様の処理が施された後、モニタM1〜M6に同一のタイミングで表示される(ステップ126)。
【0119】
そして、制御用CPU3aは、このまま所定間隔Δd毎に断層像対表示を行なうか否かを判断する(ステップ127)。今、入力部3cから断層像対表示を終了させたい旨を表す指令が入力されている場合、この判断の結果はNOとなり、処理を終了する。また、入力部3cから次断層像対表示指令が入力されている場合、あるいはシングルコマンドモードの場合、制御用CPU3aの処理はステップ118の実行前に移行し、以下、上述した処理が繰り返されるため、所定間隔Δd毎に順次断層像対の表示が行なわれる。
【0120】
例えば、シングルコマンドモード、つまり動画像表示モードの場合では、各モニタM1〜M6には、略同一の解剖学的位置の断層像がそれぞれ同期して順次表示される。
【0121】
そして、入力部3cからの断層像対表示終了指令、又は断層像対を形成する断層像データが無くなったときは、ステップ127の判断の結果はNOとなり、処理を終了する。
【0122】
以上述べたように、本実施例によれば、最初に読影者が異なる組の三次元画像の相互間で解剖学的断層位置が略同一の断層像対をいくつか指定すれば、複数の3次元画像に基づき異なる組の三次元画像の相互間で解剖学的断層位置が略同一の断層像対が自動的に導出(設定)され、さらに、その断層像対が所定のタイミングで同期して表示される。したがって、読影者は、比較読影を行なう際の断層像対を導出する、つまり、解剖学的断層位置を合わせるという非常に困難な操作を簡単な操作により行なうことができる。この結果、読影者の負担が大幅に軽減するとともに、比較読影を非常に簡単に行なうことができるようになる。
【0123】
また、複数の断層像対を所定間隔毎に順次表示することもできる。つまり、従来、複数の断層像対を順次表示する場合には、その複数の断層像対間の断層間隔の違いによる解剖学的断層位置の位置合わせが必要であったが、本実施例ではその位置合わせを行なう必要がなくなるため、比較読影を非常に簡単に、しかもスピーディーに行なうことができる。
【0124】
さらに、同期して表示される断層像対は、すべて同一の表示態様(WW、WL、ルックアップテーブル、及びフィルタの種類等が同一)、同一のピクセルサイズ、及び同一の座標系で表示されているため、読影者が比較読影する際に、余計な設定を行なう必要がなくなり、読影者の労力を大幅に低減させることができる。
【0125】
さらにまた、複数のモニタを階層構造で配設している場合に、同期して表示される断層像対は、それぞれ隣接した位置のモニタに自動的に表示される。つまり、読影者が余計な操作をすることなしに、断層像対は比較しやすい位置(モニタ)に表示されるため、読影者の負担を軽減させることができる。もちろん、モニタの構造は、階層構造としなくてもよく、例えば、横1列や縦1列に並んでいてもよいし、1つの装置に複数のモニタが含まれていないで、個々のモニタが並んでいてもよい。
【0126】
なお、本実施例では、本発明の要旨を変更しない上で種々の変形が可能である。
【0127】
・変形例1
図5のステップ101の処理おいて複数の三次元画像データを読み込んだが、この読み込むデータは三次元画像データではなく、生データ(投影データ)群であってもよい(CT装置1により取得された生データ群を直接読み込む)。この場合は、ステップ102の処理において、CPU4b1〜4bkは、送られてきた生データ群を再構成処理し、この処理の結果得られた複数の三次元画像データをモニタM1〜Mkに表示させることになる。この場合、図6のステップ121及びステップ126の画像補間処理においては、その再構成処理された複数の三次元画像データを用いてもよい。また、X線CT装置1がヘリカルスキャン(スパイラルスキャン、螺旋状スキャンとも呼ばれる)CTやコーンビームCTのような三次元CTである場合、つまり、生データを取得したモダリティが三次元的に画像再構成を行なうことができる情報を有している場合には、目的の位置(z座標)の三次元画像をその生データから直接再構成することができる。
【0128】
・変形例2
比較読影を行なうこと、及びその比較対象が予めはっきりしていれば、図5のステップ106の処理を予め行なった後、図6のステップ122、ステップ123の処理を最初の断層像を表示する段階で行なってもよい。この場合、読み込まれる複数の三次元画像データは、全て比較対象であると判断されるため、ステップ122、ステップ123の処理が自動的に施される。
【0129】
・変形例3
図1及び図2における表示装置5a1〜5anのモニタM1〜Mnは、ディスプレイでもウインドウでもよい。また、表示装置5a1〜5anは、1つあるいは数個のディスプレイまたはウインドウ上に複数の画像を表示(多コマ表示)するシステムであってもよい。この場合、断層像対を形成する各断層像は、1コマ(1枚の画像)を表示する領域にそれぞれ表示される。さらに、表示装置5a1〜5anは、多コマ表示(プリント)が可能なハードコピー装置を備えていてもよい。この場合、断層像対を形成する各断層像は、1コマ(1枚の画像)をプリントする領域にそれぞれ表示(プリント)される。
【0130】
・変形例4
本実施例において、表示装置5a1〜5anの数が同期表示される断層像対の数より多ければ、制御装置3aが各処理装置4a1〜4amに複数個の表示装置5a1〜5anを割り当てることにより、1検査画像群(三次元画像)当たり複数の断層像を表示してもよい。
【0131】
例えば、断層像対の数が2つ(三次元画像「A,B」)とすると、図12に示すように、各表示装置5a1〜5a6(図12では6個として説明する)のモニタM1〜M6の内、表示装置5a1〜5a3(M1〜M3)は、処理装置4ai(三次元画像A)に割り当てられ、表示装置5a4〜5a6(M4〜M6)は、処理装置4aj(三次元画像B)に割り当てられる。この例では、図12からも分かるように、三次元画像中の複数の断層像を同時に比較することができるため、平面的な比較だけでなく立体的な比較が可能となり、比較の精度を向上させることができる。
【0132】
・変形例5
変形例3において、各モニタM1〜Mnの複数の表示領域は、図13(a)及び(b)に示すように、m行n列(m、nは2以上の自然数)のマトリクス状に配列させてもよい(図13では、モニタM1及びM2の2つが、2行2列の表示領域を有するものとしている)。
【0133】
そして、このとき、制御用CPU3aは、各モニタM1〜Mkに表示させる断層像対の表示位置を、その表示領域の行方向の位置及び列方向の位置の少なくとも一方が各モニタM1〜Mkの表示領域間で互いに対応するようにしてもよい。例えば、図13(a)に示すように、三次元画像Aの断層像対を形成する断層像aがモニタM1の表示領域の左上隅(1行1列部分、以下「1−1」とする)に表示された場合、モニタM2に表示される三次元画像Bの断層像対を形成する断層像bは、図13(b)に示すように、当該モニタM2の同じ表示領域「1−1」に表示されるか、あるいは隣接する表示領域(「1行2列部分;「1−2」、あるいは2行1列部分;「2−1」)に表示される。また、図14(a)に示すように、三次元画像Aのn−1スライス番目の断層像「ア」、nスライス番目の断層像「イ」、n+1スライス番目の断層像「ウ」、n+2スライス番目の断層像「エ」は、それぞれ、モニタM1の表示領域「1−1」、「1−2」、「2−1」、「2−2」(2行2列目部分)に表示された場合、各断層像「ア、イ、ウ、エ」とそれぞれ断層像対を形成する三次元画像Bの断層像「あ、い、う、え」は、モニタM2の表示領域「1−1」、「1−2」、「2−1」、「2−2」に表示される。
【0134】
すなわち、本変形例では、多くの断層像対が同時に各モニタM1〜Mkに表示される。しかも、例えば、各モニタM1〜Mkの表示領域が2行2列のマトリクス状に形成されている場合、断層像対を形成する各断層像は、当該モニタM1〜Mk間で対応がとれた表示領域(例えば、行及び列の少なくとも一方が対応している)に表示されることになる。つまり、複数の断層像対をオペレータが比較読影しやすい状態で同時に表示することができ、比較読影の精度をより向上させることができる。
【0135】
・変形例6
図5のステップ107の処理における断層像対を指定する処理において、その指定処理を三次元画像の特徴量を利用して自動的に行なってもよい。その方法は、三次元画像間の相互相関(cross-correlation)係数を、片方の画像を移動させながら算出すると、三次元画像間のズレ量が、相関係数が最大になったときのシフト量から求められる。なお、相関演算については、文献(3)等で広く紹介されており、それを画像間のズレ量を推定する方法として使用した例は、文献(4)で紹介されている。また、対応をとる必要があるのはz軸だけであるので、z軸に平行な投影面に各検査画像をパラレルビーム系で投影する(投影面に垂直な直線上の三次元画像の線積分を各画像毎に求める)ことにより、擬似スキャノグラム像を作成し、このスキャノグラム像に対し二次元相関演算を施すことにより、対応をとってもよい。
【0136】
例えば、ステップ107の代わりとして、図15に示す処理を行なう。すなわち、制御用CPU3aからの制御指令に応じて、各処理装置4a1〜4a6は、画像記憶部4e1〜4e6から三次元画像データ「A〜F」を読み出し(ステップ107a)、その三次元画像データ「A〜F」に基づいて疑似スキャノグラムデータ「S1〜S6」を作成し、画像記憶部4e1〜4e6に格納する(ステップ107b)。
【0137】
続いて制御用CPU3aは、作成された疑似スキャノグラムデータ「S1〜S6」に対して2次元相関演算処理を行ない、解剖学的断層位置が略同一の断層像対グループを抽出(指定)する(ステップ107c)。以下、ステップ108に移行して上述したステップ108〜127の処理を行なう。
【0138】
すなわち、三次元相関演算を用いてズレ量を推定する手法を用いた場合、推定されるズレ量の精度は高いが多くの時間がかかるのに対し、疑似スキャノグラム像に対し二次元相関演算を用いてズレ量を推定する手法は、推定されるズレ量の精度は三次元相関演算を用いてズレ量を推定する手法に比べるとやや落ちるが、短時間で処理できることにある。さらに、投影面(投影角度)を変えて複数回処理する(ステップ107b、ステップ107cの処理を投影面を変えて繰り返す)ことにより、推定されるズレ量の精度を上げることもできる。これらの処理は、全ての比較対象である三次元画像が間接的に関連づけられるような組み合わせを自動的に選択して行なわれる。
【0139】
・変形例7
変形例6において、画像の中で推定されるズレ量の精度に大きく貢献する情報を予め強調し、あるいは抽出してもよい。例えば、その情報に大きく貢献する情報の一つは、境界情報であるので、予めハイパスフィルタや微分フィルタ等を用いて、エッジ強調やエッジ抽出処理等を行ってもよい。この処理の特色は、モダリティや収集条件の違いにより画素値が保存されないピクセルが存在した場合でも、精度良くズレ量を推定することができるところにある。
【0140】
・変形例8
変形例6において、特徴の少ない領域(他の領域と区別がつきにくい、例えばのっぺりした領域)では、推定されるズレ量の精度はあまり良くないことは、文献(3)等多くの論文で述べられている。そこで、全ての領域で相関演算を行なわないで、特徴量の多い領域(他の領域と区別がつきやすい領域)を1つ以上選択してその相関演算の結果(相関の高いシフト量。このz軸方向のシフト量が対応している断層像対を表す)を算出し、この結果をステップ107の入力部3cから指定された結果と同様に考えることにより、ステップ107、ステップ111〜ステップ121の手順で位置合わせを行なってもよい。
【0141】
また、特徴量の多い領域は、オペレータが断層像やROIを選択することにより指定しても良いし、また周波数解析を行ない高周波成分が多い部位を選ぶ等の手段で、各処理装置若しくは制御装置が自動的に指定しても良い。
【0142】
・変形例9
図7のステップ114の処理において、三次元画像間の位置合わせのために指定された断層像対が3対以上ある場合には、z座標を関連づけるために全ての断層像対を使用しないで近くにある複数個の断層像対を用いてローカルにz座標を関連づけてもよい。例えば、図16(a)のように三次元画像「A,B」の間に、断層像対「(A1−B1)、(Ak−Bk)、(Ap−Bp){1<k<p}」が指定されていた場合、断層像対(A1−B1)と(Ak−Bk)を用いて算出したズレ量(例えば、Gkとする)に基づいて、断層像対(A1−B1)と(Ak−Bk)の間またはその近辺に存在する断層像の位置合わせを行う。すなわち、図16(b)に示すように、断層像「A1〜Ak」間の断層像「Af、Ag、Aj」は、断層像「B1〜Bk」間の断層像「Bf、Bg、Bj」の位置と上記ズレ量Gkで表せる。同じく断層像対(Ak−Bk)と(Ap−Bp)との間で算出したズレ量(例えばGpとする)に基づいて、断層像対(Ak−Bk)と(Ap−Bp)との間またはその近辺に存在する断層像の位置合わせを行なう。すなわち、図16(c)に示すように、断層像「Ak〜Ap」間の断層像「Am、An、Ao」は、断層像「Bk〜Bp」間の断層像「Bm、Bn、Bo」の位置と上記ズレ量Gpで表せる。
【0143】
これは、体格差のある被検体を撮影した際の画像間で比較する場合や、体格が同じものでも撮影時に多少姿勢が異なっていた等の場合に、z座標のズレを極力抑える効果がある。
【0144】
・変形例10
図6のステップ121、及びステップ126の画像補間処理において次の断層像対を作成するときに、前後に存在する断層像対への距離の比が同じ位置の断層像を作成してもよい。例えば、図17のように、三次元画像「A,B」の間に、断層像対「(A1−B1)、(Ak−Bk)、(Ap−Bp){1<k<p}」が指定されていた場合であり、断層像対(A1−B1)と(AK−BK)の間において当該断層像「A1〜Ak」間を「m1:n1」に内分する位置の断層像を表示する際には、三次元画像Bにおいて断層像「B1〜BK」間を「m1:n1」に内分する位置の断層像を表示すればよい。同じく断層像対(Ak−Bk)と(Ap−Bp)の間において当該断層像「Ak〜Ap」間を「m2:n2」に内分する位置の断層像を表示する際には、三次元画像Bにおいて断層像「Bk−Bp」間を「m2:n2」に内分する位置の断層像を表示すればよい。
【0145】
これは変形例9と同様に、体格差のある被検体を撮影した際の画像間で比較する場合や、体格が同じものでも撮影時に多少姿勢が異なっていた等の場合に、z座標のズレを極力抑える効果があり、特にこの目的に対しては変形例9より効果的である。
【0146】
・変形例11
図6のステップ121において、順次表示するための断層像対データを作成するタイミングは、予め全ての対応する位置(z座標)の断層像データを作成しておいてもよいし、次断層像対表示指令(シングルアクション)又は断層像対を順次表示する指令(シングルコマンド)が入力されたときに、対応する位置の断層像対データを作成してもよい。前者は、最初に全ての断層像対を作成してしまうので、作成にまとまった時間が必要になり、断層像対の表示を即座に開始することができない。しかし、断層像対の表示を一度開始してしまえば、後は高速に断層像対の順次表示を行なうことができる。一方、後者は前者の逆で、断層像対の順次表示は前者ほど高速に行なえない代わりに、順次表示をすぐに開始することが出来、また各断層像対データを記憶しておく画像記憶部4e1〜4emの記憶容量が少なくてもよいという長所を有する。さらに、前者では、基準断層像を変更すると観察しなかった画像を作成する時間を無駄に費やしたことになるが、後者は、断層像対を表示する段階で、基準断層像を簡単に変更することができる。
【0147】
・変形例12
図6のステップ120〜121の処理では、断層像対を次々表示するために、算出したz座標の位置に断層像が無い場合は補間処理を用いて新たに算出している。
【0148】
しかしながら、表示すべき位置(z座標位置、断層面)に断層像が無い場合は、その断層面からいちばん近い断層像を表示してもよい。例えば、図18のように、三次元画像「A、B」の間で位置合わせを行なった結果、「Aia−Bi(i=1,2,…,N)」が断層像対であり、その断層面Aiaの位置には、断層像が存在しない場合、この断層面Aiaから一番近い断層像Aiを断層像Biに対応する断層像として表示する。この方法では、算出されたz座標位置の断層像をわざわざ作成する必要がないので、高速な順次断層像対表示が可能となる。
【0149】
上述した断層面から一番近い位置に存在する断層像を表示する処理は、例えば比較対象となる部位の構造が細かい場合等においては、図9(b)に示したように補間処理を用いて算出されたz座標位置のCT値を求めると、その部位の構造が消滅してしまうような場合に用いられる。
【0150】
つまり、このような比較対象部位が細かい場合には、補間処理を用いて新たな断層像を算出せず、常に最も近い位置に存在する断層像を表示するシステムを用いることもできる。また、比較対象部位が細かい場合においては、算出されたz座標の前後のスライスを同時に表示することもできる。
【0151】
すなわち、図19及び図20に示すように、三次元画像「A、B」の間で位置合わせを行なった結果、「Aia’−Bi'(i=1,2,…,N)」が断層像対であり、例えば、その断層面A1a’の位置には断層像が存在しない場合、図6のステップ120の判断の結果(NO)の後、図20に示すように、この断層面Aia’のz座標位置に対して前後するz座標位置の断層像Ai'及び断層像A(i+1)'を断層像Bi'に対応する断層像として画像記憶部4c1から順次読み出し、所定タイミング毎にモニタに同時表示する(ステップ121a)。なお、モニタの表示領域が2断層像分しかない場所には、Bi'と同時にAi'もしくはA(i+1)’を表示し、一定時間毎にAi'とA(i+1)’を交互に表示させてもよい。また、シングルコマンドにてAi'とA(i+1)'とを表示を切り換えてもよい。この方法においても、算出されたz座標位置の断層像を作成する必要がないので、高速な順次断層像対表示が可能となる。
【0152】
上述した補間処理を用いることなく、算出されたz座標に最も近い位置の断層像(あるいは、z座標前後の位置の断層像)を表示させるシステムでは、演算処理がz座標を求める処理のみになり、補間処理を行なう必要がなくなるので、処理が大幅に軽減され、ソフトウエア・ハードウエアともにその構成が単純となり、非常に安価なシステムとなる。
【0153】
・変形例13
本実施形態では、ステップ111〜ステップ121やステップ126の処理において、断層像対を次々に表示するために、第1の断層像対の位置情報に基づいて略同一の各断層像対のz座標とそのz座標位置に相当(対応)する断層像対を設定(その位置に断層像がある場合には、その位置の断層像をそのまま導出して設定し、無い場合には補間処理を用いた新たに算出(導出))している。言い換えれば、いわゆるIF文で判断し、その位置に断層像がある場合はその断層像をそのまま表示し、無い場合は補間処理を用いて新たに作成している。
【0154】
しかしながら、断層像間の間隔は、各病院間によって部位毎に基準値がある。例えば耳は1mm、肺野は2mm等である。また近年、集団検診においても三次元画像を撮影する動きが出てきたが、その検査にも基準値が設定されている。例えば、集団検診にCT三次元画像を利用している代表的な例としては、東京から肺癌を無くす会(ALCA;Anti-Lung Cancer Association)によって行なわれている肺癌検診があるが、この検診においては、前記基準値を10mmとしている。このように多くの三次元検査画像は、基準値(基準断層像間隔)で再構成されている。
【0155】
すなわち、各三次元検査画像が同一の基準断層像間隔で作成されている等の理由により、読み込んだままの三次元画像を順次表示しても位置ズレがほとんど生じない場合には、各三次元画像の第1の断層像間の位置情報に基づいて一度同一の断層像対が指定されれば、後は略同一の各断層像のz座標とそのz座標位置に相当する断層像を設定しなくても(すなわち、お互い断層像位置を更新しても、その更新位置が基準間隔毎で略同一位置であるから、補間処理を用いて新たに断層像を作成する必要はない)、次断層像対表示指令(シングルアクション)又は次断層像対順次表示指令(シングルコマンド)を受ける度毎に各断層像を次の断層像に更新するだけで、常に略同一の断層像対が表示できる。
【0156】
例えば、三次元画像Aと三次元画像Bとが略同じ断層間隔(基準断層像間隔)で取得されていた場合において、三次元画像Aと三次元画像Bの断層像対を同期表示させるとする。なお、三次元画像Aは、処理装置4a1の画像記憶部4e1に格納されているとし、三次元画像Bは、処理装置4a2の画像記憶部4e2に格納されているとする。
【0157】
このとき、オペレータは、図5のステップ107の処理として、三次元画像Aの所望のスライス位置(そのスライス位置に対応するz座標を「Zr」とする)の断層像A(zr)を指定するともに、その断層像A(Zr)と解剖学的断層位置が略同一の断層像B(Zrb)を三次元画像Bの中から指定する(図21、ステップ301)。そして、制御用CPU3aは、その2つの断層像「A(zr)、B(Zrb)」をそれぞれ同期させて表示させる指令を処理装置4a1及び4a2に送る。処理装置4a1及び4a2のCPU4b1及び4b2は、ステップ119〜126と同様の処理を行なう。この結果、断層像A(Zr)及び断層像B(Zrb)が例えばモニタM1、M2に同期して表示される(ステップ302)。
【0158】
このとき、三次元画像データ「A、B」は、同一の断層間隔で取得されているため、読影者が、入力部3cのキーボードKや次断層像表示指令スイッチN等を操作してシングルアクションか、あるいは、シングルコマンドを入力すれば、三次元画像「A、B」の中からその断層間隔毎に断層像(断層像対)が選択される。そして、その断層像対は、それぞれ同期して順次モニタM1、M2に表示される(ステップ303)。以下、ステップ127の処理を行なう。
【0159】
このように、断層間隔が略同一の場合、最初に解剖学的断層位置が略同一の断層像を指定してしまえば、後はその断層間隔毎に断層像対を順次表示することができる。したがって、処理が大幅に簡略化され、処理速度が大幅に向上する。また、処理が大幅に簡略化されるため、ソフトウエア・ハードウエアともにその構成が単純となり、非常に安価なシステムとなる。
【0160】
・変形例14
図6のステップ120〜121の処理において、同期して順次表示している際に、例えば、画像指定部I1を所定の方向に切り換えること、あるいは画像指定部I2の同期解除スイッチCを押すことにより、一部又は全ての画像の同期表示を停止させることもできる。これは、個別に読影したくなった場合に有効である。また、一部の表示画像の断層面が他の表示画像の断層面の位置とずれてきた場合、その画像を非同期にして位置を調節した後に、再度同期モードにするという同期位置のズレに対する補正手段としても有効である。
【0161】
・変形例15
図6のステップ122の処理でのフィルタの種類を断層像対間で一致させる処理において、画像再構成時にかけられるフィルタを考慮してもよい。これは、再構成フィルタの別の再構成像のMTF(Modulation Transfer Function:変調伝達関数)を登録しておき、MTFを一致させるフィルタをかけることにより、達成される。例えば、画像A,BのMTFがそれぞれHA(u,v)、HB(u,v)とした場合、画像A,Bの対象物体が同じF(u,v)だとすると、三次元画像「A,B」の分布FA(u,v)、FB(u,v)は、それぞれ次のように得られている。
【0162】
【数4】
FA(u,v)=F(u,v)HA(u,v) ……(4)
【数5】
FB(u,v)=F(u,v)HB(u,v) ……(5)
ここで、(u,v)は、フーリエ面の座標であり、F(u,v)、FA(u,v)、FB(u,v)は、全て元の物体や画像をフーリエ変換した結果である。また、ここでは簡単のために二次元断層面の処理について説明しているが、三次元での処理も同様に処理できる。ところで、FA(u,v)、FB(u,v)は本来同じ対象物体なので、MTFが同じであれば、同じ画像となるはずである。したがって、MTFを一致させるためには、FB(u,v)にフィルタH(u,v)をかければよい。
【0163】
【数6】
H(u,v)=HA(u,v)/HB(u,v) ……(6)
この画像再構成時にかけるフィルタも考慮する処理の特徴は、画素値が保存されるモダリティにおいて、画素値を直接比較できることにある。
【0164】
・変形例16
本システムの機能の一部又は全部は、撮影モダリティに設けられていてもよい。
【0165】
・変形例17
図5のステップ106の基準データを設定する処理は、基準断層像Aを制御装置3の入力部3cより設定し、その基準断層像Aの各表示条件をその基準断層像Aが保持されている画像処理装置4a1のメモリ4c1から読み込むことにより、基準データを基準断層像Aの各表示条件に設定してもよい。この処理の特徴は、非常に多くの基準データの設定を自動化できることにある。
【0166】
・変形例18
断層像対を形成する各断層像の座標系を基準断層像の座標系に合わせる回転処理、特に断層面の回転(断層像対の断層面を平行にする回転)は行なわなくてもよい。つまり、基準断層面(xy平面)と比較する断層面とのなす角が小さい(平行に近い)場合や、注目領域(ROI:Region of interest)が決まっている場合は、比較する領域の一部(例えば中心)の位置を合わせさえすれば、比較対象であるその他の領域の位置ズレ量はそれほど大きくはなく、このような場合には、比較対象の三次元データの断層面を、基準断層面と平行にする処理(断層面の傾きを変えるような回転処理)を省いてもよい。この方法の特長は、三次元補間という時間のかかる処理を省けるので、高速に処理できる点にある。
【0167】
すなわち、基準断層像からのズレ量が小さい場合やROIが決まっている場合に、三次元補間という時間のかかる処理を省いて高速に処理できので、有効な方法であると思われる。後者の場合の処理方法は、任意の三次元画像の断層面上に注目領域を設定した後、その注目領域に対応する領域を比較対象の三次元画像において算出した後、対応する領域を多く含む断層面を表示してもよいし、図5のステップ101〜ステップ105の処理において、座標の不一致は無視してROIの位置合わせを行なうことにより、座標を関係づけてもよい。
【0168】
・変形例19
本実施例では、断層像対をフレーム毎に異なるモニタに表示させたが、本発明はこれに限定されるものではなく、例えば、断層像対を構成するある断層像の一部を他の断層像対を構成する断層像の画像に変換することもできる。
【0169】
今、k組の三次元画像データがそれぞれ、処理装置4a1〜4akの画像記憶部4e1〜4ekに記憶されているとした場合、最初オペレータの操作に基づく制御用CPU3aの処理により、処理装置4a1の画像記憶部4e1に記憶された三次元画像データAがモニタM1に順次表示されているとする。
【0170】
このとき、読影者は、表示された三次元画像Aを見ながら、現在表示された断層像上のある部位を他の三次元画像と比較して読影したいとする。ここで、読影者は、入力部3cのキーボードK等を操作して現在表示されている断層像A(Za1)を停止(フリーズ)させる。そして、キーボードK等を操作してその比較したい部位をROIで指定するとともに、比較読影したい三次元画像(その三次元画像が記憶されている処理装置、例えば4a2とする)を指定する(図22、ステップ401)。このとき、制御用CPU3aは、その指定されたROI及び処理装置4a2を読み込み、画像記憶部4e1に格納された三次元画像データの中から三次元画像データA(Za1)を読み出すとともに、画像記憶部4e2に格納された三次元画像データBの中から、当該z座標(Za1)と解剖学的断層位置の等しい三次元画像データ(断層像対)B(Zb1)を読み出す(ステップ402)。そして、制御用CPU3aは、読み出したA(Za1)の内、ROIに指定された領域のデータ(ピクセル値)を消去し、その領域へ読み出した三次元画像データB(Zb1)の対応する領域のデータ(ピクセル値)を合成する(ステップ403)。そして、制御用CPU3aは、この結果得られた合成三次元画像データAb(Za1)を表示させる指令を処理装置4a1に送る。処理装置4a1のCPU4b1は、その指令に基づいてモニタM1に画像データAb(Za1)を表示させる。この結果、モニタM1には、図23に示すように、指定されたROI内の領域だけ比較読影したい他の三次元画像B(Zb1)が合成された三次元画像Ab(Za1)が表示される(ステップ404)。
【0171】
ここでさらに、入力部3cのキーボードK等を操作して、ROIを移動若しくは、「合成オン、合成オフ」等のコマンドを送ると、前者は、合成した部分をもとの三次元画像Aに戻し、指定された移動量だけ平行移動した領域にROIを設定(ステップ401と同様の処理)し、ステップ402以下の処理を繰り返して、新たに指定されたROIに三次元画像Bの対応する領域を合成して表示する。また、後者では、オフが押された場合には、合成した部分をもとの三次元画像Aに戻し、再びオンが押された場合は、指定されていたROIに再び三次元画像Bを合成する。注目領域の近辺でROIを左右に移動させたり、注目領域で合成のオン・オフを繰り返すことにより、注目領域における三次元画像AとBとの違い(陰影の変化や有無)が明確に判別できるので、正確な読影を行なうことができる。
【0172】
なお、比較したい領域は部分的ではなく、例えばモニタ画面半分というような指定の仕方も可能である。すなわち、オペレータが入力部3cの例えばマウスmを操作してモニタ画面上に境界線データ(例えば、画面中央で表示領域を左右2等分するラインマーカー)を指定する。そして、制御用CPU3aは、その境界線データに基づいて、三次元画像データA(Za1)上の例えばその境界線位置に対して向かって左側は元の三次元画像データA(Za1)を残し、向かって右側には三次元画像データB(Zb1)の内の右半分を合成させる。この結果、図24に示すように、同一の解剖学的断層位置における異なった三次元画像がモニタM1の中央を境にして合成された状態で表示される。
【0173】
また、この状態でマウスm等を操作してラインマーカーを例えば左右に移動させることにより、ラインマーカーを境にして三次元画像AとBとの違い(陰影の変化や有無)が明確に判別できるので、正確な読影を行なうことができる。
【0174】
さらに、この考え方の発展した例として、ROIで指定した領域(あるいは、境界線で仕切られた内の一方の領域)に、他のモダリティで得られた画像を合成することもできる。
【0175】
これらの変形例によれば、読影者は視点を移動させることなしに、断層像対を読影することができる。また、比較する位置の対応がつきやすいため、読影効率を大幅に高めることができる。さらに、断層像を一枚しか表示できない表示装置でも比較読影が可能となるという特長を有している。
【0176】
・変形例20
図6のステップ122において、各CPU4b1〜4b6は、同一のz座標の断層像データ(断層像対データ)を単にモニタM1〜M6に同一のタイミングで表示したが、本発明はこれに限定されるものではなく、例えば、断層像対を形成する各断層像データの中から複数(例えば2つ)の断層像データ(1組の断層像対データ)を選択し、その2つの断層像データをサブトラクション処理して得られたデータ(サブトラクションデータ)を表示することもできる。
【0177】
このサブトラクション処理を行なう場合には、読影者は、図5のステップ106の処理における基準データを入力する際に、サブトラクション処理した画像を表示したい2つの三次元画像(その2つの三次元画像が記憶された処理装置、例えば4a1、4a2)、及びそのサブトラクション画像を表示するモニタ(例えばM1)を入力している。
【0178】
一方、図6のステップ122の処理を終了した各CPU4b1〜4b6の内、CPU4b1、4b2は、図6に示す処理ではなく、図25に示す処理を行なう。すなわち、CPU4b1、4b2は、画像記憶部4e1、4e2からそれぞれ断層像データ(断層像対データ)「A(Za1),B(Zb1)」を読み出す。そして、CPU4b2は、読み出した断層像データB(Zb1)をCPU4b1に送る(ステップ501)。CPU4b1は、断層像データA(Za1)から断層像データB(Zb1)をサブトラクション処理する(ステップ502)。そして、得られたサブトラクション画像データ{(A(Za1)−B(Zb1));SU1とする}を表示装置5a1に送る。表示装置5a1は、送られたサブトラクション画像データ「SU1」に対し第2の表示条件であるγ特性変換等の画像処理やブライトネス、コントラスト等の設定を行なった後、そのサブトラクション画像データ「SU1」をモニタM1に表示する(ステップ503)。
【0179】
このとき、図6のステップ125〜ステップ127に類した処理が行なわれているため、CPU4b1、4b2は、サブトラクション処理された断層像データ「A(Za1),B(Zb1)」から所定間隔Δd離れた断層像データA「(Za2),B(Zb2)」を画像メモリ4e1、4e2から同一のタイミングで読み出し、ステップ501〜503に示すサブトラクション処理を行なう。以下、ステップ120の処理にしたがってサブトラクション画像{「SU2」、「SU3」、…}が順次モニタM1表示される(ステップ504)。
【0180】
本変形例によれば、解剖学的断層位置が同一の断層像対を同期して表示させるだけでなく、その断層像対どうしのサブトラクション画像を順次表示することができるため、そのサブトラクション画像を読影することにより、患者の診断対象部位の変化状態等を詳細に検討することができる。
【0181】
・変形例21
上述した変形例19の合成処理、及び変形例20のサブトラクション処理では、合成あるいはサブトラクションされる断層像対におけるスライス内の位置関係は略一致していることが望ましい。したがって、断層像対間でスライス位置が若干ずれている場合には、上述した図22及び図25の処理に加えて相関演算処理を行なうことにより、スライス内の位置関係のずれによる画像の差を補正し(対応している断層像対において各部位のピクセル位置を合わせる)、より正確な合成処理及びサブトラクション処理を行なうことができる。スライス内の位置関係のズレによる画像の差を補正する方法は、全体の位置ズレを補正する方法、及び体動による部分的なズレまで補正するためにローカルに相関演算を行ない、その結果をもとに対象を部分的に変形する方法等があり、これらの方法は、参考文献(4)により公知となっている。
【0182】
すなわち、合成処理(あるいはサブトラクション処理)において、図22のステップ402の処理後(あるいは図25のステップ501の処理後)、制御用CPU3aは、図26に示すように、断層像データA(Za1)と断層像データB(Zb1)とを相関演算する(ステップ601)。そして、制御用CPU3aはその相関演算結果に基づいて断層像データA(Za1)と断層像データB(Zb1)との間のシフト量を演算する(ステップ602)。そして、このシフト量、及び断層像データB(Zb1)に基づいて、断層像データA(Za1)との相関が非常に高い(同一のスライス位置とみなされる)断層像データBa(Zb1)を生成して再度画像記憶部4e2に記憶する(ステップ603)。以下、ステップ403以降の処理が行なわれる。ただし、断層像データB(Zb1)として用いられるのは、新たに作成された断層像データBa(Zb1)である。
【0183】
本変形例によれば、スライス位置にずれがある断層像対を用いて合成処理あるいはサブトラクション処理を行なう場合でも、正確な合成処理あるいはサブトラクション処理を行なうことができる。
【0184】
・変形例22
本実施例の画像処理装置のシステム構成は、図1の示す構成に限定されるものではなく、例えば、図27に示すように、図1に示す処理装置4a1〜4amの内の1つ(処理装置10a1)が制御装置3を兼ねる構成(新たに入力部3cが加わっている)としてもよいし、図28に示すように、処理装置4a1〜4amを無くし、制御装置3が処理装置4a1〜4amを兼ねてもよい。この場合は、制御装置3が各処理装置4a1〜4amの行なう全ての処理を変わって行なう。図25、26のようなシステムは、図1のシステムに比べて処理速度が遅くなる可能性があるが、比較的安価に実現できるので、実用化しやすいとう特長を有する。
【0185】
・変形例23図5のステップ108〜ステップ109とステップ107の各処理を行なう順番は、最終的には同じとなるので、どのように設定してもよいが、図5のステップ108〜ステップ109の処理を行ない易いように設定するのが望ましい。断層像対の各表示条件、例えば、ピクセルピッチが大きく違う場合は、位置合わせを行なうことが難しいこともある。このような時は、ステップ107の処理を予め行なったほうが位置合わせを行ない易い。
【0186】
なお、本実施例及び変形例において、処理装置4a1〜4amはそれぞれ1つのモニタM1〜Mmを有する構成でもよい。また、本画像処理装置が種々の画像処理等を高速に行なうことができる高速演算装置(マイクロプロセッサ)を別個に有し、上述した制御用CPU3a及び処理装置4a1〜4amで行なわれた処理等を必要に応じて上記高速演算装置で行なう構成にしてもよい。
【0187】
さらに、上述した変形例で述べられた合成演算、サブトラクション演算、及び相関演算等は制御用CPU3aあるいは各処理装置4a1〜4amのCPU4b1〜4bmで行なう構成としたが、本発明はこれに限定されるものではなく、例えば、合成演算を行なうディジタルロジック回路、サブトラクション演算を行なうディジタルロジック回路、及び相関演算を行なうディジタルロジック回路を別個に設けて、上記合成演算、サブトラクション演算、及び相関演算を行なわせてもよい。
【0188】
さらにまた、本実施例では、医用画像撮影モダリティとしてCT装置を用いたが、本発明はこれに限定されるものではなく、例えば、MRI装置であってもよく、また、CT装置とMRI装置とを備え、これらの装置で得られた複数組の三次元画像を比較読影してもよい。
【0189】
なお、以下に、実施例で参照した参考文献名を掲載する。
(1) 「テレビジョン画像工学ハンドブック」テレビジョン学会編、オーム社。
(2) 「High Speed Display through Hybrid Processing」Optics Letters, Vol.15, No.10, 565-567(1990)。
(3) 「ディジタル画像処理」Kak Rosenfeld著、長尾真訳、近代科学社。
(4) 「Digital Image Subtraction of Temporally Sequential Chest Image for Detection of Interval Change 」,A. Kano et al., Medical Physics, Vol. 21, No.3, 453-461(1994)。
【0190】
【発明の効果】
以上述べたように本発明によれば、複数組の3次元画像の中から、異なる組相互間で解剖学的断層位置が略同一の少なくとも1つの断層像対を設定し、さらに、その断層像対を例えば所定のタイミングで同期させて表示することができるため、異なる3次元画像同士において互いの解剖学的断層位置を合わせるという非常に困難な操作をすることなしに、断層像対を表示することができる。したがって、比較読影の際の読影者の負担が減少し、また、比較読影にかかる時間及びコスト(読影者の人件費等)が減少する。そして、この効果による2次的な効果としては、比較読影を行なう頻度が多くなり、診断の正確さがより向上することが挙げられる。
【0191】
また、複数の断層像対間の断層間隔の違いによる解剖学的断層位置の位置合わせを行なうことなしに、複数の断層像対を順次表示することができるため、比較読影にかかる時間及びコストが減少する。
【0192】
さらに、断層像対を構成する複数の断層像(表示画像)の明るさ、コントラスト、適用される画像フィルタ等の画像パラメータの少なくとも一部を、読影者の余計な操作なしで当該断層像対を構成する複数の断層像間で同一に設定することができるため、読影者が比較読影する際に、上記画像パラメータを逐一合わせる必要がなくなり、読影者の労力を大幅に低減させながら比較読影の精度を向上させることができる。
【0193】
さらにまた、複数のモニタを階層構造で配設している場合に、当該モニタに表示される断層像対を構成する複数の断層像の少なくとも一部は、それぞれ隣接した位置のモニタ、つまり、比較される断層像対が隣接して見られるような位置に自動的に表示される。したがって、一度表示された断層像対の表示位置を変更する等の余計な手間が不要になり、読影者の労力を大幅に低減させながら比較読影の精度を向上させることができる。
【図面の簡単な説明】
【図1】 本発明に係る画像表示システムの概略構成を示すブロック図。
【図2】 図1における表示装置の概略構成を示すブロック図。
【図3】 (A)は、入力部の概略構成を示す斜視図であり、(B)は、画像指定部I2の構成の一例を示す図。
【図4】 階層構造に配設された複数のモニタを示す斜視図。
【図5】 解剖学的断層位置が略同一の断層像対を同期させて表示する際の画像表示システム全体の動作の一例を表す概略フローチャート。
【図6】 解剖学的断層位置が略同一の断層像対を同期させて表示する際の画像表示システム全体の動作の一例を表す概略フローチャート。
【図7】 解剖学的断層位置が略同一の断層像対を同期させて表示する際の画像表示システム全体の動作の一例を表す概略フローチャート。
【図8】 断層像対の概念を示す図。
【図9】 算出されたz座標の断層像データを生成する際の考え方を説明するための図。
【図10】 ピクセルサイズを一致させる処理の概念を説明する図。
【図11】 座標系を一致させる処理の概念を説明する図。
【図12】 処理装置に複数個の表示装置が割り当てられている場合の、各モニタに表示された断層像対を表す図。
【図13】 複数のモニタの複数の表示領域内の同一位置に表示された断層像対を示す図。
【図14】 複数のモニタの複数の表示領域内の同一位置に表示された断層像対を示す図。
【図15】 スキャノグラム像に対する2次元相関演算処理の一例を説明するための概略フローチャート。
【図16】 複数個の断層像対を用いてローカルにz座標を関連づける処理を説明する概念図。
【図17】 前後に存在する断層像対への距離の比が同じ位置の断層像を作成する処理を説明する概念図。
【図18】 表示すべきz座標位置から一番近いz座標位置に存在する断層像を表示する処理を説明する概念図。
【図19】 表示すべきz座標位置の前後のz座標位置に存在する断層像を同時に表示する処理を説明する概念図。
【図20】 表示すべきz座標位置の前後のz座標位置に存在する断層像を同時に表示する処理の一例を説明するための概略フローチャート。
【図21】 略同じ断層間隔で取得された2組の三次元画像を同期表示させる際のシステム全体の処理の一例を説明するための概略フローチャート。
【図22】 断層像対を構成するある断層像の一部を他の断層像対を構成する断層像の画像に変換する際のシステム全体の処理の一例を説明するための概略フローチャート。
【図23】 指定ROI内だけ他の断層像が合成された断層像を示す図。
【図24】 境界を挟んで2つの異なる断層像が合成された断層像を示す図。
【図25】 サブトラクション処理を行なう際のシステム全体の動作の一例を説明するための概略フローチャート。
【図26】 相関演算処理を行なう際のシステム全体の動作の一例を説明するための概略フローチャート。
【図27】 本発明の画像表示システムのその他の構成例を示す概略ブロック図。
【図28】 本発明の画像表示システムのその他の構成例を示す概略ブロック図。
【符号の説明】
1 CT装置
2 画像DB
3 制御装置
3a 制御用CPU
3b 主メモリ
3c 入力部
4a1〜4am 画像処理装置
4b1〜4bm CPU
4c1〜4cm メモリ
4e1〜4em 画像記憶部
5a1〜5an 表示装置
5b1〜5bn LUT
5c1〜5cn 画像メモリ
5d1〜5dn 表示部
M1〜Mn モニタ
Claims (20)
- 少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、かつ、それぞれの組が複数枚の断層像で構成される複数組の三次元画像を出力デバイスに表示するようにした画像表示システムにおいて、
前記複数組の三次元画像の中から、前記検査の撮影時の解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を第1の断層像対として少なくとも1つ指定する指定手段と、
前記複数組の三次元画像のうちの少なくとも1組の三次元画像を成す複数の断層像の断層間隔及び前記指定手段により指定された前記第1の断層像対間の位置情報に基づいて、前記解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を断層像対として少なくとも1つの断層像対を前記複数組の三次元画像を用いて設定する断層像対設定手段と、
この断層像対設定手段により設定された少なくとも1つの断層像対を前記出力デバイスに表示させる表示制御手段と、を備えたことを特徴とする画像表示システム。 - 前記断層像対設定手段は、前記解剖学的断層位置が略同一の断層像対を自動的に導出するように構成した手段である請求項1記載の画像表示システム。
- 前記表示制御手段は、前記各断層像対を構成する複数の断層像を同期させて前記出力デバイスに表示させるように構成した請求項2記載の画像表示システム。
- 前記断層像対設定手段は複数の前記断層像対を設定するように構成した手段であり、前記表示制御手段は、前記複数の断層像対を所定間隔毎に順次、前記出力デバイスに表示させるように構成した請求項3記載の画像表示システム。
- 前記指定手段は、前記複数組の三次元画像の中から基準となる一組の三次元画像を指定する第1の指定手段と、この基準となる三次元画像の中の少なくとも1つの断層像と前記解剖学的断層位置が略同一である残りの組の三次元画像中の断層像を全ての三次元画像が間接的に関連付けられるように指定する第2の指定手段とを備えた請求項3記載の画像表示システム。
- 前記指定手段は、前記三次元画像の中から前記第1の断層像対を自動的に選択する選択手段を有する請求項3記載の画像表示システム。
- 前記選択手段は、前記複数組の三次元画像の相互間の相互相関により得られるシフト量を特徴量として用いて前記第1の断層像対を選択するようにした請求項6記載の画像表示システム。
- 前記位置情報は、前記三次元画像の断層面に垂直な方向に設定された座標軸に基づく位置座標情報である請求項3記載の画像表示システム。
- 前記断層像対設定手段は、前記複数組の三次元画像間の位置座標情報のズレ量を算出する手段と、前記位置座標情報のズレ量に基づいて、各三次元画像間の相対的な位置座標を求める手段と、前記各三次元画像間の相対的な位置座標上において任意の位置を指定する指定手段と、この指定された位置に対応する断層像を各三次元画像の中から求める取得手段とを備え、前記表示制御手段は、各三次元画像からそれぞれ求められた断層像グループを断層像対として前記出力デバイスに表示するようにした請求項8記載の画像表示システム。
- 前記取得手段は、前記指定された位置に対応する断層像が無い場合、前記指定位置近傍の位置の少なくとも1枚の断層像を用いて新たに断層像データを作成する補間処理により当該指定位置に対応する断層像を求める手段である請求項9記載の画像表示システム。
- 前記取得手段は、前記指定された位置に対応する断層像が無い場合、前記指定された位置に最も近い位置の断層像を前記指定位置に対応する断層像として各三次元画像の中から選択する手段である請求項9記載の画像表示システム。
- 前記取得手段は、前記指定された位置に対応する断層像が無い場合、前記座標軸上において前記指定された位置に隣接する位置のペアの断層像を前記指定位置に対応する断層像として各三次元画像の中から選択する手段であり、前記表示制御手段は、前記指定位置に対応する前記ペアの断層像を、全体で断層像対のグループとなるように対毎に前記出力デバイスに表示するようにした請求項9記載の画像表示システム。
- 前記複数組の三次元画像の各断層像は略等しい断層間隔で取得され、前記断層像対設定手段は、前記略等しい断層間隔及び前記第1の断層像対間の位置情報に基づいて前記複数組の三次元画像を用いて前記解剖学的断層位置が略同一の少なくとも1つの断層像対を設定するようにした請求項1記載の画像表示システム。
- 前記出力デバイスは、階層構造に配設された複数のモニタを備え、前記表示制御手段は、前記断層像対を形成する複数の断層像をそれぞれ前記複数のモニタに当該複数の断層像の少なくとも一部が互いに隣接するように表示させた請求項3記載の画像表示システム。
- 前記表示制御手段は、前記各モニタにおける前記断層像対を構成する複数の断層像の明るさ、コントラスト、及び、適用される画像フィルタを含む画像パラメータの少なくとも一部を同一にして当該複数の断層像を当該各モニタにそれぞれ表示させるようにした請求項14記載の画像表示システム。
- 前記出力デバイスは、複数の表示領域を有した少なくとも1つのモニタを備え、前記表示制御手段は、前記断層像対を形成する複数の断層像をそれぞれ前記複数の表示領域に表示させるようにした請求項3記載の画像表示システム。
- 前記表示領域は、m行n列(m、nは、2以上の自然数)のマトリクス状に配列され、前記表示制御手段は、前記断層像対を構成する複数の断層像を前記表示領域の互いに隣接した行あるいは列にそれぞれ表示させるようにした請求項16記載の画像表示システム。
- 前記表示制御手段は、前記断層像対を形成する複数の断層像の内の少なくとも一対の断層像をサブトラクション処理するサブトラクション処理手段を備え、このサブトラクション処理により得られたサブトラクション画像を前記出力デバイスにより表示させるようにした請求項3記載の画像表示システム。
- 少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、かつ、それぞれの組が複数枚の断層像で構成される複数組の三次元画像を出力デバイスに表示するようにした画像表示システムにおいて、
前記複数組の三次元画像の中から、前記検査の撮影時の解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を第1の断層像対として少なくとも1つ指定する指定手段と、
前記複数組の三次元画像のうちの少なくとも1組の三次元画像を成す複数の断層像の断層間隔及び前記指定手段により指定された前記第1の断層像対間の位置情報に基づいて、前記解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を断層像対として少なくとも1つの断層像対を前記複数組の三次元画像を用いて設定する断層像対設定手段と、
この断層像対設定手段により設定された少なくとも1つの断層像対を前記出力デバイスに表示させる表示制御手段と、
前記出力デバイスに表示された断層像対を構成する複数の断層像の中から任意の1枚の第1の断層像上に関心領域を設定する手段と、
前記関心領域が設定された第1の断層像以外の当該複数の断層像の中から任意の1枚の第2の断層像を指定する手段と、
前記第1の断層像の前記関心領域部分の画像を、前記第2の断層像上の前記関心領域に相当する部分の画像に変換する変換手段と、を備えたことを特徴とする画像表示システム。 - 少なくとも1つの医用画像撮影モダリティに基づく複数回の検査により取得され、かつ、それぞれの組が複数枚の断層像で構成される複数組の三次元画像を出力デバイスに表示するようにした画像表示システムを用いた画像表示方法において、
前記複数組の三次元画像の中から、前記検査の撮影時の解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を第1の断層像対として少なくとも1つ指定する第1のステップと、
前記複数組の三次元画像のうちの少なくとも1組の三次元画像を成す複数の断層像の断層間隔及び前記第1の断層像対間の位置情報に基づいて、前記解剖学的断層位置が異なる組の三次元画像の間で略同一となる断層像の群を断層像対として少なくとも1つの断層像対を前記複数組の三次元画像を用いて設定する第2のステップと、
この第2のステップにより設定された少なくとも1つの断層像対を前記出力デバイスに順次表示させる第3のステップと、を備えたことを特徴とする画像表示システムを用いた画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04101696A JP3639030B2 (ja) | 1995-02-28 | 1996-02-28 | 画像表示システム及びそのシステムを用いた画像表示方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7-40718 | 1995-02-28 | ||
JP4071895 | 1995-02-28 | ||
JP04101696A JP3639030B2 (ja) | 1995-02-28 | 1996-02-28 | 画像表示システム及びそのシステムを用いた画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08294485A JPH08294485A (ja) | 1996-11-12 |
JP3639030B2 true JP3639030B2 (ja) | 2005-04-13 |
Family
ID=26380234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04101696A Expired - Lifetime JP3639030B2 (ja) | 1995-02-28 | 1996-02-28 | 画像表示システム及びそのシステムを用いた画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3639030B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007130240A (ja) * | 2005-11-10 | 2007-05-31 | Imagunooshisu Kk | 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム |
US20220031165A1 (en) * | 2007-01-19 | 2022-02-03 | Sunnybrook Health Sciences Centre | Imaging probe with combined ultrasound and optical means of imaging |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6728424B1 (en) * | 2000-09-15 | 2004-04-27 | Koninklijke Philips Electronics, N.V. | Imaging registration system and method using likelihood maximization |
JP5361103B2 (ja) * | 2000-10-24 | 2013-12-04 | 株式会社東芝 | 画像処理装置 |
JP4795527B2 (ja) * | 2000-11-24 | 2011-10-19 | 株式会社東芝 | X線画像診断システム |
JP2002209883A (ja) * | 2001-01-23 | 2002-07-30 | Shimadzu Corp | 医用断層撮影装置 |
JP2003084910A (ja) | 2001-09-14 | 2003-03-20 | Nemoto Kyorindo:Kk | 入力操作装置および画像表示装置 |
AU2002366970A1 (en) * | 2001-12-28 | 2003-07-30 | Koninklijke Philips Electronics N.V. | Medical examination apparatus having means for performing correction of settings |
JP2005073818A (ja) * | 2003-08-29 | 2005-03-24 | Hitachi Medical Corp | 医用画像表示装置、医用画像蓄積検索システム |
JP4580700B2 (ja) * | 2004-06-28 | 2010-11-17 | 株式会社東芝 | 医用画像表示装置 |
JP4786184B2 (ja) * | 2005-01-07 | 2011-10-05 | 株式会社東芝 | コンピュータ支援画像診断システム |
JP4649236B2 (ja) * | 2005-03-04 | 2011-03-09 | 株式会社東芝 | 3次元画像処理装置、x線診断装置および3次元画像処理プログラム |
JP2007313003A (ja) * | 2006-05-25 | 2007-12-06 | Yokogawa Electric Corp | 画像表示装置 |
JP2008000536A (ja) | 2006-06-26 | 2008-01-10 | Fujifilm Corp | 画像表示装置 |
JP4800129B2 (ja) * | 2006-06-30 | 2011-10-26 | 富士フイルム株式会社 | 医用画像表示処理装置、及び、医用画像表示処理プログラム |
WO2008001928A1 (fr) | 2006-06-30 | 2008-01-03 | Fujifilm Corporation | Appareil d'affichage d'image médicale et programme d'affichage d'image médicale |
JP4818846B2 (ja) * | 2006-08-16 | 2011-11-16 | 富士フイルム株式会社 | 医用画像処理装置及び医用画像処理プログラム |
JP4640845B2 (ja) | 2007-03-05 | 2011-03-02 | 富士フイルム株式会社 | 画像処理装置およびそのプログラム |
JP5566567B2 (ja) * | 2007-03-14 | 2014-08-06 | 株式会社東芝 | 医用画像表示装置、医用画像表示方法及び医用画像診断装置 |
JP4924250B2 (ja) * | 2007-07-06 | 2012-04-25 | コニカミノルタホールディングス株式会社 | 断層面画像生成装置、プログラム、および断層面画像生成方法 |
JP5142633B2 (ja) * | 2007-08-24 | 2013-02-13 | 株式会社東芝 | 医用画像表示装置及び医用画像表示方法 |
JP4616874B2 (ja) | 2007-09-28 | 2011-01-19 | 富士フイルム株式会社 | 画像表示装置、画像表示方法、および画像表示プログラム |
JP5159301B2 (ja) * | 2007-12-28 | 2013-03-06 | 株式会社東芝 | 医用画像表示装置および画像表示方法 |
JP5138431B2 (ja) | 2008-03-17 | 2013-02-06 | 富士フイルム株式会社 | 画像解析装置および方法並びにプログラム |
JP5739323B2 (ja) * | 2008-04-14 | 2015-06-24 | オプトビュー,インコーポレーテッド | 光干渉断層法のアイレジストレーション法 |
WO2010016293A1 (ja) * | 2008-08-08 | 2010-02-11 | コニカミノルタエムジー株式会社 | 医用画像表示装置、医用画像表示方法及びプログラム |
JP5512113B2 (ja) * | 2008-10-20 | 2014-06-04 | 株式会社東芝 | 医用画像表示装置およびマンモグラフィ装置 |
JP5530626B2 (ja) * | 2008-12-19 | 2014-06-25 | 株式会社日立メディコ | 磁気共鳴イメージング装置、及び画像処理装置 |
JP5575491B2 (ja) * | 2010-01-14 | 2014-08-20 | 株式会社東芝 | 医療画像診断装置 |
JP2011224086A (ja) * | 2010-04-16 | 2011-11-10 | Morita Mfg Co Ltd | 画像処理装置、x線撮影装置、画像表示方法、画像比較方法、および画像表示プログラム |
JP5675177B2 (ja) * | 2010-06-07 | 2015-02-25 | 株式会社東芝 | 医用画像観察装置 |
JP5572012B2 (ja) * | 2010-06-15 | 2014-08-13 | 株式会社東芝 | 医用画像表示装置 |
JP4920771B2 (ja) * | 2010-06-15 | 2012-04-18 | 株式会社東芝 | 医用画像表示装置 |
JP5754902B2 (ja) * | 2010-08-27 | 2015-07-29 | キヤノン株式会社 | 画像処理装置及び画像処理装置の作動方法 |
JP5575620B2 (ja) * | 2010-11-30 | 2014-08-20 | 株式会社東芝 | 画像処理装置 |
JP2012000477A (ja) * | 2011-08-05 | 2012-01-05 | Toshiba Corp | 画像処理装置 |
JP4997341B2 (ja) * | 2011-11-21 | 2012-08-08 | 株式会社東芝 | 医用画像表示装置 |
WO2013080373A1 (ja) | 2011-12-02 | 2013-06-06 | 株式会社 東芝 | 医用画像観察装置 |
JP5863435B2 (ja) * | 2011-12-15 | 2016-02-16 | Hoya株式会社 | 画像信号処理装置 |
WO2013191036A1 (ja) * | 2012-06-20 | 2013-12-27 | 株式会社 東芝 | 医用画像処理装置、磁気共鳴イメージング装置、医用画像処理方法及び磁気共鳴イメージング方法 |
JP6416090B2 (ja) * | 2012-08-03 | 2018-10-31 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像処理装置、画像処理装置の作動方法、画像処理システム、画像処理装置を制御するコンピュータプログラム及びコンピュータ可読媒体 |
JP5883378B2 (ja) * | 2012-12-27 | 2016-03-15 | 株式会社東芝 | 画像処理装置 |
JP2014183963A (ja) * | 2013-03-22 | 2014-10-02 | Fujifilm Corp | 医療画像配信装置、医療画像配信システム |
JP2013198822A (ja) * | 2013-07-11 | 2013-10-03 | Toshiba Corp | 画像処理装置 |
KR102244258B1 (ko) * | 2013-10-04 | 2021-04-27 | 삼성전자주식회사 | 디스플레이 장치 및 이를 이용한 영상표시방법 |
JP6266310B2 (ja) * | 2013-11-08 | 2018-01-24 | 東芝メディカルシステムズ株式会社 | 医用情報処理装置 |
JP6258084B2 (ja) * | 2014-03-12 | 2018-01-10 | 東芝メディカルシステムズ株式会社 | 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム |
JP6126058B2 (ja) | 2014-09-30 | 2017-05-10 | 富士フイルム株式会社 | 画像表示装置、画像処理装置、放射線画像撮影システム、断層画像表示方法、及び断層画像表示プログラム。 |
JP6525903B2 (ja) | 2016-03-09 | 2019-06-05 | 富士フイルム株式会社 | 画像表示装置、方法およびプログラム |
JP6827739B2 (ja) * | 2016-08-31 | 2021-02-10 | キヤノン株式会社 | 画像表示装置、画像表示方法及びプログラム |
JP6869086B2 (ja) * | 2017-04-20 | 2021-05-12 | 富士フイルム株式会社 | 位置合せ装置および位置合せ方法並びに位置合せプログラム |
US11207041B2 (en) | 2019-07-08 | 2021-12-28 | Canon Medical Systems Corporation | X-ray CT system and medical processing apparatus |
EP4122397A4 (en) * | 2020-03-18 | 2023-08-23 | FUJIFILM Corporation | IMAGE PROCESSING DEVICE, METHOD AND PROGRAM |
-
1996
- 1996-02-28 JP JP04101696A patent/JP3639030B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007130240A (ja) * | 2005-11-10 | 2007-05-31 | Imagunooshisu Kk | 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム |
JP4638330B2 (ja) * | 2005-11-10 | 2011-02-23 | イマグノーシス株式会社 | 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム |
US20220031165A1 (en) * | 2007-01-19 | 2022-02-03 | Sunnybrook Health Sciences Centre | Imaging probe with combined ultrasound and optical means of imaging |
Also Published As
Publication number | Publication date |
---|---|
JPH08294485A (ja) | 1996-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3639030B2 (ja) | 画像表示システム及びそのシステムを用いた画像表示方法 | |
US11372534B2 (en) | Image handling and display in x-ray mammography and tomosynthesis | |
US10452252B2 (en) | Image handling and display in X-ray mammography and tomosynthesis | |
CN102763137B (zh) | 用于由层析数据集生成2d图像的***和方法 | |
JP5361103B2 (ja) | 画像処理装置 | |
JP6667231B2 (ja) | 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。 | |
JPH08166995A (ja) | 医用診断支援システム | |
JP6173783B2 (ja) | 医用画像処理装置、磁気共鳴イメージング装置及び医用画像処理プログラム | |
JP2013244211A (ja) | 医用画像処理装置、医用画像処理方法及び制御プログラム | |
US20040114790A1 (en) | Projection conversion device and method and elapsed-time differential image preparation device and method | |
WO2010016293A1 (ja) | 医用画像表示装置、医用画像表示方法及びプログラム | |
JP2001061834A (ja) | 三次元画像表示装置 | |
JP4709603B2 (ja) | 医用画像処理装置 | |
JPH1176228A (ja) | 三次元画像構成装置 | |
JP2004160103A (ja) | 医用画像複合観察装置 | |
JP7242397B2 (ja) | 医用画像処理装置及びx線診断装置 | |
JP2006197968A (ja) | 画像観察装置及び画像観察方法 | |
JPH0581946B2 (ja) | ||
JP2006247293A (ja) | 画像処理方法および画像処理装置ならびにプログラム | |
JPH08289887A (ja) | スライス位置表示方法およびx線ct装置 | |
JP2008067992A (ja) | 医用画像表示装置及び医用画像表示方法 | |
JP2002229537A (ja) | 画像表示装置及びフィルム出力画像選択装置 | |
JPH04104380A (ja) | 3次元画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |