JP2000268204A - Picture display device - Google Patents

Picture display device

Info

Publication number
JP2000268204A
JP2000268204A JP11115798A JP11579899A JP2000268204A JP 2000268204 A JP2000268204 A JP 2000268204A JP 11115798 A JP11115798 A JP 11115798A JP 11579899 A JP11579899 A JP 11579899A JP 2000268204 A JP2000268204 A JP 2000268204A
Authority
JP
Japan
Prior art keywords
image
plane
arbitrary
setting
cutting plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11115798A
Other languages
Japanese (ja)
Other versions
JP4290273B2 (en
Inventor
Yosuke Inoue
陽介 井上
Yukio Ito
幸雄 伊藤
Yoshihiro Komori
義広 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP11579899A priority Critical patent/JP4290273B2/en
Publication of JP2000268204A publication Critical patent/JP2000268204A/en
Application granted granted Critical
Publication of JP4290273B2 publication Critical patent/JP4290273B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a picture display device setting a cutting place which always contains a specified notice point. SOLUTION: A notice point 23 is displayed on a line 20 displayed on an MPR picture 15 on an XY plane and rotary operators 21 are dragged by a mouse. Thus, the line 20 rotates with the notice point 23 as a center. The line 20 moves along the line 20 in parallel by dragging the parallel moving operators 22 by the mouse. Thus, an arbitrary plane rotates and moves in parallel by always containing the notice point 23 as it is. Thus, the notice points 23 are always displayed on the MPR picture 15 on the XY plane, an MPR picture 16 on a YZ plane and an MPR picture 17 on a ZX plane.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、3次元原画像に任
意の断面像を設定して該断面像を表示する画像表示装置
に係わり、特にX線CT装置、MRI装置等の被検体の
断面像を計測可能な医用画像診断装置で得た複数の断層
像を積み上げた3次元原画像(ボリュームデータ)に対
して任意の切断面を設定し、前記ボリュームデータを該
切断面で切断した断面像を構成し表示する画像表示装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device which sets an arbitrary cross-sectional image on a three-dimensional original image and displays the cross-sectional image. An arbitrary cross section is set for a three-dimensional original image (volume data) obtained by stacking a plurality of tomographic images obtained by a medical image diagnostic apparatus capable of measuring images, and a cross-sectional image obtained by cutting the volume data with the cross section The present invention relates to an image display device configured and displayed.

【0002】[0002]

【従来の技術】医用3次元画像処理の技術として、3次
元物体の任意方向の切断面を表示する、MPR(Multi
Planner Reconstruction)画像表示がある。このMPR
画像は、複数の断層像(2次元画像)を積み上げたボリ
ュームデータに対してある任意面(切断面)を設定し、
その任意面上にある各断層像の画素値を基に作成した画
像である。積み上げに際し、断層像間に隙間があるよう
な場合は、元の画像相互の補間から得た補間画像を、そ
の隙間に埋め込み、積み上げ画像の積み上げ密度を高め
る方法をとることも多い。
2. Description of the Related Art As a technology of medical three-dimensional image processing, an MPR (Multi-Functional Display) that displays a cut surface of a three-dimensional object in an arbitrary direction is displayed.
Planner Reconstruction) There is an image display. This MPR
For the image, an arbitrary plane (cut plane) is set for volume data in which a plurality of tomographic images (two-dimensional images) are stacked,
This is an image created based on the pixel values of each tomographic image on the arbitrary plane. When there is a gap between the tomographic images during stacking, a method of embedding an interpolated image obtained by interpolating the original images into the gap and increasing the stacking density of the stacked image is often adopted.

【0003】上記の断層像には、X線CT断層画像やM
RI断層画像がある。上記MPR画像は、切断面をボリ
ュームデータに対して回転したり平行移動して作成する
ことが多い。また、上記MPR画像上での任意点間の距
離又は角度の計測では、既に表示されたMPR画像上で
複数点を指定してから計算されることが多い。
The above tomographic images include X-ray CT tomographic images and M
There is an RI tomographic image. The MPR image is often created by rotating or translating a cut plane with respect to volume data. Further, in the measurement of the distance or angle between arbitrary points on the MPR image, the calculation is often performed after specifying a plurality of points on the already displayed MPR image.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、従来の
画像表示装置では、切断面の設定は、ボリュームデータ
を配置した3次元空間の座標系での回転や平行移動によ
り行いながら、ある特定の注目点を常に含む切断面を設
定することは既に表示されたMPR画像上に前記注目点
を設定していたのでは難しかった。このため、特定の注
目点の周りを様々な角度から見ることや、注目点から任
意点への距離又は角度の計測を行うのは困難であった。
However, in the conventional image display device, the setting of the cutting plane is performed by rotating or translating in a coordinate system of a three-dimensional space in which the volume data is arranged, so that a specific point of interest is set. It is difficult to set a cutting plane that always includes the point of interest on the already displayed MPR image. For this reason, it has been difficult to see around a specific point of interest from various angles and to measure the distance or angle from the point of interest to an arbitrary point.

【0005】本発明は、このような事情に鑑みてなされ
たもので、ある特定の注目点を常に含む切断面を設定す
る画像表示装置を提供することを目的とする。
[0005] The present invention has been made in view of such circumstances, and has as its object to provide an image display apparatus for setting a cutting plane that always includes a specific point of interest.

【0006】[0006]

【課題を解決するための手段】本発明は前記目的を達成
する為に、3次元原画像における切断面を前記3次元原
画像を含む領域で移動させて任意の切断面を設定する切
断面設定手段と、前記切断面設定手段によって設定され
た切断面に基づいて切断された前記3次元原画像の断面
像を表示する表示手段と、前記表示された断面像上で所
望の基点を設定する基点設定手段と、を備え、前記切断
面設定手段は、前記基点設定手段によって前記基点を含
む切断面を設定することを特徴とする。
SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides a cutting plane setting for setting an arbitrary cutting plane by moving a cutting plane in a three-dimensional original image in an area including the three-dimensional original image. Means, display means for displaying a cross-sectional image of the three-dimensional original image cut based on the cutting plane set by the cutting plane setting means, and base point for setting a desired base point on the displayed cross-sectional image Setting means, wherein the cutting plane setting means sets a cutting plane including the base point by the base point setting means.

【0007】本発明によれば、切断面設定手段は3次元
原画像における切断面を前記3次元原画像を含む領域で
設定し、表示手段は切断面設定手段によって設定された
切断面に基づいて切断された前記3次元原画像の断面像
を表示する。基点設定手段が表示された断面像上で所望
の基点を設定すると、切断面設定手段は前記基点を含む
切断面を設定する。このように、切断面設定手段は基点
を含む切断面を設定することによって、常に設定した基
点を含む断面像を表示することができる。
According to the present invention, the cut plane setting means sets a cut plane in the three-dimensional original image in an area including the three-dimensional original image, and the display means displays the cut plane based on the cut plane set by the cut plane setting means. A cross-sectional image of the cut three-dimensional original image is displayed. When the base point setting unit sets a desired base point on the displayed cross-sectional image, the cutting plane setting unit sets a cutting plane including the base point. In this way, by setting the cut plane including the base point, the cut plane setting unit can always display a cross-sectional image including the set base point.

【0008】また、本発明は前記目的を達成する為に、
3次元原画像における切断面を前記3次元原画像を含む
領域で移動させて任意の切断面を設定する切断面設定手
段と、前記切断面設定手段によって設定された切断面を
境に前記3次元原画像を分割し、該分割した一方の3次
元原画像を所定の投影面上に投影し、前記切断面による
断面像を含む3次元画像を作成する3次元画像作成手段
と、前記切断面に基づいて切断された前記断面像及び前
記3次元画像作成手段によって作成された断面像を含む
3次元画像のうちの少なくとも3次元画像を投影して表
示する表示手段と、前記表示手段に表示された断面像上
で所望の基点を設定する基点設定手段と、を備え、前記
切断面設定手段は、前記基点設定手段によって基点が設
定されると、該基点を含むように切断面を回転及び/又
は平行移動させて切断面を設定することを特徴とする。
[0008] In order to achieve the above object, the present invention provides:
Cutting plane setting means for moving a cutting plane in the three-dimensional original image in an area including the three-dimensional original image to set an arbitrary cutting plane; and the three-dimensional plane with the cutting plane set by the cutting plane setting means as a boundary Three-dimensional image creating means for dividing the original image, projecting one of the divided three-dimensional original images onto a predetermined projection plane, and creating a three-dimensional image including a cross-sectional image by the cutting plane; Display means for projecting and displaying at least a three-dimensional image of the three-dimensional image including the cross-sectional image cut based on the three-dimensional image and the three-dimensional image generated by the three-dimensional image generating means; Base point setting means for setting a desired base point on the cross-sectional image, wherein, when the base point is set by the base point setting means, the cutting plane is rotated and / or includes the base point. Translate And sets the section.

【0009】本発明によれば、切断面設定手段は3次元
原画像における切断面を前記3次元原画像を含む領域で
移動させて任意の切断面を設定する。3次元画像作成手
段は切断面設定手段によって設定された切断面を境に前
記3次元原画像を分割し、該分割した一方の3次元原画
像を所定の投影面上に例えば陰影付けして投影し、前記
切断面による断面像を含む3次元画像を作成する。表示
手段は切断面に基づいて切断された3次元原画像の断面
像及び3次元画像作成手段によって作成された断面像を
含む3次元画像のうちの少なくとも3次元画像を表示す
る。基点設定手段は表示手段に表示された断面像上で所
望の基点を設定し、前記切断面設定手段は、前記基点設
定手段によって基点が設定されると、該基点を含むよう
に切断面を回転及び/又は平行移動させて切断面を設定
する。このように、切断面設定手段は基点を含む切断面
を設定することによって、常に設定した基点を含む断面
像を表示することができる。
According to the present invention, the cut plane setting means sets an arbitrary cut plane by moving the cut plane in the three-dimensional original image in a region including the three-dimensional original image. The three-dimensional image creating means divides the three-dimensional original image at the cutting plane set by the cutting plane setting means, and projects one of the divided three-dimensional original images on a predetermined projection plane by shading, for example. Then, a three-dimensional image including a cross-sectional image by the cut surface is created. The display means displays at least a three-dimensional image of the three-dimensional image including the cross-sectional image of the three-dimensional original image cut based on the cut surface and the three-dimensional image generated by the three-dimensional image generating means. The base point setting means sets a desired base point on the cross-sectional image displayed on the display means, and when the base point is set by the base point setting means, rotates the cutting plane so as to include the base point. And / or translate to set the cutting plane. In this way, by setting the cut plane including the base point, the cut plane setting unit can always display a cross-sectional image including the set base point.

【0010】[0010]

【発明の実施の形態】以下に、添付図面に従って本発明
に係る画像表示装置の好ましい実施の形態について詳説
する。図1は、複数の断層像が積み重ねられた3次元空
間のボリュームデータ14を示す説明図である。同図に
示すように、ボリュームデータ14内には、X、Y、Z
軸から構成される直行座標系が設定される。XY平面、
YZ平面、及びZX平面は、互いに直交し前記ボリュー
ムデータ14の中心18を共有する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of an image display device according to the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is an explanatory diagram showing volume data 14 in a three-dimensional space in which a plurality of tomographic images are stacked. As shown in the figure, X, Y, Z
An orthogonal coordinate system composed of axes is set. XY plane,
The YZ plane and the ZX plane are orthogonal to each other and share the center 18 of the volume data 14.

【0011】尚、本実施例では、断層像をXY平面に平
行に配置しているが、YZ平面、ZX平面に平行に配置
しても良い。図2は、表示画面の構成を示す説明図であ
る。同図に示すように、この表示画面には、XY平面に
関するMPR画像15、YZ平面に関するMPR画像1
6、ZX平面に関するMPR画像17が表示される。ま
た、XY平面に関するMPR画像15、YZ平面に関す
るMPR画像16、又はZX平面に関するMPR画像1
7上で任意平面を設定することによって、この表示画面
には該任意平面に関するMPR画像19が表示される。
In this embodiment, the tomographic images are arranged parallel to the XY plane, but may be arranged parallel to the YZ plane and the ZX plane. FIG. 2 is an explanatory diagram showing the configuration of the display screen. As shown in the figure, the display screen includes an MPR image 15 for the XY plane and an MPR image 1 for the YZ plane.
6. The MPR image 17 relating to the ZX plane is displayed. The MPR image 15 for the XY plane, the MPR image 16 for the YZ plane, or the MPR image 1 for the ZX plane
By setting an arbitrary plane on 7, an MPR image 19 relating to the arbitrary plane is displayed on this display screen.

【0012】前記任意平面の設定方法について説明す
る。例えば、図3に示すようにXY平面に関するMPR
画像15上でライン20を設定すると、図4に示すよう
にXY平面に直交しライン20をXY平面と共有する任
意平面が設定される。XY平面に関するMPR画像15
上に表示されたライン20上には、図5に示すように、
回転オペレータ21、21と平行移動オペレータ22が
表示される。図6(a)に示すように回転オペレータ2
1をマウスでドラッグすることによってライン20が平
行移動オペレータ22を中心に回転し、図6(b)に示
すように平行移動オペレータ22をマウスでドラッグす
ることによってライン20が平行移動する。これによっ
て、任意平面がXY平面に直交したまま回転、平行移動
される。
A method for setting the arbitrary plane will be described. For example, as shown in FIG.
When the line 20 is set on the image 15, an arbitrary plane orthogonal to the XY plane and sharing the line 20 with the XY plane is set as shown in FIG. MPR image 15 on XY plane
On the line 20 displayed above, as shown in FIG.
The rotation operators 21 and 21 and the translation operator 22 are displayed. As shown in FIG.
6 is rotated around the translation operator 22 by dragging 1 with the mouse, and the line 20 is translated by dragging the translation operator 22 with the mouse as shown in FIG. 6B. Thus, the arbitrary plane is rotated and translated while being orthogonal to the XY plane.

【0013】次に、注目点の設定方法について説明す
る。図7に示すように、任意平面に関するMPR画像1
9上でマウスによって任意の注目点23を設定する。注
目点23が設定されると、図8(a)に示すようにボリ
ュームデータの中心18を共有していたXY平面、YZ
平面、及びZX平面は、図8(b)に示すように設定さ
れた注目点23を共有するように移動する。これによっ
て、表示画面にXY平面に関するMPR画像15、YZ
平面に関するMPR画像16、及びZX平面に関するM
PR画像17が更新され表示される。
Next, a method of setting a point of interest will be described. As shown in FIG. 7, an MPR image 1 on an arbitrary plane
9, an arbitrary point of interest 23 is set by a mouse. When the attention point 23 is set, the XY plane, the YZ plane, which share the center 18 of the volume data as shown in FIG.
The plane and the ZX plane move so as to share the attention point 23 set as shown in FIG. As a result, the MPR images 15 and YZ for the XY plane are displayed on the display screen.
MPR image 16 for the plane and M for the ZX plane
The PR image 17 is updated and displayed.

【0014】図9は、注目点23を含む任意平面の移動
方法を説明する説明図である。例えば、図9(a)に示
すように、XY平面に関するMPR画像15上に表示さ
れたライン20上には注目点23が表示され、回転オペ
レータ21をマウスでドラッグすることによってライン
20が注目点23を中心に回転する。また、図9(b)
に示すように平行移動オペレータ22をマウスでドラッ
グすることによってライン20がライン20に沿って平
行移動する。これによって、任意平面が常に注目点23
を含んだまま回転、平行移動される。したがって、XY
平面に関するMPR画像15、YZ平面に関するMPR
画像16、及びZX平面に関するMPR画像17には常
に注目点23が表示される。
FIG. 9 is an explanatory diagram for explaining a method of moving an arbitrary plane including the attention point 23. For example, as shown in FIG. 9A, a point of interest 23 is displayed on a line 20 displayed on the MPR image 15 on the XY plane, and the line 20 is drawn by dragging the rotation operator 21 with a mouse. Rotate around 23. FIG. 9 (b)
By dragging the translation operator 22 with a mouse, the line 20 is translated along the line 20 as shown in FIG. Thereby, the arbitrary plane always has the attention point 23.
Is rotated and translated while including. Therefore, XY
MPR image 15 for plane, MPR for YZ plane
The attention point 23 is always displayed on the image 16 and the MPR image 17 on the ZX plane.

【0015】尚、任意平面の移動は、XY平面に関する
MPR画像15上だけでなく、YZ平面に関するMPR
画像16、及びZX平面に関するMPR画像17上でも
同様に行なうことができる。図10は、注目点23が設
定された任意平面上での距離、角度の計測方法を説明す
る説明図である。
The movement of the arbitrary plane is performed not only on the MPR image 15 on the XY plane but also on the MPR image on the YZ plane.
The same operation can be performed on the image 16 and the MPR image 17 on the ZX plane. FIG. 10 is an explanatory diagram illustrating a method of measuring a distance and an angle on an arbitrary plane on which the attention point 23 is set.

【0016】図10(a)に示すように、任意平面に関
するMPR画像19上に任意点24をマウスで設定する
ことによって、注目点23と任意点24との直線距離
を、画素の大きさや断層像の間隔などをもとに実サイズ
で計測され表示される。図10(b)に示すように、任
意平面に関するMPR画像19上に複数の任意点25、
25、…をマウスで設定することによって、任意平面上
での注目点23からの複数の任意点25を通る任意経路
長が実サイズで計測され表示される。
As shown in FIG. 10A, by setting an arbitrary point 24 on an MPR image 19 relating to an arbitrary plane with a mouse, the linear distance between the point of interest 23 and the arbitrary point 24 can be determined by the size of a pixel or a tomographic image. The actual size is measured and displayed based on the interval between images. As shown in FIG. 10 (b), a plurality of arbitrary points 25,
By setting 25,... With the mouse, an arbitrary path length from the point of interest 23 on the arbitrary plane through the plurality of arbitrary points 25 is measured and displayed in the actual size.

【0017】図10(c)に示すように、任意平面に関
するMPR画像19上に2つの任意点26、26をマウ
スで設定することによって、任意平面上での注目点23
を中心とした注目点23と任意点26、26とで作られ
る角度を計算し表示する。これらの計測値は、任意平面
に関するMPR画像19上もしくは別のウィンドウや場
所に表示可能である。
As shown in FIG. 10 (c), by setting two arbitrary points 26, 26 on the MPR image 19 relating to the arbitrary plane with the mouse, the attention point 23 on the arbitrary plane is set.
Is calculated and displayed between the attention point 23 and the arbitrary points 26, 26 centered on. These measurement values can be displayed on the MPR image 19 relating to an arbitrary plane or in another window or location.

【0018】以上、注目点23を常に含む状態での任意
平面の設定と、任意平面に関するMPR画像19上での
計測を繰り返すことにより、注目点23からの様々な方
向への距離や角度の計測が可能となる。また、上記操作
において設定した、注目点や任意点及び切断面などに関
する情報を、画像上もしくは別のウィンドウや場所に表
示することも可能である。
As described above, by repeatedly setting an arbitrary plane while always including the attention point 23 and measuring the MPR image 19 relating to the arbitrary plane, distances and angles from the attention point 23 in various directions can be measured. Becomes possible. In addition, information on the point of interest, an arbitrary point, a cut plane, and the like set in the above operation can be displayed on the image or in another window or location.

【0019】また、本実施例では前述のように4画面構
成としているが、本発明はこの画面構成に限定されず、
さらに異なる方向からのMPR画像を表示したり、最
低、任意位置のMPR画像を表示する1画面だけでもよ
い。また、任意平面の設定に用いる画面として、MPR
画像だけに限らず、図11(a)に示すようなボリュー
ムレンダリング画像やサーフェスレンダリング画像など
の疑似3次元画像27を表示することも可能である。ボ
リュームレンダリングは、物体に対する光源からの光の
反射・透過計算を行い、物体からの反射光を投影面に投
影する方法である。サーフェスレンダリングは、物体の
表面の傾斜に対応する画素値を投影面に投影する手法で
あり、ボリュームレンダリングにおける反射・透過計算
を全反射として計算した手法である。同図に示すよう
に、位置情報を基に任意平面と疑似3次元画像27とを
合成した画像を表示し、合成画像上でのマウスのドラッ
グやその他の設定手段による回転及び平行移動の設定、
及び、図11(b)に示すように、任意平面の位置を前
記合成画像にインターラクティブに反映させることが可
能である。これらの疑似3次元画像27は、視点や光源
を移動して作成することが多く、この視点や光源の変更
は、ボリュームデータを配置した3次元空間の座標や、
ボリュームデータ自体を回転させて行うことが多い。
Although the present embodiment has a four-screen configuration as described above, the present invention is not limited to this screen configuration.
Further, only one screen displaying an MPR image from a different direction or at least displaying an MPR image at an arbitrary position may be used. In addition, as a screen used for setting an arbitrary plane, MPR
Not only the image but also a pseudo three-dimensional image 27 such as a volume rendering image or a surface rendering image as shown in FIG. 11A can be displayed. Volume rendering is a method of calculating the reflection and transmission of light from a light source to an object and projecting the reflected light from the object onto a projection surface. Surface rendering is a method of projecting a pixel value corresponding to the inclination of the surface of an object onto a projection plane, and is a method of calculating reflection / transmission in volume rendering as total reflection. As shown in the figure, an image obtained by synthesizing an arbitrary plane and the pseudo three-dimensional image 27 based on the position information is displayed, and setting of rotation and translation by dragging a mouse or other setting means on the synthesized image,
And, as shown in FIG. 11B, it is possible to interactively reflect the position of an arbitrary plane on the composite image. These pseudo three-dimensional images 27 are often created by moving the viewpoint and the light source, and the change of the viewpoint and the light source is performed by changing the coordinates in the three-dimensional space where the volume data is arranged,
Often, the volume data itself is rotated.

【0020】また、図12に示すように、ボリュームデ
ータを任意平面で切断した疑似3次元画像(切断画像)
30を得る手法もある。この手法では、疑似3次元画像
27上で任意平面を設定し、ボリュームデータのうち任
意平面の片側を処理対象外とすることにより、あたかも
任意平面で物体が切断されたような切断画像30が得ら
れる。前記切断画像30は、回転などによって視点や光
源を移動すると共に、任意平面を回転したり平行移動し
て作成することが多い。また、任意平面の設定だけでな
く、任意平面を伴って物体を任意に回転・平行移動した
切断画像30を得ることも可能である。
As shown in FIG. 12, a pseudo three-dimensional image (cut image) obtained by cutting the volume data at an arbitrary plane
There is also a method of obtaining 30. In this method, an arbitrary plane is set on the pseudo three-dimensional image 27, and one side of the arbitrary plane in the volume data is excluded from the processing target, thereby obtaining a cut image 30 as if the object were cut on the arbitrary plane. Can be The cut image 30 is often created by moving a viewpoint or a light source by rotation or the like, and rotating or translating an arbitrary plane. In addition to setting an arbitrary plane, it is also possible to obtain a cut image 30 in which an object is arbitrarily rotated and translated with an arbitrary plane.

【0021】図13(a)は、表示された切断画像30
を示し、図13(b)は、表示された任意平面に関する
MPR画像19を示す。MPR画像19は、任意平面上
にある各断層像の画素値から作成される。切断画像30
の任意平面上又はMPR画像19上でマウスの操作によ
りマウスポインタ32を任意の点に移動させクリックす
ることによって、任意平面上に注目点を設定する。ボリ
ュームデータ内での実際の座標は、設定点を視線方向に
投影し、任意平面と交わった点の座標となる。物体と任
意平面との位置関係によって断面部が見にくい場合は、
物体を回転させるなどすることも可能である。
FIG. 13A shows the displayed cut image 30.
FIG. 13B shows an MPR image 19 relating to the displayed arbitrary plane. The MPR image 19 is created from pixel values of each tomographic image on an arbitrary plane. Cutting image 30
By moving the mouse pointer 32 to an arbitrary point on the arbitrary plane or on the MPR image 19 by operating the mouse and clicking, an attention point is set on the arbitrary plane. The actual coordinates in the volume data are the coordinates of a point at which the set point is projected in the line of sight and intersects the arbitrary plane. If the cross section is difficult to see due to the positional relationship between the object and the arbitrary plane,
It is also possible to rotate the object.

【0022】また、切断画像表示画面の表示を切り替え
ることにより、もしくは、異なる表示画面を配置するこ
とにより、切断画面の代わりに任意平面のMPR画像を
表示し、同表示画面上で同様にマウスを操作し、注目点
を設定することも可能である。以上のような最初の注目
点設定においては、ボリュームデータ内の注目したい任
意の点を設定できればよいため、上記のような手法に特
定する必要はなく、例えば、ボリュームデータを構成す
る複数の断層像を表示し、その表示上で注目点を指定し
てもよい。
Also, by switching the display of the cut image display screen or disposing a different display screen, an MPR image of an arbitrary plane is displayed instead of the cut screen, and the mouse is similarly moved on the display screen. It is also possible to operate and set a point of interest. In the initial point-of-interest setting as described above, it is only necessary to be able to set an arbitrary point of interest in the volume data. Therefore, it is not necessary to specify the method as described above. For example, a plurality of tomographic images constituting the volume data May be displayed, and a point of interest may be specified on the display.

【0023】図14、図15は、注目点23設定後の任
意平面の設定方法を示す説明図である。任意平面は図1
4に示すように、注目点23を中心に回転され、図15
に示すように、任意平面の法線ベクトルに対して垂直方
向へのみ平行移動される。これによって、任意平面が常
に注目点23を含んだまま回転・平行移動され、MPR
画像19及び切断画像30には常に注目点23が表示さ
れる。
FIGS. 14 and 15 are illustrations showing a method of setting an arbitrary plane after setting the point of interest 23. FIG. Figure 1 is an arbitrary plane
As shown in FIG.
As shown in (5), the translation is performed only in the vertical direction with respect to the normal vector of the arbitrary plane. Thereby, the arbitrary plane is rotated and translated while always including the attention point 23, and the MPR
The attention point 23 is always displayed on the image 19 and the cut image 30.

【0024】図16、図17、図18は、注目点23が
設定された任意平面上での距離、角度の計測方法を説明
する説明図である。図16に示すように、切断画像30
の任意平面上に任意点34をマウスで設定することによ
って、注目点23と任意点34との直線距離を、画素の
大きさや断層像の間隔などをもとに実サイズで計測され
表示される。図17に示すように、切断画像30の任意
平面上に複数の任意点35、35、…をマウスで設定す
ることによって、任意平面上での注目点23からの複数
の任意点35を通る任意経路長が実サイズで計測され表
示される。図18に示すように、切断画像30の任意平
面上に2つの任意点36、36をマウスで設定すること
によって、任意平面上での注目点23を中心とした注目
点23と任意点36、36とで作られる角度を計算し表
示する。
FIGS. 16, 17 and 18 are explanatory diagrams for explaining a method of measuring the distance and angle on an arbitrary plane on which the point of interest 23 is set. As shown in FIG.
By setting an arbitrary point 34 on an arbitrary plane with a mouse, the linear distance between the point of interest 23 and the arbitrary point 34 is measured and displayed in the actual size based on the pixel size, the interval between tomographic images, and the like. . As shown in FIG. 17, by setting a plurality of arbitrary points 35, 35,... On an arbitrary plane of the cut image 30 with the mouse, an arbitrary point passing through the plurality of arbitrary points 35 from the point of interest 23 on the arbitrary plane is displayed. The path length is measured and displayed in the actual size. As shown in FIG. 18, by setting two arbitrary points 36, 36 on an arbitrary plane of the cut image 30 with the mouse, the attention point 23 and the arbitrary point 36 centered on the attention point 23 on the arbitrary plane are set. The angle formed with 36 is calculated and displayed.

【0025】図19は、本発明の画像表示装置のハード
ウエア構成を示すブロック図である。同図において、1
はCPU、2は主メモリ、3は磁気ディスク、4は表示
メモリ、5はCRT、6はコントローラ、7はマウス、
9は通信インターフェース、10はリムーバブル記憶媒
体インターフェース、11は各種ドライブ装置、12は
画像処理アクセラレータで、これらは共通バス8に接続
されている。
FIG. 19 is a block diagram showing a hardware configuration of the image display device of the present invention. In the figure, 1
Is a CPU, 2 is a main memory, 3 is a magnetic disk, 4 is a display memory, 5 is a CRT, 6 is a controller, 7 is a mouse,
Reference numeral 9 denotes a communication interface, 10 denotes a removable storage medium interface, 11 denotes various drive devices, and 12 denotes an image processing accelerator, which are connected to the common bus 8.

【0026】磁気ディスク3には、複数の断層像及び本
発明方法の実行のためのプログラムなどが格納されてい
る。CPU1は、これら複数の断層像及び本発明の実行
のためのプログラムを読み出し、主メモリ2を用いて3
次元画像処理などの演算を行い、その結果を表示メモリ
4に送り、CRTモニタ5に表示させる。コントローラ
6に接続されたマウス7は、視点方向の基点やベクトル
情報の設定に使用する手段として用いる。
The magnetic disk 3 stores a plurality of tomographic images, a program for executing the method of the present invention, and the like. The CPU 1 reads out the plurality of tomographic images and a program for executing the present invention, and
Calculations such as dimensional image processing are performed, and the results are sent to the display memory 4 and displayed on the CRT monitor 5. The mouse 7 connected to the controller 6 is used as a unit used for setting a base point in the viewpoint direction and vector information.

【0027】9はEthernet等の通信インターフ
ェースであり、CT装置やMR装置と通信し、画像デー
タを取得するのに使用する。10はSCSIインターフ
ェース等を使用するリムーバブル記憶媒体インターフェ
ースであり、これにMOD、DAT、8mmテープ、C
D、ODR、DVDなどのドライブ装置11を接続し、
各種ドライブ装置に適応する媒体を使用し、CT、MR
データの取得及び処理データの外部記憶、保管を行う。
画像処理アクセラレータ12は、8次元画像処理を高速
に行うものである。本システム構成では、画像処理アク
セラレータ12がなくてもCPU1で処理が行えるもの
とする。CRT13は拡張用CRTであり、必要に応じ
て複数装備可能とする。
Reference numeral 9 denotes a communication interface such as Ethernet, which is used to communicate with a CT device or an MR device and acquire image data. Reference numeral 10 denotes a removable storage medium interface using a SCSI interface or the like, which includes MOD, DAT, 8 mm tape, C
Connect drive devices 11 such as D, ODR, DVD, etc.
CT, MR using media suitable for various drive devices
Data acquisition and external storage and storage of processed data are performed.
The image processing accelerator 12 performs eight-dimensional image processing at high speed. In this system configuration, it is assumed that processing can be performed by the CPU 1 without the image processing accelerator 12. The CRT 13 is an extension CRT, and a plurality of CRTs can be provided as needed.

【0028】本実施の形態によれば、基点設定手段が表
示された断面像上で所望の基点を設定すると、切断面設
定手段は該基点を含むように切断面を回転及び/又は平
行移動させて切断面を設定することによって、常に設定
した基点を含む断面像を表示することができる。また、
切断面の移動は回転又は平行移動が一般的であるので例
示したが、要は三次元画像の一部を切断面が交わればよ
いので、上記移動の態様はどのようなものであっても、
この発明に含まれることはいうまでもない。
According to this embodiment, when the base point setting means sets a desired base point on the displayed cross-sectional image, the cutting plane setting means rotates and / or translates the cutting plane so as to include the base point. By setting the cutting plane, a cross-sectional image including the set base point can always be displayed. Also,
Although the movement of the cutting plane is exemplified by rotation or translation in general, the point is that the cutting plane may partially intersect a part of the three-dimensional image. ,
It goes without saying that this invention is included.

【0029】[0029]

【発明の効果】本発明によれば、ある特定の注目点を常
に含む断面像を表示することができる。
According to the present invention, it is possible to display a cross-sectional image which always includes a specific point of interest.

【図面の簡単な説明】[Brief description of the drawings]

【図1】複数の断層像が積み重ねられた3次元空間のボ
リュームデータを示す説明図
FIG. 1 is an explanatory diagram showing volume data in a three-dimensional space in which a plurality of tomographic images are stacked.

【図2】表示画面の構成を示す説明図FIG. 2 is an explanatory diagram showing a configuration of a display screen.

【図3】任意平面の設定方法を示す説明図FIG. 3 is an explanatory diagram showing a method for setting an arbitrary plane;

【図4】ボリュームデータ内の任意平面を示す説明図FIG. 4 is an explanatory diagram showing an arbitrary plane in volume data;

【図5】図3のラインを示す説明図FIG. 5 is an explanatory diagram showing a line in FIG. 3;

【図6】図5のラインの移動方法を示す説明図FIG. 6 is an explanatory diagram showing a method of moving the line in FIG. 5;

【図7】注目点の設定方法を示す説明図FIG. 7 is an explanatory diagram showing a method of setting a point of interest.

【図8】XY平面、YZ平面、及びZX平面の移動を示
す説明図
FIG. 8 is an explanatory diagram showing movement of an XY plane, a YZ plane, and a ZX plane.

【図9】図7のラインの移動方法を示す説明図FIG. 9 is an explanatory diagram showing a method of moving the line in FIG. 7;

【図10】注目点が設定された任意平面上での距離、角
度の計測方法を説明する説明図
FIG. 10 is an explanatory diagram illustrating a method of measuring a distance and an angle on an arbitrary plane on which a point of interest is set.

【図11】ボリュームレングリング画像を示す説明図FIG. 11 is an explanatory diagram showing a volume lengling image.

【図12】任意平面で切断した切断画像を示す説明図FIG. 12 is an explanatory diagram showing a cut image cut along an arbitrary plane;

【図13】画面上で注目点を設定する方法を示す説明図FIG. 13 is an explanatory diagram showing a method of setting a point of interest on a screen.

【図14】任意平面の回転を示す説明図FIG. 14 is an explanatory diagram showing rotation of an arbitrary plane.

【図15】任意平面の平行移動を示す説明図FIG. 15 is an explanatory diagram showing parallel movement of an arbitrary plane.

【図16】注目点が設定された任意平面上での直線距離
の計測方法を説明する説明図
FIG. 16 is an explanatory diagram illustrating a method of measuring a linear distance on an arbitrary plane on which a point of interest is set.

【図17】注目点が設定された任意平面上での任意経路
長の計測方法を説明する説明図
FIG. 17 is an explanatory diagram illustrating a method for measuring an arbitrary path length on an arbitrary plane on which a point of interest is set.

【図18】注目点が設定された任意平面上での角度の計
測方法を説明する説明図
FIG. 18 is an explanatory diagram illustrating a method of measuring an angle on an arbitrary plane on which a point of interest is set.

【図19】本発明の画像表示装置のハードウェア構成を
示すブロック図
FIG. 19 is a block diagram illustrating a hardware configuration of an image display device according to the present invention.

【符号の説明】[Explanation of symbols]

14…ボリュームデータ、15…XY平面に関するMP
R画像、16…YZ平面に関するMPR画像、17…Z
X平面に関するMPR画像、19…任意平面に関するM
PR画像、20…ライン、21…回転オペレータ、22
…平行移動オペレータ、23…注目点、24、25、2
6、34、35、36…任意点、27…疑似3次元画
像、30…切断画像
14: Volume data, 15: MP related to XY plane
R image, 16 ... MPR image on YZ plane, 17 ... Z
MPR image on X plane, 19 ... M on arbitrary plane
PR image, 20 ... line, 21 ... rotation operator, 22
... Translation operator, 23 ... Point of interest, 24, 25, 2
6, 34, 35, 36: arbitrary point, 27: pseudo three-dimensional image, 30: cut image

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09G 5/36 510 G06F 15/72 450K 5C082 (72)発明者 小森 義広 東京都千代田区内神田1丁目1番14号 株 式会社日立メディコ内 Fターム(参考) 4C093 AA26 CA15 CA17 CA21 FF12 FF21 FF22 FF32 FF42 FF43 FF45 FG05 FG13 FH04 FH06 4C096 AB36 AB38 AB50 DC15 DC22 DC23 DC32 DC36 DC37 DD09 DD13 DE04 DE06 5B050 AA02 BA03 BA09 EA12 EA19 EA28 FA02 FA09 5B057 AA09 BA03 BA07 BA24 CA12 CB12 CB13 CD02 CD03 CD14 CE08 5B080 AA08 BA05 BA08 FA08 5C082 AA04 BA20 CA42 CA52 CB01 CB06 DA87 MM05 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G09G 5/36 510 G06F 15/72 450K 5C082 (72) Inventor Yoshihiro Komori 1-1-1, Uchikanda, Chiyoda-ku, Tokyo No. 14 F-term in Hitachi Medical Corporation (Reference) 4C093 AA26 CA15 CA17 CA21 FF12 FF21 FF22 FF32 FF42 FF43 FF45 FG05 FG13 FH04 FH06 4C096 AB36 AB38 AB50 DC15 DC22 DC23 DC32 DC36 DC37 DD09 DD13 DE04 DE06 BA03EA EA28 FA02 FA09 5B057 AA09 BA03 BA07 BA24 CA12 CB12 CB13 CD02 CD03 CD14 CE08 5B080 AA08 BA05 BA08 FA08 5C082 AA04 BA20 CA42 CA52 CB01 CB06 DA87 MM05

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 3次元原画像における切断面を前記3次
元原画像を含む領域で移動させて任意の切断面を設定す
る切断面設定手段と、 前記切断面設定手段によって設定された切断面に基づい
て切断された前記3次元原画像の断面像を表示する表示
手段と、 前記表示された断面像上で所望の基点を設定する基点設
定手段と、を備え、 前記切断面設定手段は、前記基点設定手段によって前記
基点を含む切断面を設定することを特徴とする画像表示
装置。
1. A cutting plane setting means for setting an arbitrary cutting plane by moving a cutting plane in a three-dimensional original image in an area including the three-dimensional original image, and a cutting plane set by the cutting plane setting means. Display means for displaying a cross-sectional image of the three-dimensional original image cut based on the above, and base point setting means for setting a desired base point on the displayed cross-sectional image, wherein the cut plane setting means comprises: An image display device, wherein a cutting plane including the base point is set by a base point setting unit.
【請求項2】 3次元原画像における切断面を前記3次
元原画像を含む領域で移動させて任意の切断面を設定す
る切断面設定手段と、 前記切断面設定手段によって設定された切断面を境に前
記3次元原画像を分割し、該分割した一方の3次元原画
像を所定の投影面上に投影し、前記切断面による断面像
を含む3次元画像を作成する3次元画像作成手段と、 前記切断面に基づいて切断された前記断面像及び前記3
次元画像作成手段によって作成された断面像を含む3次
元画像のうちの少なくとも3次元画像を投影して表示す
る表示手段と、 前記表示手段に表示された断面像上で所望の基点を設定
する基点設定手段と、を備え、 前記切断面設定手段は、前記基点設定手段によって基点
が設定されると、該基点を含むように切断面を回転及び
/又は平行移動させて切断面を設定することを特徴とす
る画像表示装置。
2. A cutting plane setting means for setting a desired cutting plane by moving a cutting plane in a three-dimensional original image in an area including the three-dimensional original image; and a cutting plane set by the cutting plane setting means. A three-dimensional image creating means for dividing the three-dimensional original image at a boundary, projecting one of the divided three-dimensional original images onto a predetermined projection surface, and creating a three-dimensional image including a cross-sectional image by the cut surface; The cross-sectional image cut based on the cut surface and the 3
Display means for projecting and displaying at least a three-dimensional image of the three-dimensional images including the cross-sectional image created by the three-dimensional image creating means; and a base point for setting a desired base point on the sectional image displayed on the display means Setting means, wherein when the base point is set by the base point setting means, the cutting plane is set by rotating and / or translating the cutting plane so as to include the base point. Characteristic image display device.
【請求項3】 前記表示手段によって表示された前記断
面像上に任意の点を設定する手段と、 前記基点と前記任意の点との位置情報を基にこれら各点
間の距離又は角度の少なくとも一方を計測する手段と、 を備えたことを特徴とする請求項1又は2記載の画像表
示装置。
3. A means for setting an arbitrary point on the cross-sectional image displayed by the display means, and at least a distance or an angle between these points based on positional information between the base point and the arbitrary point. The image display device according to claim 1, further comprising: a unit that measures one of them.
JP11579899A 1999-01-13 1999-04-23 Image display device Expired - Fee Related JP4290273B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11579899A JP4290273B2 (en) 1999-01-13 1999-04-23 Image display device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-6699 1999-01-13
JP669999 1999-01-13
JP11579899A JP4290273B2 (en) 1999-01-13 1999-04-23 Image display device

Publications (2)

Publication Number Publication Date
JP2000268204A true JP2000268204A (en) 2000-09-29
JP4290273B2 JP4290273B2 (en) 2009-07-01

Family

ID=26332977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11579899A Expired - Fee Related JP4290273B2 (en) 1999-01-13 1999-04-23 Image display device

Country Status (1)

Country Link
JP (1) JP4290273B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329219A (en) * 2001-04-27 2002-11-15 Mitsubishi Precision Co Ltd Method and program for picking three-dimensional image and three-dimensional image processor
JP2004089599A (en) * 2002-09-04 2004-03-25 Hitachi Medical Corp Image display device
JP2005512647A (en) * 2001-12-14 2005-05-12 インサイテック−テクソニクス リミテッド MRI-induced temperature mapping of tissue undergoing thermal treatment
US7215325B2 (en) 2000-06-16 2007-05-08 Imagnosis Inc. Point inputting device and method for three-dimensional images
JP2009247693A (en) * 2008-04-08 2009-10-29 Toshiba Corp Ultrasonic diagnosis apparatus
JP2009247817A (en) * 2008-04-11 2009-10-29 Fujifilm Corp Cross-sectional image display apparatus, method and program
WO2012137732A1 (en) * 2011-04-06 2012-10-11 株式会社東芝 Image processing system, image processing device, and image processing method
JP2017035379A (en) * 2015-08-12 2017-02-16 東芝メディカルシステムズ株式会社 Medical image processing apparatus
JP2017104448A (en) * 2015-12-11 2017-06-15 東芝メディカルシステムズ株式会社 Image observation device
JP2017224170A (en) * 2016-06-15 2017-12-21 株式会社東芝 Image processing system, image processing method, and program
JP2022530154A (en) * 2019-11-29 2022-06-27 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Positioning operation on the image Display method and device, electronic device and storage medium

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215325B2 (en) 2000-06-16 2007-05-08 Imagnosis Inc. Point inputting device and method for three-dimensional images
JP2002329219A (en) * 2001-04-27 2002-11-15 Mitsubishi Precision Co Ltd Method and program for picking three-dimensional image and three-dimensional image processor
JP2005512647A (en) * 2001-12-14 2005-05-12 インサイテック−テクソニクス リミテッド MRI-induced temperature mapping of tissue undergoing thermal treatment
JP2004089599A (en) * 2002-09-04 2004-03-25 Hitachi Medical Corp Image display device
JP2009247693A (en) * 2008-04-08 2009-10-29 Toshiba Corp Ultrasonic diagnosis apparatus
JP2009247817A (en) * 2008-04-11 2009-10-29 Fujifilm Corp Cross-sectional image display apparatus, method and program
WO2012137732A1 (en) * 2011-04-06 2012-10-11 株式会社東芝 Image processing system, image processing device, and image processing method
JP2012222521A (en) * 2011-04-06 2012-11-12 Toshiba Corp Image processing system, image processing apparatus, and image processing method
US10417808B2 (en) 2011-04-06 2019-09-17 Canon Medical Systems Corporation Image processing system, image processing apparatus, and image processing method
JP2017035379A (en) * 2015-08-12 2017-02-16 東芝メディカルシステムズ株式会社 Medical image processing apparatus
JP2017104448A (en) * 2015-12-11 2017-06-15 東芝メディカルシステムズ株式会社 Image observation device
JP2017224170A (en) * 2016-06-15 2017-12-21 株式会社東芝 Image processing system, image processing method, and program
JP2022530154A (en) * 2019-11-29 2022-06-27 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Positioning operation on the image Display method and device, electronic device and storage medium

Also Published As

Publication number Publication date
JP4290273B2 (en) 2009-07-01

Similar Documents

Publication Publication Date Title
US6697067B1 (en) Method and system for storing information regarding a selected view of a three dimensional image generated from a multi-frame object
CA2267981C (en) Enhanced image processing for a three-dimensional imaging system
CA2238184C (en) Three-dimensional imaging system
JP3664336B2 (en) Method and apparatus for setting viewpoint position and gaze direction in 3D image construction method
US20070279436A1 (en) Method and system for selective visualization and interaction with 3D image data, in a tunnel viewer
KR20020041290A (en) 3 dimensional slab rendering system and method
WO1998024058A9 (en) Enhanced image processing for a three-dimensional imaging system
JP2006502508A (en) 3D modeling system
JP2009505269A (en) Method and apparatus featuring simple click-style interaction with clinical work workflow
JP2000268204A (en) Picture display device
JP2015157067A (en) Medical image diagnostic apparatus, image processing apparatus, and image processing method
JP2003265475A (en) Ultrasonograph, image processor and image processing program
US6606089B1 (en) Method for visualizing a spatially resolved data set
Udupa et al. 3D98: A turnkey system for the 3D display and analysis of medical objects in CT data
JPH01134580A (en) Image processor
WO2001097174A1 (en) Point inputting device and method for three-dimensional images
JP2001101450A (en) Three-dimensional image display device
JP2001195610A (en) Image processor
JP3325635B2 (en) Image processing method and apparatus
JP2004089599A (en) Image display device
JP2000057381A5 (en)
JP2001101449A (en) Three-dimensional image display device
JP2000057381A (en) Image constituting device
JP3851364B2 (en) Projection image display device
WO2000072273A1 (en) Systems, methods and computer program products for the display of tomographic image planes in three-dimensional space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees