WO2004024003A1 - 生体組織の動き追跡方法、その追跡方法を用いた画像診断装置 - Google Patents

生体組織の動き追跡方法、その追跡方法を用いた画像診断装置 Download PDF

Info

Publication number
WO2004024003A1
WO2004024003A1 PCT/JP2003/011701 JP0311701W WO2004024003A1 WO 2004024003 A1 WO2004024003 A1 WO 2004024003A1 JP 0311701 W JP0311701 W JP 0311701W WO 2004024003 A1 WO2004024003 A1 WO 2004024003A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
movement
designated
moving
tracking
Prior art date
Application number
PCT/JP2003/011701
Other languages
English (en)
French (fr)
Inventor
Hirotaka Baba
Osamu Mori
Original Assignee
Hitachi Medical Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003311409A external-priority patent/JP4389081B2/ja
Priority claimed from JP2003311291A external-priority patent/JP4596759B2/ja
Application filed by Hitachi Medical Corporation filed Critical Hitachi Medical Corporation
Priority to EP03795425.2A priority Critical patent/EP1543773B1/en
Priority to US10/527,744 priority patent/US8167802B2/en
Priority to CNB038213168A priority patent/CN100393283C/zh
Publication of WO2004024003A1 publication Critical patent/WO2004024003A1/ja

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to a method of tracking the movement of a living tissue applied to an ultrasonic diagnostic image, a magnetic resonance image, or an X-ray CT image, an image diagnostic apparatus using the tracking method, and a program therefor.
  • Image diagnostic equipment such as ultrasonic diagnostic equipment, magnetic resonance imaging (MRI) equipment, and X-ray CT equipment display tomographic images related to the inspected part of the subject on the monitor, and provide diagnostics. is there.
  • tissues living tissues
  • the contour of the heart wall is extracted from an image obtained by an ultrasonic diagnostic apparatus, and the heart function (heart pump function) is determined from the area and volume of the ventricle and the rate of change thereof based on the heart wall contour.
  • the heart function heart pump function
  • tissue displacement is measured based on a measurement signal such as a Doppler signal, and the distribution of local contraction or relaxation, for example, is imaged. Based on this, a location where ventricular movement is activated is accurately determined.
  • Quantitative measurement methods have been proposed, such as measuring the thickness of the heart wall during systole or systole (Japanese Translation of PCT International Publication No. 2001-518342).
  • none of the above-mentioned conventional techniques is a method for evaluating the overall function of the heart, and no consideration is given to measuring the tissue dynamics, which is the movement of each tissue such as the myocardium.
  • the contour of the heart wall is extracted by image processing,
  • the conventional technology of measuring the thickness of the heart wall based on the contours has not necessarily achieved sufficient accuracy.
  • the relative position between the myocardium and the region of interest may change due to the movement of the myocardium, and the whole or a part of the myocardium may fall outside the region of interest.
  • the reliability of the evaluation index such as luminance, luminance average, and luminance change measured in the area of interest is impaired, and the evaluation index is not an effective evaluation index.
  • an object of the present invention is to quantitatively measure tissue dynamics by displaying the movement of a tissue and its locus on a moving image.
  • the present invention provides an imaging unit that captures a tomographic image of a subject, a storage unit that stores a moving image including a plurality of frames of the tomographic image, and a display unit that displays the moving image.
  • the operation unit includes a command to display a one-frame image of the moving image stored in the storage unit on the display unit; a living body that tracks movement in the one-frame image displayed according to the command; Means for inputting a command to superimpose and display the mark on a designated portion of the fabric.
  • the tracking unit may be configured to display the mark of the one-frame image displayed on the display unit.
  • a cut-out image setting means for setting a cut-out image of a size including the designated portion corresponding to a position; reading out another frame image of the moving image from the storage unit;
  • a clipped image tracking means for extracting a local image of the same high size, a movement amount calculating means for calculating a coordinate difference between the local image having the highest degree of coincidence and the cut image, and a movement destination of the designated portion based on the coordinate difference
  • a movement tracking means for obtaining coordinates is provided.
  • the cut-out image tracking means performs a correlation process between the cut-out image and the image data of the local image to extract a local image having the highest correlation between the images.
  • the moving image stored in the storage unit is captured by an ultrasonic imaging method, and an RF signal corresponding to the moving image is stored in the storage unit, and the movement tracking unit is based on the coordinate difference.
  • the destination coordinates of the designated part are obtained, a plurality of the RF signals corresponding to the periphery of the destination coordinates are extracted, a cross correlation of the extracted RF signals is obtained, and a maximum value of the cross correlation is calculated.
  • the coordinates of the movement destination were detected according to the position.
  • a second step of inputting a command to be displayed to set the designated region a third step of setting a cut-out image of a size including the designated region in the -frame image, and another frame image of the moving image.
  • the fifth step of obtaining the destination coordinates of the site BRIEF DESCRIPTION OF THE FIGURES
  • FIG. 1 is a diagram showing a processing procedure of an embodiment of a living tissue motion tracking method according to the present invention.
  • FIG. 2 is a block diagram of an image diagnostic apparatus to which the movement tracking method of the living tissue shown in FIG. 1 is applied.
  • FIG. 3 is a diagram for explaining the motion tracking of the living tissue of the present invention applied to a tomographic image of a heart.
  • 4A and 4B are diagrams illustrating an embodiment of the block matching method according to the present invention.
  • FIG. 4A is a diagram illustrating an example of a cut-out image
  • FIG. 4B is a diagram illustrating an example of a search region.
  • FIG. 5 shows the biological tissue measured by the tracking method of the present invention. It is an example of the display image of the measurement information regarding movement.
  • FIG. 6 shows an example of measuring the distance between two designated points set across the heart wall and the change in the distance, and displaying it as a graph.
  • Figure 7 shows an example in which multiple designated points are set on the heart wall, and various movement information obtained by tracking their movements is displayed as an image.
  • FIG. 8 is a display example of various information measured by setting a plurality of designated points throughout the myocardium and measuring the movement of those designated points.
  • FIG. 9 is an example of a display image of information on the movement of a plurality of designated points along the inner wall of the myocardium.
  • FIG. 10 is a diagram of a tracking processing procedure according to the second embodiment of the present invention, which is a modification of the processing procedure of FIG. FIG.
  • FIG. 11 is a diagram illustrating an image tracking process using the image correlation method using a specific example.
  • FIG. 12 is a block diagram of an image diagnostic apparatus according to an embodiment in which the present invention is applied to an ultrasonic diagnostic apparatus.
  • FIG. 13 is a diagram illustrating a processing procedure of an RF signal correction method in which the image correlation method of FIG. 10 is improved.
  • FIG. 14 is a diagram illustrating an RF signal correction method.
  • FIG. 15 is a block diagram of an image diagnostic apparatus to which the tracking control method for a region of interest is applied.
  • FIG. 16 is a diagram for explaining the following of the region of interest according to the present invention applied to a cross-sectional image of the heart.
  • FIG. 17 is an example of a display mode of a region of interest and a display image of measurement information measured by the tracking control method of the present invention.
  • FIG. 18 is an example of a display mode of a region of interest and a display image of measurement information measured by the tracking control method of the present invention.
  • FIG. 19 shows an example of a display mode of the region of interest.
  • FIG. 1 shows a procedure of a living tissue movement tracking method according to the present embodiment
  • FIG. 2 is a block diagram of an image diagnostic apparatus to which the living tissue movement tracking method of FIG. 1 is applied.
  • the image diagnostic apparatus includes an image storage unit 1 that stores a moving image obtained by capturing a tomographic image of a subject, a display unit 2 that can display a moving image, and an operation of inputting a command.
  • the image storage unit 1 has a diagnostic imaging device 7 indicated by a broken line. A moving image obtained by capturing a tomographic image of a subject from a force is stored online or offline.
  • a diagnostic device such as an ultrasonic diagnostic device, a magnetic resonance imaging (MRI) device, and an X-ray CT device can be applied.
  • the console 3 is formed so that a command to display a frame image of a moving image stored in the image storage unit 1 on the display unit 2 can be input.
  • a command for superimposing and displaying a mark on a designated portion of a living tissue whose movement is to be tracked in a one-frame image displayed in response to the command is formed so as to be inputtable.
  • the automatic tracking unit 4 includes a control unit 8 for controlling the entire diagnostic imaging apparatus, and a cutout image for setting a cutout image having a size including a designated portion corresponding to the position of the mark of the frame image displayed on the display unit 2.
  • Setting means 9 readout image tracking means 10 for reading another frame image of the moving image from the image storage unit 1 and extracting a local image of the same size having the highest degree of matching between the cutout image and the image,
  • the moving amount calculating means 11 obtains the coordinate difference between the local image and the cut-out image having the highest value, and the movement tracking means 12 obtains the destination coordinates of the designated part based on the coordinate difference.
  • the dynamic information calculation unit 5 calculates measurement information, which is a physical quantity relating to the movement of the designated part, such as the movement amount, the movement speed, and the movement direction, based on the destination coordinates of the designated part obtained by the automatic tracking unit 4. It is configured to have a function of quantitatively obtaining and displaying the change of the measurement information on the display unit 2 in a diagram.
  • the movement tracking operation of the living tissue is started when a command for selecting the movement tracking mode of the tissue is input from the console 3 (S1).
  • the cut-out image setting means 9 sets a rectangular area having a size of 2 (A + 1) pixels vertically (horizontally and horizontally) (where A is a natural number) around the image at the designated point 23 as a cut-out image 25.
  • Set (S4) it is preferable that the size of the cut-out image 25 is set to an area having a size including a living tissue different from the living tissue at the designated point 23. For example, as shown in FIG. 3, the region is set to a size exceeding the boundary of the myocardium 22.
  • the cut-out image tracking means 10 reads the next frame image fl of the moving image from the image storage unit 1 and extracts a local image of the same size having the highest degree of coincidence between the cut-out image 25 and the image (S5).
  • This extraction process applies an image correlation method called a so-called block matching method. If this extraction process is performed for the entire region of the frame image fl, the processing time is too long. Therefore, in order to shorten the extraction processing time, in the present embodiment, the search is performed on the search area 26 shown in FIG. 4B, which is sufficiently smaller than the frame image fl.
  • the search area 26 is a rectangular area in which the number B of pixels having a fixed swing width is added to the cut-out image 25 vertically and horizontally.
  • the number of pixels B is larger than the moving amount of the tissue related to the specified site, and is set to, for example, 3 to 10 pixels. This is because the range of motion of the circulatory system, such as the heart, is limited to a small area in a normal field of view. In this way, the local images 27 of the same size in the search area 26 are sequentially shifted, and the degree of coincidence of the image with the cut-out image 25 is obtained.
  • a local image 27max having the highest degree of image coincidence is extracted from the retrieved local images 27, and the local image 27max is set as a destination of the cutout image 25, and the coordinates of the local image 27max are obtained (S6).
  • the coordinates of these images are represented by the coordinates of the center pixel or the coordinates of any corner of the rectangular area.
  • the coordinate difference between the local image 27max and the cut-out image 25 is obtained, and based on this, the destination coordinates of the designated point 23 are obtained and stored, and displayed over the frame image £ 1 of the display unit 2 (S7 ).
  • the relative position of the designated point 23 in the local image 27max and the cutout image 25 does not change. Is treated as.
  • the movement information calculation unit 5 calculates various measurement information relating to the movement of the designated point 23, that is, the movement of the tissue of the designated part, based on the destination coordinates of the designated point 23 obtained in S7 (S8). That is, the moving direction and the moving amount can be quantitatively measured based on the coordinates of the designated part before and after the movement. In addition, it is possible to quantitatively obtain measurement information, which is a physical quantity relating to the movement of the designated portion, such as the movement amount, the movement speed, and the movement direction. Based on the measurement information obtained in this way, the dynamic information calculation unit 5 further displays various measurement information relating to the movement of the designated point 23 and its change on a display unit in a graph (S9). This allows the viewer to easily observe the movement of the designated part.
  • step S10 the process proceeds to step S10, where it is determined whether or not the tracking of the designated point 23 has been completed for all the frame images of the moving image. If there is an unprocessed frame image, the process returns to step S5 to perform the processing of S5 to S10. repeat. When the tracking of the designated point 23 has been completed for all the frame images, the tracking processing operation ends.
  • the coordinates of the destination of the designated point 23 can be sequentially obtained by applying the image correlation method, so that the movement of the designated part can be quantitatively and accurately performed. Since measurements can be made easily and easily, diagnosis information can be provided accurately.
  • FIG. 5 is an example of an image in which the measurement information regarding the movement of the designated point 23 shown in FIG. 3 is displayed on the display unit 2.
  • FIG. This is an example in which a moving trajectory is displayed with a broken line superimposed on a moving image. From this display example, it is possible to visually observe the trajectory and moving area of the designated point 23 moving during one heartbeat.
  • FIGS. 7B and 7C show the time change of the moving amount of the designated point 23 and the moving speed, respectively. From this display example, it is possible to visually observe the movement amount and the movement speed of the designated point 23 during one heartbeat, and to recognize the change of the expansion part and the contraction part in one heartbeat. . Also,
  • FIG. 4 (d) and (e) show another example of displaying the moving trajectory of the designated point 23 over the moving image.
  • FIG. 4 (d) shows the trajectory of the immediately preceding frame image. Movement and present By comparing the movements of the heartbeats, it is possible to observe what kind of movements are taking place during multiple heartbeats.
  • the current designated point is connected by a straight line from the past tracking start point, and the movement trajectory is displayed by a solid line, so that the movement amount for multiple heartbeats can be observed.
  • the figure can be displayed in combination according to the application, and by recognizing the movement of each point of the myocardium by various variations, it is possible to correspond to a desired examination.
  • Fig. 6 two designated points 23 are set across the heart wall of the myocardium 22, the distance between the two designated points 23 and the change in the distance are measured, and these are graphed and displayed on the display unit 2. This is an example displayed in. This makes it possible to quantitatively grasp the thickness of the myocardium and the change in thickness. Also, the change rate of the thickness of the myocardium can be calculated and displayed. The rate of change can be expressed as a percentage of the change in the thickness of the myocardium before and after the change with respect to the thickness of the myocardium before the change.
  • the accuracy of diagnosis can be further improved by displaying the graph of the measured values of the heart and the information such as the ECG waveform and the heart sound waveform on the display unit 2 in association with the time axis. .
  • tracking of myocardial dynamics and changes in cardiac muscle thickness can be quantitatively tracked, it becomes possible to specify an ischemic site in ischemic heart disease.
  • the myocardial dynamics can be quantified, the degree of ischemia can be understood, and it can be used as an index for selecting a treatment method such as coronary regenerative surgery and specifying a treatment site.
  • FIG. 7 shows a case where a plurality of (9 in the illustrated example) designated points 23a to 23i are set on the wall of the myocardium 22, their movements are tracked, and based on the movement information, the same figures (a) to (f) are used. ) Is displayed.
  • the moving direction of each of the designated points 23a to 23i is obtained, the reference point of the moving direction of the heart wall is set as the center of gravity, and the color change in the direction toward the center of gravity and the color in the opposite direction is changed.
  • This is an example of image and image display.
  • FIG. 3B shows an example in which the thickness of a line connecting the designated points 23a to 23i is changed according to the moving amount. Thick ones with shorter distances between designated points are displayed thicker and thinner ones with longer distances. For example, the amount of distortion is quantified from the initial length and the current length, and the line thickness is determined based on the numerical value. From this display example, Can be grasped by the thickness of the line connecting the designated points.
  • FIG. 3B shows an example in which the thickness of a line connecting the designated points 23a to 23i is changed according to the moving amount. Thick ones with shorter distances between designated points are displayed thicker and thinner ones with longer distances. For example, the amount of distortion is quantified from the initial length and the current length, and the line thickness is determined based on the numerical value. From this display example, Can be grasped by the thickness of the line connecting the designated points.
  • FIG. 3C shows an example in which the movement locus of each of the designated points 23a to 23i from before the several frame image is displayed, and the direction in which the designated point has moved and the movement amount between the several frames are displayed in a vector. From this display example, the movement of the designated point moved by several frames can be grasped.
  • FIG. 3D shows an example in which the designated points 23a to 23i are connected by lines and the movement amounts of the points are displayed.
  • Figure (e) is an example of displaying the change in the area of each quadrilateral surrounded by the designated points 23a to 23i as shown in Figure (c) '
  • Figure (f) is This is an example in which the change over time of the total area is displayed as a graph.
  • the change in the area of the four sides in this display example the expansion or contraction of the myocardium can be grasped.
  • the same figure is displayed in combination according to the application, and the movement of each region of the myocardium is recognized in various variations, so that it is possible to correspond to a desired examination.
  • FIG. 8 shows an example in which a plurality of designated points 23 are set over the entire inside of the myocardium 22, and FIG. 8 (a) is a graph showing the total displacement of the myocardium 22 in the thickness direction.
  • the thickness direction is the direction in which the myocardium moves.
  • FIG. 3C is an example in which the total displacement is displayed in a graph with the contraction in the length direction of the myocardium 22 taken as a plus and the direction expanded in the thickness direction taken as a plus.
  • FIG. 11D is an example in which the total area change of the area surrounded by the plurality of designated points 23 is graphed. From this display example, the change in the area of the entire region can be grasped.
  • the same figure is displayed according to the I according to the application, and by recognizing the entire movement of the myocardium in various variations, it is possible to cope with a desired examination.
  • FIG. 9 shows a plurality of designated points 23 set along the inner wall of the myocardium 22, and FIG. Designated point 23 I
  • the direction toward the center of gravity of the area (ventricle) surrounded by each designated point is displayed in red, for example, and the direction away from it is displayed in blue, for example. This is an example in which the display is modulated.
  • FIG. 7B is a graph showing the time change of the area of the area surrounded by the designated point 23. According to this, it is possible to quantitatively and accurately measure dynamic information (movement information) such as a change in ventricular volume.
  • every time tracking of a designated point in one frame image is completed (S7), various information on the movement of the tissue is calculated based on the movement of the designated point (S8).
  • the example in which such information is displayed on the display unit (S9) has been described.
  • the present invention is not limited to this.
  • the processing of the steps S8 and 9 is performed. May be executed.
  • the size of the cut-out image 25 is assumed to be a rectangular 9-pixel area, and the search area 26 is also assumed to be a rectangular 25-pixel area.
  • FIG. 11B correlation values are obtained for the nine local regions 27, and the correlation is the largest, and the position corresponds to the destination coordinates.
  • the present embodiment can be applied to tracking processing of a living tissue using a moving image obtained by imaging by an ultrasonic imaging method.
  • the RF signal corresponding to the moving image is stored, and the position of the local image with the highest degree of coincidence of the image obtained by the image correlation method is corrected using the signal to track the movement of the living tissue.
  • the purpose of this is to make the change of the measured value obtained by smoothing.
  • FIG. 12 shows an ultrasonic diagnostic apparatus 17 in particular from the diagnostic image capturing apparatus 7.
  • An ultrasonic diagnostic apparatus transmits an ultrasonic wave into a subject, receives an ultrasonic signal reflected by a tissue in the subject, processes a received signal, and generates an ultrasonic image in the subject based on the received signal.
  • This is a device for diagnosing a disease or the like of a subject by displaying.
  • This ultrasound diagnosis A moving image from the device 17 and an RF signal used for reconstructing the moving image (a signal obtained by receiving and processing an ultrasonic echo signal) are stored in the image storage unit 1 and the RF signal storage unit 18 online or via a recording medium, respectively. It has become to be.
  • the signal storage unit 18 is connected to the automatic tracking unit via the signal transmission path 6.
  • the automatic tracking unit 4 detects the phase and amplitude of the signal and corrects the phase by adaptive control and removes the noise having the roughness on the screen, which is peculiar to the ultrasonic echo signal.
  • An amount correction unit 13
  • FIG. 13 shows a processing procedure of a main part of the present embodiment.
  • the basics of the tracking processing of the present embodiment are as follows.
  • the destination coordinates of the cut-out image obtained in step S6 in FIG. 10 are taken in, and the destination coordinates of the designated point 23 are calculated (S21).
  • the RF signal relating to the image around the coordinates of the designated point 23 of the cut-out image 25 and the coordinates of the designated point 23 of the local image 27max having the highest matching degree is extracted from the RF signal storage unit 18 (S22). That is, the signal of the peripheral image of the designated point 23 before and after the movement is extracted.
  • the cross-correlation of the RF signal is obtained, and the correlation value is obtained (S23).
  • the time axis is shifted by an amount corresponding to the amount of movement (the number of pixels) of the RF signal before or after the movement of the RF signal, and the cross-correlation (for example, product-sum operation) between the two is obtained.
  • the obtained cross-correlation value is obtained as a shift value ⁇ force S at which the maximum value is obtained as a maximum value, and as a correction value of the movement amount by the RF signal (S24).
  • the correction value of the movement amount of the designated point obtained by using the RF signal is added to the movement amount of the designated point previously obtained by the image correlation method, and the movement amount of the designated point is corrected (S25).
  • the maximum value of the cross-correlation value of the RF signal before and after the movement correlates with the movement amount of the designated point, and the reason why the position measurement accuracy is improved by correcting the movement amount of the designated point.
  • FIG. 14 (a) the time axis of the RF signal 41 around the designated point before moving and the time axis of the RF signal 42 around the designated point after moving are shifted based on the moving amount obtained by the image correlation method. The state is shown. Then, for example, if the cross-correlation with the RF signal 42 is calculated while shifting the time axis of the RF signal 41 in either the positive or negative direction, the cross-correlation value 43 indicating the maximum value shown in FIG. .
  • this moving amount corresponds to the moving amount to be corrected in addition to the moving amount in the image correlation method. This allows image correlation The measurement accuracy of the moving amount of the method can be improved.
  • each part of the heart can be quantitatively measured, for example, by tracking myocardial dynamics or quantitatively measuring changes in myocardial thickness, it is possible to identify, for example, the ischemic site in ischemic heart disease .
  • the myocardial dynamics can be quantified, the degree of ischemia can be determined, and can be used as an index for selecting a treatment method such as coronary artery regeneration and specifying a treatment site.
  • quantitative tracking of the movement of the annulus can help evaluate overall cardiac function in heart diseases such as hypertensive cardiac hypertrophy.
  • This image diagnostic apparatus includes an image storage unit 1 that stores a moving image obtained by capturing a tomographic image of a subject, a display unit 2 that can display a moving image, and a region of interest, as in the first embodiment.
  • Console 3 for inputting commands to be generated, an automatic tracking unit 4 for following the region of interest with the movement of the living tissue in the moving image displayed on the display unit 2, and various measurements of the region of interest to be tracked by the automatic tracking unit 4.
  • It is configured to include a region-of-interest measurement information calculation unit 15 for calculating information such as pixel luminance, luminance average, and luminance change, and a signal transmission path 6 connecting these.
  • the automatic following unit 4 includes a display control unit 14 for displaying the region of interest obtained based on the destination coordinates of the reference point so as to be superimposed on another frame image of the moving image.
  • the area-of-interest measurement information calculation unit 15 quantitatively calculates the luminance, the average luminance, the luminance change, and the like based on the measurement information, for example, the pixel value in the area of interest, in the area of interest moved by the automatic tracking unit 4, It is configured to have a function of displaying these measurement information on the display unit 2 in a diagram.
  • the image storage unit 1, the display unit 2, the console 3, the automatic follow-up unit 4, the signal transmission path 6, and the like are the same as those described in the first embodiment.
  • the tracking control method for the region of interest is started when a command for selecting the tissue motion tracking mode is input from the console 3.
  • the operator operates the mouse or the like of the operation unit 3 to input a command to draw, for example, a circular, rectangular, or elliptical region of interest 53 on the frame image f0.
  • a mark as a region of interest of the living tissue is superimposed and displayed.
  • a reference point 53a corresponding to the region of interest on the image is determined.
  • at least one point or a plurality of points on the center of gravity, center, or landmark of the region of interest, or a point at a predetermined distance from the region of interest, or the like is set manually or automatically as the reference point 53a.
  • reference numeral 54 denotes a mitral valve.
  • control means 8 takes in the coordinates of the reference point 53a on the frame image f0 and sends it to the cut-out image setting means 9.
  • the movement amount of the reference point is obtained by the image correlation method, and in the region of interest 53 moved based on the destination coordinates of the reference point 53a, various measurement information, for example, The brightness, average brightness, and change in brightness of the pixel values are calculated by the region-of-interest measurement information calculation unit 15.
  • measurement information which is a physical quantity relating to luminance, luminance average, luminance change, and the like, can be quantitatively obtained from pixel values in a region of interest on a diagnostic image.
  • the region-of-interest measurement information calculation unit 15 further causes the display unit 2 to display the brightness, average brightness, change in brightness, and the like of the pixel values in the region of interest 53 in a graph.
  • the viewer can visually and quantitatively grasp the blood flow flowing through the living tissue in the region of interest 53, for example, the myocardium.
  • the image correlation method by applying the image correlation method, it is possible to sequentially obtain the coordinates of the movement of the reference point 53a of the region of interest 53 in the movement of the living tissue. Can be displayed following the movement of the living thread. As a result, it is possible to avoid a change in the relative position between the mark of the region of interest 53 and the biological tissue on the diagnostic image, so that the biological tissue to be measured can be reliably located at the mark ⁇ of the region of interest 53. Of the evaluation index measured in the region of interest 53 Reliability is improved.
  • FIGS. Fig. 17 (a) is an image example in which one region of interest 53 shown in Fig. 16 is superimposed and displayed on the myocardial image
  • Fig. 17 (b) shows the diagnostic image after administering the contrast agent to the subject.
  • 10 is an image example in which a luminance average difference is represented by a graph based on pixel values in the upper region of interest 53.
  • the horizontal axis of the graph represents time
  • the vertical axis represents the average luminance difference.
  • the method of calculating the average luminance difference is a known method such as a time luminance curve.
  • FIG. 18 (a) is an example of an image in which the region of interest 53 shown in FIG. 16 is superimposed and displayed with the heart wall of the myocardium 52 interposed therebetween, and FIG. 18 (b) shows the case where the contrast agent was administered to the subject.
  • FIG. 18 (b) shows the case where the contrast agent was administered to the subject.
  • the method of calculating the average luminance difference uses a known method such as a time luminance curve.
  • a time luminance curve By referring to this graph, for example, the blood flow in the myocardium can be relatively grasped by comparing it with the blood flow in other parts. Increase.
  • FIG. 19 shows a display example of the region of interest.
  • FIG. 11A is an example of a display mode in which the region of interest 53A is defined by an elliptical frame. According to this example, the reference point 53a can be recognized following the elliptical region of interest 53A.
  • FIG. 2B is an example of a display mode in which the region of interest 53B is defined by a circular frame. According to this example, the reference point 53a can be recognized following the circular region of interest 53B.
  • FIG. 3C shows an example of a display mode in which the region of interest 53C is defined by a rectangular frame. According to this example, the reference point 53a can be recognized by following the rectangular region of interest 53C.
  • FIG. 11A is an example of a display mode in which the region of interest 53A is defined by an elliptical frame. According to this example, the reference point 53a can be recognized following the elliptical region of interest 53A.
  • FIG. 2B is an example of a display mode in which the
  • 4D is an example of a display mode in which a region of interest 53D is defined by two opposing lines.
  • the reference point 53a can be recognized following the two opposing regions of interest 53D.
  • These regions of interest 53A to 53D are commanded from a mouse or the like on the console 3, respectively. Is superimposed on the display unit 2 based on.
  • the display mode of the mark is not limited to these, and an arbitrary display mode can be set.
  • the region of interest on the diagnostic image can be made to accurately follow the movement of the living tissue, so that the relative position between the living tissue and the region of interest changes due to the movement of the living tissue. Can be avoided. That is, since the moving living tissue can always be located in the region of interest, the reliability of the measurement information measured in the region of interest is improved.
  • a region of interest is set in the myocardium, and brightness and brightness, which are evaluation indices, are determined from pixel values within the landmark of the region of interest.
  • Diagnosis of myocardial infarction and the like is performed by measuring the average, change in luminance, and the like, and grasping the blood flow volume in the myocardium based on the measured evaluation index.
  • the luminance, luminance average, luminance change, and the like which are evaluation indices, are reliably obtained from the pixel values in the landmark of the region of interest.
  • the reliability of the evaluation index can be improved.
  • the possibility of accurately and accurately diagnosing the onset of myocardial infarction and the degree of symptoms is increased. Further, by displaying the measurement information on a display unit in a diagram, the measurement information can be visually grasped, so that diagnosis can be easily performed.
  • the present invention is not limited to measuring the movement of each part of the heart, but can be applied to any part of the living tissue as long as the movement of the living tissue is to be observed.
  • it can be applied to pulse wave measurement of a large blood vessel wall such as a carotid artery.
  • the degree of arterial stiffness can be determined by setting a plurality of designated sites in the longitudinal direction of the blood vessel wall, quantitatively measuring the movement amounts of these designated sites, and comparing the measured values.
  • the present invention can be applied to online or real-time moving images.
  • the image correlation method calculates the degree of coincidence between the cut image and the corresponding image of the local image.
  • a known technique can be used as long as the method is used.
  • a generally known two-dimensional cross-correlation method in which a product of pixel values is obtained for each corresponding pixel of a cut-out image and a local image, and the sum of the absolute values is used as a correlation value, The average of each pixel value is subtracted from the pixel value of each pixel, the product is calculated, and the sum of the absolute values is used as the correlation value.
  • the two-dimensional normalized cross-correlation method calculates the absolute value of the pixel value difference for each pixel.
  • the SAD method in which the sum of the absolute values is used as the correlation value
  • the SSD method in which the square value of the difference between the pixel values of each pixel is obtained and the sum of the square values is used as the correlation value
  • the two-dimensional cross-correlation method and the two-dimensional normal Eich cross-correlation method have the largest correlation value
  • the SAD method and the SSD method have the smallest correlation value. What is necessary is just to let an image be the local image with the highest image matching degree.
  • There is a feature of the image correlation method in selecting a local image having the maximum correlation (correlation value is maximum or minimum).
  • the movement of tissue can be quantitatively measured using a tomographic image.
  • the trajectory of the movement of the tissue can be displayed on the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

被検体の断層像を撮影してなる動画像の一フレーム画像を表示し(S2)、表示された一フレーム画像において動きを追跡したい生体組織の指定部位にマークを重畳表示させ(S3)、その指定部位を含むサイズの切出し画像を一フレーム画像に設定するとともに(S4)、動画像の他のフレーム画像を検索して切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出し(S5、6)、一致度が最も高い局所画像と切出し画像の座標差に基づいて指定部位の移動先座標を求めることにより(S7)、組織の動きを定量的に計測する。

Description

明 細 書 生体組織の動き追跡方法、 その追跡方法を用いた画像診断装置 技術分野
本発明は、 超音波診断画像、 磁気共鳴画像又は X線 CT画像に適用される生体 組織の動きの追跡方法、 その追跡方法を用いた画像診断装置及びそのプロダラム の技術に属する。 背景技術
超音波診断装置、磁気共鳴イメージング (MRI) 装置、及び X線 CT装置等の 画像診断装置は、 レ、ずれも被検体の検査部位に係る断層像などをモニタに表示し て診断に供するものである。 例えば、 心臓や血管等の循環器系及ぴその他の動き のある臓器の場合、 それらを構成する生体組織 (以下、 組織と総称する) の動き を断層像により観察して、それら β等の機能を診断することが行なわれている。 特に、 心臓などの機能を定量的に評価できれば、 診断の精度が一層向上するこ とが期待されている。 例えば、 従来、 超音波診断装置により得られた画像から心 壁の輪郭を抽出し、 その心壁輪郭に基づいて心室等の面積、 体積、 それらの変化 率等から心機能 (心臓ポンプ機能) を評価したり、 局所の壁運動を評価して診断 することが試みられている。 また、 ドプラ信号等の計測信号に基づいて組織の変 位を計測して、 例えば局所的収縮又は弛緩の分布を撮像し、 これに基づいて心室 の運動が活性化している場所を正確に決定したり、 あるいは収縮期の心臓壁の厚 さを計測する等、 定量的に測定する方法が提案されている (特表 2001— 518342 号公報) 。 さらに、 時々刻々変化する心房や心室の輪郭を抽出して、 その輪郭を 画像に重ねて表示するとともに、 これに基づいて心室等の容量を求める技術が提 案されている (米国特許第 5322067号公報) 。
しかしながら、 上記の従来技術は、 いずれも心臓の全体的な機能を評価するた めの手法にとどまり、 心筋などの各組織の動きである組織動態を計測することに ついては配慮されていない。 特に、 心壁の輪郭を画像処理により抽出し、 その輪 郭に基づいて心壁の厚みなどを計測する従来技術は、 必ずしも十分な精度を得る までには至っていない。 また、 心筋の動きにより心筋と関心領域との相対位置が 変ィ匕して、 心筋の全部又は一部が関心領域外に外れることがある。 その結果、 関 心領域において計測された輝度、 輝度平均、 輝度変化という評価指標の信頼性が 損なわれ、 有効な評価指標にならないという問題がある。
そこで、 本発明は、 動画像上に組織の動きや、 その軌跡を表示して組織動態を 定量的に計測することを目的とする。
一般に、 例えば、 血栓等によって心筋に血が通わなくなると、 心筋の動きが低 下する等の因果関係があるといわれている。 したがって、 心室を構成する心筋の 動きや厚みの変化など、 心臓の各組織の動態を定量的に計測できれば、 治療法な どを決定する際の有効な診断情報を提供できる。例えば、虚血の程度がわかれば、 冠動脈再生術などの心臓の治療法選択及び治療部位を特定する指標として有効で ある。 また、 弁輪部の動態を定量的に計測できれば、 高血圧性心肥大などの心疾 患において、 心機能全体を評価するのに役立つとして研究がなされている。 この ような組織動態を定量的に計測したい対象は、 心臓に限らず、 血管についても要 望されている。 つまり、 頸動脈などの大血管壁の脈波を定量的に計測できれば、 動脈硬化の診断に有効であるとされている。 発明の開示 .
上記目的を達成するため、 本発明は、 被検体の断層像を撮像する撮像手段と、 複数フレームの前記断層像からなる動画像を記憶する記憶部と、 前記動画像を表 示する表示部とを備えた画像診断装置において、 前記断層像の所望の部位をマー クにより指定する操作部と、 前記所望の部位の画像情報から前記マークを前記動 画像の前記所望の部位上で追跡させる追跡手段とを備えた。
そして前記操作部は、 前記記憶部に格納された前記動画像の一フレーム画像を 前記表示部に表示させる指令と、 該指令に応じて表示された前記一フレーム画像 において動きを追跡したレヽ生体,袓織の指定部位に前記マークを重畳表示させる指 令とを入力する手段を備えた。
前記追跡手段は、 前記表示部に表示された前記一フレーム画像の前記マークの 位置に対応する前記指定部位を含むサイズの切出し画像を設定する切出し画像設 定手段と、 前記記憶部から前記動画像の他のフレーム画像を読み出して、 前記切 出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像 追跡手段と、 該一致度が最も高い局所画像と前記切出し画像の座標差を求める移 動量演算手段と、 該座標差に基づいて前記指定部位の移動先座標を求める移動追 跡手段とを備えた。
前記切出し画像追跡手段は、 前記切出し画像と前記局所画像の画像データの相 関処理を行って画像の相関が最も高い局所画像を抽出した。
前記記憶部に記憶される前記動画像は超音波撮影法により撮影され、 かつ前記 記憶部に前記動画像に対応する RF信号が記憶されてなり、 前記移動追跡手段 は、 前記座標差に基づいて前記指定部位の移動先座標を求め、 該移動先座標の周 辺に対応する複数の前記 RF信号を抽出し、 該抽出した複数の RF信号の相互相 関をとり、 該相互相関の最大値の位置に応じて前記移動先座標を捕正した。
また、 被検体の断層像を撮影してなる動画像の一フレーム画像を表示する第 1 ステップと、 該表示された前記一フレーム画像において動きを追跡したい生体組 織の指定部位に、 マークを重畳表示させる指令を入力して前記指定部位を設定す る第 2ステップと、 前記指定部位を含むサイズの切出し画像を前記ーフレーム画 像に設定する第 3ステップと、 前記動画像の他のフレーム画像を検索して前記切 出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する第 4ステツ プと、 該一致度が最も高い局所画像と前記切出し画像の座標差に基づいて前記指 定部位の移動先座標を求める第 5ステップとを含み生体組織の動き追跡した。 図面の簡単な説明
図 1 は、本発明の生体組織の動き追跡方法の一実施形態の処理手順を示す図で ある。 図 2は、 図 1の生体組織の動き追跡方法を適用してなる画像診断装置のブ ロック構成図である。 図 3は、 本発明の生体組織の動き追跡を、 心臓の断層像に 適用して説明するための図である。 図 4は、 本発明に係るブロックマッチング法 の一実施形態を説明する図であり、 (a) は切出し画像の一例を、 (b) は検索領域 の一例を示す図である。 図 5は、 本発明の追跡方法により計測された生体組織の 動きに関する計測情報の表示画像の例である。図 6は、心壁を挟んで設定された 2 つの指定点の距離と、その距離の変化を計測してグラフにして表示した例である。 図 7 は、心壁部に複数の指定点を設定し、 それらの動きを追跡して得られる各種 の移動情報を画像にして表示した例である。 図 8は、 心筋内部の全体に渡って複 数の指定点を設定して、 それらの指定点の動きに基づいて計測した種々の情報の 表示例である。 図 9は、 心筋内壁に沿って複数の指定点を設定し、 その動きの情 報の表示画像例である。図 10は、図 1の処理手順を変形した本発明の実施形態 2 の追跡処理手順の図である。 図 11は、画像相関法による画像追跡処理を、 具体例 を用いて説明する図である。 図 12は、 本 明を超音波診断装置に適用してなる 一実施形態の画像診断装置のプロック図である。 図 13は、 図 10の画像相関法を 改善した RF信号補正法の処理手順を示す図である。 図 14は、: RF信号補正法を 説明する図である。 図 15は、 関心領域の追従制御方法を適用してなる画像診断 装置のブロック構成図である。 図 16は、 本発明の関心領域の追従を、 心臓の断 層像に適用して説明するための図である。 図 17は、 本発明の追従制御方法によ り関心領域の表示態様と計測された計測情報の表示画像の例である。 図 18は、 本発明の追従制御方法により関心領域の表示態様と計測された計測情報の表示画 像の例である。 図 19は、 関心領域の表示態様例を示している。 発明を実施するための最良の形態
(実施の形態 1)
本発明の生体組織の動き追跡方法を適用してなる一実施の形態の画像診断装置 について、 図 1〜図 4を用いて説明する。 図 1は本実施形態の生体組織の動き追 跡方法の手順を示し、 図 2は図 1の生体組織の動き追跡方法を適用してなる画像 診断装置のブロック構成図である。 図 2に示すように、 画像診断装置は、 被検体 の断層像を撮影してなる動画像が格納される画像記憶部 1と、 動画像を表示可能 な表示部 2と、 指令を入力する操作卓 3と、表示部 2に表示される動画像の生体 組織の動きを追跡する自動追跡部 4と、 自動追跡部 4の追跡結果に基づいて各種 の計測情報を算出する動態情報算出部 5と、 これらを接続してなる信号伝送路 6 を含んで構成されている。 画像記憶部 1には、 破線で示した診断画像撮像装置 7 力 ら被検体の断層像を撮影してなる動画像がオンライン又はオフラインで格納さ れるようになっている。 診断画像撮像装置 7としては、 超音波診断装置、 磁気共 鳴イメージング (MRI) 装置及び X線 CT装置等の診断装置が適用可能である。 操作卓 3は、画像記憶部 1に格納された動画像のーフレーム画像を表示部 2に 表示させる指令を入力可能に形成されている。 また、 その指令に応じて表示され た一フレーム画像において動きを追跡したい生体組織の指定部位に目印を重畳表 示させる指令を入力可能に形成されている。
自動追跡部 4は、画像診断装置全体を制御する制御手段 8と、表示部 2に表示 されたーフレーム画像の前記目印の位置に対応する指定部位を含むサイズの切出 し画像を設定する切出し画像設定手段 9と、画像記憶部 1から動画像の他のフレ ーム画像を読み出して、 切出し画像と画像の一致度が最も高い同一サイズの局所 画像を抽出する切出し画像追跡手段 10 と、 一致度が最も高い局所画像と切出し 画像の座標差を求める移動量演算手段 11 と、 その座標差に基づいて指定部位の 移動先座標を求める移動追跡手段 12 とを備えて構成されている。 また、 動態情 報算出部 5は、 自動追跡部 4で求められた指定部位の移動先座標に基づいて、 指 定部位の移動量、 移動速度、 移動方向等の動きに関する物理量である計測情報を 定量的に求めるるとともに、 これらの計測情報の変化を線図で表示部 2に表示さ せる機能を有して構成されている。
次に、 本実施の形態の画像診断装置の詳細な機能構成について、 図 1に示した 処理手順に従って動作とともに説明する。 まず、 生体組織の動き追跡動作は、 操 作卓 3から組織の動き追跡モードを選択する指令が入力されることによって開始 する (S1) 。 自動追跡部 4の制御手段 8は、画像記憶部 1から動画像の最初のフ レーム画像 ft(t=0)を読み出して表示部 2に表示させる (S2)。例えば、最初のフ レーム画像 f0として図 3に示す心臓の心室 21の断層像が表示されたものとする。 図 3において、 操作者が動きを追跡したい生体組織の指定部位として、 心筋 22 の特定の部位を選択したい場合、 操作者は操作部 3のマウスなどを操作してフレ ーム画像 f0に重ねて目印である指定点 23を表示させる。そして、その指定点 23 を移動操作して所望の指定部位に重畳表示させて指定部位を入力設定する。なお、 図 3において、 符号 24は僧帽弁である。 指定点 23が入力設定されると、 制御手段 8はフレーム画像 f0上の指定点 23 の座標を取込み、切出し画像設定手段 9に送る(S3)。切出し画像設定手段 9は、 図 4 (a) に示す様に、 指定点 23の画像を中心として、 縦横 2(A+1)画素 (但し Aは自然数) のサイズの矩形領域を切出し画像 25として設定する (S4) 。 ここ で、切出し画像 25のサイズは、指定点 23の生体組織とは異なる生体組織を含む 大きさの領域に設定することが好ましい。 例えば、 図 3に示す様に、 心筋 22の 境界を越える大きさの領域に設定する。 これは、 切出し画像 25のサイズが小さ すぎると一致する局所画像が多く出現し、 真の移動先を特定できない場合が生じ たり、逆に大きすぎるとフレーム画像 f0の画像領域からはみ出して計測できない 場合が生ずるからである。
切出し画像追跡手段 10は、 画像記憶部 1から動画像の次のフレーム画像 flを 読み出し、 切出し画像 25 と画像の一致度が最も高い同一サイズの局所画像を抽 出する (S5) 。 この抽出処理は、 いわゆるブロックマッチング法と称される画像 相関法を適用する。 この抽出処理をフレーム画像 flの全領域について行なうと、 処理時間がかかり過ぎる。 そこで、 抽出処理時間を短縮するため、 本実施の形態 では、 フレーム画像 flよりも十分に小さい、 図 4 (b) に示す検索領域 26につい て行なうようにしている。 つまり、検索領域 26は、 切出し画像 25に対して上下 左右に一定の振り幅の画素数 Bを付加した矩形領域とする。 この画素数 Bは、指 定部位に係る組織の移動量よりも大きく、例えば 3〜10画素に設定する。これは、 心臓などの循環器系の動く範囲は、 通常の視野において、 狭い領域に限られるか らである。 このようにして、検索領域 26内の同一サイズの局所画像 27を順次ず らして切出し画像 25との画像の一致度を求める。
次に、 検索した複数の局所画像 27 の内で画像の一致度が最も高い局所画像 27max を抽出し、 局所画像 27maxを切出し画像 25 の移動先とし、 局所画像 27max の座標を求める (S6) 。 これらの画像の座標は、 中心画素の座標、 ある いは矩形領域の何れかの角の座標で代表する。 そして、 局所画像 27max と切出 し画像 25の座標差を求め、これに基づいて指定点 23の移動先座標を求めて記憶 するとともに、 表示部 2のフレーム画像 £1に重ねて表示する (S7) 。 なお、 局 所画像 27maxと切出し画像 25における指定点 23の相対位置は変化しないもの として扱っている。
動態情報算出部 5は、 S7で求められた指定点 23の移動先座標をに基づいて、 指定点 23の動き、 つまり指定部位の組織の動きに関する各種の計測情報を算出 する (S8) 。 すなわち、 移動前後の指定部位の座標に基づいて、移動方向及び移 動量を定量的に計測することができる。 また、 指定部位の移動量、 移動速度、 移 動方向等の動きに関する物理量である計測情報を定量的に求めることができる。 このようにして求めた計測情報に基づいて、 さらに動態情報算出部 5は、 指定 点 23の移動に関する各種の計測情報、 及ぴその変化をグラフで表示部に表示さ せる (S9) 。 これにより、 観者は、 指定部位の動きを容易に観察することができ る。
次に、 ステップ S10に進み、 動画像の全てのフレーム画像について指定点 23 の追跡が終了したか否か判断し、 未処理のフレーム画像があれば、 ステップ S5 に戻って S5〜S10の処理を繰り返す。 全てのフレーム画像について指定点 23の 追跡が終了した場合は、 追跡処理動作を終了する。
上述したように、 本実施の形態によれば、 画像相関法を適用することにより、 指定点 23の移動先の座標を順次求めることができるから、 指定部位の動きを定 量的に、 かつ精度よく簡単に計測することができるから、 診断の情報を的確に提 供することができる。
ここで、 上記実施の形態を用いて、 生体組織の指定部位の動きを計測してなる 具体例について図 5〜図 9を用いて説明する。 図 5は、 図 3に示した指定点 23 の動きに関する計測情報を表示部 2に表示した画像例であり、 同図 (a) は指定 点 23の移動状態を把握できるよう、指定点 23の移動軌跡を破線で動画像に重ね て表示する例である。この表示例より、その指定点 23が 1心拍中に動いた軌跡、 移動領域を視覚的に観察することができる。 同図 (b) 、 (c) は、 それぞれ指定 点 23の移動量の時間変ィ匕と移動速度が表示されている。 この表示例より、 その 指定点 23が 1心拍中に動いた移動量及ぴ移動速度を視覚的に観察することがで き、 1心拍のうち拡張部及び収縮部の変化を認識することができる。 また、 同図
(d)、 (e) は、指定点 23の移動軌跡を動画像に重ねて表示する別の例であり、 同図 (d) は直前の数フレーム画像分の軌跡を表示しており、 過去の動きと現在 の動きの比較を行うことにより、 複心拍中にどのような動きをしているのかを観 察することができる。 同図(e) は過去の追跡開始点から現在の指定点を直線で結 び、移動軌跡を実線で表示しており、複心拍分の移動量を観察することができる。 また同図を用途に応じて組み合わせて表示し、 心筋の各点の動きを様々なパリェ ーシヨンで認識することにより、 所望の検査に対応させることができる。
—方、 図 6は、 心筋 22の心壁を挟んで 2つの指定点 23を設定し、 2つの指定 点 23間の距離と、 その距離の変化を計測し、 それらをグラフにして表示部 2に 表示した例である。 これにより、 心筋の厚み及び厚み変化を定量的に把握するこ とができる。 また、 心筋の厚みの変化率を算出して表示することもできる。 この 変化率は、 変化前の心筋の厚みに対する変ィヒ前後の心筋の厚みの変化量を、 百分 率で表すことができる。 これらの場合において、 それらの心臓に係る計測値のグ ラフと、 ECG波形、 心音波形、 などの情報を表示部 2に時間軸を関連させて表 示することにより、 一層診断の精度を向上できる。 つまり、 心筋動態の追跡や心 筋厚の変化を定量的に追跡できることから、 虚血性心疾患において虚血部位を特 定することが可能になる。 また、 心筋動態を定量化できるから、 虚血の程度がわ 力 り、 冠動脈再生術などの治療法選択および治療部位特定の指標にできる。 さら に、 弁輪部 24に指定点 23を設定して、 その動きを追跡すれば、 高血圧性心肥大 などの心疾患において、 心機能全体を評価するのに役立つことが期待できる。 図 7は、心筋 22の壁部に複数(図示例は、 9点)の指定点 23a〜23iを設定し、 それらの動きを追跡し、 その移動情報に基づいて同図 (a) ~ (f) の表示を行な つた例である。 同図 (a) は、 各指定点 23a〜23iの移動方向を求め、 心壁の移動 方向の基準点を重心とし、 その重心に向かう方向とその反対方向の色を代えて、 その時間変化を画.像表示した例である。 例えば、 重心に向かう方向を赤とし、 そ の反対方向を青として画像表示する。 この場合、 移動速度に応じて輝度変調をか けることもできる。 この表示例より、 心筋の動きを画像の色表示により把握する ことができる。 同図 (b) は、 各指定点 23a〜23iの移動量に応じて、 それらの点 を結ぶ線の太さを変えて表示した例である。 各指定点間の距離が短くなるものを 太く、 距離が長くなるものを細く表示する。 例えば最初の長さと今の長さから歪 量を数値化し、 その数値により線の太さを決定する。 この表示例より、 心筋の動 きを各指定点を結ぶ線の太さにより把握することができる。 同図 (c) は、数フレ ーム画像前からの各指定点 23a〜23iの移動軌跡を表示した例であり、 数フレー ム間で指定点が動いた方向と移動量をベクトル表示する。 この表示例より、 数フ レーム分移動した指定点の動きを把握することができる。 同図 (d) は、 各指定 点 23a〜23iを線で結ぶと共に、 それらの点の移動量を表示した例である。 この 表示例で全体像を表示することより、 どの部位がどれだけ移動したの力 \ 伸縮移 動変化の程度を 3次元的に把握することができる。 同図 (e) は、 同図 (c) に示 すように各指定点 23a〜23iで囲まれたそれぞれ 4辺形の面積の変化を表示した 例であり'、 そして同図 (f) はその合計面積の時間変化をグラフにして表示した例 である。 この表示例で 4辺の面積の変化を表示することにより、 心筋の拡張或い は伸縮を把握することができる。 また同図を用途に応じて組み合わせて表示し、 心筋の各領域の動きを様々なバリエーションで認識することによ'り、 所望の検査 に対応させることができる。
図 8は、 心筋 22の内部の全体に渡って複数の指定点 23を設定した例であり、 同図 (a) は心筋 22の厚み方向の変位合計をグラフ化したものである。 なお厚み 方向とは心筋が動く伸縮方向のことである。 複数の指定点 23 を心筋内部に全体 的に設定し、 その変位の合計をグラフ表示することにより、 全体的に心筋がどの ような動きをしているのかを把握することができる。 同図 (b) は、 心筋の長さ 方向の変位合計をグラフ化したものである。 長さ方向変位合計をグラフ化するこ とにより、 特に画像を見ても心筋が縮んでいるの力、 伸ぴているのかを視覚的に 判断し難いとき、このグラフから伸縮状況を把握することができる。同図(c)は、 心筋 22の長さ方向に縮むのをプラスとし、 厚み方向に膨れる方向をプラスとし て変位合計をグラフ化して表示した例である。 この例は同図 (b) の変形例であ り、 それと同様の効果を得る。 同図 (d) は複数の指定点 23で囲まれた領域の面 積変化の合計をグラフ化した例である。 この表示例より、 全体領域の面積変化を 把握することができる。 また同図を用途に応じて Iみ合わせて表示し、 心筋の全 体の動きを様々なバリエーションで認識することにより、 所望の検査に対応させ ることができる。
図 9は、 心筋 22の内壁に沿って複数の指定点 23を設定し、 同図 (a) は、 各 指定点 23 I 各指定点により囲まれた領域 (心室内) の重心に向かう方向を例 えば 「赤」 で表示し、 離れる方向を例えば 「青」 で表示し、 その移動速度によつ て輝度変調して表示した例である。 また、 同図 (b) は、 指定点 23で囲まれた領 域の面積の時間変化をグラフ化したものである。 これによれば、 心室の容積変化 などの動態情報(動きの情報)を定量的に、かつ精度よく計測することができる。
(実施の形態 2)
図 1の実施の形態では、 1つのフレーム画像についての指定点の追跡が終了す る度に (S7) 、 その指定点の移動に基づいて組織の動きに関する各種情報を算出 するとともに (S8) 、 それらの情報を表示部に表示する (S9) ようにした例を説 明した。 本発明はこれに限らず、 図 10に示すように、 図 1のステップ S10をス テツプ S7の後に配置し、全てのフレーム画像についての指定点の追跡が終了した 後に、ステツプ S8、 9の処理を実行するようにしてもよい。
ここで、画像相関法による画像追跡処理の具体例を図 11を用いて説明する。 図 示例は、説明を簡単にするために、切出し画像 25のサイズを矩形の 9画素領域と し、検索領域 26についても矩形の 25画素領域として説明する。つまり、同図(a) に示す切出し画像 25は、 指定点 23の画素を中心として A=l画素に設定した例 であり、 同図 (b) に示す検索領域 26は B=l画素に設定した例である。 これに よれば、同図 (b) に示す様に、 9個の局所領域 27について相関値を求め、相関が 最も大きレ、位置が移動先座標に相当することになる。
(実施の形態 3)
本実施の形態は、超音波撮影法により撮影して得られる動画像による生体組織 の追跡処理に適用できるものである。特に、動画像に対応する RF信号を記憶して おき、 画像相関法により求めた画像の一致度が最も高い局所画像の位置を、 信号を用いて補正することにより、生体組織の動きを追跡して得られる計測値の 変化を滑らかなものとすることにある。
図 12に、特に診断画像撮像装置 7を超音波診断装置 17にしたものを示す。超 音波診断装置とは被検体内に超音波を送信し、 被検体内の組織で反射した超音波 信号を受信して受信信号を処理し、 この受信信号に基づく被検体内の超音波画像 を表示することにより被検体の疾患等の診断をする装置である。 この超音波診断 装置 17から動画像、 及びその動画像の再構成に用いた RF信号 (超音波エコー 信号を受信処理した信号) それぞれオンライン又は記録媒体を介して画像記 憶部 1及び RF信号記憶部 18に格納されるようになつている。 信号記憶部 18は、信号伝送路 6を介して自動追跡部 に接続されている。ま 、 自動追跡部 4には超音波エコー信号特有の画面上のザラつきがあるノイズを 信号の位相 と振幅を検出し適応制御により位相を補正して除去し、 正確な追跡を行うための 移動量補正部 13が設けられている。
図 13に、本実施の形態の主要部の処理手順を示す。本実施の形態の追跡処理の 基本は、 図 10のステツプ S6で求めた切出し画像の移動先座標を取込み、指定点 23の移動先座標を算出する(S21)。次に、切出し画像 25の指定点 23の座標と、 一致度が最も高い局所画像 27maxの指定点 23の座標の周辺の画像に係る RF信 号を RF信号記憶部 18から抽出する (S22) 。 つまり、 移動前後の指定点 23の 周辺画像の 信号を抽出する。そして、移動前後の: RF信号の相互相関をとり、 その相関値を求める (S23) 。 この場合、 まず、 移動前後の何れかの: RF信号を 画像相関法で求めた移動量 (画素数) に対応する分だけ時間軸をずらし、 両者の 相互相関 (例えば、 積和演算) をとりながら、 移動前後の何れかの RF信号をず らす。 そして、 求めた相互相関値が最大値となるずれ量 τ力 S、 RF信号による移 動量の補正値として求められる (S24) 。 そして、先に画像相関法で求めた指定点 の移動量に、 RF信号を用いて求めた指定点の移動量の補正値を加算して、 指定 点の移動量を捕正する (S25) 。
ここで、移動前後の RF信号の相互相関値の最大値が、指定点の移動量の相関す ること、及びそれにより指定点の移動量を補正することにより、位置の計測精度が 向上する理由を図 14を用いて説明する。 なお、 図 14 (a) においては、 移動前 の指定点周辺の RF信号 41と、 移動後の指定点周辺の RF信号 42の時間軸を、 画像相関法で求めた移動量に基づいてずらした状態で示している。 そして、 例え ば、 RF信号 41の時間軸を正負何れかの方向にずらしながら RF信号 42との相 互相関を計算すると、同図 (b) に示す最大値を示す相互相関値 43が得られる。 この RF信号 41と RF信号 42のずらした位相差をて とすると、この移動量てが 画像相関法の移動量に加えて補正すべき移動量に相当する。これにより、画像相関 法の移動量の計測精度を向上できる。
以上説明したように、本発明の 1〜3の実施の形態によれば、次のような効果が 得られる。
心臓の各部の動きを定量的に計測することができることから、例えば心筋動態 追跡あるいは心筋厚の変化を定量的に計測することにより、虚血性心疾患におい て例えば虚血部位を特定することができる。また、心筋動態を定量化できるから、 虚血の程度がわかり、 冠動脈再生術などの治療法選択および治療部位を特定する 際の指標にできる。また、弁輪部の動きを定量的に追跡することにより、高血圧性 心肥大などの心疾患において、 心機能全体を評価するのに役立つことができる。
(実施の形態 4)
本発明の関心領域の追従制御方法を適用してなる一実施の形態の画像診断装置 について、 図 15を用いて説明する。 この画像診断装置は、 実施の形態 1のよう に被検体の断層像を撮影してなる動画像が格納される画像記憶部 1と、 動画像を 表示可能な表示部 2と、 関心領域を画成する指令を入力する操作卓 3と、表示部 2に表示される動画像の生体組織の動きに関心領域を追従させる自動追従部 4と、 自動追従部 4により追従させる関心領域の各種の計測情報例えば画素の輝度、輝 度平均、 輝度変化を算出する関心領域計測情報算出部 15 と、 これらを接続して なる信号伝送路 6を含んで構成されている。
自動追従部 4は、 その基準点の移動先座標に基づいて求められた関心領域を動 画像の他のフレーム画像に重ねて表示する表示制御手段 14 とを備えている。 関 心領域計測情報算出部 15は、自動追従部 4により移動された関心領域において、 計測情報例えば関心領域内の画素値に基づいて輝度、 輝度平均、 輝度変化等を定 量的に求めるとともに、 これらの計測情報を線図で表示部 2に表示させる機能を 有して構成されている。 なお画像記憶部 1、 表示部 2、 操作卓 3、 自動追従部 4、 信号伝送路 6等は、 実施の形態 1で説明したものと同様である。
次に、 本実施の形態の画像診断装置の詳細な機能構成について、 動作を説明す る。 まず、 関心領域の追従制御方法は、 操作卓 3から組織の動き追従モードを選 択する指令が入力されることによって開始する。 自動追従部 4の制御手段 8は、 画像記憶部 1から動画像の最初のフレーム画像 ft(t=0)を読み出して表示部 2に表 示させる。 例えば、 最初のフレーム画像 f0として図 16に示す心臓の心室 51の 断層像が表示されたものとする。 図 16 において、 操作者が観察したい生体組織 の関心領域 53として、 心筋 52の特定の範囲を選択する。 このとき、 操作者は操 作部 3のマウスなどを操作してフレーム画像 f0上に例えば円形、矩形、楕円形の 関心領域 53 を描出する指令を入力する。 その指令に基づいて表示されたーフレ ーム画像において生体組織の関心領域する目印 (マーク) を重畳表示する。 そし て、画像上の関心領域に対応する基準点 53aを定める。 このとき、基準点 53aと して、 関心領域の重心、 中心、 又は目印上の少なくとも 1点、 又は複数点、 ある いは関心領域から所定の距離を離れた点等を手動設定又は自動設定させる。なお、 図 16において、 符号 54は僧帽弁である。
関心領域 53の基準点 53aが設定されると、制御手段 8はフレーム画像 f0上の 基準点 53aの座標を取込み、 切出し画像設定手段 9に送る。
そして、 実施の形態 1のように画像相関法により基準点の移動量を求め、 基準 点 53aの移動先座標に基づいて移動された関心領域 53において、 各種の計測情 報例えば関心領域 53 内の画素値の輝度、 輝度平均、 輝度変化を関心領域計測情 報算出部 15により算出させる。 すなわち、移動前後の関心領域 53内の輝度平均 に計測させることにより、 動きを伴う心筋内の血流量を正確かつ定量的に計測す ることができる。また、診断画像上の関心領城内の画素値から、輝度、輝度平均、 輝度変化等に関する物理量である計測情報を定量的に求めることができる。
このようにして求めた計測情報に基づいて、さらに関心領域計測情報算出部 15 は、 関心領域 53内の画素値の輝度、 輝度平均、 輝度変化等をグラフで表示部 2 に表示させる。 これにより、 観者は、 関心領域 53内の生体組織例えば心筋に流 れる血流量を視覚的かつ定量的に把握することができる。
上述したように、 本実施の形態によれば、 画像相関法を適用することにより、 生体組織の動きに関心領域 53の基準点 53aの移動先の座標を順次求めることが できるから、関心領域 53を生体糸且織の動きに追従させて表示することができる。 その結果、 診断画像上の関心領域 53の目印と生体組織との相対位置が変化する ことを回避できるから、 計測すベき生体組織を確実に関心領域 53の目印內に確 実に位置させることができるので、 関心領域 53 において計測される評価指標の 信頼性が向上する。
ここで上記実施形態を用いて、 生体組織の指定部位の動きを計測してなる具体 例について図 17〜図 19を用いて説明する。 図 17 (a) は図 16に示した関心領 域 53を心筋の画像に 1つ重畳表示させた画像例であり、 同図 (b) は被検体に造 影剤を投与した後、 診断画像上の関心領域 53内の画素値に基づいて輝度平均差 をグラフで表した画像例である。 グラフの横軸は時間を、 縦軸は輝度平均差を表 しており、輝度平均差の算出方法は、時間輝度曲線など公知の方法 用いている。 このグラフを参照することにより、 関心領域 53内の心筋内の血流量を視覚的か つ定量的に把握することができ、心筋梗塞などの診断を的確に行うことができる。 一方、 図 18 (a) は図 16に示した関心領域 53を心筋 52の心壁を挟んで 2つ 重畳表示させた画像例であり、 同図 (b) は被検体に造影剤を投与した後、 関心 領域 53内の画素値に基づいて輝度平均差をそれぞれグラフで表した画像例であ る。 グラフの横軸は時間を、 縦軸は輝度平均差を現しており、 輝度平均差の算出 方法は、 時間輝度曲線など公知の方法を用いている。 このグラフを参照すること により、 例えば心筋内の血流量を他の部位の血流量と比較することで相対的に把 握することができるので、 心筋梗塞の発症場所などを的確に把握できる可能性が 高まる。 この場合において、 それらの心臓に係る計測値のグラフと、 ECG波形、 心音波形、などの情報を表示部 2に時間軸を関連させて表示することも好ましい。 これにより、 心機能に対比しながら心筋の血流量を把握することができる。
また、 図 19は、 関心領域の表示態様例を示している。 同図 (a) は楕円形の枠 体で関心領域 53Aを画成した表示態様例である。 この例により、楕円形の関心領 域 53Aに追従して基準点 53aを認識させることができる。 同図 (b) は円形の枠 体で関心領域 53Bを画成した表示態様例である。 この例により、 円形の関心領域 53Bに追従して基準点 53aを認識させることができる。 また同図 (c) は矩形の 枠体で関心領域 53 Cを画成した表示態様例である。 この例により、矩形の関心領 域 53Cに追従して基準点 53aを認識させることができる。 さらに同図 (d) は対 向する 2本の線体により関心領域 53Dを画成した表示態様例である。この例によ り、 対向する 2本の関心領域 53Dに追従して基準点 53aを認識させることがで きる。 これらの関心領域 53A〜53Dは、それぞれ操作卓 3のマウス等からの指令 に基づいて表示部 2に重畳表示させる。 この場合において、 目印の表示態様はこ れらに限られるものではなく、 任意の表示態様を設定することができる。
本発明の実施の形態 4 によれば、診断画像上の関心領域を生体組織に動きに精 度よく追従させることができるので、 生体組織の動きにより生体組織と関心領域 との相対位置が変化することを回避できる。 すなわち、 動きを伴う生体組織を関 心領域内に常に位置させることができので、 その関心領域において計測される計 測情報の信頼性が向上する。
例えば、 心筋内の血流量を観察する場合、 被検体に造影剤を投与した後、 心筋 内に関心領域を設定して、 その関心領域の目印内の画素値から評価指標である輝 度、 輝度平均、 輝度変化等を計測し、 計測した評価指標に基づいて心筋内の血流 量を把握することにより心筋梗塞等の診断を行うことが行われる。 この場合、 本 発明によれば、.関心領域が常に心筋の動きに追従して移動するため確実に関心領 域の目印内の画素値から評価指標である輝度、 輝度平均、 輝度変化等を求めるこ とができ、 評価指標の信頼性を向上させることができる。 その評価指標に基づい て心筋の血流量を定量的に把握することにより、 心筋梗塞の発症場所や症状の程 度などを正確かつ的確に診断できる可能性が高まる。 さらに、 これらの計測情報 を線図で表示部に表示させることにより、 計測情報を視覚的に把握することがで きるため、 容易に診断を行うことが可能となる。
また、 本発明は、 心臓の各部位の動きを計測することに限らず、 生体組織の動 きを観察したい部位であれば、 どのような部位の生体組織にも適用できることは 明らかである。例えば、頸動脈などの大血管壁の脈波計測に適用できる。この場合、 血管壁の長手方向に複数の指定部位を設定し、 それらの指定部位の移動量を定量 的に計測して比較することにより、 動脈硬ィ匕の程度がわかる。
また、 上述の実施の形態は、オフラインで行なう例について説明したが、プロッ クマッチング法の処理に係る速度を向上すれば、 オンラインあるいはリアルタイ ムの動画像にも適用できる。
また、 上述の実施の形態は、 2次元の断層像を例に説明したが、 3次元断層像に も適用できることはいうまでもない。
また、 画像相関法は、 切出し画像と局所画像の対応する画像の一致度を算出す る方法であれば公知の技術を用いることができる。 例えば、 一般に知られている 切出し画像と局所画像の対応する画素ごとに画素値の積を求め、 その絶対値の総 和をもつて相関値とする 2次元相互相関法、切出し画像と局所画像の各画素値の 平均値を画素ごとの画素値から引き、 その積を求め、 その絶対値の総和をもって 相関値とする 2次元正規化相互相関法、 画素ごとに画素値の差の絶対値を求め、 その絶対値の総和をもって相関値とする SAD法、 画素ごとの画素値の差の二乗 値を求め、 その二乗値の総和をもって相関値とする SSD法などを適用できる。 このとき、相関最大である局所画像を選ぶためには 2次元相互相関法と 2次元正 規ィヒ相互相関法では相関値が最大の、 また、 SAD法、 SSD法では相関値が最小 の局所画像を画像の一致度が最も高い局所画像とすればよい。 この相関最大 (相 関値が最大又は最小)である局所画像を選び出すことに画像相関法の特徵がある。 以上述べたように、 本発明によれば、 断層像を用いて組織の動きを定量的に計 測することができる。 また、 組織の動きに関する種々の情報を定量的に計測する ことができる。 さらに組織の動きの軌跡を画像上に表示することができる。

Claims

m 求 の 被検体の断層像を撮像する撮像手段と、複数フレームの前記断層像から なる動画像を記憶する記憶部と、 前記動画像を表示する表示部とを備えた 画像診断装置において、 前記断層像の所望の部位をマークにより指定する 操作部と、 前記所望の部位の画像情報から前記マークを前記動画像の前記 所望の部位上で追跡させる追跡手段とを備えることを特徴とする画像診
2. 前記操作部は、 前記記憶部に格納された前記動画像のーフレーム画像を 前記表示部に表示させる指令と、 該指令に応じて表示された前記一フレー ム画像において動きを追跡したい生体組織の指定部位に前記マークを重 畳表示させる指令とを入力する手段を備えることを特徴とする請求項 1記 前記追跡手段は、 前記表示部に表示された前記ーフレーム画像の前記マ ークの位置に対応する前記指定部位を含むサイズの切出し画像を設定す る切出し画像設定手段と、 前記記憶部から前記動画像の他のフレーム画像 を読み出して、 前記切出し画像と画像の一致度が最も高い同一サイズの局 所画像を抽出する切出し画像追跡手段と、 該一致度が最も高い局所画像と 前記切出し画像の座標差を求める移動量演算手段と、 該座標差に基づ!/ヽて 前記指定部位の移動先座標を求める移動追跡手段とを備えることを特徴 とする請求項 2記載の画像診断装置。
4. 前記切出し画像追跡手段は、 前記切出し画像と前記局所画像の画像デー タの相関処理を行って画像の相関が最も高い局所画像を抽出することを 特徴とする請求項 3に記載の画像診斬装置。
5. 前記記憶部に記憶される前記動画像は超音波撮影法により撮影され、 か つ前記記憶部に前記動画像に対応する RF信号が記憶されてなり、 前記 移動追跡手段は、 前記座標差に基づいて前記指定部位の移動先座標を求め、 該移動先座標の周辺に対応する複数の前記 RF信号を抽出し、 該抽出した 複数の RF信号の相互相関をとり、 該相互相関の最大値の位置に応じて前 記移動先座標を補正することを特徴とする請求項 1に記載の画像診断装置。
6. 前記切出し画像追跡手段は、 前記抽出された局所画像を前記切出し画像 として前記動画像のさらに他のフレーム画像に対して繰り返し実行して 前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を順次 抽出し、 前記移動量演算手段と前記移動追跡手段は、 順次抽出される一致 度が最も高い局所画像と前記切出し画像の座標差を求め、 求めた座標差に 基づいて前記指定部位の移動先座標を求めることを特徴とする請求項 3記 前記切出し画像追跡手段は、 前記切出し画像よりも設定画素数が大きい 領域に設定される検索範囲について、 前記切出し画像と画像の一致度が最 も高い同一サイズの局所画像を抽出する検索を行なうことを特徴とする 請求項 3記載の画像診断装置。
8. 前記追跡手段は、 前記指定部位の移動先座標を記憶しておき、 前記動画 像に重ねて前記マークの移動軌跡を表示することを特徴とする請求項 1乃 至 3のいずれかに記載の画像診断装置。
9. 前記追跡手段は、 前記指定部位の移動先座標を記憶しておき、 該指定部 位の移動量、 移動速度、 移動方向の少なくとも 1つを求めて、 その変化を 線図で前記表示部に表示することを特徴とする請求項 1乃至 3のいずれか に記載の画像診断装置。
10. 前記追跡手段は、前記操作部から入力設定される少なくとも 2つの前記 指定部位の移動先座標を記憶しておき、 該 2つの指定部位の距離と、 その 距離の変化と、 その距離の変化速度と、 その距離の変化率の少なくとも 1 つを算出して、 その線図を前記表示部に表示することを特徴とする請求項 1乃至 3のいずれかに記載の画像診断装置。
11. 前記追跡手段は、 前記操作部から心筋を挟んで入力設定される少なくと も 2つの前記指定部位に基づいて、心筋の厚み、厚み変化、厚み変化速度、 厚み変化率の少なくとも 1つを算出して、 その線図を前記表示部に表示す ることを特徴とする請求項 1乃至 3のいずれかに記載の画像診断装置。
12. 前記追跡手段は、 前記操作部から入力設定される心室の内壁に沿った複 数の前記指定部位の移動先を求め、 該複数の指定部位を結ぶ直線又は該直 線の近似曲線に基づいて心室の容積及び該容積の変化を求めて前記表示 部に表示することを特徴とする請求項 1乃至 3のいずれかに記載の画像診
13. 前記断層像に関心領域を指定する操作部と、 前記関心領域の少なくとも 一部に対応する前記断層像の画像部位を抽出し、 該画像部位の動きを追跡 して前記関心領域の表示位置を移動させる追従手段を備えることを特徴 とする請求項 1記載の画像診断装置。
14. 前記追従手段は、前記関心領域に 1又は複数の基準点を設定し、 該基準 点に対応する 1又は複数の画像部位を抽出して該画像部位の動きを追跡す る追跡手段と、 前記画像部位に対応する前記基準点の動きに合せて前記表 示部に表示される前記関心領域を追従表示させる制御手段とを備えて成 る請求項 13に記載の画像診断装置。
15. 前記移動前の関心領域と、 前記移動後の関心領域の少なくとも一方の領 域内の画素値から前記生体組織に関する情報を計測し、 その計測情報の変 化を線図で前記表示部に表示する計測情報算出部を備えたことを特徴と する請求項 13に記載の画像診断装置。
16. 前記計測情報は、 輝度と、 輝度平均と、 輝度変化の少なくとも 1つであ ることを特徴とする請求項 15に記載の画像診断装置。
17. 前記計測情報算出部は、前記操作部から入力設定される少なくとも 2つ の前記関心領域の移動先座標を記憶しておき、該 2つの関心領域において 輝度、 輝度平均、 輝度変化の少なくとも 1つを算出して、 その線図を前記 表示部に表示することを特徴とする請求項 15乃至 16のいずれかに記載の
18. 被検体の断層像を撮影してなる動画像のーフレーム画像を表示する第 1 ステップと、 該表示された前記一フレーム画像において動きを追跡したい 生体組織の指定部位に、 マークを重畳表示させる指令を入力して前記指定 部位を設定する第 2ステップと、前記指定部位を含むサイズの切出し画像 を前記ーフレーム画像に設定する第 3ステップと、前記動画像の他のフレ ーム画像を検索して前記切出し画像と画像の一致度.が最も高い同一サイ ズの局所画像を抽出する第 4ステップと、該一致度が最も高い局所画像と 前記切出し画像の座標差に基づいて前記指定部位の移動先座標を求める 第 5ステップとを含んでなる生体組織の動き追跡方法。
19. 前記第 4ステツプは、前記切出し画像と前記局所画像の画像データの相 関処理を行って画像の相関が最も高い局所画像を抽出することを特徴と する請求項 18に記載の生体組織の動き追跡方法。
20. 前記動画像を超音波撮影法により撮影し、 かつ該動画像に対応する RF 信号を記憶しておき、 前記第 4ステップは、 前記一致度が最も高い局所画 像と前記切出し画像の座標差に基づいて前記指定部位の移動先座標を求 め、 該移動先座標の周辺に対応する複数の前記 RF信号を抽出し、 該抽出 した複数の RF信号の相互相関をとり、 該相互相関の最大値の位置に応じ て前記移動先座標を捕正することを特徴とする請求項 18に記載の生体組 織の動き追跡方法。
21. 前記抽出された局所画像を前記切出し画像とし、 前記動画像のさらに他 のフレーム画像に対して前記第 4ステップと前記第 5ステツプを繰り返し 実行して、 前記指定部位の移動先座標を順次求めることを特徴とする請求 項 18乃至 20のいずれかに記載の生体組織の動き追跡方法。
22. 前記切出し画像のサイズは、 前記指定部位の生体組織とは異なる生体組 織を含む大きさの領域であることを特徴とする請求項 18乃至 20のいずれ かに記載の生体組織の動き追跡方法。
23. 前記第 4ステップにおいて、前記切出し画像と画像の一致度が最も高い 同一サイズの局所画像を抽出する検索範囲は、 前記切出し画像よりも設定 画素数大きレ、領域に設定されることを特徴とする請求項 18乃至 20のいず れかに記載の生体組織の動き追跡方法。
24. 前記指定部位の移動先に前記動画像に重ねて前記マークを表示するこ とを特徴とする請求項 18乃至 20のいずれかに記載の生体組織の動き追跡 方法。
25. 前記指定部位の移動先座標を實己憶しておき、 前記動画像に重ねて前記マ 2
ークの移動軌跡を表示することを特徴とする請求項 24に記載の生体組織 の動き追跡方法。
26. 前記指定部位の移動先座標を記憶しておき、 該指定部位の移動量、 移動 速度、移動方向の少なくとも 1つを求める第 6ステップを含むことを特徴 とする請求項 18乃至 20のいずれかに記載の生体組織の動き追跡方法。
27. 前記指定部位の移動量、 移動速度、 移動方向の少なくとも 1つの変化を 線図で表示することを特徴とする請求項 26に記載の生体組織の動き追跡 方法。
28. 前記指定部位を心筋の心壁に複数設定し、 各指定部位の移動方向を求め、 移動方向の基準点を重心とし該重心に向かう方向とその反対方向の色を 代えて、 その時間変化を画像表示することを特徴とする請求項 18乃至 20 のいずれかに記載の生体組織の動き追跡方法。
29. 前記移動速度に応じて輝度変調をかけることを特徴とする請求項 27に 記載の生体組織の動き追跡方法。
30. 前記指定部位を少なくとも 2つ設定し、該 2つの指定部位の移動先座標 を記憶しておき、 該 2つの指定部位の距離と、 その距離の変化と、 その距 離の変化速度と、その距離の変化率の少なくとも 1つを算出する第 6ステ ップを含むことを特徴とする請求項 18乃至 20のいずれかに記載の生体組 織の動き追跡方法。
31. 前記指定部位を心筋を挟んで少なくとも 2つ設定し、 心筋の厚み、 厚み 変化、 厚み変化速度、厚み変化率の少なくとも 1つを算出する第 6ステツ プを含むことを特徴とする請求項 18乃至 20のいずれかに記載の生体組織 の動き追跡方法。
32. 前記指定部位を心室の内壁に沿って複数し、 該複数の指定部位を結ぶ直 線又は該直線の近似曲線に基づいて心室の容積及び該容積の変化を求め ることを特徴とする請求項 18乃至 20のいずれかに記載の生体組織の動き 追跡方法。
33. 第 2ステップには、該表示された前記ーフレーム画像の生体組織に関心 領域を規定するマークを重ねて表示させる指令を入力することと、第 3ス テツプには、 前記関心領域に対応させて基準点を定め、 該基準点を含むサ ィズの切出し画像を前記ーフレーム画像に設定することと、第 5ステップ には、 該記憶された前記基準点の移動先座標に基づいて前記関心領域を規 定する前記マークの移動先座標を求めて前記動画像の他のフレーム画像 に重ねて表示することとを含むことを特徴とする請求項 18記載の生体組 織の動き追跡方法。
34. 前記追跡手段は、前記動画像のーフレーム画像と前記ーフレーム画像に 隣接するフレーム画像との間で前記画像情報の相関をとる相関手段を備 え、 該相関値から前記隣接するフレーム画像の前記所望の部位に対応する 前記マークの位置情報を得ることを特徴とする請求項 1記載の画像診断装
PCT/JP2003/011701 2002-09-12 2003-09-12 生体組織の動き追跡方法、その追跡方法を用いた画像診断装置 WO2004024003A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03795425.2A EP1543773B1 (en) 2002-09-12 2003-09-12 Biological tissue motion trace method and image diagnosis device using the trace method
US10/527,744 US8167802B2 (en) 2002-09-12 2003-09-12 Biological tissue motion trace method and image diagnosis device using the trace method
CNB038213168A CN100393283C (zh) 2002-09-12 2003-09-12 生物体组织动状态跟踪方法、使用该方法的图像诊断装置

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2002-266864 2002-09-12
JP2002266864 2002-09-12
JP2002267071 2002-09-12
JP2002-267071 2002-09-12
JP2003311409A JP4389081B2 (ja) 2002-09-12 2003-09-03 関心領域の追従制御方法、その方法を用いた画像診断装置及び関心領域の追従制御プラグラム
JP2003-311291 2003-09-03
JP2003311291A JP4596759B2 (ja) 2002-09-12 2003-09-03 画像診断装置、及び画像診断装置の作動方法
JP2003-311409 2003-09-03

Publications (1)

Publication Number Publication Date
WO2004024003A1 true WO2004024003A1 (ja) 2004-03-25

Family

ID=31999413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/011701 WO2004024003A1 (ja) 2002-09-12 2003-09-12 生体組織の動き追跡方法、その追跡方法を用いた画像診断装置

Country Status (4)

Country Link
US (1) US8167802B2 (ja)
EP (1) EP1543773B1 (ja)
CN (1) CN100393283C (ja)
WO (1) WO2004024003A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032202B2 (en) * 2003-04-04 2011-10-04 Hitachi Medical Corporation Function image display method and device
JP2013236973A (ja) * 2013-09-04 2013-11-28 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907764B2 (en) * 2004-08-09 2011-03-15 Hirochika Matsuoka Apparatus, program and method for motion analysis in internal body
JP5270159B2 (ja) * 2005-07-27 2013-08-21 株式会社日立メディコ 画像診断装置
DE102006019692A1 (de) * 2006-04-27 2007-11-08 Siemens Ag Verfahren zur Bestimmung eines optimalen Triggerzeitpunktes und Vorrichtung zur EKG-getriggerten Aufnahme eines Objekts
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
JP5192846B2 (ja) * 2008-02-25 2013-05-08 オリンパスメディカルシステムズ株式会社 生体観測装置及び生体観測装置の作動方法
JP5523791B2 (ja) * 2008-10-27 2014-06-18 株式会社東芝 X線診断装置および画像処理装置
US8538103B2 (en) * 2009-02-10 2013-09-17 Hitachi Medical Corporation Medical image processing device, medical image processing method, medical image diagnostic apparatus, operation method of medical image diagnostic apparatus, and medical image display method
WO2010117052A1 (ja) 2009-04-10 2010-10-14 株式会社ニコン 生体試料観察装置
JP5209026B2 (ja) * 2010-10-27 2013-06-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP5294340B2 (ja) 2010-10-27 2013-09-18 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP5652227B2 (ja) * 2011-01-25 2015-01-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
CN103906473B (zh) * 2011-10-28 2016-01-06 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法
JP6073562B2 (ja) * 2012-02-24 2017-02-01 東芝メディカルシステムズ株式会社 医用画像処理装置
WO2013153857A1 (ja) * 2012-04-13 2013-10-17 日立アロカメディカル株式会社 超音波診断装置及び軌跡表示方法
EP3072445B1 (en) * 2012-05-25 2023-07-19 Danmarks Tekniske Universitet Apparatus and method for motion tracking in brain imaging
CN104334086B (zh) * 2012-06-07 2017-03-08 株式会社日立制作所 关心区域设定方法及超声波诊断装置
CN103027713A (zh) * 2012-12-22 2013-04-10 中国科学院深圳先进技术研究院 基于超声图像的肌肉厚度测量方法和***
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪***
WO2015030091A1 (ja) * 2013-09-02 2015-03-05 株式会社 日立メディコ X線撮影装置およびx線透視画像表示方法
US9230366B1 (en) * 2013-12-20 2016-01-05 Google Inc. Identification of dynamic objects based on depth data
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
WO2015177845A1 (ja) * 2014-05-19 2015-11-26 株式会社島津製作所 画像処理装置
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
JP5918325B2 (ja) * 2014-09-11 2016-05-18 日立アロカメディカル株式会社 超音波診断装置
DE112014007064T5 (de) * 2014-10-17 2017-06-29 Synaptive Medical (Barbados) Inc. System und Verfahren für die Konnektivitätszuordnung
CN105796053B (zh) * 2015-02-15 2018-11-20 执鼎医疗科技(杭州)有限公司 利用oct测量动态对比度和估计横向流量的方法
CN110063737B (zh) * 2015-03-03 2023-08-01 东芝医疗***株式会社 医学图像处理装置和方法、医学图像诊断装置
JP6501647B2 (ja) * 2015-06-23 2019-04-17 キヤノン株式会社 画像処理装置及びその制御方法、並びに、プログラム
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP6720756B2 (ja) 2015-10-08 2020-07-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
EP3380007A4 (en) 2015-11-23 2019-09-04 Kineticor, Inc. SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN
US20180049720A1 (en) * 2016-08-17 2018-02-22 Carestream Health, Inc. Ultrasound beamforming system and method
DE102016117889B3 (de) * 2016-09-22 2018-03-15 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Korrektur von durch Tracking-Verfahren ermittelten dynamischen Modellen
JP6812815B2 (ja) * 2017-01-31 2021-01-13 株式会社島津製作所 X線撮影装置およびx線画像解析方法
JP7024954B2 (ja) * 2017-04-12 2022-02-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びx線ct装置
EP3841983B1 (en) * 2018-08-22 2024-01-10 Furuno Electric Co., Ltd. Ultrasonic analysis device, ultrasonic analysis method, and ultrasonic analysis program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08624A (ja) * 1994-06-24 1996-01-09 Hitachi Medical Corp 超音波診断装置
JPH0884729A (ja) * 1994-07-22 1996-04-02 Toshiba Corp 超音波診断装置
JPH08117236A (ja) * 1994-10-21 1996-05-14 Aloka Co Ltd 超音波診断装置
JPH09122122A (ja) * 1995-10-31 1997-05-13 Aloka Co Ltd 超音波診断装置
JPH10262970A (ja) * 1998-03-16 1998-10-06 Toshiba Corp 超音波カラードプラ断層装置
JP2001286474A (ja) * 2000-02-14 2001-10-16 Siemens Medical Syst Inc 対象物パラメータの動的測定

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
US5680862A (en) * 1995-02-01 1997-10-28 The Board Of Trustees Of The Leland Stanford Junior University Iterative method of determining trajectory of a moving region in a moving material using velocity measurements in a fixed frame of reference
US5538004A (en) * 1995-02-28 1996-07-23 Hewlett-Packard Company Method and apparatus for tissue-centered scan conversion in an ultrasound imaging system
US5575286A (en) * 1995-03-31 1996-11-19 Siemens Medical Systems, Inc. Method and apparatus for generating large compound ultrasound image
US5782766A (en) * 1995-03-31 1998-07-21 Siemens Medical Systems, Inc. Method and apparatus for generating and displaying panoramic ultrasound images
US5503153A (en) * 1995-06-30 1996-04-02 Siemens Medical Systems, Inc. Noise suppression method utilizing motion compensation for ultrasound images
US5873830A (en) * 1997-08-22 1999-02-23 Acuson Corporation Ultrasound imaging system and method for improving resolution and operation
US6012458A (en) * 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
US6193660B1 (en) * 1999-03-31 2001-02-27 Acuson Corporation Medical diagnostic ultrasound system and method for region of interest determination
US6368277B1 (en) * 2000-04-05 2002-04-09 Siemens Medical Solutions Usa, Inc. Dynamic measurement of parameters within a sequence of images
US7819003B2 (en) * 2002-06-11 2010-10-26 Intelligent Technologies International, Inc. Remote monitoring of fluid storage tanks
US6863655B2 (en) * 2001-06-12 2005-03-08 Ge Medical Systems Global Technology Company, Llc Ultrasound display of tissue, tracking and tagging
US6638221B2 (en) * 2001-09-21 2003-10-28 Kabushiki Kaisha Toshiba Ultrasound diagnostic apparatus, and image processing method
JP4060615B2 (ja) * 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US20060025689A1 (en) * 2002-06-07 2006-02-02 Vikram Chalana System and method to measure cardiac ejection fraction
US7520857B2 (en) * 2002-06-07 2009-04-21 Verathon Inc. 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
US7356172B2 (en) * 2002-09-26 2008-04-08 Siemens Medical Solutions Usa, Inc. Methods and systems for motion tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08624A (ja) * 1994-06-24 1996-01-09 Hitachi Medical Corp 超音波診断装置
JPH0884729A (ja) * 1994-07-22 1996-04-02 Toshiba Corp 超音波診断装置
JPH08117236A (ja) * 1994-10-21 1996-05-14 Aloka Co Ltd 超音波診断装置
JPH09122122A (ja) * 1995-10-31 1997-05-13 Aloka Co Ltd 超音波診断装置
JPH10262970A (ja) * 1998-03-16 1998-10-06 Toshiba Corp 超音波カラードプラ断層装置
JP2001286474A (ja) * 2000-02-14 2001-10-16 Siemens Medical Syst Inc 対象物パラメータの動的測定

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIKIO UMEHARA ET AL.: "Shin echo-zu ni okeru kyokusho shinkinheki 2 jigen undo no tsuiseki", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEER D-2, vol. 79, no. 2, 25 February 1996 (1996-02-25), pages 286 - 294, XP002977475 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032202B2 (en) * 2003-04-04 2011-10-04 Hitachi Medical Corporation Function image display method and device
JP2013236973A (ja) * 2013-09-04 2013-11-28 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Also Published As

Publication number Publication date
US20060173292A1 (en) 2006-08-03
EP1543773A1 (en) 2005-06-22
EP1543773B1 (en) 2013-12-04
US8167802B2 (en) 2012-05-01
CN1681439A (zh) 2005-10-12
EP1543773A4 (en) 2008-11-19
CN100393283C (zh) 2008-06-11

Similar Documents

Publication Publication Date Title
WO2004024003A1 (ja) 生体組織の動き追跡方法、その追跡方法を用いた画像診断装置
JP4389081B2 (ja) 関心領域の追従制御方法、その方法を用いた画像診断装置及び関心領域の追従制御プラグラム
JP4596759B2 (ja) 画像診断装置、及び画像診断装置の作動方法
US8526696B2 (en) Medical imaging apparatus, medical image processing apparatus, ultrasonic imaging apparatus, ultrasonic image processing apparatus and method of processing medical images
JP4489770B2 (ja) 動く臓器を描出した画像シリーズ内の最適画像を識別する方法及びシステム
JP4594610B2 (ja) 超音波画像処理装置及び超音波診断装置
JP2005296658A (ja) 生体組織構造を検出するための方法と装置
JPH09313485A (ja) 超音波ドプラ診断装置および超音波ドプラ診断の方法
JP5215036B2 (ja) 医用画像処理装置、及び医用画像処理プログラム
JP4321121B2 (ja) 診断画像における生体組織の動きの追跡方法及びその方法を用いた画像診断装置
JP3844799B2 (ja) 超音波診断装置、超音波診断用のデータ処理方法、及びプログラム
JP4758736B2 (ja) 超音波診断装置
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
JP4359749B2 (ja) 生体組織の運動表示方法及び画像診断装置
JP5100084B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
US8224047B2 (en) System and method for measuring left ventricular torsion
JP4503238B2 (ja) 生体組織の運動表示方法及び画像診断装置
JP4847684B2 (ja) 画像診断装置
JP2005087594A (ja) 画像診断装置
RU2695475C2 (ru) Оценка инфаркта миокарда с помощью ультразвуковой визуализации деформаций в режиме реального времени
JP4758578B2 (ja) 心臓壁運動評価装置
JP5508035B2 (ja) 画像診断装置
US20100135548A1 (en) Medical Imaging System
JP4492107B2 (ja) 画像診断装置
JP4352212B2 (ja) 生体組織の動き追跡表示方法及び画像診断装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003795425

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038213168

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2003795425

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006173292

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10527744

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10527744

Country of ref document: US