WO2019073681A1 - 放射線撮像装置、画像処理方法及び画像処理プログラム - Google Patents
放射線撮像装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- WO2019073681A1 WO2019073681A1 PCT/JP2018/029762 JP2018029762W WO2019073681A1 WO 2019073681 A1 WO2019073681 A1 WO 2019073681A1 JP 2018029762 W JP2018029762 W JP 2018029762W WO 2019073681 A1 WO2019073681 A1 WO 2019073681A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- dimensional
- image
- unit
- deformation
- captured
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 95
- 230000005855 radiation Effects 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 71
- 238000012937 correction Methods 0.000 claims abstract description 56
- 210000003484 anatomy Anatomy 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 22
- 238000003780 insertion Methods 0.000 description 15
- 230000037431 insertion Effects 0.000 description 15
- 230000003902 lesion Effects 0.000 description 13
- 210000000621 bronchi Anatomy 0.000 description 10
- 230000029058 respiratory gaseous exchange Effects 0.000 description 9
- 210000004872 soft tissue Anatomy 0.000 description 6
- 238000001574 biopsy Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 210000003437 trachea Anatomy 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/022—Stereoscopic imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
- A61B6/527—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion using data from a motion artifact sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Definitions
- the present invention relates to a radiation imaging apparatus, an image processing method, and an image processing program, and in particular, a radiation imaging apparatus, an image processing method, and an image that acquire a projection image when performing a test or treatment by inserting a treatment tool into a subject. It relates to a processing program.
- a radiation imaging apparatus (X-ray source and a two-dimensional X-ray detector facing each other) for acquiring a still image or a moving image of the subject while fixing or moving the X-ray source and the two-dimensional X-ray detector
- X-ray imaging apparatus Only "X-ray imaging apparatus" is known.
- a technique using a projection X-ray image obtained by an X-ray imaging apparatus when an instrument such as an endoscope or a catheter is inserted into the body for examination and treatment This technique has the advantage that inspection or treatment can be performed while confirming the position and orientation of the device in real time on the projection X-ray image.
- this projection X-ray image is also used in an examination for performing a definitive diagnosis of lung cancer, that is, when performing a so-called "biopsy" in which a specimen is collected using a bronchoscope.
- a guide sheath is inserted under bronchoscopy toward the lung peripheral part.
- a guide sheath is guided and indwelled in the lung peripheral lesion area while confirming the position and orientation of the device with reference to the projection X-ray image.
- a specimen is collected by allowing a biopsy forceps or cytology brush to reach the lesion through a sheath.
- a biopsy using such a projection X-ray image it is necessary to collect a sample from a lesion, and for this reason, the operator needs to grasp the positional relationship between the lesion and the treatment instrument with high accuracy. There is.
- the operator can grasp the position of a treatment tool such as a biopsy forceps or a cytology brush in the projection X-ray image
- the position in the projection direction Can not accurately grasp. That is, when considering the axis connecting the X-ray tube of the X-ray imaging apparatus and the detector (center), the operator can easily recognize the position and orientation of the treatment tool in the direction perpendicular to the axis in the projection X-ray image can do.
- it is difficult to accurately recognize the position of the treatment tool since the position and the direction of the treatment tool in the direction parallel to the axis (hereinafter referred to as the depth direction) coincide with the depth direction and the projection direction. That is, even if the lesion and the treatment tool appear to overlap (depicted on the image) on the projection X-ray image, the treatment does not necessarily reach the lesion.
- the projection X-ray image images the difference in the amount of absorption of the internal material through which the X-ray passes, in general, a bone or the like having a high amount of absorption is easily depicted on the image and the amount of absorption is low.
- Soft tissue and the like are hard to be drawn on an image. That is, in the projection X-ray image, bones and the like have high contrast, but soft tissues including tumors and the like have low contrast and identification is not easy.
- a type of cancer called Ground Glass Opacity (GGO) is difficult to recognize on projection X-ray images.
- the blood vessels and bronchial tubes passing through the treatment tool are also difficult to recognize on the projection X-ray image for the same reason.
- the lesion on the X-ray image has low visibility in the first place, and furthermore, it is difficult to grasp the positional relationship between the lesion and the treatment tool, or the blood vessel or bronchus and the treatment tool.
- Patent Document 1 In order to improve the visibility in the image of each treatment tool, for example, according to Patent Document 1, a stereoscopic image based on a three-dimensional image is superimposed on the projection X-ray image acquired by the X-ray imaging apparatus to position the object Medical X-ray devices have been proposed to display. More specifically, in the medical X-ray apparatus of Patent Document 1, the three-dimensional position of the treatment tool is detected and detected using the three-dimensional image captured in advance and the X-ray image acquired during the examination. The movement of the subject is regarded as a constant shift relative to the three-dimensional position, and the position of the treatment instrument is detected by correcting the three-dimensional position of the treatment instrument.
- Patent No. 5787030 gazette
- movements such as body movements of the subject become a problem.
- the body movement of the subject includes, for example, respiratory movement in the lungs and beating around the heart.
- the inside of the lung has a complex structure such as trachea, bronchi, alveoli and the like and is a soft tissue, complex movements resulting from the insertion of a lesion, a blood vessel, and a treatment tool occur. Therefore, it is necessary to grasp the three-dimensional position in view of these complicated movements.
- the deformation due to the insertion of the treatment tool described above is considered to be different from the bronchus shape of the three-dimensional image captured in advance, and there is a possibility that the three-dimensional position of the treatment tool recognized from the projection X-ray image may deviate Because of this, it is difficult to grasp the exact position of the treatment tool only by correcting the shift due to the movement due to the respiration.
- the present invention has been made in view of the above-mentioned circumstances, and an object thereof is to accurately detect a three-dimensional position of a treatment tool and display it on an image with high accuracy.
- the present invention provides the following means.
- the present invention relates to an imaging unit configured to capture a plurality of two-dimensional captured images having different imaging angles by moving the position of a radiation source and a detector, and an image acquisition unit configured to acquire a three-dimensional image of the processing object captured in advance. And calculation of the two-dimensional image from the three-dimensional image based on the three-dimensional image and the positions of the radiation source and the detector that captured the two-dimensional image, corresponding to the respective two-dimensional image.
- a calculation projection image generation unit for generating a projection image, a characteristic part extraction unit for extracting a characteristic part indicating the treatment tool depicted in each of the two-dimensional pickup images, each of the two-dimensional pickup images, and the two-dimensional image
- the image alignment unit for aligning the corresponding calculated projection image, the two-dimensional captured image, and the calculated projection image corresponding to the two-dimensional image are compared with each other in the two-dimensional captured image Processing target
- a deformation amount calculation / correction unit that calculates the amount and corrects the position of the characteristic portion based on the deformation amount, the position of the characteristic portion corrected in each of the two-dimensional pickup images, and the two-dimensional pickup image
- the three-dimensional position calculation unit which calculates the three-dimensional position of the characteristic part from each position of the radiation source and the detector taken, and the anatomical structure information of the processing object acquired from the three-dimensional image
- An anatomic structure position correction unit that corrects a three-dimensional position of the characteristic portion, and the three-dimensional position of the characteristic portion corrected by
- the three-dimensional position of the treatment tool can be accurately detected and displayed on the image with high accuracy.
- FIG. 1 is a block diagram showing a schematic configuration of an X-ray imaging apparatus according to an embodiment of the present invention.
- an X-ray imaging device concerning an embodiment of the present invention, it is an explanatory view showing an example of a simulated body type in which a three-dimensional image, an X-ray source, and a detector are simulated and arranged.
- the X-ray imaging apparatus which concerns on embodiment of this invention WHEREIN: It is a reference view which shows an example of the X-ray radiographed image image
- FIG. 3 is a block diagram showing a schematic configuration of a deformation amount calculation / correction unit of the X-ray imaging apparatus according to the embodiment of the present invention.
- FIG. 8 is an explanatory diagram for explaining an example of processing for correcting a three-dimensional position of a treatment tool based on anatomical structure information, in the X-ray imaging apparatus according to the embodiment of the present invention.
- the X-ray imaging apparatus which concerns on embodiment of this invention WHEREIN:
- the position of the detected treatment tool is superimposed on a three-dimensional image, and it is a reference view which shows an example of a display screen at the time of displaying the superimposed image.
- It is a flowchart which shows the flow of the process which concerns on the display of the image which drew three-dimensional position, such as a treatment tool in the X-ray imaging device which concerns on embodiment of this invention.
- a radiation imaging apparatus includes an imaging unit configured to capture a plurality of two-dimensional captured images having different imaging angles by moving the positions of a radiation source and a detector, and a three-dimensional object to be processed in advance. From a three-dimensional image to a two-dimensional image based on an image, an image acquisition unit to acquire, and respective positions of a radiation source and a detector that captured the three-dimensional image and the two-dimensional captured image corresponding to each two-dimensional captured image.
- a calculation projection image generation unit that generates a calculation projection image
- a feature part extraction unit that extracts a feature part indicating a treatment tool depicted in each two-dimensional pickup image, each two-dimensional pickup image, and a two-dimensional image
- the amount of deformation of the processing target in the two-dimensional captured image is calculated by comparing the image alignment unit for aligning each calculated projection image, each two-dimensional captured image, and each calculated projection image corresponding to the two-dimensional image , Based on the amount of deformation
- the deformation amount calculation / correction unit that corrects the position of the characteristic portion, the position of the characteristic portion corrected in each two-dimensional pickup image, and the positions of the radiation source and detector that captured the two-dimensional pickup image
- a three-dimensional position calculation unit that calculates a three-dimensional position
- an anatomic structure position correction unit that corrects a three-dimensional position of the characteristic portion based on the anatomical structure information of the processing target acquired from the three-dimensional image;
- a radiation imaging apparatus is applied to an X-ray imaging apparatus
- an X-ray imaging apparatus according to the present embodiment will be described with reference to the drawings.
- the X-ray imaging apparatus according to the present embodiment is an example of a radiation imaging apparatus, and can also be applied to a radiation imaging apparatus that acquires an image other than X-rays.
- the X-ray imaging apparatus 101 is connected to the medical image server 110 directly or via a wired or wireless network or can communicate with each other.
- the medical image server 110 stores various medical images such as, for example, a CT image, an MRI image, a PET image, or an ultrasound image. Communication and storage of these images and information via a network can be realized, for example, by using the DICOM format generally used in the medical field.
- the medical image server 110 is also connected to an external image processing system 111, stores images and information that are results of processing by the image processing system 111, and outputs the stored images and information to the X-ray imaging apparatus 101. can do.
- the X-ray imaging apparatus 101 includes an X-ray source 102, a detector 103, an apparatus control unit 104, a display unit 107, a storage unit 108, and a data processing unit 109.
- the detector 103 detects X-rays emitted from the X-ray source 102 and transmitted through the subject.
- the apparatus control unit 104 includes a drive unit 105 for driving the X-ray source 102 and the detector 103, and a data collection unit 106 for collecting data detected by the detector 103.
- the display unit 107 displays the results collected by the data collection unit 106 and processed by the data processing unit 109.
- the storage unit 108 stores various data collected by the data collection unit 106, results processed by the data processing unit 109, and the like.
- the data processing unit 109 includes a three-dimensional image acquisition unit 112, a calculation projection image creation unit 113, an image alignment unit 114, a feature part extraction unit 115, a deformation amount calculation / correction unit 116, a three-dimensional position calculation unit 117, an anatomical structure position.
- a correction unit 118 and a mapping unit 119 are provided.
- the three-dimensional image acquisition unit 112 acquires a predetermined three-dimensional image from the medical image server 110 and acquires anatomical structure information.
- a three-dimensional image for example, an image used in advance for diagnosis of a lesion, planning of a route for inserting a treatment tool to the lesion, and the like is applied.
- a CT image, an MRI image, a PET image or the like can be used as a three-dimensional image, and in addition to this, a three-dimensional image suitable for diagnosis and examination of a lesion can be applied.
- the anatomical structure information is information indicating the structure of an organ or the like in the subject, and there is, for example, a bronchial structure such as a bronchial tree. This is information obtained from a three-dimensional image.
- the calculation projection image creation unit 113 generates a two-dimensional calculation projection image based on the three-dimensional image acquired by the three-dimensional image acquisition unit 112. More specifically, the calculation projection image generation unit 113 calculates a two-dimensional calculation projection image based on the positions of the X-ray source 102 and the detector 103 using the three-dimensional image acquired by the three-dimensional image acquisition unit 112 Do.
- the calculated projection image is a spatial arrangement of the X-ray source 102 and the detector 103 in the X-ray imaging apparatus 101, and a three-dimensional image acquired by the three-dimensional image acquisition unit 112 as shown in FIG.
- the simulated X-ray source (101) projects simulated X-rays (rays) from the X-ray source 101 to the detector 102, and calculates the detection image (eg, passing distance, pixel value, etc.) by the Image).
- the calculated projection image is also called, for example, a DRR (Digital Reconstructed Radiograph) image.
- the three-dimensional position of the X-ray source 102 and the detector 103 when the X-ray image is acquired can be grasped from the configuration of the X-ray imaging apparatus, and the imaging angle of the X-ray image is also known. Therefore, the calculated projection image is calculated from the X-ray source 102, the detector 103 and their rotational angles in an arrangement simulating their respective positional relationships, in consideration of the alignment described later. For example, the calculated projection image is calculated as a value obtained by adding the pixel values of the image as a three-dimensional image in the ray direction, using the ray tracing method as described above. Further, the calculated projection image is calculated at each angle at which the X-ray image is acquired.
- the image alignment unit 114 first aligns the X-ray imaging image and the calculated projection image. That is, the image alignment unit 114 aligns the two-dimensional X-ray imaging image acquired by the X-ray imaging apparatus 101 with the calculation projection image generated by the calculation projection image generation unit 113 (see FIG. 2).
- the image alignment unit 114 moves and rotates the calculated projection image to determine the degree of similarity (for example, mutual information amount) between the calculated projection image and the X-ray image.
- the movement / rotation parameter which is calculated and whose value indicating the similarity is maximum or minimum is determined as a rigid body registration parameter.
- movement / rotation parameters corresponding to reference parts in the image can be calculated and used as rigid body registration parameters.
- the image alignment unit 114 uses, as a rigid body alignment parameter for alignment, for example, translation of three degrees of freedom and an imaging direction from alignment of a calculated projection image created from a three-dimensional image and an X-ray image. Calculate 2 degrees of rotation (in-plane rotation) as an axis. Using the calculated parameters, the X-ray imaging image and the calculated projection image are aligned.
- the calculated projection image can be obtained from the three-dimensional image described above, and the X-ray image and the registration method can be performed by other methods.
- the three-dimensional image is moved and rotated to create a calculated projection image, and the comparison of pixel values between the calculated projection image and the X-ray image is repeated to search for a parameter that maximizes or minimizes the similarity.
- a total of six degrees of freedom can be calculated: three degrees of translation (orthogonal axes) and three degrees of rotation around each orthogonal axis.
- any registration method may be used, and various techniques can be applied.
- the alignment is so-called rigid alignment in which three parameters of movement and rotation are aligned in a three-dimensional image, and therefore, it is mainly suitable for alignment of rigid regions such as bones.
- the characteristic part extraction unit 115 extracts one or more characteristic regions indicating a treatment tool or the like in the X-ray image as a characteristic part.
- a marker provided on the treatment tool, a region indicating the tip of the treatment tool, or the like can be used.
- FIG. 3 shows an example of an X-ray image taken in a state in which a treatment tool is inserted into a subject. Since the treatment tool is a high X-ray absorption region, as shown in FIG. 3, the X-ray image has a high contrast as compared with the human body structure. By extracting the high contrast area based on the difference in contrast between the area indicating the human body structure on the X-ray image and the area indicating the treatment tool, for example, the forceps tip that is the treatment tool is used as a feature site To detect.
- the marker provided on the guide sheath is depicted as an area showing luminance different from that of the human body structure or the guide sheath main body in the X-ray imaging image. It can be extracted as a feature site.
- the deformation amount calculation / correction unit 116 calculates the deformation amount of the subject from the X-ray imaging image and the calculated projection image, and corrects the position of the feature part extracted by the feature part extraction unit 115 in the imaging plane.
- the X-ray imaging image acquired by the X-ray imaging apparatus and the three-dimensional image captured in advance are different from the apparatus captured and, of course, are not usually captured at the same time. Different posture, environment, etc.
- deformation due to the above-mentioned body movement may be included between two or more images at different imaging times. There are many.
- the soft tissue region in the body is generally softer than the treatment tool, so the insertion may cause deformation of the tissue in the body. These deformations hardly occur in hard regions such as bone, so-called rigid regions, but tend to occur in soft regions such as soft tissue regions.
- the treatment instrument or the like is inserted into the tubular tissue, it is also affected by the movement as well as the soft tissue. Therefore, when the treatment tool is inserted into the body, the X-ray image and the X-ray image may include deformation due to the treatment tool.
- the deformation that occurs in the subject can be roughly divided into, for example, two types: deformation caused by body movement such as heart movement and respiration, and deformation caused by the treatment instrument being inserted into the body. Therefore, the deformation amount calculation / correction unit 116 corrects these two types of deformation as necessary.
- the deformation amount calculation / correction unit 116 corrects such deformation, as shown in FIG. 4, the deformation amount calculation / correction unit 116 includes a non-rigid body deformation unit 501, an image comparison unit 502, and a deformation parameter calculation unit. An imaging in-plane position correction unit 504 and a simulated structure addition unit 505 are provided.
- the non-rigid deformation unit 501 non-rigidly deforms the X-ray image. More specifically, the non-rigid deformation section 501 first sets a grid-like mesh on the X-ray image as shown in FIG. 5, and each grid-like point is along a smooth curve such as a spline function, for example. Assuming that it moves, it moves each point in a grid. Then, the non-rigid deformation unit 501 performs non-rigid deformation by converting pixels according to the movement of each point in a lattice shape. The selection of one or more lattice points to be moved, the amount of movement, and the direction of movement can be appropriately determined in advance.
- the image comparison unit 502 compares the X-ray radiographed image non-rigidly transformed by the non-rigid body deformation unit 501 with the calculated projection image, and calculates the degree of similarity between the two.
- the degree of similarity eg, mutual information, etc.
- the deformation parameter calculation unit 503 calculates, as a non-rigid deformation parameter, a parameter with which the value indicating the similarity is the largest (or the difference is the smallest) among the similarity calculated by the image comparison unit 502.
- the imaging in-plane position correction unit 504 calculates a deformation movement amount indicating how much the position on the two-dimensional image of the feature portion has moved based on the non-rigid body deformation parameter, and the in-plane feature portion of the X-ray image Correct the position of.
- the movement amount vector calculated as the deformation movement amount can be obtained from the position of the feature part before the non-rigid body alignment and the position of the feature part after the non-rigid body alignment. It is also possible to calculate a vector connecting the position before alignment and the position after alignment.
- the pseudo structure addition unit 505 together with the three-dimensional image acquired by the three-dimensional image acquisition unit 112, a shape based on the internal structure of the subject calculated in advance by the image processing system 111 and stored in the medical data server 110;
- the bronchial region and the insertion route of the treatment tool are obtained, and as shown in FIG. 6, the obtained treatment tool route is added as a pseudo structure.
- Treatment tool routes along trachea and bronchi can be generated and stored as data of point set and line set. Therefore, the route of the treatment tool can be easily acquired by storing such data in advance in the storage device such as the medical image server 110 or the like.
- the pseudo structure addition unit 505 adds the information on the treatment tool route to the three-dimensional image as a simulation structure, and superimposes the information, thereby comparing the projection image with the X-ray projection image. And the position of the actual feature (position of the treatment tool) can be compared. Thereby, it is possible to grasp from the displacement of the simulated structure and the position of the characteristic portion whether or not the subject is deformed due to the insertion of the treatment tool.
- the three-dimensional position calculation unit 117 calculates the three-dimensional position of the characteristic site based on the position of the X-ray source and the position of the characteristic site identified in the X-ray image. Specifically, for example, the position of the treatment tool tip position as the characteristic portion extracted in the X-ray image and the position of the detector 103 corresponding to the treatment tool tip position are obtained. The three-dimensional position of the corresponding detector 103 is obtained from the device configuration of the detector 103 on the X-ray imaging device 101.
- the treatment tool tip position on the X-ray image is projected from the X-ray source toward the detector 103, so the straight line connecting the X-ray source and the treatment tool tip on the X-ray image
- the treatment tool tip is located at the three-dimensional position of.
- the three-dimensional position calculation unit 113 can calculate, for example, three-dimensional positions (D1 and D2 in FIG. 7) on the detector 103 (on the X-ray image) of the extracted forceps tip position.
- the three-dimensional position calculation unit 117 calculates the three-dimensional position of the detector 103 (on the X-ray image) and the three-dimensional position of the X-ray source. Calculate a straight line connecting two points from. Since the three-dimensional position of the X-ray source 102 can be obtained from the apparatus configuration of the X-ray source 102 in the X-ray imaging apparatus 101, for example, on the detector 103 of the forceps tip position as a characteristic part From the three-dimensional position of (above) and the three-dimensional position of the X-ray source 102, a straight line connecting the two points can be calculated.
- the three-dimensional position calculation unit 117 may set, for example, the three-dimensional position of the X-ray source and the position of a characteristic portion such as a forceps tip or a guide sheath marker for X-ray images captured at two different angles. Two straight lines connecting the three-dimensional position on the detector 103 (on the X-ray image) are obtained for each feature.
- the three-dimensional position calculation unit 117 calculates the three-dimensional position of the feature portion indicating the treatment tool from the positional relationship between the two straight lines calculated for each feature portion of the treatment tool in a plurality of X-ray imaging images captured at different angles Do.
- a straight line L2 connecting the three-dimensional position D2 of the characteristic portion in 2 is a projection of the characteristic portion such as the same forceps tip.
- the point Q1 on the straight line S1-D1 where the distance between the two straight lines is closest to one another and the point Q2 on the straight line S2-D2 can be determined, and the middle point of the two points can be set as the forceps tip position.
- the three-dimensional position of the forceps tip position can be calculated using the following equation. (Q1 + Q2) / 2
- the anatomical structure position correction unit 118 corrects the three-dimensional position of the feature portion calculated by the three-dimensional position calculation unit 117 based on the anatomical structure information of the subject.
- the correction on the three-dimensional position of the feature part by the anatomical structure position correction unit 118 is performed as follows.
- the three-dimensional image stored in the medical image server 110 holds all three-dimensional structures of the subject, for example, a bronchial structure into which an endoscope or a treatment tool is inserted as anatomic structure information Can be obtained from a three-dimensional image.
- anatomical structure information obtained from a three-dimensional image is stored in advance in the medical image server 110 in association with the three-dimensional image, and the three-dimensional image acquisition unit 112 generates a three-dimensional image from the medical image server 110. And anatomical structure information.
- FIG. 8 shows an example of volume rendering of information related to a bronchial tree as anatomical structure information obtained from a three-dimensional image.
- a treatment tool is inserted in the bronchus.
- the characteristic site indicating the treatment tool should be present in the anatomical structure, ie, in the bronchus. Based on this, the three-dimensional position of the characteristic part of the treatment tool is corrected to be located in the anatomical structure.
- the distance between the bronchial structure, which is anatomical structure information acquired in advance, and the three-dimensional position of the characteristic portion indicating the treatment tool is calculated, and the three-dimensional position of the characteristic portion is the shortest distance from the bronchial structure
- the three-dimensional position can be corrected to be positioned within the anatomy.
- the position mapping unit 119 adds, ie, superimposes, the three-dimensional position of the feature portion corrected by the anatomical structure position correction unit 118 to the three-dimensional image acquired by the three-dimensional image acquisition unit 111.
- the position of the subject in the X-ray image and the position of the subject in the three-dimensional image acquired from the medical image server 110 are aligned by the image alignment unit 114.
- the three-dimensional position of the treatment tool tip as a characteristic part in the X-ray image can be superimposed on the three-dimensional image.
- the characteristic portion is a marker of the guide sheath
- the three-dimensional position of the marker can be superimposed on the three-dimensional image.
- the position mapping unit 119 outputs the three-dimensional image on which the characteristic portion is superimposed to the display unit 107 and the storage unit 108, for example, causes the display unit 107 to display the three-dimensional image as shown in FIG.
- a tomographic image is shown as a three-dimensional image, but other two-dimensional images and three-dimensional images such as a three-dimensional image can also be applied.
- 11A and 11B are examples of displaying an image in which a three-dimensional position of a characteristic part (a treatment tool) is superimposed on a volume rendering image of an anatomical structure. Further, in the three-dimensional image and the volume rendering image, the presence or absence of the correction for the deformation amount is indicated.
- a flow of processing relating to display of an image depicting a three-dimensional position of a treatment tool or the like in the X-ray imaging apparatus configured as described above will be described according to the flowchart of FIG.
- the X-ray imaging image a plurality of X-ray imaging images captured at different imaging angles are required.
- two X-ray imaging images are acquired will be described.
- step S201 the X-ray imaging apparatus 101 acquires two X-ray radiographed images.
- the X-ray imaging apparatus 101 drives the X-ray source 102 and the detector 103 by the drive unit 105 of the apparatus control unit 104 to move the X-ray source 102 and the detector 103 to a desired position, and the X-ray tube of the X-ray source 102
- the detected X-rays are detected by the detector 103, and the detected data are collected by the data acquisition unit 106 to acquire a two-dimensional X-ray image.
- the radiographed image is sent from the data acquisition unit 106 to the data processing unit 109. Furthermore, the angle or direction is changed by the drive unit 105, and similar imaging is performed to obtain a total of two X-ray radiographed images in combination with the previous processing.
- step S201 a plurality of two-dimensional images are captured by changing the imaging angle by the X-ray imaging apparatus 101.
- the acquisition of the images does not necessarily have to be imaging.
- the data processing unit 109 A plurality of two-dimensional images of different imaging angles captured by another radiation imaging apparatus may be acquired from a predetermined database or the like.
- step S202 a predetermined three-dimensional image is acquired from the medical image server 110 by the three-dimensional image acquisition unit 112, and a two-dimensional calculation projection image is generated by the calculation projection image generation unit 113 based on this three-dimensional image.
- step S203 the image alignment unit 114 aligns the two-dimensional X-ray imaging image acquired by the X-ray imaging apparatus 101 with the calculated projection image generated by the calculated projection image generation unit 113, and the next step
- the characteristic part extraction unit 115 extracts a characteristic part in the X-ray image.
- step S205 the deformation amount calculation / correction unit 116 calculates the deformation amount of the subject from the X-ray imaging image and the calculated projection image.
- the flow of processing for calculating the deformation amount will be described later.
- step S206 using the deformation amount of the object calculated by the deformation amount calculation / correction unit 116 in step S205 and the characteristic portion in the X-ray image extracted by the characteristic portion extraction unit 115 in step S204, an X-ray image Correct the position of the top feature.
- step S207 the three-dimensional position calculation unit 117 calculates the three-dimensional position on the X-ray photographed image of the characteristic portion extracted in the X-ray photographed image and whose position is corrected based on the deformation amount.
- step S208 a straight line connecting the three-dimensional position of the feature portion in the X-ray image obtained at step S207 and the three-dimensional position of the X-ray source is calculated (see FIG. 7).
- a straight line connecting the three-dimensional position on the X-ray image of the characteristic part and the three-dimensional position of the X-ray source is calculated for each characteristic part.
- each process is performed for each X-ray image in steps S202 to S208. Therefore, for one feature site, two straight lines connecting the three-dimensional position on the X-ray image of the feature site and the three-dimensional position of the X-ray source are obtained.
- straight lines corresponding to the number of radiographed images can be obtained.
- step S209 the three-dimensional position calculation unit 117 calculates the three-dimensional position of the feature based on the positional relationship between the two straight lines with respect to the feature obtained in step S208.
- the anatomic structure position correction unit 118 corrects the three-dimensional position of the feature portion obtained in step S209 based on the anatomical structure information of the subject acquired from the medical image server 110 (see FIG. 8). ).
- step S211 the position mapping unit 119 superimposes the three-dimensional position of the feature portion on the three-dimensional image, and outputs the superimposed image data to the display unit 10 and the storage unit 108.
- step S212 the three-dimensional image on which the three-dimensional position of the feature portion acquired from the position mapping unit 119 is superimposed is displayed on the display unit 108 (see FIG. 9) and stored in the storage unit 108.
- FIG. 11 is a flowchart showing a flow of processing of correcting deformation caused by body movement by the deformation amount calculation / correction unit 116.
- the non-rigid body deformation unit 501 acquires the X-ray projection image aligned in step S204 of FIG. 10, and in step S602 non-rigidly deforms the X-ray imaging image.
- the image comparison unit 502 compares the X-ray image non-rigidly transformed by the non-rigid body deformation unit 501 with the calculated projection image of the rigid region and calculates the similarity between the two.
- step S604 the deformation parameter calculation unit 503 calculates non-rigid deformation parameters based on the similarity calculated by the image comparison unit 502. In the process of step S604, it is determined whether or not the degree of similarity calculated in step S603 is the largest. If not, the process returns to step S602 to repeat the process. If the degree of similarity is the largest, a parameter with the largest value indicating the degree of similarity (or the smallest degree of difference) is calculated as a non-rigid body deformation parameter, and the process proceeds to step S605.
- step S605 the imaging in-plane position correction unit 504 calculates a deformation movement amount indicating how much the position on the two-dimensional image of the feature portion has moved based on the non-rigid body deformation parameter.
- FIG. 12 is a flow chart showing a flow of processing of correcting deformation caused by insertion of the treatment tool into the body by the deformation amount calculation / correction unit 116.
- the pseudo structure addition unit 505 acquires the three-dimensional image acquired from the medical image server 110 by the three-dimensional image acquisition unit 112 in step S801, and acquires the treatment tool route in step S802 (step 802).
- step S803 the pseudo structure addition unit 505 adds the treatment tool route as a pseudo structure to the three-dimensional image.
- the calculated projection image generation unit 113 generates a pseudo-calculation projection image for the three-dimensional image to which the pseudo-structure addition unit 505 adds the pseudo-structure.
- step S805 the non-rigid body deformation unit 501 non-rigidly deforms the X-ray image
- step S806 the image comparison unit 502 compares the X-ray image and the pseudo-calculation projection image to which the pseudo structure is added. And calculate the similarity between the two.
- step S807 the deformation parameter calculation unit 503 calculates non-rigid deformation parameters based on the similarity calculated by the image comparison unit 502 in step S806.
- step S 807 it is determined whether or not the degree of similarity calculated in step S 807 is the largest. If not, the process returns to step S 805 to repeat the process. If the degree of similarity is the largest, the parameter with the largest value indicating the degree of similarity (or the smallest degree of difference) is calculated as a non-rigid deformation parameter, and the process proceeds to step S808.
- step S 807 in order to compare the X-ray projection image and the pseudo-calculation projection image to which the pseudo structure is added, it is necessary to obtain non-rigid transformation parameters taking into consideration not only body movement but also deformation of the object by treatment tool insertion. Can.
- the imaging in-plane position correction unit 504 calculates the amount of deformation in the imaging plane using the non-rigid body deformation parameter calculated in step S807. As described above, since deformation of the subject is calculated using an image previously added with the treatment tool route as a pseudo structure, it is possible to correct not only body movement but also deformation of the subject caused by the treatment tool insertion.
- the three-dimensional position of the treatment tool can be accurately detected and displayed on the image with high accuracy. That is, in the present embodiment, the three-dimensional position of the treatment tool can be detected by using the X-ray image and a three-dimensional image such as a CT image acquired in advance. In particular, a three-dimensional image in which the position of the treatment tool recognized on the X-ray image is recognized in advance due to body deformation such as breathing and pulsation, as well as internal deformation of the subject caused by the insertion of the treatment tool. Since the correction is made by comparison with the above, it is possible to detect the three-dimensional position of the treatment instrument with high accuracy, draw it on the image, and display it.
- the data processing unit 109 can be configured as a system that includes a part or all of the CPU (central processing unit), memory, and main storage unit, and the functions of the units that constitute the data processing unit 109 are stored in advance. It can be realized by the CPU loading a program stored in the unit into the memory and executing it. In addition, part or all of the functions can be configured by hardware such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
- ASIC application specific integrated circuit
- FPGA field programmable gate array
- X-ray imaging apparatus 102: X-ray source 103: detector 104: device controller 105: driver 106: data collector 107: 107 Display unit 108 Storage unit 109 Data processing unit 110 Medical image server 111 Image processing system 112 Three-dimensional image (anatomy structure / treatment tool route) Acquisition unit 113 Calculation projection image creation unit 114 Image alignment unit 115 Feature part extraction unit 116 Deformation amount calculation / correction unit 117 Three-dimensional position calculation Unit 118: Anatomy structure position correction unit 119: Position mapping unit 501: Non-rigid deformation unit 502: Image comparison unit 503: Deformation parameter calculation unit 504: In-plane position correction unit 505, with pseudo structure Part
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Geometry (AREA)
Abstract
処置具の3次元位置を精度よく検出して画像上に高精度に表示する。 撮影角度の異なる複数の2次元撮像画像及び予め撮像された処理対象の3次元画像を取得する画像取得部と、各2次元撮像画像に対応させて3次元画像から2次元の計算投影画像を作成する計算投影画像作成部と、2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、2次元撮像画像と計算投影画像とを位置合せする画像位置合せ部と、2次元撮像画像と計算投影画像とを比較して2次元撮像画像における処理対象の変形量を算出して特徴部位の位置を補正する変形量算出/補正部と、特徴部位の3次元位置を算出する3次元位置算出部と、処理対象の解剖構造情報に基づいて特徴部位の3次元位置を補正する解剖構造位置補正部と、補正後の特徴部位の3次元位置を3次元画像上に重畳させて表示装置に表示させる位置マッピング部とを備えた放射線撮像装置を提供する。
Description
本発明は、放射線撮像装置、画像処理方法及び画像処理プログラムに係り、特に、被検体に処置具を挿入して検査又は治療を行う際の投影画像を取得する放射線撮像装置、画像処理方法及び画像処理プログラムに関する。
X線源と2次元X線検出器を対向設置し、X線源と2次元X線検出器と被検体を固定あるいは移動させながら、被検体の静止画像や動画像を取得する放射線撮像装置(以下、単に「X線撮像装置」という)が知られている。また、内視鏡やカテーテル等の器具を体内に挿入して検査、治療を行う際に、X線撮像装置によって得られた投影X線画像を用いる技術が知られている。この技術では、投影X線画像上で、器具の位置や向きをリアルタイムに確認しながら検査又は治療を行うことができるという利点がある。
例えば、この投影X線画像は、肺がんの確定診断を行うための検査、すなわち、気管支内視鏡を用いて検体を採取する、所謂「生検」を行う際にも用いられる。この検査では、肺末梢部へ向けて、気管支内視鏡下でガイドシースを挿入する。特に、気管支内視鏡を挿入することができない肺末梢の気管支については、投影X線画像を参照して器具の位置や向きを確認しながらガイドシースを肺末梢病変部に誘導、留置し、ガイドシースを介して生検鉗子や細胞診ブラシを病変部へ到達させることにより検体を採取する。このような投影X線画像を用いた生検では、検体を病変部から採取しなければならず、そのために、術者は病変部である患部と処置具の位置関係を特に精度よく把握する必要がある。
ところが、術者は、投影X線画像において、生検鉗子や細胞診ブラシ等の処置具の位置を把握することができるものの、投影X線画像が2次元画像であることから、投影方向の位置を正確に把握することができない。すなわち、X線撮像装置のX線管と検出器(中心)を結ぶ軸を考えた場合、術者は投影X線画像において、軸に垂直な方向での処置具の位置や向きは容易に認識することができる。一方、軸と平行な方向(以下、奥行き方向)での処置具の位置や向きは、奥行き方向と投影方向とが一致するため、処置具の位置を正確に認識することは困難である。つまり、投影X線画像上で、病変部と処置具が重なって見える(画像上に描出されている)場合であっても、必ずしも処置具が病変部に到達しているとは限らない。
また、投影X線画像は、X線が通過する体内物質の吸収量の違いを画像化しているため、一般的に、吸収量の高い骨等は、画像上に描出されやすく、吸収量が低い軟組織等は、画像上に描出されにくい。つまり投影X線画像では、骨等は高いコントラストを持つが、腫瘍等を含む軟組織は低いコントラストとなり識別が容易ではない。肺がんにおいても、すりガラス陰影(Ground Glass Opacity:GGO)と呼ばれる種類のがんは、投影X線画像上では認識が困難である。処置具を通す血管や気管支も同様の理由により投影X線画像上での認識が困難である。このように、X線撮影画像上での病変部はそもそも視認性が低く、さらに、病変部と処置具、血管や気管支と処置具の位置関係を把握することは困難である。
各処置具の画像における視認性を向上させるべく、例えば、特許文献1には、X線撮像装置において取得された投影X線画像に3次元画像に基づく立体視画像を重畳させて目的物の位置を表示させる医療用X線装置が提案されている。より詳しくは、特許文献1の医療用X線装置では、事前に撮像された3次元画像と検査中に取得されたX線撮影画像とを用い、処置具の3次元位置を検出し、検出した3次元位置に対して被検体の体動を一定のシフトとみなし、処置具の3次元位置を補正することで処置具の位置を検出している。
ここで、特に、気管支内視鏡を用いた生検等の検査中には、被検体の体動をはじめとする動きが問題となる。被検体の体動には、例えば、肺には呼吸性の移動があり、心臓周辺には拍動がある。また、肺内は気管、気管支、肺胞等の複雑な構造を成しており、且つ、軟組織であるため、病変、血管、処置具の挿入に起因した複雑な動きが生じる。このため、これらの複雑な動きに鑑みて3次元位置を把握しなければならない。
しかしながら、特許文献1の医療用X線装置では、被検体の体動を一定のシフトとみなして処置具の3次元位置を補正しているに過ぎず、上述のような気管、気管支、肺胞等の複雑な動きや、処置具の挿入に起因した変形(シフト)を補正することができない。すなわち、特許文献1の医療用X線装置では、被検体の体動として、主に呼吸による体動を想定しているに過ぎず、呼吸についても、呼吸によって生じる体内の組織・構造の変動は、局所的な関心領域では無視することができ、変動の大きさは一定とみなしている。つまり、特許文献1では、呼吸に起因する被検体の動きは一定の大きさであるとみなし、また、呼吸以外の複雑な動きについては何ら考慮していない。
特に、上述した処置具の挿入に起因する変形は、事前に撮像された3次元画像の気管支形状とは異なると考えられ、投影X線画像から認識した処置具の3次元位置とはずれが生じる虞があるため、呼吸に起因した体動に基づくシフトを補正するのみでは、処置具の正確な位置を把握することは困難である。
本発明は上記実情に鑑みてなされたものであり、処置具の3次元位置を精度よく検出して画像上に高精度に表示することを目的とする。
上記課題を解決するために、本発明は以下の手段を提供する。
本発明は、放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の2次元撮像画像を撮像する撮像部と、予め撮像された前記処理対象の3次元画像を取得する画像取得部と、各前記2次元撮像画像に対応させて、前記3次元画像と前記2次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記3次元画像から2次元の計算投影画像を作成する計算投影画像作成部と、各前記2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せ部と、各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを比較して前記2次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出/補正部と、各前記2次元撮像画像において補正された前記特徴部位の位置と、前記2次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の3次元位置を算出する3次元位置算出部と、前記3次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の3次元位置を補正する解剖構造位置補正部と、前記解剖構造位置補正部によって補正された特徴部位の前記3次元位置を前記3次元画像上に重畳させ、補正後の特徴部位の前記3次元位置を重畳させた前記3次元画像を表示装置に表示させる位置マッピング部と、を備えた放射線撮像装置を提供する。
本発明は、放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の2次元撮像画像を撮像する撮像部と、予め撮像された前記処理対象の3次元画像を取得する画像取得部と、各前記2次元撮像画像に対応させて、前記3次元画像と前記2次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記3次元画像から2次元の計算投影画像を作成する計算投影画像作成部と、各前記2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せ部と、各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを比較して前記2次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出/補正部と、各前記2次元撮像画像において補正された前記特徴部位の位置と、前記2次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の3次元位置を算出する3次元位置算出部と、前記3次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の3次元位置を補正する解剖構造位置補正部と、前記解剖構造位置補正部によって補正された特徴部位の前記3次元位置を前記3次元画像上に重畳させ、補正後の特徴部位の前記3次元位置を重畳させた前記3次元画像を表示装置に表示させる位置マッピング部と、を備えた放射線撮像装置を提供する。
本発明によれば、処置具の3次元位置を精度よく検出して画像上に高精度に表示することができる。
本発明の実施形態に係る放射線撮像装置は、放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の2次元撮像画像を撮像する撮像部と、予め撮像された処理対象の3次元画像と取得する画像取得部と、各2次元撮像画像に対応させて、3次元画像と2次元撮像画像を撮像した放射線源及び検出器の各位置とに基づいて、3次元画像から2次元の計算投影画像を作成する計算投影画像作成部と、各2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、各2次元撮像画像と、2次元画像に対応する各計算投影画像とを位置合せする画像位置合せ部と、各2次元撮像画像と、2次元画像に対応する各計算投影画像とを比較して2次元撮像画像における処理対象の変形量を算出し、変形量に基づいて特徴部位の位置を補正する変形量算出/補正部と、各2次元撮像画像において補正された特徴部位の位置と、2次元撮像画像を撮影した放射線源及び検出器の各位置から、特徴部位の3次元位置を算出する3次元位置算出部と、前記3次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の3次元位置を補正する解剖構造位置補正部と、前記解剖構造位置補正部によって補正された特徴部位の前記3次元位置を前記3次元画像上に重畳させ、補正後の特徴部位の前記3次元位置を重畳させた前記3次元画像を表示装置に表示させる位置マッピング部と、を備えている。
以下、より詳細に本発明の実施形態について、図面を参照してより詳細に説明する。
本実施形態では、一実施形態として放射線撮像装置をX線撮像装置に適用した例について説明する。以下、本実施形態に係るX線撮像装置について、図面を参照して説明する。
なお、本実施形態に係るX線撮像装置は、放射線撮像装置の一例であり、X線以外によって画像を取得する放射線撮像装置に適用することもできる。
本実施形態では、一実施形態として放射線撮像装置をX線撮像装置に適用した例について説明する。以下、本実施形態に係るX線撮像装置について、図面を参照して説明する。
なお、本実施形態に係るX線撮像装置は、放射線撮像装置の一例であり、X線以外によって画像を取得する放射線撮像装置に適用することもできる。
図1に示すように、X線撮像装置101は、有線又は無線のネットワークを介して又は直接、医用画像サーバ110と接続され相互に通信可能となっている。ここで、医用画像サーバ110は、例えば、CT画像、MRI画像、PET画像又は超音波画像等の種々の医用画像を保存する。これら画像及び情報のネットワークを介した通信や保存は、例えば、医療分野にて一般的に使用されているDICOMフォーマットを用いることにより実現可能である。また医用画像サーバ110は、外部の画像処理システム111と接続されており、画像処理システム111で処理された結果である画像や情報を保存し、保存した画像や情報をX線撮像装置101に出力することができる。
X線撮像装置101は、X線源102、検出器103、装置制御部104、表示部107、記憶部108及びデータ処理部109を備えている。
検出器103は、X線源102から照射され被検体を透過したX線を検出する。装置制御部104は、X線源102及び検出器103を駆動するための駆動部105と、検出器103で検出したデータを収集するデータ収集部106を備えている。表示部107は、データ収集部106が収集した及びデータ処理部109によって処理された結果を表示する。記憶部108は、データ収集部106によって収集された各種データ及びデータ処理部109によって処理された結果等を記憶する。
検出器103は、X線源102から照射され被検体を透過したX線を検出する。装置制御部104は、X線源102及び検出器103を駆動するための駆動部105と、検出器103で検出したデータを収集するデータ収集部106を備えている。表示部107は、データ収集部106が収集した及びデータ処理部109によって処理された結果を表示する。記憶部108は、データ収集部106によって収集された各種データ及びデータ処理部109によって処理された結果等を記憶する。
データ処理部109は、3次元画像取得部112、計算投影画像作成部113、画像位置合せ部114、特徴部位抽出部115、変形量算出/補正部116、3次元位置算出部117、解剖構造位置補正部118及びマッピング部119を備えている。
3次元画像取得部112は、医用画像サーバ110から所定の3次元画像を取得すると共に、解剖構造情報を取得する。3次元画像としては、例えば、予め病変部の診断や、処置具を病変部まで挿入するルート等を計画するために用いられる画像を適用する。一般的には、3次元画像として、CT画像、MRI画像及びPET画像等を用いることができ、この他、病変部の診断や検査に適切な3次元画像を適用することができる。以下の説明においては、一例として、CT画像を3次元画像として用いた例について説明する。
ここで、解剖構造情報とは、被検体内の臓器等の構造を示す情報であり、例えば、気管支樹等の気管支構造等がある。これは、3次元画像から得られる情報である。
ここで、解剖構造情報とは、被検体内の臓器等の構造を示す情報であり、例えば、気管支樹等の気管支構造等がある。これは、3次元画像から得られる情報である。
計算投影画像作成部113は、3次元画像取得部112により取得した3次元画像に基づいて2次元の計算投影画像を生成する。より具体的には、計算投影画像作成部113は、3次元画像取得部112が取得した3次元画像を用い、X線源102及び検出器103の位置に基づいて2次元の計算投影画像を計算する。
ここで、計算投影画像とは、X線撮像装置101におけるX線源102及び検出器103の空間的な配置に、図2に示すような3次元画像取得部112によって取得した3次元画像を配置した模擬体系で、X線源101から検出器102に模擬X線(レイ)を投影し、模擬X線による検出器102での検出画像(例えば、通過距離と画素値等)を算出(レイトレース)した画像である。なお、計算投影画像は、例えば、DRR(Digital Reconstructed Radiograph)画像とも呼ばれる。
X線撮影画像が取得された際のX線源102及び検出器103の3次元位置はX線撮像装置の構成から把握することができ、X線撮影画像の撮像角度も既知である。したがって、後述する位置合わせを考慮して、X線源102、検出器103及びこれらの回転角度から、夫々の位置関係を模擬した配置で、計算投影画像を計算する。例えば、計算投影画像は、上述のようなレイトレース法を用いて、3次元画像としての画像の画素値をレイ方向に加算した数値として計算する。さらに、計算投影画像を、X線撮影画像を取得した各角度で計算する。
画像位置合せ部114は、まず、X線撮影画像と計算投影画像とを位置合せする。つまり、画像位置合わせ部114は、X線撮像装置101により取得した2次元のX線撮影画像と計算投影画像作成部113により生成された計算投影画像との位置合わせを行う(図2参照)。
画像位置合わせ部114は、2つの画像は共に2次元画像であることから、計算投影画像を移動・回転させ、計算投影画像とX線撮影画像との類似度(例えば、相互情報量等)を計算し、類似度を示す値が最大もしくは最小となる移動・回転パラメータを剛***置合わせパラメータとして求める。また類似度の他に、画像中の基準部位を対応させる移動・回転パラメータを算出し、これを剛***置合わせパラメータとして利用することもできる。
画像位置合わせ部114は、位置合せのための剛***置合わせパラメータとして、例えば、3次元画像から作成した計算投影画像と、X線撮影画像との位置合せから、平行移動3自由度及び撮影方向を軸とする回転(平面内回転)2自由度を算出する。算出したパラメータを用いて、X線撮影画像と計算投影画像とを位置合わせする。
3次元画像と2次元画像の位置合せの剛***置合わせパラメータ算出については、前述の3次元画像から計算投影画像を求め、X線撮影画像と位置合せ法とは、他の方法で行うこともできる。例えば、3次元画像を移動・回転させて計算投影画像を作成し、計算投影画像とX線撮影画像との画素値の比較を繰返し、類似度が最大、もしくは最小となるパラメータを探索することにより平行移動(直交軸)3自由度と及び直交の各軸周りの回転3自由度、計6自由度を算出することができる。
本実施形態における画像位置合せでは、いずれの位置合せ法を用いてもよく、種々の手法を適用することができる。なお、位置合せは、3次元画像では移動、回転の6パラメータを位置合せする、いわゆる剛***置合せであるため、主に骨などの剛体領域の位置合せに適している。
特徴部位抽出部115は、X線撮影画像における処置具等を示す1以上の特徴的な領域を特徴部位として抽出する。特徴部位としては、処置具に設けられたマーカや、処置具の先端等を示す領域を用いることができる。
図3に、被検体に処置具が挿入された状態で撮影されたX線撮影画像の例を示す。処置具はX線の高吸収領域であるため、図3に示すように、X線撮影画像上では人体構造物に比較して高いコントラストを有している。このようなX線撮影画像上の人体構造物を示す領域と処置具を示す領域とにおけるコントラストの差異に基づいて、高コントラスト領域を抽出することで例えば、処置具である鉗子先端を特徴部位として検出する。
また、処置具がガイドシースである場合、ガイドシースに設けられるマーカは、X線撮影画像において、人体構造物やガイドシース本体とは異なる輝度を示す領域として描出されるため、マーカを処置具の特徴部位として抽出することができる。
変形量算出/補正部116は、X線撮影画像と計算投影画像から被検体の変形量を算出し、特徴部位抽出部115によって抽出された特徴部位の撮影面内における位置を補正する。
X線撮像装置で取得されたX線撮影画像と、事前に撮像された3次元画像は、撮像した装置が異なり、同一の時刻に撮像されたものではいことは勿論、通常は、撮像時の体勢、環境等が異なる。また、被検体の体動、例えば心臓の動きや、呼吸等により人体は非剛体的に変形するため、撮像時刻が異なる2以上の画像間には上記体動に起因した変形が含まれることが多い。
X線撮像装置で取得されたX線撮影画像と、事前に撮像された3次元画像は、撮像した装置が異なり、同一の時刻に撮像されたものではいことは勿論、通常は、撮像時の体勢、環境等が異なる。また、被検体の体動、例えば心臓の動きや、呼吸等により人体は非剛体的に変形するため、撮像時刻が異なる2以上の画像間には上記体動に起因した変形が含まれることが多い。
更に、処置具を体内に挿入した場合には、体内の軟組織領域は一般的に処置具よりも柔らかいため、挿入によって体内の組織に変形が生じる場合がある。これら変形は、骨などの固い領域、いわゆる剛体領域には殆ど生じないが、軟組織領域のような柔らかい領域において生じやすい。また、処置具等は、管状組織の内部に挿入されるため、軟組織と共に体動の影響も受けることとなる。従って、処置具を体内に挿入した場合には、X線撮影画像及びX線撮影画像間には、処置具に起因した変形が含まれることがある。
つまり、被検体に生じる変形は、大きく分けて、例えば心臓の動きや呼吸等の体動に起因する変形と、処置具が体内に挿入されたことによって生じる変形との2種類が考えられる。従って、変形量算出/補正部116は、これらの2種の変形を必要に応じて補正する。
変形量算出/補正部116は、このような変形を補正するために、図4に示すように、変形量算出/補正部116は、非剛体変形部501、画像比較部502、変形パラメータ算出部503、撮影面内位置補正部504及び模擬構造付加部505を備えている。
非剛体変形部501は、X線撮影画像を非剛体変形させる。より詳しくは、非剛体変形部501は、まず、図5に示すようにX線撮影画像上に格子状のメッシュを設定し、格子状の各点が例えばスプライン関数等の滑らかな曲線に沿って移動すると仮定して格子状の各点を移動させる。そして、非剛体変形部501は、格子状の各点の移動に応じて画素を変換することにより、非剛体変形させる。なお、移動するひとつ又は複数の格子点の選択、移動量や移動方向は、適宜予め定めることができる。
画像比較部502は、非剛体変形部501により非剛体変換したX線撮影画像と、計算投影画像とを比較し、両者の類似度を計算する。ここでは、画像位置合わせ部114における類似度の計算と同様に、2つの画像は共に2次元画像であることから、計算投影画像を移動・回転させ、非剛体変形したX線撮影画像と剛体領域を減弱した計算投影画像との類似度(例えば、相互情報量等)を計算する。
変形パラメータ算出部503は、画像比較部502おいて計算した類似度のうち、類似度を示す値が最大(あるいは相違度が最小)となるパラメータを、非剛体変形パラメータとして算出する。
撮影面内位置補正部504は、非剛体変形パラメータに基づいて特徴部位の2次元画像上の位置がどの程度移動したかを表す変形移動量を計算し、X線撮影画像の面内の特徴部位の位置を補正する。変形移動量として算出する移動量ベクトルは、非剛***置合せ前の特徴部位の位置と、非剛***置合せ後の特徴部位の位置から求めることができる。また、位置合せ前の位置と位置合せ後の位置を結ぶベクトルを算出することもできる。
疑似構造付加部505は、3次元画像取得部112により取得した3次元画像と共に、画像処理システム111により予め算出され医用データサーバ110に格納されている被検体の体内構造に基づく形状、例えば気管及び気管支領域、処理具の挿入ルートを取得し、図6に示すように、取得した処置具ルートを疑似構造として付加する。
3次元画像では体内構造が明瞭であるため、気管及び気管支等の管状構造を把握することが容易であり、気管及び気管支データの作成、病変部までの処置具の挿入ルートを事前に計画し、気管及び気管支に沿った処置具ルートを点集合や線集合のデータとして生成し保存することができる。従って、このようなデータを予め医用画像サーバ110等の記憶装置に記憶しておくことで簡易に処置具のルートを取得することができる。
医用画像サーバ110から取得した3次元画像と処置具ルートに関するデータの例を図6中左上に示している。すなわち、疑似構造付加部505は、3次元画像に処置具ルートに関する情報を模擬構造として付加、重畳させることで、計算投影画像とX線投影画像とを比較した場合に、計算投影画像における模擬構造の位置と実際の特徴部位の位置(処置具の位置)とを比較することができる。これにより、模擬構造と特徴部位の位置のずれから、処置具を挿入したことに起因して被検体に変形が生じているか否かを把握することができる。
3次元位置算出部117は、X線源の位置とX線撮影画像内で特定された特徴部位の位置に基づいて、特徴部位の3次元位置を算出する。
具体的には、例えば、X線撮影画像において抽出した特徴部位としての処置具先端位置と、処置具先端位置と対応する検出器103の位置を求める。対応する検出器103の3次元位置は、X線撮像装置101上における検出器103の装置構成から求める。これは、X線撮影画像上の処置具先端位置は、X線源から検出器103に向け投影されたものであるため、X線源とX線撮影画像上の処置具先端とを結ぶ直線上の3次元位置に処置具先端があるからである。その結果、3次元位置算出部113は、例えば、抽出した鉗子先端位置の検出器103上(X線撮影画像上)の3次元位置(図7のD1、D2)を算出することができる。
具体的には、例えば、X線撮影画像において抽出した特徴部位としての処置具先端位置と、処置具先端位置と対応する検出器103の位置を求める。対応する検出器103の3次元位置は、X線撮像装置101上における検出器103の装置構成から求める。これは、X線撮影画像上の処置具先端位置は、X線源から検出器103に向け投影されたものであるため、X線源とX線撮影画像上の処置具先端とを結ぶ直線上の3次元位置に処置具先端があるからである。その結果、3次元位置算出部113は、例えば、抽出した鉗子先端位置の検出器103上(X線撮影画像上)の3次元位置(図7のD1、D2)を算出することができる。
さらに、3次元位置算出部117は、処置具に対して複数の特徴部位がある場合にはそれぞれについて、検出器103上(X線撮影画像上)の3次元位置とX線源の3次元位置から2点を結ぶ直線を算出する。X線源102の3次元位置は、X線撮像装置101におけるX線源102の装置構成から求めることができるので、例えば特徴部位としての鉗子先端位置の検出器103上(2次元X線撮影画像上)の3次元位置と、X線源102の3次元位置から、その2点を結ぶ直線を算出することができる。
X線撮像装置においては、被写体に対して角度を異ならせて複数回の撮像を行うため、複数のX線撮影画像が取得される。従って、例えば、3次元位置算出部117は、例えば異なる2つの角度で撮影されたX線撮影画像について、X線源の3次元位置と、鉗子先端又はガイドシースのマーカ等の特徴部位の位置の検出器103上(X線撮影画像上)の3次元位置とを結ぶ直線が、各特徴部位に対して2本ずつ得られることになる。3次元位置算出部117は、異なる角度で撮像された複数のX線撮影画像における処置具の各特徴部位に関して算出された2直線の位置関係から、処置具を示す特徴部位の3次元位置を算出する。
以下、線撮像装置の実施形態における処置具の3次元位置を算出する例について説明する。
図7に示すように、X線源の3次元位置S1とX線撮影画像1における特徴部位の3次元位置D1を結ぶ直線L1と、回転したX線源の3次元位置S2とX線撮影画像2における特徴部位の3次元位置D2とを結ぶ直線L2は、同一の鉗子先端等の特徴部位を投影したものである。このため、直線L1とL2とは、1点で交わることが理想的であるが、実際には計測誤差等によって、必ずしも1点で交わるとは限らない。そこで2つの直線の距離が最も近くなる直線S1-D1上の点Q1と、直線S2-D2上の点Q2を求め、例えばその2点の中点を鉗子先端位置とすることができる。
図7に示すように、X線源の3次元位置S1とX線撮影画像1における特徴部位の3次元位置D1を結ぶ直線L1と、回転したX線源の3次元位置S2とX線撮影画像2における特徴部位の3次元位置D2とを結ぶ直線L2は、同一の鉗子先端等の特徴部位を投影したものである。このため、直線L1とL2とは、1点で交わることが理想的であるが、実際には計測誤差等によって、必ずしも1点で交わるとは限らない。そこで2つの直線の距離が最も近くなる直線S1-D1上の点Q1と、直線S2-D2上の点Q2を求め、例えばその2点の中点を鉗子先端位置とすることができる。
図7に示す点Q1及び点Q2は、以下の式に従って求めることができる。
Q1=S1+(D1-D2*Dv)/(1-Dv*Dv)*v1
Q2=S2+(D2-D1*Dv)/(Dv*Dv-1)*v2
但し、
D1=(S2-S1)v1
D2=(S2-S1)v2
Dv=v1・v2
Q1=S1+(D1-D2*Dv)/(1-Dv*Dv)*v1
Q2=S2+(D2-D1*Dv)/(Dv*Dv-1)*v2
但し、
D1=(S2-S1)v1
D2=(S2-S1)v2
Dv=v1・v2
上記の式により求めた点Q1及び点Q2の3次元位置から、次式を用いて鉗子先端位置の3次元位置を算出することができる。
(Q1+Q2)/2
(Q1+Q2)/2
解剖構造位置補正部118は、3次元位置算出部117により算出した特徴部位の3次元位置を被検体の解剖構造情報に基づいて補正する。
解剖構造位置補正部118による特徴部位の3次元位置に対する補正は以下のように行われる。
解剖構造位置補正部118による特徴部位の3次元位置に対する補正は以下のように行われる。
ここで、医用画像サーバ110に格納されている3次元画像は、被検体の3次元構造をすべて保持しているため、解剖構造情報として、例えば、内視鏡や処置具が挿入される気管支構造を3次元画像から取得することができる。本実施形態では、3次元画像から得られる解剖構造情報を、当該3次元画像と対応付けて医用画像サーバ110に予め記憶しておき、3次元画像取得部112が医用画像サーバ110から3次元画像と共に解剖構造情報を取得する。
図8は、3次元画像から得た解剖構造情報としての気管支樹に係る情報をボリュームレンダリングした例を示している。以下、気管支に処置具を挿入している例について説明する。
図8の場合、処置具を気管支内に挿入するため、処置具を示す特徴部位は解剖構造内つまり気管支内に存在するはずである。これに基づいて、処置具の特徴部位の3次元位置を、解剖構造内に位置するように補正する。より具体的には、例えば、予め取得した解剖構造情報である気管支構造と、処置具を示す特徴部位の3次元位置との距離を算出し、特徴部位の3次元位置が気管支構造から最短距離に位置するように移動させることにより、3次元位置を解剖構造内に位置するように補正することができる。
図8の場合、処置具を気管支内に挿入するため、処置具を示す特徴部位は解剖構造内つまり気管支内に存在するはずである。これに基づいて、処置具の特徴部位の3次元位置を、解剖構造内に位置するように補正する。より具体的には、例えば、予め取得した解剖構造情報である気管支構造と、処置具を示す特徴部位の3次元位置との距離を算出し、特徴部位の3次元位置が気管支構造から最短距離に位置するように移動させることにより、3次元位置を解剖構造内に位置するように補正することができる。
位置マッピング部119は、3次元画像取得部111により取得した3次元画像に解剖構造位置補正部118により補正した特徴部位の3次元位置を付加、すなわち重畳させる。
X線撮影画像における被検体の位置と、医用画像サーバ110から取得した3次元画像における被検体の位置は、画像位置合わせ部114により位置合わせされている。
X線撮影画像における被検体の位置と、医用画像サーバ110から取得した3次元画像における被検体の位置は、画像位置合わせ部114により位置合わせされている。
従って、例えば、X線撮影画像における特徴部位としての処置具先端の3次元位置を3次元画像に重畳させることができる。同様に特徴部位がガイドシースのマーカである場合も、当該マーカの3次元位置を3次元画像上に重畳させることができる。位置マッピング部119は、特徴部位が重畳された3次元画像を表示部107及び記憶部108に出力し、例えば、図9に示すように表示部107に表示させると共に、記憶部108に記憶させる。
なお、図9の例では、3次元画像として断層画像を示しているが、他の2次元画像や立体画像等の3次元画像を適用することもできる。
図9の例では互いに撮像方向の異なる2枚のX線撮影画像1及びX線撮影画像2と共に、医用画像サーバ110から取得した3次元画像において特徴部位(処置具)の位置を重畳させた画像、解剖構造のボリュームレンダリング画像上に特徴部位(処置具)の3次元位置を重畳させた画像を表示した例である。また、3次元画像及びボリュームレンダリング画像には、変形量に対する補正の有無を示している。
図9の例では互いに撮像方向の異なる2枚のX線撮影画像1及びX線撮影画像2と共に、医用画像サーバ110から取得した3次元画像において特徴部位(処置具)の位置を重畳させた画像、解剖構造のボリュームレンダリング画像上に特徴部位(処置具)の3次元位置を重畳させた画像を表示した例である。また、3次元画像及びボリュームレンダリング画像には、変形量に対する補正の有無を示している。
このように構成されたX線撮像装置において、処置具等の3次元位置を描出した画像の表示に係る処理の流れについて、図10のフローチャートに従って説明する。
なお、X線撮影画像においては、撮影角度を異ならせて撮影した複数のX線撮影画像が必要であるが、ここでは説明の便宜上、2枚のX線撮影画像を取得する場合について説明する。
なお、X線撮影画像においては、撮影角度を異ならせて撮影した複数のX線撮影画像が必要であるが、ここでは説明の便宜上、2枚のX線撮影画像を取得する場合について説明する。
ステップS201において、X線撮像装置101は、2枚のX線撮影画像を取得する。
X線撮像装置101は、装置制御部104の駆動部105によりX線源102及び検出器103を駆動させて所望の位置へ移動させ、X線源102のX線管から照射され被検体を透過したX線を検出器103によって検出し、検出したデータをデータ収集部106により収集し、2次元のX線撮影画像を取得する。X線撮影画像は、データ収集部106からデータ処理部109へ送られる。さらに、駆動部105により角度又は方向を変更して、同様の撮像を行い先の処理と併せて計2枚のX線撮影画像を取得する。
X線撮像装置101は、装置制御部104の駆動部105によりX線源102及び検出器103を駆動させて所望の位置へ移動させ、X線源102のX線管から照射され被検体を透過したX線を検出器103によって検出し、検出したデータをデータ収集部106により収集し、2次元のX線撮影画像を取得する。X線撮影画像は、データ収集部106からデータ処理部109へ送られる。さらに、駆動部105により角度又は方向を変更して、同様の撮像を行い先の処理と併せて計2枚のX線撮影画像を取得する。
なお、ステップS201ではX線撮像装置101により撮影角度を異ならせて複数の2次元画像を撮影することとしているが、画像の取得が必ずしも撮影である必要はなく、例えば、データ処理部109が、他の放射線撮像装置において撮影された撮影角度の異なる複数の2次元画像を所定のデータベース等から取得することとしてもよい。
次にステップS202において、3次元画像取得部112により医用画像サーバ110から所定の3次元画像を取得し、この3次元画像に基づいて計算投影画像作成部113により2次元の計算投影画像を生成する。
ステップS203では、画像位置合せ部114により、X線撮像装置101により取得した2次元のX線撮影画像と計算投影画像作成部113により生成された計算投影画像との位置合わせを行い、次のステップS204では、特徴部位抽出部115によりX線撮影画像における特徴部位を抽出する。
ステップS203では、画像位置合せ部114により、X線撮像装置101により取得した2次元のX線撮影画像と計算投影画像作成部113により生成された計算投影画像との位置合わせを行い、次のステップS204では、特徴部位抽出部115によりX線撮影画像における特徴部位を抽出する。
次のステップS205では、変形量算出/補正部116により、X線撮影画像と計算投影画像から被検体の変形量を算出する。変形量の算出にかかる処理の流れについては後述する。ステップS206では、ステップS205において変形量算出/補正部116によって算出した被検体の変形量と、ステップS204において特徴部位抽出部115により抽出したX線撮影画像における特徴部位を用いて、X線撮影画像上の特徴部位の位置を補正する。
次のステップS207では、3次元位置算出部117により、X線撮影画像において抽出され且つ変形量に基づいて位置が補正された特徴部位の、X線撮影画像上の3次元位置を算出する。続いて、ステップS208において、ステップS207で得られたX線撮影画像における特徴部位の3次元位置とX線源の3次元位置とを結ぶ直線を算出する(図7参照)。なお、特徴部位が複数個所ある場合には、特徴部位毎に、当該特徴部位のX線撮影画像上の3次元位置とX線源の3次元位置とを結ぶ直線を算出する。
本実施形態では、上記ステップS201において、X線撮影画像が2枚取得されていることから、ステップS202~ステップS208において、各処理はX線撮影画像毎に行われる。従って、1つの特徴部位に対して、当該特徴部位のX線撮影画像上の3次元位置とX線源の3次元位置とを結ぶ直線は2本得られることとなる。X線撮影画像が複数取得されている場合には、撮影枚数分の直線が得られることとなる。
ステップS209では、3次元位置算出部117により、上記ステップS208で得られた特徴部位に対する2本の直線の位置関係に基づいて特徴部位の3次元位置を算出する。次のステップS210において、解剖構造位置補正部118によって、ステップS209で得られた特徴部位の3次元位置を、医用画像サーバ110から取得した被検体の解剖構造情報に基づいて補正する(図8参照)。
そして、次のステップS211において、位置マッピング部119により、3次元画像上に特徴部位の3次元位置を重畳させ、重畳させた画像データを表示部10及び記憶部108に出力する。ステップS212において、位置マッピング部119から取得した特徴部位の3次元位置が重畳された3次元画像を、表示部108に表示させる(図9参照)と共に記憶部108に記憶させる。
続いて、変形量算出/補正部116による被検体に生じる、体動に起因する変形と、処置具が体内に挿入されたことによって生じる変形の補正の処理の流れについて図11及び図12のフローチャートに従って説明する。
(体動に起因する変形の補正)
図11は、変形量算出/補正部116による体動に起因する変形を補正する処理の流れを示すフローチャートである。
ステップS601において、非剛体変形部501が、図10のステップS204において位置合わせされたX線投影画像を取得し、ステップS602においてX線撮影画像を非剛体変形させる。次のステップS603において、画像比較部502が、非剛体変形部501により非剛体変換したX線撮影画像と、剛体領域を計算投影画像とを比較し、両者の類似度を計算する。
図11は、変形量算出/補正部116による体動に起因する変形を補正する処理の流れを示すフローチャートである。
ステップS601において、非剛体変形部501が、図10のステップS204において位置合わせされたX線投影画像を取得し、ステップS602においてX線撮影画像を非剛体変形させる。次のステップS603において、画像比較部502が、非剛体変形部501により非剛体変換したX線撮影画像と、剛体領域を計算投影画像とを比較し、両者の類似度を計算する。
ステップS604では、変形パラメータ算出部503により、画像比較部502おいて計算した類似度に基づいて非剛体変形パラメータを算出する。ステップS604の処理は、ステップS603において算出した類似度が最大であるか否かを判定し、最大でなければ、ステップS602に戻り処理を繰り返す。類似度が最大である場合には、類似度を示す値が最大(あるいは相違度が最小)となるパラメータを、非剛体変形パラメータとして算出しステップS605に進む。
ステップS605では、撮影面内位置補正部504により、非剛体変形パラメータに基づいて特徴部位の2次元画像上の位置がどの程度移動したかを表す変形移動量を計算する。
(処置具が体内に挿入されたことによって生じる変形の補正)
図12は、変形量算出/補正部116による処置具が体内に挿入されたことによって生じる変形を補正する処理の流れを示すフローチャートである。
疑似構造付加部505により、3次元画像取得部112により医用画像サーバ110から取得した3次元画像をステップS801において取得すると共に、ステップS802において処置具ルートを取得する(ステップ802)。
図12は、変形量算出/補正部116による処置具が体内に挿入されたことによって生じる変形を補正する処理の流れを示すフローチャートである。
疑似構造付加部505により、3次元画像取得部112により医用画像サーバ110から取得した3次元画像をステップS801において取得すると共に、ステップS802において処置具ルートを取得する(ステップ802)。
ステップS803において、疑似構造付加部505により、3次元画像に処置具ルートを疑似構造として付加する。次に、ステップS804において、疑似構造付加部505によって疑似構造が付加された3次元画像に対し、計算投影画像作成部113により疑似計算投影画像を生成する。この疑似構造を付加した3次元画像から疑似計算投影画像を作成することにより、疑似構造を付加していない3次元画像からの計算投影画像では描出されなかった、処置具ルートから作成した疑似的な処置具の投影像を描出することができる。
次のステップS805において、非剛体変形部501により、X線撮影画像を非剛体変形させ、ステップS806において、画像比較部502により、X線撮影画像と疑似構造を付加した疑似計算投影画像をと比較し、両者の類似度を計算する。
ステップS807では、変形パラメータ算出部503により、ステップS806において画像比較部502が計算した類似度に基づいて非剛体変形パラメータを算出する。ステップS807の処理は、ステップS807において算出した類似度が最大であるか否かを判定し、最大でなければ、ステップS805に戻り処理を繰り返す。類似度が最大である場合には、類似度を示す値が最大(あるいは相違度が最小)となるパラメータを、非剛体変形パラメータとして算出しステップS808に進む。
なお、ステップS807では、X線投影画像と疑似構造を付加した疑似計算投影画像とを比較するため、体動のみならず、処置具挿入による被検体の変形を考慮した非剛体変換パラメータを求めることができる。
次のステップS808において、撮影面内位置補正部504により、ステップS807で算出された非剛体変形パラメータを用いて、撮影面内における変形量を算出する。
このように、処置具ルートを疑似構造として予め付加した画像を用いて被検体の変形を演算するので、体動のみならず、処置具挿入に起因した被検体の変形を補正することができる。
次のステップS808において、撮影面内位置補正部504により、ステップS807で算出された非剛体変形パラメータを用いて、撮影面内における変形量を算出する。
このように、処置具ルートを疑似構造として予め付加した画像を用いて被検体の変形を演算するので、体動のみならず、処置具挿入に起因した被検体の変形を補正することができる。
このように本実施形態によれば、処置具の3次元位置を精度よく検出して画像上に高精度に表示することができる。すなわち、本実施形態では、X線撮影画像と予め取得したCT画像等の3次元画像とを用いることで、処置具の3次元位置を検出することができる。特に、呼吸や拍動等の体動は勿論、処置具が挿入されたことによる被検体の体内変形に起因してX線撮影画像上で認識された処理具位置を、予め取得した3次元画像と比較することにより補正するので、高精度に処置具の3次元位置を検出し、画像上に描画し、これを表示することができる。
また、3次元画像に基づいて、例えば、処置具の挿入ルートに関する情報を取得してこれを描画、表示させることで、ユーザは、処置具位置の確認及び挿入ルートを容易に確認することができる。
なお、データ処理部109は、その一部又は全部をCPU(中央処理装置)、メモリ及び主記憶部を含むシステムとして構築することができ、データ処理部109を構成する各部の機能は、予め記憶部に格納されたプログラムをCPUがメモリにロードし、実行することにより実現することができる。また機能の一部または全部を、ASIC(Application Specific Integrated Circuit)や FPGA(Field Programmable Gate Array)などのハードウェアで構成することも可能である。
なお、データ処理部109は、その一部又は全部をCPU(中央処理装置)、メモリ及び主記憶部を含むシステムとして構築することができ、データ処理部109を構成する各部の機能は、予め記憶部に格納されたプログラムをCPUがメモリにロードし、実行することにより実現することができる。また機能の一部または全部を、ASIC(Application Specific Integrated Circuit)や FPGA(Field Programmable Gate Array)などのハードウェアで構成することも可能である。
101・・・X線撮像装置、102・・・X線源、103・・・検出器、104・・・装置制御部、105・・・駆動部、106・・・データ収集部、107・・・表示部、108・・・記憶部、109・・・データ処理部、110・・・医用画像サーバ、111・・・画像処理システム、112・・・3次元画像(解剖構造/処置具ルート)取得部、113・・・計算投影画像作成部、114・・・画像位置合せ部、115・・・特徴部位抽出部、116・・・変形量算出/補正部、117・・・3次元位置算出部、118・・・解剖構造位置補正部、119・・・位置マッピング部、501・・・非剛体変形部、502・・・画像比較部、503・・・変形パラメータ算出部、504・・・撮影面内位置補正部、505・・・疑似構造付加部
Claims (8)
- 放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の2次元撮像画像を撮像する撮像部と、
予め撮像された前記処理対象の3次元画像を取得する画像取得部と、
各前記2次元撮像画像に対応させて、前記3次元画像と前記2次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記3次元画像から2次元の計算投影画像を作成する計算投影画像作成部と、
各前記2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、
各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せ部と、
各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを比較して前記2次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出/補正部と、
各前記2次元撮像画像において補正された前記特徴部位の位置と、前記2次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の3次元位置を算出する3次元位置算出部と、
前記3次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の3次元位置を補正する解剖構造位置補正部と、
前記解剖構造位置補正部によって補正された特徴部位の前記3次元位置を前記3次元画像上に重畳させ、補正後の特徴部位の前記3次元位置を重畳させた前記3次元画像を表示装置に表示させる位置マッピング部と、
を備えた放射線撮像装置。 - 前記位置マッピング部が、前記3次元位置算出部によって算出された特徴部位の前記3次元位置を、補正後の特徴部位の前記3次元位置と共に3次元画像に重畳させる請求項1記載の放射線撮像装置。
- 前記変形量算出/補正部が、
前記2次元撮影画像を非剛体変形させる非剛体変形部と、
非剛体変換した前記2次元撮影画像と前記計算投影画像とを比較して類似度を算出する画像比較部と、
前記類似度が最大となるパラメータを非剛体変形パラメータとして算出する変形パラメータ算出部と、
前記変形パラメータに基づいて、前記2次元撮影画像内における前記特徴部位の変形移動量を算出して前記特徴部位の位置を補正する撮影面内位置補正部と、
を備える請求項1記載の放射線撮像装置。 - 前記変形量算出/補正部が、
前記2次元撮影画像を非剛体変形させる非剛体変形部と、
非剛体変換した前記2次元撮影画像と前記計算投影画像とを比較して類似度を算出する画像比較部と、
前記類似度が最大となるパラメータを非剛体変形パラメータとして算出する変形パラメータ算出部と、
前記変形パラメータに基づいて、前記2次元撮影画像内における前記特徴部位の変形移動量を算出して前記特徴部位の位置を補正する撮影面内位置補正部と、
を備える請求項2記載の放射線撮像装置。 - 前記変形量算出/補正部が、前記3次元画像に、前記処理対象の体内構造に基づく形状を示す疑似構造を重畳させる疑似構造付加部をさらに備える請求項3記載の放射線撮像装置。
- 前記変形量算出/補正部が、前記3次元画像に、前記処理対象の体内構造に基づく形状を示す疑似構造を重畳させる疑似構造付加部をさらに備える請求項4記載の放射線撮像装置。
- 放射線源及び検出器の位置を異ならせて処理対象を撮影した撮影角度の異なる複数の2次元撮像画像と、予め撮像された前記処理対象の3次元画像とを取得する画像取得ステップと、
各前記2次元撮像画像に対応させて、前記3次元画像と前記2次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記3次元画像から2次元の計算投影画像を作成する計算投影画像作成ステップと、
各前記2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出ステップと、
各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せステップと、
各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを比較して前記2次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出/補正ステップと、
各前記2次元撮像画像において補正された前記特徴部位の位置と、前記2次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の3次元位置を算出する3次元位置算出ステップと、
前記3次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の3次元位置を補正する解剖構造位置補正ステップと、
補正された前記特徴部位の3次元位置を前記3次元画像上に重畳させ、補正後の特徴部位の前記3次元位置を重畳させた前記3次元画像を表示装置に表示させる位置マッピングステップと、
を備えた画像処理方法。 - 放射線源及び検出器の位置を異ならせて処理対象を撮影した撮影角度の異なる複数の2次元撮像画像と、予め撮像された前記処理対象の3次元画像とを取得する画像取得ステップと、
各前記2次元撮像画像の各々に対応させて、前記3次元画像と前記2次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記3次元画像から2次元の計算投影画像を作成する計算投影画像作成ステップと、
各前記2次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出ステップと、
各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せステップと、
各前記2次元撮像画像と、該2次元画像に対応する各前記計算投影画像とを比較して前記2次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出/補正ステップと、
各前記2次元撮像画像において補正された前記特徴部位の位置と、前記2次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の3次元位置を算出する3次元位置算出ステップと、
前記3次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の3次元位置を補正する解剖構造位置補正ステップと、
補正された前記特徴部位の3次元位置を前記3次元画像上に重畳させ、補正後の特徴部位の前記3次元位置を重畳させた前記3次元画像を表示装置に表示させる位置マッピングステップと、
をコンピュータに実行させる画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/650,438 US11127153B2 (en) | 2017-10-10 | 2018-08-08 | Radiation imaging device, image processing method, and image processing program |
CN201880057606.5A CN111093505B (zh) | 2017-10-10 | 2018-08-08 | 放射线拍摄装置以及图像处理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-197051 | 2017-10-10 | ||
JP2017197051A JP6806655B2 (ja) | 2017-10-10 | 2017-10-10 | 放射線撮像装置、画像データ処理装置及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019073681A1 true WO2019073681A1 (ja) | 2019-04-18 |
Family
ID=66101321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/029762 WO2019073681A1 (ja) | 2017-10-10 | 2018-08-08 | 放射線撮像装置、画像処理方法及び画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11127153B2 (ja) |
JP (1) | JP6806655B2 (ja) |
CN (1) | CN111093505B (ja) |
WO (1) | WO2019073681A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11026641B2 (en) * | 2017-10-16 | 2021-06-08 | Mayo Foundation For Medical Education And Research | System and method for tomography-based radiomic mass analysis |
JP7323128B2 (ja) * | 2020-03-12 | 2023-08-08 | 東芝エネルギーシステムズ株式会社 | 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム |
JP2022091427A (ja) * | 2020-12-09 | 2022-06-21 | 富士フイルムヘルスケア株式会社 | X線撮像装置及び処置具認識方法 |
US11657512B2 (en) * | 2021-02-02 | 2023-05-23 | Black Sesame Technologies Inc. | Fast instance segmentation |
CN116433476B (zh) * | 2023-06-09 | 2023-09-08 | 有方(合肥)医疗科技有限公司 | Ct图像处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005312962A (ja) * | 2004-04-27 | 2005-11-10 | Siemens Ag | 電気生理学的カテーテル処置の視覚的支援方法および装置 |
JP2010240253A (ja) * | 2009-04-08 | 2010-10-28 | Toshiba Corp | X線診断装置 |
JP2011050621A (ja) * | 2009-09-03 | 2011-03-17 | Hitachi Medical Corp | X線ナビゲーション装置 |
JP2015503416A (ja) * | 2012-01-06 | 2015-02-02 | コーニンクレッカ フィリップス エヌ ヴェ | 最適なデバイスナビゲーションのための血管系ビューのリアルタイム表示 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3910239B2 (ja) * | 1996-11-14 | 2007-04-25 | 東芝医用システムエンジニアリング株式会社 | 医用画像合成装置 |
EP1606770B1 (en) * | 2003-03-14 | 2010-08-11 | Koninklijke Philips Electronics N.V. | Motion-corrected three-dimensional volume imaging method |
JP4710030B2 (ja) * | 2005-06-16 | 2011-06-29 | 学校法人松本歯科大学 | 画像処理方法及び画像処理装置並びに画像処理プログラム |
EP1868157A1 (en) * | 2006-06-14 | 2007-12-19 | BrainLAB AG | Shape reconstruction using X-ray images |
US20080037843A1 (en) * | 2006-08-11 | 2008-02-14 | Accuray Incorporated | Image segmentation for DRR generation and image registration |
JP5259283B2 (ja) * | 2008-07-09 | 2013-08-07 | 株式会社東芝 | X線診断装置及びその画像処理プログラム |
JP5597399B2 (ja) * | 2010-01-08 | 2014-10-01 | 株式会社東芝 | 医用画像診断装置 |
EP2557998B1 (en) * | 2010-04-15 | 2020-12-23 | Koninklijke Philips N.V. | Instrument-based image registration for fusing images with tubular structures |
JP5639925B2 (ja) * | 2011-02-25 | 2014-12-10 | 株式会社日立ハイテクノロジーズ | パターンマッチング装置、及びコンピュータープログラム |
CN104244831B (zh) * | 2012-03-29 | 2016-10-19 | 株式会社岛津制作所 | 医疗用x射线装置 |
DE102012224057B4 (de) * | 2012-12-20 | 2016-07-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur Bildunterstützung |
CA2931529C (en) * | 2013-11-27 | 2022-08-23 | Children's National Medical Center | 3d corrected imaging |
CN106029171B (zh) * | 2014-02-24 | 2019-01-22 | 国立研究开发法人量子科学技术研究开发机构 | 放射线治疗用运动物体跟踪装置、放射线治疗用照射区域决定装置以及放射线治疗装置 |
JP6020500B2 (ja) * | 2014-03-25 | 2016-11-02 | 株式会社豊田中央研究所 | 変形解析装置 |
JP6472606B2 (ja) * | 2014-05-15 | 2019-02-20 | キヤノンメディカルシステムズ株式会社 | X線診断装置 |
JP6437286B2 (ja) * | 2014-11-26 | 2018-12-12 | 株式会社東芝 | 画像処理装置、画像処理プログラム、画像処理方法及び治療システム |
JP6349278B2 (ja) * | 2015-03-23 | 2018-06-27 | 株式会社日立製作所 | 放射線撮像装置、画像処理方法及びプログラム |
JP6637781B2 (ja) * | 2016-02-15 | 2020-01-29 | 株式会社日立製作所 | 放射線撮像装置及び画像処理プログラム |
US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
US10722217B2 (en) * | 2016-05-26 | 2020-07-28 | Canon Medical Systems Corporation | Ultrasonic diagnostic apparatus and medical image processing apparatus |
US20180070902A1 (en) * | 2016-09-14 | 2018-03-15 | Carestream Health, Inc. | Apparatus and method for 4d x-ray imaging |
-
2017
- 2017-10-10 JP JP2017197051A patent/JP6806655B2/ja active Active
-
2018
- 2018-08-08 US US16/650,438 patent/US11127153B2/en active Active
- 2018-08-08 WO PCT/JP2018/029762 patent/WO2019073681A1/ja active Application Filing
- 2018-08-08 CN CN201880057606.5A patent/CN111093505B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005312962A (ja) * | 2004-04-27 | 2005-11-10 | Siemens Ag | 電気生理学的カテーテル処置の視覚的支援方法および装置 |
JP2010240253A (ja) * | 2009-04-08 | 2010-10-28 | Toshiba Corp | X線診断装置 |
JP2011050621A (ja) * | 2009-09-03 | 2011-03-17 | Hitachi Medical Corp | X線ナビゲーション装置 |
JP2015503416A (ja) * | 2012-01-06 | 2015-02-02 | コーニンクレッカ フィリップス エヌ ヴェ | 最適なデバイスナビゲーションのための血管系ビューのリアルタイム表示 |
Also Published As
Publication number | Publication date |
---|---|
JP6806655B2 (ja) | 2021-01-06 |
CN111093505B (zh) | 2023-06-27 |
US11127153B2 (en) | 2021-09-21 |
CN111093505A (zh) | 2020-05-01 |
JP2019069037A (ja) | 2019-05-09 |
US20200226779A1 (en) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11707241B2 (en) | System and method for local three dimensional volume reconstruction using a standard fluoroscope | |
US11992349B2 (en) | System and method for local three dimensional volume reconstruction using a standard fluoroscope | |
US20220313190A1 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
CN110123449B (zh) | 使用标准荧光镜进行局部三维体积重建的***和方法 | |
CN111093505B (zh) | 放射线拍摄装置以及图像处理方法 | |
JP6349278B2 (ja) | 放射線撮像装置、画像処理方法及びプログラム | |
JP6703470B2 (ja) | データ処理装置及びデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18865518 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18865518 Country of ref document: EP Kind code of ref document: A1 |