WO2023171073A1 - 画像処理装置、方法およびプログラム - Google Patents
画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- WO2023171073A1 WO2023171073A1 PCT/JP2022/046280 JP2022046280W WO2023171073A1 WO 2023171073 A1 WO2023171073 A1 WO 2023171073A1 JP 2022046280 W JP2022046280 W JP 2022046280W WO 2023171073 A1 WO2023171073 A1 WO 2023171073A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- tomographic
- image
- positional deviation
- structural
- projection
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims description 47
- 238000003384 imaging method Methods 0.000 claims abstract description 90
- 230000005855 radiation Effects 0.000 claims description 98
- 210000000481 breast Anatomy 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 54
- 239000013598 vector Substances 0.000 claims description 30
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 238000013441 quality evaluation Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 96
- 238000010586 diagram Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 22
- 238000009795 derivation Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 208000004434 Calcinosis Diseases 0.000 description 5
- 230000002308 calcification Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 210000005075 mammary gland Anatomy 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100393879 Arabidopsis thaliana GT15 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- tomosynthesis imaging also has a problem in that the reconstructed tomographic image becomes blurred due to the influence of body movements of the subject due to the time difference between imaging at each of a plurality of radiation source positions.
- a tomographic image is blurred in this way, it becomes difficult to discover lesions such as minute calcifications, which are useful for early detection of breast cancer, especially when the subject is a breast.
- feature points are detected from tomographic images, but feature points are not always detected on projected images. For example, even if a feature point exists with high contrast in a tomographic image, the contrast of the feature point may be low in a projection image, making it difficult to detect the feature point. If the feature points are difficult to detect in the projection image, the feature points on the tomographic image and the feature points on the projection image cannot be accurately correlated, and in this case, body movements cannot be accurately corrected.
- the present disclosure has been made in view of the above circumstances, and provides an image processing device, method, and program that can obtain high-quality tomographic images in which body movements are accurately corrected.
- An image processing device includes at least one processor, The processor is Multiple images generated by moving the radiation source relative to the detection surface of the detection unit and having the imaging device perform tomosynthesis imaging in which the subject is irradiated with radiation at multiple source positions due to the movement of the radiation source.
- Obtain multiple projection images corresponding to each source position Extract specific structures from multiple projection images and derive multiple structural projection images, Reconstruct multiple structural projection images to derive structural tomographic images for each of the multiple tomographic planes of the object, detecting at least one characteristic structure from a plurality of structural tomographic images; In the corresponding tomographic plane corresponding to the structural tomographic image in which the characteristic structure has been detected, using the characteristic structure as a reference, correcting the positional deviation between the plurality of projection images based on the body movement of the subject and reconstructing the plurality of projection images;
- the image processing apparatus is configured to derive a corrected tomographic image in at least one tomographic plane of the subject.
- “Moving the radiation source relative to the detection section” refers to moving only the radiation source, only the detection section, or moving both the radiation source and the detection section. Also included.
- the specific structure may be at least one of a line structure and a point structure.
- the processor may extract at least one of the line structure and the point structure based on the degree of concentration of gradient vectors representing the gradient of pixel values in the projected image.
- the processor derives the amount of positional deviation between the plurality of projected images based on the body movement of the subject in the corresponding tomographic plane, using the feature structure as a reference,
- a corrected tomographic image may be derived by correcting the amount of positional deviation and reconstructing a plurality of projection images.
- the processor detects a plurality of characteristic structures from a plurality of structural tomographic images, determining whether a corresponding tomographic plane corresponding to a structural tomographic image in which each of the plurality of characteristic structures is detected is a focal plane; The amount of positional deviation may be derived in the corresponding tomographic plane determined to be the focal plane.
- the processor may detect points that satisfy a specific threshold condition in the structural tomographic image as characteristic structures.
- the processor updates the structural tomographic image by reconstructing the structural projection image while correcting the positional shift; Detect the updated feature structure from the updated structural tomographic image, Update the amount of positional deviation using the updated feature structure, The update of the structural tomographic image, the feature structure, and the amount of positional deviation may be repeated.
- the processor updates the structural tomographic image by reconstructing the structural projection image while correcting the positional shift; detecting an updated feature structure from the updated structural tomographic image based on the updated threshold condition; Update the amount of positional deviation using the updated feature structure, The updating of the structural tomographic image, the updating of the feature structure based on the updated threshold condition, and the updating of the positional deviation amount may be repeated.
- the processor projects the plurality of projection images onto the corresponding tomographic plane based on the positional relationship between the radiation source position and the detection unit at the time of imaging for each of the plurality of projection images. Then, a tomographic projection image corresponding to each of the plurality of projection images is derived, In the corresponding tomographic plane, the amount of positional deviation between the plurality of tomographic projection images based on the body movement of the subject may be derived as the amount of positional deviation between the plurality of projection images using the feature structure as a reference.
- the processor may set a local region corresponding to the feature structure in the plurality of tomographic projection images, and derive the positional deviation amount based on the local region. .
- a "local region” is a region that includes a characteristic structure in a tomographic image or a tomographic projection image, and can be a region of any size that is smaller than the tomographic image or tomographic projection image.
- the local area needs to be larger than the range of body movement. If the body movement is large, it may be about 2 mm. Therefore, in the case of a tomographic image or a tomographic projection image in which each pixel has a size of 100 ⁇ m square, the local region may be, for example, a region of 50 ⁇ 50 pixels or 100 ⁇ 100 pixels around the characteristic structure.
- a region around a feature structure in a local region means a region smaller than the local region that includes the feature structure in the local region.
- the processor sets a plurality of first local regions including the characteristic structure in the plurality of tomographic projection images, and sets the plurality of first local regions including the characteristic structure in the tomographic image in which the characteristic structure is detected.
- a second local area including a plurality of first local areas is set, and the positional deviation amounts of the plurality of first local areas with respect to the second local area are respectively derived as temporary positional deviation amounts, and the position is calculated based on the plurality of temporary positional deviation amounts. It may also be a method for deriving the amount of deviation.
- the processor may derive the temporary positional shift amount based on the area around the feature structure in the second local area.
- the processor reconstructs the plurality of projection images excluding the target projection image corresponding to the target tomographic plane projection image from which the amount of positional deviation is to be derived, and generates a plurality of tomographic images. is derived as the target tomographic image,
- the positional shift amount for the target tomographic plane projection image may be derived using the target tomographic image.
- the processor evaluates the image quality of the region of interest including the feature structure in the corrected tomographic image, and determines whether the derived positional deviation amount is appropriate based on the result of the image quality evaluation. It may also be used to determine whether it is inappropriate.
- the processor derives a plurality of tomographic images by reconstructing a plurality of projection images, Evaluate the image quality of the region of interest including the characteristic structure in the tomographic image, compare the image quality evaluation results for the corrected tomographic image with the image quality evaluation results for the tomographic image, and select the tomographic image with the better image quality evaluation result. may be determined as the final tomographic image.
- the processor derives an evaluation function for evaluating the image quality of a region of interest including a feature structure in the corrected tomographic image, Alternatively, the amount of positional deviation that optimizes the evaluation function may be derived.
- the subject may be a breast.
- the processor performs processing according to at least one of breast density, breast size, imaging time of tomosynthesis imaging, breast compression pressure during tomosynthesis imaging, and breast imaging direction.
- the search range when deriving the amount of positional deviation may be changed.
- An image processing method moves a radiation source relative to a detection surface of a detection unit, and causes an imaging device to perform tomosynthesis imaging in which a subject is irradiated with radiation at a plurality of source positions by moving the radiation source.
- An image processing program causes an imaging device to perform tomosynthesis imaging in which a radiation source is moved relative to a detection surface of a detection unit and a subject is irradiated with radiation at a plurality of radiation source positions by moving the radiation source.
- a computer is caused to perform processing including deriving a corrected tomographic image in at least one tomographic plane of the subject.
- a schematic configuration diagram of a radiographic imaging apparatus to which an image processing apparatus according to a first embodiment of the present disclosure is applied Diagram of the radiographic imaging device viewed from the direction of arrow A in Figure 1
- a diagram showing a schematic configuration of an image processing device according to the first embodiment A diagram showing the functional configuration of an image processing device according to the first embodiment Diagram for explaining the acquisition of projection images Diagram showing projected images and structural projected images Diagram for explaining derivation of structural tomographic images Diagram for explaining detection of feature structures from structural tomographic images Diagram for explaining projection of a projection image onto a corresponding tomographic plane Diagram for explaining interpolation of pixel values of tomographic images Diagram to explain setting the region of interest Diagram showing the region of interest set on the tomographic projection image
- a diagram showing an image within the region of interest when no body movement occurs in the first embodiment A diagram showing an image within the region of interest when body movement occurs in the first embodiment Diagram to explain the search range of the region of interest Diagram showing feature structure in three-dimensional space Diagram showing the display screen of corrected tomographic images Flowchart showing
- FIG. 1 is a schematic configuration diagram of a radiographic imaging system to which an image processing apparatus according to a first embodiment of the present disclosure is applied.
- a radiation imaging system 1 photographs the breast, which is a subject, from a plurality of radiation source positions, and generates a plurality of radiographic images, i.e. This is for acquiring multiple projection images.
- the radiographic imaging system 1 includes an imaging device 10, a console 2, an image storage system 3, and an image processing device 4 according to this embodiment.
- FIG. 2 is a view of the imaging device in the radiographic imaging system as seen from the direction of arrow A in FIG.
- the imaging device 10 is a mammography system that photographs a breast M, which is a subject, from a plurality of radiation source positions to obtain a plurality of radiation images, that is, a plurality of projection images, in order to perform tomosynthesis imaging of the breast and derive a tomographic image. It is a photographic device.
- the photographing device 10 includes an arm portion 12 connected to a base (not shown) by a rotating shaft 11.
- An imaging table 13 is attached to one end of the arm section 12, and a radiation irradiation section 14 is attached to the other end so as to face the imaging table 13.
- the arm portion 12 is configured such that only the end portion to which the radiation irradiation unit 14 is attached can be rotated, and thereby, it is possible to fix the imaging table 13 and rotate only the radiation irradiation unit 14. It has become.
- the rotation of the arm portion 12 is controlled by the console 2.
- a radiation detector 15 such as a flat panel detector is provided inside the imaging table 13.
- the radiation detector 15 has a detection surface 15A for detecting radiation such as X-rays.
- a charge amplifier that converts the charge signal read out from the radiation detector 15 into a voltage signal
- a correlated double sampling circuit that samples the voltage signal output from the charge amplifier
- a voltage signal There are also circuit boards equipped with an AD (Analog Digital) converter, etc. that converts signals into digital signals.
- AD Analog Digital
- the radiation detector 15 is an example of a detection section. Further, in this embodiment, the radiation detector 15 is used as the detection unit, but the detection unit is not limited to the radiation detector 15 as long as it can detect radiation and convert it into an image.
- the radiation detector 15 is capable of repeatedly recording and reading radiation images, and may be a so-called direct type radiation detector that directly converts radiation such as X-rays into electric charges, or may be a A so-called indirect radiation detector may be used, which first converts the radiation into visible light and then converts the visible light into a charge signal.
- a readout method for radiation image signals there is a so-called TFT readout method in which radiation image signals are read out by turning on and off a TFT (Thin Film Transistor) switch, or a radiation image signal is read out by irradiating reading light.
- TFT Thin Film Transistor
- An X-ray source 16 which is a radiation source, is housed inside the radiation irradiation unit 14.
- the console 2 controls the timing of irradiating X-ray radiation from the X-ray source 16 and the X-ray generation conditions in the X-ray source 16, such as selection of target and filter materials, tube voltage, and irradiation time.
- the arm part 12 includes a compression plate 17 that is arranged above the imaging table 13 and presses down the breast M, a support part 18 that supports the compression plate 17, and a support part 18 that is arranged above and below in FIGS. 1 and 2.
- a moving mechanism 19 for moving in the direction is provided.
- the console 2 receives imaging orders and various information obtained from an unillustrated RIS (Radiology Information System), etc., as well as instructions directly given by technicians, etc. via a network such as a wireless communication LAN (Local Area Network). It has a function of controlling the photographing device 10 using the camera. Specifically, the console 2 causes the imaging device 10 to perform tomosynthesis imaging of the breast M, thereby acquiring a plurality of projection images as described later. As an example, in this embodiment, a server computer is used as the console 2.
- RIS Radiology Information System
- LAN Local Area Network
- the image storage system 3 is a system that stores image data such as radiation images and tomographic images taken by the imaging device 10.
- the image storage system 3 extracts image data corresponding to a request from the console 2, the image processing device 4, etc. from the stored image data, and transmits it to the requesting device.
- a specific example of the image storage system 3 is PACS (Picture Archiving and Communication Systems).
- the image processing device 4 is a computer such as a workstation, a server computer, or a personal computer, and includes a CPU (Central Processing Unit) 21, a nonvolatile storage 23, and a memory 26 as a temporary storage area. Be prepared.
- the image processing device 4 also includes a display 24 such as a liquid crystal display, an input device 25 such as a keyboard and a mouse, and a network I/F (InterFace) 2 connected to a network (not shown). Equipped with 7.
- the CPU 21, storage 23, display 24, input device 25, memory 26, and network I/F 27 are connected to the bus 28.
- the CPU 21 is an example of a processor in the present disclosure.
- the storage 23 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
- the image processing program 22 installed in the image processing device 4 is stored in the storage 23 as a storage medium.
- the CPU 21 reads the image processing program 22 from the storage 23, loads it into the memory 26, and executes the loaded image processing program 22.
- the image processing program 22 is stored in a storage device of a server computer connected to a network or in a network storage in a state that can be accessed from the outside, and is downloaded to a computer constituting the image processing device 4 in response to a request. will be installed. Alternatively, it may be recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and from that recording medium to the image processing device 4. installed on the computers that configure it.
- a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
- FIG. 4 is a diagram showing the functional configuration of the image processing device according to the first embodiment.
- the image processing device 4 includes an image acquisition section 31, a structure extraction section 32, a reconstruction section 33, a feature structure detection section 34, a projection section 35, a displacement amount derivation section 36, and a display control section 37. Equipped with Then, by executing the image processing program 22, the CPU 21 controls the image acquisition section 31, the structure extraction section 32, the reconstruction section 33, the feature structure detection section 34, the projection section 35, the displacement amount derivation section 36, and the display control section. It functions as a section 37.
- the image acquisition unit 31 acquires a plurality of projection images generated by the console 2 causing the imaging device 10 to perform tomosynthesis imaging.
- the image acquisition unit 31 acquires a plurality of projection images from the console 2 or the image storage system 3 via the network I/F 18.
- the console 2 moves the X-ray source 16 by rotating the arm section 12 around the rotation axis 11 when performing tomosynthesis imaging for generating a tomographic image. Further, the console 2 irradiates the breast M, which is the subject, with X-rays at a plurality of radiation source positions by moving the X-ray source 16 according to predetermined imaging conditions for tomosynthesis imaging.
- the radiation detector 15 detects the X-rays that have passed through the breast M, projection images G1, G2, . . . Gn are obtained corresponding to each of the radiation source positions S1 to Sn.
- the breast M is irradiated with the same dose of X-rays at each of the radiation source positions S1 to Sn.
- the radiation source position Sc is a radiation source position where the optical axis X0 of the X-rays emitted from the X-ray source 16 is orthogonal to the detection surface 15A of the radiation detector 15.
- the radiation source position Sc will be referred to as a reference radiation source position Sc
- the projection image Gc obtained by irradiating the breast M with X-rays at the reference radiation source position Sc will be referred to as a reference projection image Gc.
- the optical axis X0 of the X-rays is perpendicular to the detection surface 15A of the radiation detector 15
- the optical axis X0 of the X-rays intersects with the detection surface 15A of the radiation detector 15 at an angle of 90 degrees.
- it is not limited to this, and includes cases where the angle crosses 90 degrees with a certain degree of error.
- the optical axis X0 of X-rays intersects with the detection surface 15A of the radiation detector 15 with an error of about ⁇ 3 degrees with respect to 90 degrees, the "optical axis X0 of X-rays perpendicular to the detection surface 15A of the device 15.
- the structure extraction unit 32 derives a plurality of structural projection images by extracting a specific structure from each of the plurality of projection images Gi.
- the specific structure include at least one of a line structure and a point structure included in the breast M.
- linear structures include mammary glands, spicules, and blood vessels.
- point structures include calcifications, intersections of multiple mammary glands, and intersections of blood vessels. Note that the point structure is not limited to minute points, but also includes regions with a predetermined area. Furthermore, in the following description, both line structures and point structures will be used as specific structures.
- the projection image Gi described in "Concentration Evaluation Method and Vector Concentration Filter, Yoshinaga et al., MEDICAL IMAGING TECHNOLOGY VOL.19 No.3, 2001" is used.
- the degree of concentration of a gradient vector representing the gradient of pixel values at is used.
- the method of extracting a line structure using the degree of concentration uses a line concentration degree filter to obtain gradient vectors on both sides of a search line along a certain direction in the projection image Gi, and evaluates the degree of concentration of the gradient vectors.
- This is a method of extracting search lines with large evaluations as line structures.
- the method of extracting the point structure using the degree of concentration is to use a point concentration degree filter to find gradient vectors in a certain direction in the projection image Gi, evaluate the degree of concentration at which the gradient vectors are concentrated, and select points with large evaluations.
- This is a method to extract as a point structure.
- the coefficients of the concentration filter so as to extract a line structure and a point structure having an actual size of about 1 mm in the case of a line structure and about 0.5 mm in actual size in the case of a point structure.
- the structure extraction unit 32 uses the Harris corner detection method, SIFT (Scale-Invariant Edges, intersections of edges, corners of edges, etc. included in the projected image Gi are extracted as a point structure using algorithms such as FAST (Features from Accelerated Segment Test) or SURF (Speeded Up Robust Features). You may also do so.
- SIFT Scale-Invariant Edges, intersections of edges, corners of edges, etc. included in the projected image Gi are extracted as a point structure using algorithms such as FAST (Features from Accelerated Segment Test) or SURF (Speeded Up Robust Features). You may also do so.
- FIG. 6 is a diagram showing a projection image and a structural projection image.
- the structural projection image SGi is an image in which the line structure included in the projection image Gi is extracted.
- the structure extraction unit 32 may derive the multivalued structural projection image SGi, but derives the binary structural projection image SGi by binarizing the multivalued structural projection image SGi. It may be something.
- the structure extraction unit 32 may extract at least one of a line structure and a point structure included in the projection image Gi using a learning model that has been subjected to machine learning.
- the reconstruction unit 33 derives a structural tomographic image in each of the plurality of tomographic planes of the breast M by reconstructing the plurality of structural projection images SGi.
- the reconstruction unit 33 derives a tomographic image that emphasizes a desired tomographic plane of the breast M by reconstructing all or part of the plurality of projection images Gi while correcting positional deviations as described later. do.
- the reconstruction unit 33 emphasizes a desired tomographic plane of the breast M by reconstructing all or part of the plurality of projection images Gi without correcting the amount of positional deviation, as necessary. Derive a tomographic image.
- the reconstruction unit 33 reconstructs the plurality of structural projection images SGi using a well-known backprojection method such as a simple backprojection method or a filtered backprojection method, and as shown in FIG.
- a three-dimensional coordinate position in a three-dimensional space including the breast M is set, and corresponding pixel positions of the plurality of structural projection images SGi or the plurality of projection images Gi are set with respect to the set three-dimensional coordinate position.
- the pixel value is reconstructed, and the pixel value at that coordinate position is calculated. Note that, as will be described later, when the amount of positional deviation based on the body movement of the breast M during tomosynthesis imaging is derived, the reconstruction unit 33 reconstructs the plurality of projection images Gi while correcting the positional deviation. A corrected tomographic image with body movement corrected is derived.
- the characteristic structure detection unit 34 detects at least one characteristic structure from the plurality of structural tomographic images SDj.
- the characteristic structure includes a point structure and a line structure included in the structural tomographic image SDj.
- FIG. 8 is a diagram for explaining detection of feature structures. Note that in this embodiment, a point structure is detected as a feature structure. Furthermore, here, detection of a characteristic structure from one structural tomographic image SDk among the plurality of structural tomographic images SDj will be described.
- the structural tomographic image SDk includes point-like structures E1 to E3 such as calcifications on the tomographic plane of the breast M from which the structural tomographic image SDk was obtained, and edge intersections E4 and E5 such as the intersections of blood vessels. is included.
- the feature structure detection unit 34 detects point-like structures such as calcifications as point structures, that is, feature structures, from the structural tomographic image SDk using a known algorithm. Additionally, points such as edges, intersections of edges, and corners of edges included in the structural tomographic image SDk are detected as feature structures using algorithms such as the Harris corner detection method, SIFT, FAST, or SURF. It's okay. For example, the feature structure detection unit 34 detects the point-like structure E1 included in the structural tomographic image SDk shown in FIG. 8 as the feature structure F1. All of the point structures have high brightness pixel values, that is, small pixel values in the structural tomographic image SDj. Therefore, in any of these methods, the detected feature structure satisfies a specific threshold condition.
- point-like structures such as calcifications as point structures, that is, feature structures
- the point structure is a point in the structural tomographic image SDj whose pixel value is equal to or less than a predetermined threshold value Th1. Note that if the pixel value of the structural tomographic image SDj is such that the higher the brightness, the larger the value, the detected characteristic structure is a point in the structural tomographic image SDj where the pixel value is equal to or higher than a predetermined threshold value. .
- the feature structure is not limited to a point structure, but even when detecting a line structure as a feature structure, for example, the luminance that satisfies a specific threshold condition is used as the standard, or the known method is used. Algorithms can be used as appropriate. Further, in order to detect the feature structure, a computer-aided image diagnosis (CAD) algorithm may be used.
- CAD computer-aided image diagnosis
- the characteristic structure may be only one pixel in the structural tomographic image SDk, or may be composed of a plurality of pixels representing the position of the characteristic structure.
- a characteristic structure is detected only from one structural tomographic image SDk, but in reality, it is assumed that a plurality of characteristic structures are detected from each of a plurality of structural tomographic images SDj.
- the projection unit 35 determines, based on the positional relationship between the radiation source position at the time of imaging and the radiation detector 15 for each of the plurality of projection images Gi, the characteristic structure F1 is a tomographic plane corresponding to the detected tomographic image.
- a plurality of projection images Gi are projected onto the tomographic plane.
- the projection unit 35 derives a tomographic projection image GTi corresponding to each of the plurality of projection images Gi. Derivation of the tomographic projection image GTi will be described below. Note that in this embodiment, since the characteristic structure is detected in each of the plurality of tomographic images Dj, the plurality of projection images Gi are projected onto each of the plurality of tomographic planes Tj corresponding to the plurality of tomographic images Dj. , a tomographic projection image GTi is derived.
- FIG. 9 is a diagram for explaining the projection of a projection image onto a corresponding tomographic plane.
- FIG. 9 the case where one projection image Gi acquired at the radiation source position Si is projected onto one tomographic plane Tj of the breast M will be described.
- a projection image Gi located on this straight line is placed at a position where a straight line connecting the radiation source position Si and a pixel position on the projection image Gi intersects with the tomographic plane Tj. Project the pixel value of .
- the tomographic image derived from the projection image Gi and the tomographic plane Tj is composed of a plurality of pixels discretely arranged two-dimensionally at a predetermined sampling interval, and the lattice points at the predetermined sampling interval are Pixels are placed in
- short line segments perpendicular to the projection image Gi and the tomographic plane Tj indicate pixel division positions. Therefore, in FIG. 9, the center position of the pixel division positions is the pixel position that is the grid point.
- the coordinates of the radiation source position at the radiation source position Si (sxi, syi, szi), the coordinates of the pixel position Pi on the projection image Gi (pxi, pyi), and the coordinates of the projection position on the tomographic plane Tj (tx, ty , tz) is expressed by the following equation (1).
- the z-axis is perpendicular to the detection surface 15A of the radiation detector 15, and the y-axis is parallel to the direction in which the X-ray source 16 moves on the detection surface of the radiation detector 15. It is assumed that the x-axis is set in a direction perpendicular to the y-axis.
- pxi (tx ⁇ szi-sxi ⁇ tz)/(szi-tz)
- pyi (ty ⁇ szi-syi ⁇ tz)/(szi-tz) (1)
- the projection position on tomographic plane Tj on which the pixel values of projection image Gi are projected can be determined. It can be calculated. Therefore, by projecting the pixel values of the projection image Gi onto the calculated projection position on the tomographic plane Tj, the tomographic plane projection image GTi is derived.
- the intersection of the straight line connecting the radiation source position Si and the pixel position on the projection image Gi and the tomographic plane Tj may not be the pixel position on the tomographic plane Tj.
- the projection position (tx, ty, tz) on the tomographic plane Tj may be located between pixel positions O1 to O4 of the tomographic image Dj on the tomographic plane Tj.
- the pixel value at each pixel position may be calculated by performing an interpolation operation using the pixel values of the projected image at a plurality of projection positions around each of the pixel positions O1 to O4.
- a linear interpolation calculation can be used that weights the pixel value of the projected image at the projection position according to the distance between the pixel position and a plurality of projection positions around the pixel position.
- any method such as nonlinear bicubic interpolation using pixel values at more projection positions around the pixel position and B-spline interpolation can be used.
- the pixel value at the projection position closest to a pixel position may be used as the pixel value at that pixel position. Thereby, pixel values at all pixel positions on the tomographic plane Tj are determined for the projection image Gi.
- a tomographic projection image GTi having pixel values determined at all pixel positions of the tomographic plane Tj in this manner is derived. Therefore, in one tomographic plane, the number of tomographic projection images GTi matches the number of projection images Gi.
- the positional deviation amount deriving unit 36 derives the positional deviation amount between the plurality of tomographic projection images GTi based on the body movement of the breast M during tomosynthesis imaging. First, the positional deviation amount deriving unit 36 sets a local region corresponding to the feature structure F1 as a region of interest for a plurality of tomographic projection images GTi. Specifically, a local region of a predetermined size centered on the coordinate position of the feature structure F1 is set as a region of interest.
- FIG. 11 is a diagram for explaining setting of a region of interest. In FIG. 11, for the sake of explanation, it is assumed that three projection images G1 to G3 are projected onto the tomographic plane Tj and tomographic plane projection images GT1 to GT3 are derived.
- the positional deviation amount deriving unit 36 sets a region of interest Rf0 centered on the coordinate position of the feature structure F1 in the tomographic image Dj on the tomographic plane Tj. Then, regions of interest R1 to R3 corresponding to the region of interest Rf0 are set in each of the tomographic projection images GT1 to GT3. Note that the broken lines in FIG. 11 indicate the boundaries between the regions of interest R1 to R3 and other regions. Therefore, on the tomographic plane Tj, the positions of the region of interest Rf0 and the regions of interest R1 to R3 coincide.
- FIG. 12 is a diagram showing regions of interest R1 to R3 set in tomographic projection images GT1 to GT3.
- the regions of interest R1 to R3 are areas of, for example, 50 ⁇ 50 pixels or 100 ⁇ 100 pixels around the feature structure F1. do it.
- the positional deviation amount deriving unit 36 performs positioning of the regions of interest R1 to R3. At this time, alignment is performed using the region of interest set in the reference tomographic projection image as a reference. In this embodiment, a tomographic projection image (reference tomographic Using the region of interest set in the plane projection image as a reference, other regions of interest are aligned.
- the positional deviation amount deriving unit 36 aligns the regions of interest R1 and R3 with respect to the region of interest R2, and uses a shift vector representing the moving direction and amount of movement of the regions of interest R1 and R3 with respect to the region of interest R2 as the amount of positional deviation.
- alignment involves determining the moving direction and amount of movement of the regions of interest R1 and R3 with respect to the region of interest R2 in a predetermined search range so that the correlation between the regions of interest R1 and R3 with respect to the region of interest R2 is maximized.
- normalized cross-correlation may be used as the correlation.
- the shift vector is one less than the number of tomographic projection images. For example, if the number of tomographic projection images is 15, the number of shift vectors is 14, and if the number of tomographic projection images is 3, the number of shift vectors is 2.
- FIG. 13 is a diagram showing images within the three regions of interest R1 to R3 when no body movement occurs during the acquisition of the projection images G1 to G3.
- FIG. 13 shows the center positions of the regions of interest R1 to R3, that is, the positions P1 to P3 corresponding to the feature structure F1 in the tomographic projection images GT1 to GT3, and Image F2 is indicated by a large circle.
- the positions P1 to P3 corresponding to the feature structure F1 and the feature matches. Therefore, the shift vectors, ie, the amount of positional deviation, of the regions of interest R1 and R3 with respect to the region of interest R2 are both zero.
- FIG. 14 is a diagram showing images within three regions of interest R1 to R3 when a body movement occurs during acquisition of projection image G2 and projection image G3 among projection images G1 to G3.
- the positions P1 and P2 corresponding to the feature structure F1 in the regions of interest R1 and R2 and the positions P1 and P2 corresponding to the feature structure F1 in the regions of interest R1 and R2
- the position of the image F2 of the feature structure F1 included in the image coincides with the position of the image F2. Therefore, the amount of positional deviation of the region of interest R1 with respect to the region of interest R2 is zero.
- the position P3 corresponding to the feature structure F1 in the region of interest R3 and the image F2 of the feature structure F1 included in the region of interest R3 does not match the position.
- the region of interest R3 is moved by an amount and direction relative to the region of interest R2, and as a result, a shift vector V10 having a magnitude and direction is derived as the amount of positional deviation.
- FIG. 15 is a diagram for explaining changing the search range. As shown in FIG. 15, two types of search ranges, a small search range H1 and a large search range H2, are set as search ranges for the regions of interest R1 and R3 with respect to the reference region of interest R2.
- the mammary gland density is low, the amount of fat in the breast M increases, so body movement tends to increase during imaging. Furthermore, when the breast M is large, the body movement tends to be large during imaging. Furthermore, the longer the time for tomosynthesis imaging, the greater the body movement during imaging. Furthermore, even when the compression pressure on the breast M is small, body movements tend to increase during imaging. Furthermore, when the imaging direction of the breast M is MLO (Medio-Lateral Oblique), the body movement tends to be larger during imaging than when CC (Cranio-Caudal) is taken.
- MLO Medio-Lateral Oblique
- the positional deviation amount deriving unit 36 changes the search range when deriving the positional deviation amount. Specifically, if the body movement tends to increase, a large search range H2 shown in FIG. 15 may be set. Conversely, if the body movement tends to become smaller, a small search range H1 shown in FIG. 15 may be set.
- the amount of positional deviation of the plurality of tomographic projection images GTi is derived only for one feature structure F1 detected in one tomographic plane Tj.
- FIG. 10 feature structures).
- positional deviation amounts regarding a plurality of different feature structures F are derived for a tomographic projection image corresponding to a projection image acquired in a state where body movement has occurred.
- the positional deviation amount deriving unit 36 interpolates positional deviation amounts for a plurality of different feature structures F with respect to the coordinate position in the three-dimensional space from which the tomographic image Dj is derived.
- the positional deviation amount deriving unit 36 calculates the positional deviation when performing reconstruction for all coordinate positions in the three-dimensional space from which the tomographic image is derived, for the tomographic projection image acquired while the body movement has occurred. Derive the quantity.
- the reconstruction unit 33 derives a corrected tomographic image Dhj in which the body movement has been corrected by reconstructing the projection image Gi while correcting the positional deviation amount derived in this way. Specifically, when the reconstruction is performed using a back projection method, a pixel of the projection image Gi in which a positional shift has occurred is replaced with a corresponding pixel of another projection image based on the derived positional shift amount. Reconstruction is performed by correcting the positional shift so that the image is projected at the back-projected position.
- one amount of positional deviation may be derived from a plurality of different feature structures F.
- a region of interest is set for each of the plurality of different feature structures F, and the amount of positional shift is derived on the assumption that the entire region of interest has moved by the same amount in the same direction.
- the amount of positional deviation is derived so that the representative value (e.g., average value, intermediate value, maximum value, etc.) of the correlation for all regions of interest between the tomographic projection images that are the target of deriving the amount of positional deviation is maximized. do it.
- the three-dimensional space within the breast M represented by the plurality of tomographic images Dj is divided into a plurality of three-dimensional regions, and one positional deviation amount is derived from the plurality of characteristic structures F for each region in the same manner as above. You can also do this.
- the reconstruction unit 33 derives a plurality of tomographic images Dj by reconstructing a plurality of projection images Gi without correcting the amount of positional deviation.
- FIG. 17 is a diagram showing a display screen of a corrected tomographic image.
- the display screen 40 displays a tomographic image Dj before body movement correction and a corrected tomographic image Dhj after body movement correction.
- a label 41 of "before correction” is given to the tomographic image Dj so that it can be seen that the body movement has not been corrected.
- the corrected tomographic image Dhj is given a label 42 of "after correction” so that it can be seen that the body movement has been corrected.
- the label 41 may be attached only to the tomographic image Dj, or the label 42 may be attached only to the corrected tomographic image Dhj.
- the tomographic image Dj and the corrected tomographic image Dhj display the same cross section. Further, when switching the tomographic plane to be displayed based on an instruction from the input device 25, it is preferable to link the tomographic planes to be displayed in the tomographic image Dj and the corrected tomographic image Dhj. Further, in addition to the tomographic image Dj and the corrected tomographic image Dhj, the projection image Gi may be displayed.
- the operator can check the success or failure of body movement correction by looking at the display screen 40. Furthermore, if the body movement is too large, even if a tomographic image is derived by reconstructing while correcting the amount of positional deviation as in this embodiment, the body movement cannot be accurately corrected, and the body movement correction cannot be performed. It may fail. In such a case, body movement correction may fail and the tomographic image Dj may have higher image quality than the corrected tomographic image Dhj. Therefore, the input device 25 may receive an instruction as to which of the tomographic images Dj and the corrected tomographic images Dhj to save, and the instructed image may be saved in the storage 23 or an external storage device.
- FIG. 18 is a flowchart showing the processing performed in the first embodiment.
- the image acquisition unit 31 acquires a plurality of projection images Gi derived by the console 2 causing the imaging device 10 to perform tomosynthesis imaging of the breast M (step ST1).
- the structure extraction unit 32 derives a plurality of structural projection images SGi by extracting a specific structure from each of the plurality of projection images Gi (step ST2).
- the reconstruction unit 33 derives a structural tomographic image SDj in each of the plurality of tomographic planes of the breast M by reconstructing the plurality of structural projection images SGi (step ST3).
- the characteristic structure detection unit 34 detects at least one characteristic structure from the plurality of structural tomographic images SDj (step ST4).
- the projection unit 35 converts the plurality of projection images Gi into a tomographic image in which the characteristic structure F1 is detected based on the positional relationship between the radiation source position and the radiation detector 15 at the time of imaging for each of the plurality of projection images Gi. , to derive tomographic projection images GTi corresponding to each of the plurality of projection images Gi (step ST5).
- the positional deviation amount deriving unit 36 derives the positional deviation amount between the plurality of tomographic projection images GTi (step ST6). Further, the reconstruction unit 33 derives a corrected tomographic image Dhj by reconstructing the plurality of projection images Gi while correcting the positional deviation (step ST7). Then, the display control unit 37 displays the corrected tomographic image Dhj on the display 24 (step ST8), and the process ends. Note that the derived corrected tomographic image Dhj is transmitted to the image storage system 3 and stored.
- the projected image Gi has a lot of noise.
- structures such as calcification within the breast M may have reduced contrast depending on how the structures overlap, and may be buried in noise in the projection image Gi. Therefore, when a feature structure is detected from a tomographic image derived by reconstructing a plurality of projection images Gi, the feature structure detected from the tomographic image is associated with the structure corresponding to the feature structure included in the projection image. As a result, it may not be possible to accurately correct the positional deviation of the projected image Gi using the feature structure.
- a structural projection image SGi is derived by extracting specific structures such as line structures and point structures from the projection image, and a structural tomographic image SDj is derived by reconstructing the structural projection image SGi. Then, the characteristic structure is detected from the structural tomographic image SDj.
- the structural tomographic image SDj is derived from the structural projection image SGi, it is guaranteed that structures corresponding to the feature structures detected from the structural tomographic image SDj are included in the structural projection image SGi and furthermore in the projection image Gi. That will happen.
- the amount of positional deviation between the plurality of projection images Gi can be appropriately derived using the detected feature structure, and as a result, according to the present embodiment, body movement It is possible to obtain a high-quality corrected tomographic image Dhj in which the influence of .
- characteristic structures are detected not from the projection image Gi or the tomographic projection image GTi, but from a plurality of structural tomographic images SDj.
- the structural tomographic image SDj includes only structures included in the corresponding tomographic plane Tj. Therefore, structures on other tomographic planes that are included in the projection image Gi are not included in the structural tomographic image SDj. Therefore, according to the first embodiment, characteristic structures can be detected with high accuracy without being influenced by structures on other tomographic planes. Therefore, the amount of positional deviation between the plurality of projection images Gi can be appropriately derived, and as a result, according to the present embodiment, a high-quality corrected tomographic image Dhj in which the influence of body movement is reduced is obtained. can do.
- the configuration of the image processing device according to the second embodiment is similar to the configuration of the image processing device according to the first embodiment shown in FIG. Omitted.
- the amount of positional shift is derived between the tomographic projection images GTi.
- a region of interest Rf0 centered on the coordinate position of the characteristic structure F1 is set in the structural tomographic image SDj, and a positional shift of the region of interest Ri set in the tomographic projection image GTi with respect to the set region of interest Rf0 is determined.
- the amount is derived as a temporary positional deviation amount.
- the second embodiment differs from the first embodiment in that the amount of positional deviation between the plurality of tomographic projection images GTi is derived based on the derived provisional amount of positional deviation.
- the region of interest Ri set in the plurality of tomographic projection images GTi corresponds to the first local region
- the region of interest Rf0 set in the structural tomographic image SDj corresponds to the second local region.
- FIG. 19 is a diagram for explaining the derivation of the amount of positional deviation in the second embodiment.
- the region of interest Rf0 and the regions of interest R1 to R3 in FIG. 19 are the same as the region of interest Rf0 and the regions of interest R1 to R3 shown in FIG. 11 and the like described above.
- the positional deviation amount deriving unit 36 first uses the region of interest Rf0 set in the structural tomographic image SDj as a reference, and calculates the tomographic projection image GTi (GT1 to GT3 in FIG.
- GTi tomographic projection image
- the amount of positional deviation of the regions of interest R1 to R3 set in (also not shown) is derived as a provisional amount of positional deviation.
- FIG. 20 is a diagram showing images within three regions of interest R1 to R3 when a body movement occurs during acquisition of projection image G2 and projection image G3 among projection images G1 to G3.
- the positions P1 and P2 corresponding to the feature structure F1 in the regions of interest R1 and R2 and the positions P1 and P2 corresponding to the feature structure F1 in the regions of interest R1 and R2
- the position of the image F2 of the feature structure F1 included in the image coincides with the position of the image F2. Therefore, the amount of positional deviation between the regions of interest R1 and R2 with respect to the region of interest Rf0 is zero.
- the position P3 corresponding to the feature structure F1 in the region of interest R3 and the image F2 of the feature structure F1 included in the region of interest R3 does not match the position. Therefore, the region of interest R3 changes in amount and direction with respect to the region of interest Rf0. Therefore, the shift vectors Vf1 and Vf2 of the regions of interest R1 and R2 with respect to the region of interest Rf0, that is, the tentative positional deviation amount, are 0, but the shift vector Vf3 of the region of interest R3 with respect to the region of interest Rf0, that is, the tentative positional deviation amount is 0. It becomes something that has a value.
- the positional deviation amount deriving unit 36 derives the positional deviation amount between the tomographic projection images GTi based on the provisional positional deviation amount.
- the positional shift is based on the projection image acquired at the reference source position Sc where the optical axis X0 of the X-rays from the X-ray source 16 is perpendicular to the radiation detector 15. Derive the quantity.
- the positional deviation amount deriving unit 36 calculates the positional deviation amount between the tomographic projection image GT1 and the tomographic projection image GT2 from the regions of interest R1, R2 with respect to the region of interest Rf0.
- the positional deviation amount deriving unit 36 calculates the positional deviation amount between the tomographic projection image GT3 and the tomographic projection image GT2 using the difference value Vf3 ⁇ Vf2 of the shift vectors Vf3 and Vf2 of the regions of interest R3 and R2 with respect to the region of interest Rf0. Derive.
- the amount of temporary positional deviation between the region of interest Rf0 set on the structural tomographic image SDj and the regions of interest R1 to R3 set on the tomographic projection image GTi is derived, and Based on the amount of positional deviation, the amount of positional deviation between the tomographic projection images GTi is derived.
- the region of interest Rf0 is set in the structural tomographic image SDj, unlike the projection image Gi, it includes only structures on the tomographic plane from which the structural tomographic image SDj was acquired. Therefore, according to the second embodiment, the amount of positional deviation is derived while reducing the influence of structures included in tomographic planes other than the tomographic plane on which the characteristic structure is set.
- the influence of structures on other tomographic planes can be further reduced, and the amount of positional deviation between the plurality of projection images Gi can be derived with high accuracy, and as a result, the second According to the embodiment, it is possible to obtain a high-quality corrected tomographic image Dhj in which the influence of body movement is reduced.
- the search range when deriving the amount of positional deviation may be changed depending on at least one of the M photographing directions.
- shift vectors Vf1 to Vf3 of the regions of interest R1 to R3 with respect to the region of interest Rf0 are derived as temporary positional deviation amounts, but at this time, as shown in FIG.
- a surrounding area Ra0 smaller than the region of interest Rf0 may be set around the feature structure F1 at Rf0, and the shift vector may be derived based on the surrounding area Ra0.
- the shift vector may be derived using only the surrounding area Ra0.
- the surrounding region Ra0 may be weighted more heavily than the regions other than the surrounding region Ra0 in the regions of interest R1 to R3.
- the region of interest Rf0 is set in the structural tomographic image SDj, but the structural tomographic image to be derived is different for each tomographic projection image GTi from which the temporary positional deviation amount is derived.
- FIG. 22 is a diagram schematically showing the processing performed in the third embodiment.
- the projection image G1 out of the 15 projection images G1 to G15 is assumed to be the target projection image
- the tomographic plane projection image GT1 is assumed to be the target tomographic plane projection image.
- the reconstruction unit 33 reconstructs the structural projection images SG2 to SG15 other than the structural projection image SG1 derived from the target projection image G1 in the tomographic plane Tj to derive a structural tomographic image (SDj_1).
- the feature structure detection unit 34 detects the feature structure from the structural tomographic image SDj_1, the projection unit 35 derives the tomographic projection images GT1 to GT15 from the projection images G1 to G15, and the positional deviation amount deriving unit 36
- a region of interest Rf0_1 is set in the image SDj_1, and a shift vector Vf1 of the region of interest R1 set in the tomographic projection image GT1 for the region of interest Rf0_1 is derived as a temporary positional deviation amount.
- the reconstruction unit 33 reconstructs the structural projection images SG1, SG3 to SG15 other than the structural projection image SG2 derived from the projection image G2, and An image (supposed to be SDj_2) is derived.
- the feature structure detection unit 34 detects the feature structure from the structural tomographic image SDj_2, the projection unit 35 derives the tomographic projection images GT1 to GT15 from the projection images G1 to G15, and the positional deviation amount deriving unit 36
- a region of interest Rf0_2 is set in the image SDj_2, and a shift vector Vf2 of the region of interest R2 set in the tomographic projection image GT2 for the region of interest Rf0_2 is derived as a temporary positional deviation amount.
- the target tomographic projection images are sequentially changed to derive temporary positional deviation amounts for all the tomographic projection images GTi, and from the temporary positional deviation amounts, the tomographic projection images are calculated as in the second embodiment.
- the amount of positional deviation between GTi is derived.
- a temporary positional shift amount is derived using a structural tomographic image that is not affected by the target projection image. Therefore, the temporary positional deviation amount can be derived with higher accuracy, and as a result, the positional deviation amount can be derived with higher accuracy.
- the configuration of the image processing device according to the fourth embodiment is similar to the configuration of the image processing device according to the first embodiment shown in FIG. Explanation will be omitted.
- the structural tomographic image SDj is updated by reconstructing the structural projection image SGi while correcting the amount of positional deviation, and the updated threshold is used to calculate the structural tomographic image from the updated structural tomographic image.
- the updated feature structure is detected, the amount of positional deviation is updated using the updated feature structure, the structural tomographic image is updated until the amount of positional deviation converges, and the updated threshold value is used to update the positional deviation amount.
- This embodiment differs from the first embodiment in that detection of the feature structure and updating of the amount of positional deviation are repeated.
- FIG. 23 is a flowchart showing the processing performed in the fourth embodiment. Note that in FIG. 23, the processing from step ST11 to step ST16 is the same as the processing from step ST1 to step ST6 shown in FIG. 18, so detailed explanation will be omitted here.
- the positional deviation amount deriving unit 36 determines whether the positional deviation amount has converged (step ST17). It may be determined whether the amount of positional deviation has converged or not by determining whether the amount of positional deviation derived for each tomographic projection image GTi has become equal to or less than a predetermined threshold value Th10.
- the threshold value Th10 may be set to a value that allows it to be said that there is no influence of body movement on the tomographic image even if the amount of positional deviation is not corrected any further. Note that it is possible to determine whether or not the positional deviation amount has converged by determining whether a representative value such as the average value of the positional deviation amount derived for the plurality of tomographic projection images GTi has become equal to or less than the threshold value Th10. You may also make a determination.
- step ST17 the reconstruction unit 33 updates the structural tomographic image by reconstructing the plurality of structural projection images SGi while correcting the amount of positional deviation (step ST18). Then, the process returns to step ST14 and processes from step ST14 to step ST17 are performed.
- the feature structure detection unit 34 updates the threshold value Th1 used when detecting the feature structure in the first process of step ST14.
- the pixel value of the structural tomographic image SDj becomes a smaller value as the luminance becomes higher, so the updated threshold value Th2 is a value smaller than the threshold value Th1 used in the first step ST14 processing. Detect the updated feature structure using .
- the projection unit 35 updates the plurality of projection images Gi based on the positional relationship between the radiation source position and the radiation detector 15 at the time of imaging for each of the plurality of projection images Gi.
- the updated tomographic projection image GTi corresponding to each of the plurality of projection images Gi is derived by projecting the detected feature structure F1 onto a corresponding tomographic plane corresponding to the detected tomographic image.
- the positional deviation amount deriving unit 36 derives the updated positional deviation amount between the updated plurality of tomographic projection images GTi.
- an updated threshold value Th2 that is a larger value than the threshold value Th1 used in the first processing of step ST14 is used. Detect updated feature structure.
- step ST17 is negative, steps ST18 and steps ST14 to ST16 are repeated until step ST17 is affirmed.
- the feature structure detection unit 34 detects the feature structure from the updated structural tomographic image SDj using the updated threshold value.
- step ST17 the reconstruction unit 33 derives a corrected tomographic image Dhj by reconstructing the plurality of projection images Gi while correcting the updated positional deviation amount (step ST19). Then, the display control unit 37 displays the corrected tomographic image Dhj on the display 24 (step ST20), and the process ends. Note that the derived corrected tomographic image Dhj is transmitted to the image storage system 3 and stored.
- the structural tomographic image SDj is updated by reconstructing the structural projection image SGi while correcting the amount of positional deviation, and the updated structure is updated using the updated threshold value.
- the updated feature structure is detected from the tomographic image, the amount of positional deviation is updated using the updated feature structure, and the structural tomographic image is updated until the amount of positional deviation converges. Detection of updated feature structures and updating of positional deviation amounts are repeated. Therefore, positional displacement caused by body movement can be more effectively removed, and as a result, a tomographic image of higher quality can be obtained.
- the process of updating the positional deviation amount may be repeated until the positional deviation amount converges.
- the structural tomographic image is updated until the positional deviation amount converges, and the updated feature structure is detected using the updated threshold value.
- the positional shift amount is repeatedly updated, the present invention is not limited to this. The updating of the structural tomographic image, the detection of the updated feature structure, and the updating of the positional deviation amount may be repeated without updating the threshold value.
- the process of updating the positional deviation amount is repeated until the positional deviation amount converges, but the process is not limited to this.
- the process of updating the amount of positional deviation may be repeated a predetermined number of times.
- the positional deviation amount derived by the positional deviation amount deriving unit 36 is compared with a predetermined threshold value, and only when the positional deviation amount exceeds the threshold value, the positional deviation amount is determined.
- the tomographic image may be reconstructed while correcting.
- the threshold value may be set to a value that allows it to be said that there is no effect of body movement on the tomographic image even without correcting the amount of positional deviation.
- a warning display 45 may be displayed on the display 24 to notify that the body movement has exceeded the threshold. The operator can instruct whether or not to perform body movement correction by selecting YES or NO on the warning display 45.
- a region of interest is set in the structural tomographic image SDj and the tomographic projection image GTi, and the moving direction and direction of the region of interest are set.
- the movement amount is derived as a shift vector, that is, a positional deviation amount and a temporary positional deviation amount
- the present invention is not limited to this.
- the amount of positional deviation may be derived without setting a region of interest.
- FIG. 25 is a diagram showing the functional configuration of an image processing apparatus according to the fifth embodiment. Note that in FIG. 25, components similar to those in FIG. 4 are given the same reference numbers as in FIG. 4, and detailed explanations are omitted here.
- the image processing device 4A according to the fifth embodiment includes a focal plane determination unit 38 that determines whether a corresponding tomographic plane corresponding to a structural tomographic image in which each of the plurality of feature structures F is detected is a focal plane.
- This embodiment differs from the first embodiment in that the second embodiment further includes a positional deviation amount deriving unit 36 that derives the positional deviation amount in the corresponding tomographic plane determined to be the focal plane. Note that although the processing according to the fifth embodiment is also applicable to the second to fourth embodiments, only the case where it is applied to the first embodiment will be described here.
- FIG. 26 is a diagram for explaining ripple artifacts.
- the ripple artifact of the structure 48 is included in the tomographic images corresponding to the upper and lower tomographic planes of the tomographic image D3.
- the ripple artifact expands and becomes blurred as it moves away from the fault plane that includes the structure 48.
- the range in which the ripple artifact spreads corresponds to the range in which the X-ray source 16 moves.
- Ripple artifacts also occur in the structural tomographic image SDj.
- the feature structure F detected by the feature structure detection unit 34 from the structural tomographic image SDj of the corresponding tomographic plane is a ripple artifact
- the feature structure F is blurred and spread over a wide range. Therefore, if such a feature structure F is used, it is not possible to accurately derive the amount of positional deviation.
- the focal plane determination unit 38 determines whether or not the corresponding tomographic plane for the structural tomographic image SDj in which the characteristic structure F has been detected is the focal plane.
- the projection unit 35 derives the tomographic projection image GTi
- the positional deviation amount derivation unit 36 derives the positional deviation amount.
- the amount of positional shift is derived using the feature structure detected from the structural tomographic image in the corresponding tomographic plane determined to be the focal plane. Determination of whether or not it is the focal plane will be described below.
- the focal plane discrimination unit 38 derives corresponding points corresponding to the feature structures in the plurality of structural tomographic images SDj for the feature structures detected by the feature structure detection unit 34.
- FIG. 27 is a diagram for explaining derivation of corresponding points. As shown in FIG. 27, if a characteristic structure F3 is detected in a certain structural tomographic image SDk, the positional deviation amount deriving unit 36 detects the characteristic structure F3 in a plurality of structural tomographic images located in the thickness direction of the structural tomographic image SDk. Corresponding points C1, C2, C3, C4, etc. corresponding to F3 are derived. Note that in the following description, the reference numeral C is used for the corresponding point.
- the corresponding point C may be derived by aligning the region of interest including the feature structure F3 with a structural tomographic image other than the structural tomographic image SDk. Then, the focal plane discrimination unit 38 plots the pixel values of the feature structure F3 and the corresponding points C in the order in which the tomographic planes are arranged.
- FIG. 28 is a diagram showing the result of plotting the feature structure and pixel values of corresponding points. As shown in FIG. 28, the feature structure and the pixel values of corresponding points change to have minimum values in the feature structure due to the influence of ripple artifacts.
- the feature structure F3 is on the focal plane, the feature structure F3 is not blurred and has high brightness, that is, the pixel value is small.
- the feature structure F3 is a ripple artifact, so the pixel value is blurred and the pixel value becomes larger than the minimum value.
- the focal plane discrimination unit 38 determines that the position of the tomographic plane where the feature structure F3 is detected is the position P0 shown in FIG. 28 where the pixel value is the minimum. If so, it is determined that the corresponding tomographic plane where the feature structure F3 is detected is the focal plane. On the other hand, if the position of the tomographic plane where the characteristic structure F3 is detected is a position P1 shown in FIG. 28 where the pixel value is not the minimum, it is determined that the corresponding tomographic plane where the characteristic structure F3 is detected is not the focal plane.
- the projection unit 35 derives a tomographic projection image GTi in the same manner as in each of the above embodiments only on the corresponding tomographic plane determined to be the focal plane.
- the positional deviation amount deriving unit 36 derives the positional deviation amount of the tomographic projection image GTi in the corresponding tomographic plane determined to be the focal plane. That is, the positional deviation amount deriving unit 36 derives the positional deviation amount of the tomographic projection image GTi using the characteristic structure detected in the corresponding tomographic plane determined to be the focal plane.
- FIG. 29 is a flowchart showing the processing performed in the fifth embodiment. Note that the processing from step ST21 to step ST24 in FIG. 29 is similar to the processing from step ST1 to step ST4 in FIG. 18, so a detailed explanation will be omitted here. Note that in the fifth embodiment, it is assumed that a plurality of feature structures are detected.
- the focal plane discrimination unit 38 determines the corresponding tomographic plane corresponding to the structural tomographic image in which each of the plurality of feature structures detected by the feature structure detection unit 34 is detected. It is determined whether or not it is the focal plane (focal plane determination; step ST25). Then, the projection unit 35 derives a tomographic projection image GTi on the corresponding tomographic plane determined to be the focal plane (step ST26), and the positional deviation amount deriving unit 36 derives the tomographic projection image GTi on the corresponding tomographic plane determined to be the focal plane. The amount of positional deviation is derived using the characteristic structure detected in the structural tomographic image of the plane (step ST27).
- the reconstruction unit 33 derives a corrected tomographic image Dhj by reconstructing the plurality of projection images Gi while correcting the amount of positional deviation (step ST28). Then, the display control unit 37 displays the corrected tomographic image Dhj on the display 24 (step ST29), and the process ends. Note that the derived corrected tomographic image Dhj is transmitted to the image storage system 3 and stored.
- the amount of positional shift is derived in the corresponding tomographic plane determined to be the focal plane. Therefore, the amount of positional deviation can be derived with high accuracy without being influenced by ripple artifacts, and as a result, the corrected tomographic image Dhj in which the positional deviation has been corrected with high accuracy can be derived.
- the corresponding tomographic plane is a focal plane using the feature structure and the plotting results of pixel values of corresponding points. This determination is not limited to this. Between the feature structure and the ripple artifact, the difference in contrast between the feature structure and the surrounding pixels is greater in the feature structure. For this reason, the contrast between the feature structure and the surrounding pixels at the corresponding point may be derived, and if the contrast for the feature structure is maximum, it may be determined that the corresponding tomographic plane where the feature structure was detected is the focal plane. .
- the pixel values at the positions corresponding to the feature structures in the projection images will have small variations between projection images if the feature structures are in the focal plane, but if the feature structures are not in the focal plane, the feature structures will be Since there is a possibility that a structure other than the structure corresponding to the projection image is represented, the variation between projection images becomes large. Therefore, the variance value of pixel values corresponding to the feature structure between the projection images Gi is derived, and if the variance value is less than or equal to a predetermined threshold, the corresponding tomographic plane where the feature structure was detected is the focal plane.
- the present invention may also include a discriminator that determines whether or not the corresponding tomographic plane in which the characteristic structure has been detected is a focal plane.
- FIG. 30 is a diagram showing the functional configuration of an image processing apparatus according to the sixth embodiment.
- the image processing device 4B according to the sixth embodiment evaluates the image quality of the region of interest including the characteristic structure in the corrected tomographic image Dhj, and determines whether the derived positional deviation amount is appropriate or inappropriate based on the image quality evaluation result.
- This embodiment differs from the first embodiment in that it further includes a positional deviation amount determining section 39 that determines whether the positional deviation amount is the same or not. Note that although the processing according to the sixth embodiment is also applicable to the second to fifth embodiments, only the case where it is applied to the first embodiment will be described here.
- the positional deviation amount determination unit 39 determines the interest centering on the coordinate positions of a plurality of (in this case, two) feature structures F4 and F5 included in the corrected tomographic image Dhj, as shown in FIG. Areas Rh1 and Rh2 are set. Then, a high frequency image is derived by extracting high frequency components in each of the regions of interest Rh1 and Rh2.
- the high-frequency components may be extracted by, for example, performing filtering processing using a Laplacian filter or the like to derive a second-order differential image, but the present invention is not limited thereto. Further, the positional deviation amount determining unit 39 derives the magnitude of the high frequency component of the regions of interest Rh1 and Rh2.
- the magnitude of the high frequency component may be derived from the sum of squares of pixel values of the high frequency image, but is not limited to this. Then, the positional deviation amount determining unit 39 derives the sum of the magnitudes of the high frequency components for all the regions of interest Rh1 and Rh2.
- the positional deviation amount determination unit 39 performs image quality evaluation based on the magnitude of the high frequency component. That is, the positional deviation amount determining unit 39 determines whether the sum of the magnitudes of the high frequency components for all the regions of interest Rh1 and Rh2, derived as described above, is equal to or greater than the predetermined threshold Th20. judge.
- the positional deviation amount determining unit 39 determines that the positional deviation amount is appropriate; if the total sum is less than the threshold value Th20, the positional deviation amount determining unit 39 determines that the positional deviation amount is appropriate. , the amount of positional deviation is determined to be inappropriate. If the positional deviation amount judgment unit 39 determines that the positional deviation amount is inappropriate, the reconstruction unit 33 reconstructs the plurality of projection images Gi and derives the tomographic image Dj without correcting the positional deviation amount. . Then, the display control unit 37 displays the uncorrected tomographic image Dj on the display 24 instead of the corrected tomographic image Dhj. In this case, the tomographic image Dj before correction is sent to the external storage device instead of the corrected tomographic image Dhj.
- FIG. 32 is a flowchart showing the processing performed in the sixth embodiment. Note that the processing from step ST31 to step ST37 in FIG. 32 is similar to the processing from step ST1 to step ST7 in FIG. 18, so detailed explanation will be omitted here.
- the positional deviation amount determination unit 39 evaluates the image quality of the region of interest including the characteristic structure in the corrected tomographic image Dhj, and based on the image quality evaluation result, It is determined whether the amount of positional deviation is appropriate (step ST38).
- the display control unit 37 displays the corrected tomographic image Dhj on the display 24 (step ST39), and the process ends. Note that the derived corrected tomographic image Dhj is transmitted to the image storage system 3 and stored.
- the reconstruction unit 33 reconstructs the plurality of projection images Gi and derives the tomographic image Dj without correcting the amount of positional deviation (step ST40). Then, the display control unit 37 displays the tomographic image Dj on the display 24 (step ST41), and the process ends. in this case, The tomographic image Dj is transmitted to the image storage system 3 and stored.
- the positional deviation amount deriving unit 36 derives the positional deviation amount, it may not be possible to derive an appropriate positional deviation amount due to the influence of structures other than the characteristic structure.
- the image quality of the corrected tomographic image Dhj is evaluated, and based on the image quality evaluation result, it is determined whether the amount of positional deviation is appropriate or inappropriate. Therefore, it is possible to appropriately judge whether the derived positional deviation amount is appropriate or not.
- the amount of positional deviation is determined to be inappropriate, the tomographic image Dj before correction is displayed or saved, so that the correction derived based on the inappropriate amount of positional deviation is corrected. The possibility of incorrect diagnosis being made can be reduced by using the completed tomographic image Dhj.
- the image quality is evaluated based on the magnitude of the high frequency component of the region of interest set in the corrected tomographic image Dhj, but the present invention is not limited to this.
- the reconstruction unit 33 derives a plurality of tomographic images Dj by reconstructing the plurality of projection images Gi without performing positional deviation correction, and the positional deviation amount determination unit 39 calculates the tomographic image Dj of interest including the characteristic structure.
- the image quality of the area is further evaluated, and the image quality evaluation results for the corrected tomographic image Dhj and the image quality evaluation results for the tomographic image Dj are compared, and the tomographic image with the higher image quality evaluation is selected as the final tomographic image. may be determined.
- the final tomographic image is a tomographic image that is displayed on the display 24 or transmitted to and stored in an external device.
- the amount of positional deviation may be repeatedly updated similarly to the fourth embodiment.
- the positional deviation amount derived by the positional deviation amount deriving unit 36 is compared with a predetermined threshold value, and the positional deviation amount exceeds the threshold value. Only in this case, the tomographic image may be reconstructed while correcting the amount of positional deviation.
- FIG. 33 is a diagram showing the functional configuration of an image processing apparatus according to the seventh embodiment.
- the image processing device 4C according to the seventh embodiment includes an evaluation function derivation unit 50 that derives an evaluation function for evaluating the image quality of a region of interest including a feature structure in a corrected tomographic image Dhj, and a positional deviation amount derivation unit 36.
- this embodiment differs from the first embodiment in that a positional shift amount that optimizes the evaluation function is derived. Note that although the processing according to the seventh embodiment is also applicable to the second to fifth embodiments, only the case where it is applied to the first embodiment will be described here.
- the evaluation function deriving unit 50 derives a high-frequency image for the region of interest corresponding to the feature structure F that the positional deviation amount deriving unit 36 has set for the tomographic projection image GTi.
- the high-frequency image may be derived by performing filtering processing using a Laplacian filter or the like to derive a second-order differential image, similarly to the positional deviation amount determination unit 39 in the sixth embodiment.
- Let qkl be the pixel value of the high-frequency image within the derived region of interest.
- k represents the k-th projection image
- l represents the number of pixels within the region of interest.
- a transformation matrix for correcting the amount of positional deviation is Wk
- a transformation parameter in the transformation matrix is ⁇ k.
- the conversion parameter ⁇ k corresponds to the amount of positional deviation.
- the image quality evaluation value for the region of interest corresponding to the feature structure F in the corrected tomographic image Dhj can be regarded as the sum of the sizes of the high-frequency images for the region of interest after positional deviation correction in each of the projection images Gi. can.
- the evaluation function derivation unit 50 derives the evaluation function shown in equation (3) below.
- the evaluation function Ec shown in equation (3) is an evaluation function Ec that calculates a conversion parameter ⁇ k to minimize the value in the parentheses on the right side with a negative value in order to maximize the above addition result.
- the evaluation function shown in equation (3) has multiple local solutions. For this reason, constraints are imposed on the range and average value of the conversion parameter ⁇ k. For example, a constraint is given such that the average of the transformation parameters ⁇ k for all projected images is 0. More specifically, when the transformation parameter ⁇ k is a movement vector representing parallel movement, a constraint condition is given such that the average value of the movement vectors for all projection images Gi is zero.
- the positional deviation amount deriving unit 36 derives a conversion parameter ⁇ k, that is, a positional deviation amount that minimizes the evaluation function Ec shown in equation (3) below.
- the seventh embodiment includes the evaluation function derivation unit 50 that derives an evaluation function for evaluating the image quality of the region of interest including the feature structure in the corrected tomographic image Dhj, and the positional deviation amount derivation unit 36.
- the amount of positional deviation that optimizes the evaluation function is derived. Therefore, it is possible to reduce the possibility that an incorrect diagnosis will be made using the corrected tomographic image Dhj derived based on an inappropriate amount of positional deviation.
- a region of interest is set in the tomographic image Dj and the tomographic projection image GTi, and the moving direction and movement of the region of interest are determined.
- the amount is derived as a shift vector, that is, a positional deviation amount and a temporary positional deviation amount
- the present invention is not limited to this.
- the amount of positional deviation may be derived without setting a region of interest.
- the projection unit 35 derives the tomographic projection image GTi
- the positional deviation amount deriving unit 36 derives the positional deviation amount between the tomographic projection images GTi, but the present invention is not limited to this. It's not something you can do.
- the amount of positional deviation between the projection images Gi may be derived without deriving the tomographic projection images GTi. In this case, the projection unit 35 becomes unnecessary in each of the above embodiments.
- the positional deviation amount deriving unit 36 may derive the positional deviation amount based on the positional relationship of the projection image Gi in the corresponding tomographic plane corresponding to the tomographic image in which the feature structure F has been detected.
- the subject is the breast M, but the subject is not limited to this, and it goes without saying that the subject may be any part of the human body, such as the chest or abdomen.
- the various processors may be used. I can do it.
- the various processors listed above include circuits such as FPGA (Field Programmable Gate Array) after manufacturing.
- Programmable logic devices (PLDs) which are processors whose configuration can be changed, and specialized electrical devices, which are processors with circuit configurations specifically designed to execute specific processes, such as ASICs (Application Specific Integrated Circuits). Includes circuits, etc.
- One processing unit may be composed of one of these various types of processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). ). Further, the plurality of processing units may be configured with one processor.
- one processor is configured with a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
- processors that use a single IC (Integrated Circuit) chip, such as System On Chip (SoC), which implements the functions of an entire system including multiple processing units. be.
- SoC System On Chip
- various processing units are configured using one or more of the various processors described above as a hardware structure.
- circuitry that is a combination of circuit elements such as semiconductor elements can be used.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
プロセッサが、トモシンセシス撮影により生成された複数の投影画像を取得し、複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、複数の構造断層画像から少なくとも1つの特徴構造を検出し、特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出するよう構成される、画像処理装置を提供する。
Description
本願は2022年3月8日出願の日本出願第2022-035379号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本開示は、画像処理装置、方法およびプログラムに関する。
本開示は、画像処理装置、方法およびプログラムに関する。
近年、X線、ガンマ線等の放射線を用いた放射線画像撮影装置において、患部をより詳しく観察するために、放射線源を移動させて複数の線源位置から被写体に放射線を照射して撮影を行い、これにより取得した複数の投影画像を加算して所望の断層面を強調した断層画像を導出するトモシンセシス撮影が提案されている。トモシンセシス撮影では、撮影装置の特性および必要な断層画像に応じて、放射線源を放射線検出器と平行に移動させたり、円または楕円の弧を描くように移動させたりして、複数の線源位置において被写体を撮影することにより複数の投影画像を取得し、単純逆投影法あるいはフィルタ逆投影法等の逆投影法等を用いてこれらの投影画像を再構成して断層画像を導出する。
このような断層画像を被写体における複数の断層面において導出することにより、断層面が並ぶ深さ方向に重なり合った構造を分離することができる。このため、従来の単純撮影により取得される2次元画像においては検出が困難であった病変を発見することが可能となる。なお、単純撮影とは、被写体に1回放射線を照射して、被写体の透過像である1枚の2次元画像を取得する撮影方法である。
一方、トモシンセシス撮影は、複数の線源位置のそれぞれにおける撮影の時間差に起因する被写体の体動等の影響により、再構成された断層画像がぼけてしまうという問題もある。このように断層画像がぼけてしまうと、とくに***が被写体である場合において、乳癌の早期発見に有用な、微小な石灰化等の病変を発見することが困難となる。
このため、トモシンセシス撮影により取得した投影画像から断層画像を導出するに際し、体動を補正する手法が提案されている。例えば、国際公開第2020/067475号には、導出された断層画像において少なくとも1つの特徴点を検出し、特徴点が検出された断層画像に対応する対応断層面において、特徴点を基準として被写体の体動に基づく複数の投影画像間の位置ずれ量を導出し、位置ずれ量を補正して複数の投影画像を再構成することにより体動の影響が補正された補正済み断層画像を導出する手法が提案されている。
国際公開第2020/067475号に記載された手法においては、断層画像から特徴点を検出しているが、投影画像上で特徴点が必ず検出されるとは限らない。例えば、断層画像においては高いコントラストで特徴点が存在する場合であっても、投影画像においては特徴点のコントラストが低く、特徴点が検出しにくい場合もある。投影画像において特徴点が検出しにくいと、断層画像上の特徴点と、投影画像上の特徴点とを精度よく対応づけできず、その場合、体動を精度よく補正できない。
本開示は上記事情に鑑みなされたものであり、体動が精度よく補正された高画質の断層画像を取得できる画像処理装置、方法およびプログラムを提供する。
本開示による画像処理装置は、少なくとも1つのプロセッサを備え、
プロセッサは、
放射線源を検出部の検出面に対して相対的に移動させ、放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、複数の線源位置のそれぞれに対応する複数の投影画像を取得し、
複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
複数の構造断層画像から少なくとも1つの特徴構造を検出し、
特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出するよう構成される。
プロセッサは、
放射線源を検出部の検出面に対して相対的に移動させ、放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、複数の線源位置のそれぞれに対応する複数の投影画像を取得し、
複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
複数の構造断層画像から少なくとも1つの特徴構造を検出し、
特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出するよう構成される。
「放射線源を検出部に対して相対的に移動させる」とは、放射線源のみを移動する場合、検出部のみを移動する場合、および放射線源と検出部との双方を移動する場合のいずれをも含む。
なお、本開示による画像処理装置においては、特定構造は、線構造および点構造の少なくとも一方であってもよい。
また、本開示による画像処理装置においては、プロセッサは、投影画像における画素値の勾配を表す勾配ベクトルの集中度に基づいて線構造および点構造の少なくとも一方を抽出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれ量を導出し、
位置ずれ量を補正して複数の投影画像を再構成することにより、補正済み断層画像を導出するものであってもよい。
位置ずれ量を補正して複数の投影画像を再構成することにより、補正済み断層画像を導出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の構造断層画像から複数の特徴構造を検出し、
複数の特徴構造のそれぞれが検出された構造断層画像に対応する対応断層面が焦点面であるか否かを判別し、
焦点面と判別された対応断層面において位置ずれ量を導出するものであってもよい。
複数の特徴構造のそれぞれが検出された構造断層画像に対応する対応断層面が焦点面であるか否かを判別し、
焦点面と判別された対応断層面において位置ずれ量を導出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、構造断層画像における特定のしきい値条件を満足する点を特徴構造として検出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、位置ずれを補正しつつ構造投影画像を再構成することにより構造断層画像を更新し、
更新された構造断層画像から更新された特徴構造を検出し、
更新された特徴構造を用いて位置ずれ量を更新し、
構造断層画像の更新、特徴構造の更新および位置ずれ量の更新を繰り返すものであってもよい。
更新された構造断層画像から更新された特徴構造を検出し、
更新された特徴構造を用いて位置ずれ量を更新し、
構造断層画像の更新、特徴構造の更新および位置ずれ量の更新を繰り返すものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、位置ずれを補正しつつ構造投影画像を再構成することにより構造断層画像を更新し、
更新されたしきい値条件に基づいて更新された構造断層画像から更新された特徴構造を検出し、
更新された特徴構造を用いて位置ずれ量を更新し、
構造断層画像の更新、更新されたしきい値条件に基づく特徴構造の更新および位置ずれ量の更新を繰り返すものであってもよい。
更新されたしきい値条件に基づいて更新された構造断層画像から更新された特徴構造を検出し、
更新された特徴構造を用いて位置ずれ量を更新し、
構造断層画像の更新、更新されたしきい値条件に基づく特徴構造の更新および位置ずれ量の更新を繰り返すものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の投影画像のそれぞれについての撮影時の線源位置と検出部との位置関係に基づいて、複数の投影画像を対応断層面に投影して、複数の投影画像のそれぞれに対応する断層面投影画像を導出し、
対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の断層面投影画像間の位置ずれ量を、複数の投影画像間の位置ずれ量として導出するものであってもよい。
対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の断層面投影画像間の位置ずれ量を、複数の投影画像間の位置ずれ量として導出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の断層面投影画像において、特徴構造に対応する局所領域を設定し、局所領域に基づいて位置ずれ量を導出するものであってもよい。
「局所領域」とは、断層画像または断層面投影画像における特徴構造を含む領域であり、断層画像または断層面投影画像よりも小さい、任意の大きさの領域とすることができる。
なお、局所領域は、体動として動く範囲よりも大きくする必要がある。体動は大きい場合には2mm程度となることがある。このため、1画素の大きさが100μm四方の断層画像または断層面投影画像の場合、局所領域は、例えば特徴構造の周辺の50×50画素、あるいは100×100画素等の領域とすればよい。
「局所領域における特徴構造の周囲の領域」とは、局所領域内における特徴構造を含む、局所領域よりも小さい領域を意味する。
また、本開示による画像処理装置においては、プロセッサは、複数の断層面投影画像において、特徴構造を含む複数の第1の局所領域を設定し、特徴構造が検出された断層画像において、特徴構造を含む第2の局所領域を設定し、第2の局所領域に対する複数の第1の局所領域の位置ずれ量を仮の位置ずれ量としてそれぞれ導出し、該複数の仮の位置ずれ量に基づいて位置ずれ量を導出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、第2の局所領域における特徴構造の周囲の領域に基づいて、仮の位置ずれ量を導出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、位置ずれ量を導出する対象となる対象断層面投影画像に対応する対象投影画像を除いた複数の投影画像を再構成して複数の断層画像を対象断層画像として導出し、
対象断層画像を用いて対象断層面投影画像についての位置ずれ量を導出するものであってもよい。
対象断層画像を用いて対象断層面投影画像についての位置ずれ量を導出するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、補正済み断層画像における特徴構造を含む関心領域の画質評価を行い、画質評価の結果に基づいて、導出された位置ずれ量が適切であるか不適切であるかを判断するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、複数の投影画像を再構成することにより複数の断層画像を導出し、
断層画像における特徴構造を含む関心領域の画質評価を行い、補正済み断層画像についての画質評価の結果と、断層画像についての画質評価の結果とを比較し、画質評価の結果
が良い方の断層画像を、最終的な断層画像に決定するものであってもよい。
断層画像における特徴構造を含む関心領域の画質評価を行い、補正済み断層画像についての画質評価の結果と、断層画像についての画質評価の結果とを比較し、画質評価の結果
が良い方の断層画像を、最終的な断層画像に決定するものであってもよい。
また、本開示による画像処理装置においては、プロセッサは、補正済み断層画像における特徴構造を含む関心領域の画質評価を行うための評価関数を導出し、
評価関数を最適化する位置ずれ量を導出するものであってもよい。
評価関数を最適化する位置ずれ量を導出するものであってもよい。
また、本開示による画像処理装置においては、被写体は***であってもよい。
また、本開示による画像処理装置においては、プロセッサは、乳腺密度、***の大きさ、トモシンセシス撮影の撮影時間、トモシンセシス撮影時における***の圧迫圧、および***の撮影方向の少なくとも1つに応じて、位置ずれ量導出時の探索範囲を変更するものであってもよい。
本開示による画像処理方法は、放射線源を検出部の検出面に対して相対的に移動させ、放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、複数の線源位置のそれぞれに対応する複数の投影画像を取得し、
複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
複数の構造断層画像から少なくとも1つの特徴構造を検出し、
特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出する。
複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
複数の構造断層画像から少なくとも1つの特徴構造を検出し、
特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出する。
本開示による画像処理プログラムは、放射線源を検出部の検出面に対して相対的に移動させ、放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、複数の線源位置のそれぞれに対応する複数の投影画像を取得し、
複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
複数の構造断層画像から少なくとも1つの特徴構造を検出し、
特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出することを含む処理をコンピュータに実行させる。
複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
複数の構造投影画像を再構成して被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
複数の構造断層画像から少なくとも1つの特徴構造を検出し、
特徴構造が検出された構造断層画像に対応する対応断層面において、特徴構造を基準として、被写体の体動に基づく複数の投影画像間の位置ずれを補正して複数の投影画像を再構成し、被写体の少なくとも1つの断層面における補正済み断層画像を導出することを含む処理をコンピュータに実行させる。
本開示によれば、体動が精度よく補正された高画質の断層画像を取得できる。
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の第1の実施形態による画像処理装置を適用した放射線画像撮影システムの概略構成図である。図1に示すように、放射線画像撮影システム1は、***のトモシンセシス撮影を行って断層画像を導出するために、複数の線源位置から被写体である***を撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。放射線画像撮影システム1は、撮影装置10、コンソール2、画像保存システム3、および本実施形態による画像処理装置4を備える。
図2は放射線画像撮影システムにおける撮影装置を図1の矢印A方向から見た図である。撮影装置10は、***のトモシンセシス撮影を行って断層画像を導出するために、複数の線源位置から被写体である***Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するマンモグラフィ撮影装置である。
撮影装置10は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、放射線照射部14が取り付けられた端部のみを回転することが可能に構成されており、これにより、撮影台13を固定して放射線照射部14のみを回転することが可能となっている。なお、
アーム部12の回転は、コンソール2により制御される。
アーム部12の回転は、コンソール2により制御される。
撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15はX線等の放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、および電圧信号をデジタル信号に変換するAD(Analog Digital)変換部等が設けられた回路基板等も設置されている。なお、放射線検出器15が検出部の一例である。また、本実施形態においては、検出部として放射線検出器15を用いているが、放射線を検出して画像に変換することができれば、放射線検出器15に限定されるものではない。
放射線検出器15は、放射線画像の記録および読み出しを繰り返して行うことができるものであり、X線等の放射線を直接電荷に変換する、いわゆる直接型の放射線検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、TFT(Thin Film Transistor)スイッチをオンおよびオフすることによって放射線画像信号が読み出される、いわゆるTFT読出方式のもの、または読取光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。
放射線照射部14の内部には、放射線源であるX線源16が収納されている。X線源16から放射線であるX線を照射するタイミングおよびX線源16におけるX線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
また、アーム部12には、撮影台13の上方に配置されて***Mを押さえつけて圧迫する圧迫板17、圧迫板17を支持する支持部18、および支持部18を図1および図2の上下方向に移動させる移動機構19が設けられている。
コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、撮影装置10の制御を行う機能を有している。具体的には、コンソール2は、撮影装置10に***Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
画像保存システム3は、撮影装置10により撮影された放射線画像および断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像データから、コンソール2および画像処理装置4等からの要求に応じた画像データを取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
次いで、第1の実施形態に係る画像処理装置について説明する。まず、図3を参照して、第1の実施形態に係る画像処理装置のハードウェア構成を説明する。図3に示すように、画像処理装置4は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)21、不揮発性の
ストレージ23、および一時記憶領域としてのメモリ26を備える。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ24、キーボードおよびマウス等の入力デバイス25、並びに不図示のネットワークに接続されるネットワークI/F(InterFace)2
7を備える。CPU21、ストレージ23、ディスプレイ24、入力デバイス25、メモ
リ26およびネットワークI/F27は、バス28に接続される。なお、CPU21は、本開示におけるプロセッサの一例である。
ストレージ23、および一時記憶領域としてのメモリ26を備える。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ24、キーボードおよびマウス等の入力デバイス25、並びに不図示のネットワークに接続されるネットワークI/F(InterFace)2
7を備える。CPU21、ストレージ23、ディスプレイ24、入力デバイス25、メモ
リ26およびネットワークI/F27は、バス28に接続される。なお、CPU21は、本開示におけるプロセッサの一例である。
ストレージ23は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ23には、画像処理装置4にインストールされた画像処理プログラム22が記憶される。CPU21は、ストレージ23から画像処理プログラム22を読み出してメモリ26に展開し、展開した画像処理プログラム22を実行する。
なお、画像処理プログラム22は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置4を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から画像処理装置4
を構成するコンピュータにインストールされる。
を構成するコンピュータにインストールされる。
次いで、第1の実施形態による画像処理装置の機能的な構成を説明する。図4は、第1の実施形態による画像処理装置の機能的な構成を示す図である。図4に示すように、画像処理装置4は、画像取得部31、構造抽出部32、再構成部33、特徴構造検出部34、投影部35、位置ずれ量導出部36、および表示制御部37を備える。そして、CPU21は、画像処理プログラム22を実行することにより、画像取得部31、構造抽出部32、再構成部33、特徴構造検出部34、投影部35、位置ずれ量導出部36、および表示制御部37として機能する。
画像取得部31は、コンソール2が撮影装置10にトモシンセシス撮影を行わせることにより生成された複数の投影画像を取得する。画像取得部31は、コンソール2または画像保存システム3からネットワークI/F18を介して複数の投影画像を取得する。
ここで、コンソール2におけるトモシンセシス撮影について説明する。コンソール2は、断層画像を生成するためのトモシンセシス撮影を行うに際し、アーム部12を回転軸11の周りに回転させることによりX線源16を移動させる。また、コンソール2は、X線源16の移動による複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である***MにX線を照射させる。また、コンソール2は、***Mを透過したX線が放射線検出器15により検出されることによって得られた複数の線源位置における複数の投影画像Gi(i=1~n;nは線源位置の数であり、例えばn=15)を取得する。
図5に示すように、X線源16を線源位置Si(i=1~n)の各々に移動し、各線源位置においてX線源16を駆動して***MにX線を照射する。***Mを透過したX線を放射線検出器15が検出することにより、線源位置S1~Snの各々に対応して、投影画像G1,G2,・・・Gnが取得される。なお、線源位置S1~Snの各々においては、同一の線量のX線が***Mに照射される。
なお、図5において、線源位置Scは、X線源16から出射されたX線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。以下では、線源位置Scを基準線源位置Scと称し、基準線源位置Scにおいて***MにX線を照射することにより取得される投影画像Gcを基準投影画像Gcと称するものとする。ここで、「X線の光軸X0が放射線検出器15の検出面15Aと直交する」とは、X線の光軸X0が放射線検出器15の検出面15Aに対して90度の角度で交わることを意味するが、これに限定されるものではなく、90度に対してある程度の誤差を持って交わる場合も含む。例えば、90度に対して±3度程度の誤差を持ってX線の光軸X0が放射線検出器15の検出面15Aと交わる場合も、本実施形態における「X線の光軸X0が放射線検出器15の検出面15Aと直交する」に含まれる。
構造抽出部32は、複数の投影画像Giのそれぞれから特定構造を抽出することにより複数の構造投影画像を導出する。特定構造としては例えば***Mに含まれる線構造または点構造の少なくとも一方が挙げられる。線構造としては、例えば乳腺、スピキュラおよび血管等が例として挙げられる。点構造としては、石灰化、複数の乳腺の交点、および血管の交点等が例として挙げられる。なお、点構造は、微細な点に限定されるものではなく、所定の面積を持った領域も点構造に含むものとする。また、以降の説明においては線構造および点構造の双方を特定構造として用いるものとする。線構造および点構造を抽出するために、本実施形態においては、「集中度評価法とベクトル集中度フィルタ、吉永ら、MEDICAL IMAGING TECHNOLOGY VOL.19 No.3、2001」に記載された投影画像Giにおける画素値の勾配を表す勾配ベクトルの集中度を用いる。
集中度を用いて線構造を抽出する手法は、線集中度フィルタを用いることにより、投影画像Giにおいてある方向に沿った探索線の両側における勾配ベクトルを求め、勾配ベクトルが集中する集中度を評価し、評価が大きい探索線を線構造として抽出する手法である。集中度を用いて点構造を抽出する手法は、点集中度フィルタを用いることにより、投影画像Giにおいてある方向に向かう勾配ベクトルを求め、勾配ベクトルが集中する集中度を評価し、評価が大きい点を点構造として抽出する手法である。ベクトルの集中度を用いることにより、投影画像Giのコントラストに拘わらず、投影画像Giから点構造あるいは線構造を抽出することができる。
なお、線構造であれば実寸法で1mm程度、点構造であれば実寸法で0.5mm程度となる線構造および点構造を抽出するように集中度フィルタの係数を設定することが好ましい。これにより、投影画像Giに含まれるノイズが線構造および点構造として抽出されてしまうことを防止できる。
また、構造抽出部32は、Harrisのコーナー検出法、SIFT(Scale-Invariant
Feature Transform)、FAST(Features from Accelerated Segment Test)あるいは
SURF(Speeded Up Robust Features)等のアルゴリズムを用いて、投影画像Giに含まれる、エッジ、エッジの交点およびエッジの角部等を点構造として抽出するようにしてもよい。
Feature Transform)、FAST(Features from Accelerated Segment Test)あるいは
SURF(Speeded Up Robust Features)等のアルゴリズムを用いて、投影画像Giに含まれる、エッジ、エッジの交点およびエッジの角部等を点構造として抽出するようにしてもよい。
図6は投影画像および構造投影画像を示す図である。図6に示すように、構造投影画像SGiは投影画像Giに含まれる線構造が抽出されたものとなっている。なお、構造抽出部32は、多値の構造投影画像SGiを導出するものであってもよいが、多値の構造投影画像SGiを二値化することにより二値の構造投影画像SGiを導出するものであってもよい。
また、構造抽出部32は、機械学習がなされた学習モデルを用いて投影画像Giに含まれる線構造および点構造の少なくとも一方を抽出するものであってもよい。
再構成部33は、複数の構造投影画像SGiを再構成することにより、***Mの複数の断層面のそれぞれにおける構造断層画像を導出する。また、再構成部33は、後述するように位置ずれを補正しつつ複数の投影画像Giの全部または一部を再構成することにより、***Mの所望とする断層面を強調した断層画像を導出する。また、再構成部33は、必要に応じて、位置ずれ量を補正することなく、複数の投影画像Giの全部または一部を再構成することにより、***Mの所望とする断層面を強調した断層画像を導出する。
具体的には、再構成部33は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて複数の構造投影画像SGiを再構成して、図7に示すように、***Mの複数の断層面のそれぞれにおける複数の構造断層画像SDj(j=1~m)を導出する。また、再構成部33は、複数の投影画像Giの全部若しくは一部を再構成して、***Mの複数の断層面のそれぞれにおける複数の断層画像Dj(j=1~m)を導出する。この際、***Mを含む3次元空間における3次元の座標位置が設定され、設定された3次元の座標位置に対して、複数の構造投影画像SGiまたは複数の投影画像Giの対応する画素位置の画素値が再構成されて、その座標位置の画素値が算出される。なお、再構成部33は、後述するようにトモシンセシス撮影中における***Mの体動に基づく位置ずれ量が導出されると、位置ずれを補正しつつ複数の投影画像Giを再構成することにより、体動が補正された補正済み断層画像を導出する。
特徴構造検出部34は、複数の構造断層画像SDjから少なくとも1つの特徴構造を検出する。特徴構造としては、構造断層画像SDjに含まれる点構造および線構造が挙げられる。図8は特徴構造の検出を説明するための図である。なお、本実施形態においては、点構造を特徴構造として検出するものとする。また、ここでは、複数の構造断層画像SDjのうちの1つの構造断層画像SDkからの特徴構造の検出について説明する。図8に示すように、構造断層画像SDkには、構造断層画像SDkを取得した***Mの断層面における石灰化等の点状構造物E1~E3および血管の交点等のエッジの交点E4,E5が含まれる。
特徴構造検出部34は、公知のアルゴリズムを用いて、構造断層画像SDkから石灰化等の点状構造物を点構造すなわち特徴構造として検出する。また、Harrisのコーナー検出法、SIFT、FASTあるいはSURF等のアルゴリズムを用いて、構造断層画像SDkに含まれる、エッジ、エッジの交点およびエッジの角部等の点を特徴構造として検出するものであってもよい。例えば、特徴構造検出部34は、図8に示す構造断層画像SDkに含まれる点状構造物E1を特徴構造F1として検出する。点構造は構造断層画像SDjにおいていずれも高輝度の画素値、すなわち小さい画素値を有するものとなる。このため、これらのいずれの手法においても、検出された特徴構造は、特定のしきい値条件を満足するものとなる。具体的には、点構造は、構造断層画像SDjにおいて画素値が予め定められたしきい値Th1以下の点となる。なお、構造断層画像SDjの画素値が輝度が高いほど大きい値となるものである場合、検出された特徴構造は、構造断層画像SDjにおいて画素値が予め定められたしきい値以上の点となる。
なお、上述したように、特徴構造は点構造に限られないが、線構造を特徴構造として検出する場合であっても、例えば特定のしきい値条件を満足する輝度を基準としたり、公知のアルゴリズムを適宜利用したりすることができる。また、特徴構造を検出するために、コンピュータ支援画像診断(CAD: Computer Aided Diagnosis、以下CADと称する)のアルゴリムを用いてもよい。
なお、ここでは説明のために1つの構造断層画像SDkから1つの特徴構造F1のみを検出しているが、複数の特徴構造を検出することが好ましい。例えば、図8に示す構造断層画像SDkに含まれる点状構造物E1~E3および交点E4,E5のすべての点構造を特徴構造として検出してもよい。特徴構造は構造断層画像SDkにおける1つの画素のみであってもよく、特徴となる構造の位置を表す複数の画素からなるものであってもよい。また、ここでは説明のため、1つの構造断層画像SDkからのみ特徴構造を検出しているが、実際には複数の構造断層画像SDjのそれぞれから複数の特徴構造が検出されるものとする。
投影部35は、複数の投影画像Giのそれぞれについての撮影時の線源位置と放射線検出器15との位置関係に基づいて、特徴構造F1が検出された断層画像に対応する断層面である対応断層面に、複数の投影画像Giを投影する。そしてこれにより、投影部35は、複数の投影画像Giのそれぞれに対応する断層面投影画像GTiを導出する。以下、断層面投影画像GTiの導出について説明する。なお、本実施形態においては、複数の断層画像Djのそれぞれにおいて特徴構造が検出されているため、複数の断層画像Djに対応する複数の断層面Tjのそれぞれに複数の投影画像Giが投影されて、断層面投影画像GTiが導出される。
図9は投影画像の対応断層面への投影を説明するための図である。なお、図9においては、線源位置Siにおいて取得された1つの投影画像Giを、***Mにおける1つの断層面Tjに投影する場合について説明する。本実施形態においては、図9に示すように、線源位置Siと投影画像Gi上の画素位置とを結ぶ直線と、断層面Tjとが交差する位置に、この直線上に位置する投影画像Giの画素値を投影する。
なお、投影画像Giおよび断層面Tjにおいて導出される断層画像は、所定のサンプリング間隔にて2次元状に離散的に配置された複数の画素からなるものであり、所定のサンプリング間隔となる格子点に画素が配置される。図9においては、投影画像Giおよび断層面Tjに直交する短い線分が、画素の区切り位置を示す。したがって、図9においては、画素の区切り位置の中央の位置が格子点である画素位置となる。
ここで、線源位置Siにおける線源位置の座標(sxi,syi,szi)、投影画像Gi上の画素位置Piの座標(pxi,pyi)、および断層面Tjにおける投影位置の座標(tx,ty,tz)の関係は、下記の式(1)により表される。なお、本実施形態においては、放射線検出器15の検出面15Aに垂直な方向にz軸を、放射線検出器15の検出面においてX線源16が移動する方向と平行な方向にy軸を、y軸に直交する方向にx軸をそれぞれ設定するものとする。
pxi=(tx×szi-sxi×tz)/(szi-tz)
pyi=(ty×szi-syi×tz)/(szi-tz) (1)
pxi=(tx×szi-sxi×tz)/(szi-tz)
pyi=(ty×szi-syi×tz)/(szi-tz) (1)
したがって、式(1)におけるpxi,pyiを投影画像Giの画素位置とし、式(1)をtx,tyについて解くことにより、投影画像Giの画素値が投影される断層面Tj上の投影位置を算出することができる。したがって、算出した断層面Tj上の投影位置に投影画像Giの画素値を投影することにより、断層面投影画像GTiが導出される。
この場合、線源位置Siと投影画像Gi上の画素位置とを結ぶ直線と断層面Tjとの交点が、断層面Tj上の画素位置とならない場合がある。例えば、図10に示すように、断層面Tj上の投影位置(tx,ty,tz)が、断層面Tj上の断層画像Djの画素位置O1~O4の間に位置する場合がある。この場合、各画素位置O1~O4の周囲にある複数の投影位置における投影画像の画素値を用いた補間演算を行って各画素位置の画素値を算出すればよい。
なお、補間演算としては、画素位置とその周囲にある複数の投影位置との距離に応じて、投影位置における投影画像の画素値に重み付けをする線形補間演算を用いることができる。またこれ以外に、画素位置の周囲におけるより多くの投影位置の画素値を用いた非線形のバイキュービック補間演算、およびB-スプライン補間演算等の任意の手法を用いることができる。また、補間演算の他、画素位置に最も近い投影位置の画素値をその画素位置の画素値として用いるようにしてもよい。これにより、投影画像Giについて、断層面Tjの全画素位置における画素値が求められる。本実施形態においては、複数の投影画像Giのそれぞれについて、このようにして断層面Tjの全画素位置において求められた画
素値を有する断層面投影画像GTiが導出される。したがって、1つの断層面において、断層面投影画像GTiの数は投影画像Giの数と一致する。
素値を有する断層面投影画像GTiが導出される。したがって、1つの断層面において、断層面投影画像GTiの数は投影画像Giの数と一致する。
位置ずれ量導出部36は、トモシンセシス撮影中の***Mの体動に基づく、複数の断層面投影画像GTi間の位置ずれ量を導出する。まず、位置ずれ量導出部36は、複数の断層面投影画像GTiに対して、特徴構造F1に対応する局所領域を関心領域として設定する。具体的には、特徴構造F1の座標位置を中心とする予め定められた大きさの局所領域を関心領域として設定する。図11は関心領域の設定を説明するための図である。なお、図11においては、説明のために断層面Tjに3つの投影画像G1~G3が投影されて断層面投影画像GT1~GT3が導出されているものとする。
図11に示すように、位置ずれ量導出部36は、断層面Tjにおける断層画像Djにおいて、特徴構造F1の座標位置を中心とする関心領域Rf0を設定する。そして、断層面投影画像GT1~GT3のそれぞれにおいて、関心領域Rf0に対応する関心領域R1~R3を設定する。なお、図11における破線が関心領域R1~R3とそれ以外の領域との境界を示す。したがって、断層面Tj上において、関心領域Rf0および関心領域R1~R3の位置は一致することとなる。図12は断層面投影画像GT1~GT3に設定された関心領域R1~R3を示す図である。なお、体動は大きい場合には2mm程度となることがある。このため、1画素の大きさが100μm四方の断層画像または断層面投影画像の場合、関心領域R1~R3は、例えば特徴構造F1の周辺の50×50画素、あるいは100×100画素等の領域とすればよい。
さらに、位置ずれ量導出部36は、関心領域R1~R3の位置合わせを行う。この際、基準となる断層面投影画像に設定した関心領域を基準として位置合わせを行う。本実施形態においては、X線源16からのX線の光軸X0が放射線検出器15と直交する線源位置Scにおいて取得した基準投影画像(Gcとする)についての断層面投影画像(基準断層面投影画像とする)に設定した関心領域を基準として、他の関心領域の位置合わせを行う。
ここで、図12に示す関心領域R2が基準断層面投影画像に設定されたものとする。この場合、位置ずれ量導出部36は、関心領域R2に対する関心領域R1,R3の位置合わせを行い、関心領域R2に対する関心領域R1,R3の移動方向および移動量を表すシフトベクトルを位置ずれ量として導出する。なお、位置合わせは、関心領域R2に対する関心領域R1,R3の相関が最大となるように、予め定められた探索範囲において、関心領域R2に対する関心領域R1,R3の移動方向および移動量を求めることを意味する。ここで、相関としては正規化相互相関を用いればよい。また、断層面投影画像GTiのうちの1つの基準断層面投影画像を基準としているため、シフトベクトルは断層面投影画像の数よりも1つ少ないものとなる。例えば断層面投影画像の数が15であれば、シフトベクトルの数は14となり、断層面投影画像の数が3であれば、シフトベクトルの数は2となる。
図13は、投影画像G1~G3を取得する間に体動が発生していない場合の3つの関心領域R1~R3内の画像を示す図である。なお、図13においては、関心領域R1~R3の中心位置、すなわち断層面投影画像GT1~GT3における特徴構造F1に対応する位置P1~P3を示し、関心領域R1~R3に含まれる特徴構造F1の像F2を大きい丸印により示している。図13に示すように、投影画像G1~G3を取得する間に体動が発生していない場合、3つの関心領域R1~R3のすべてにおいて、特徴構造F1に対応する位置P1~P3と、特徴構造F1の像F2の位置とが一致する。このため、関心領域R2に対する関心領域R1,R3のシフトベクトル、すなわち位置ずれ量はいずれも0となる。
図14は投影画像G1~G3のうち、投影画像G2および投影画像G3を取得する間に体動が発生した場合の3つの関心領域R1~R3内の画像を示す図である。図14においては、投影画像G1および投影画像G2を取得する間には体動が発生していないため、関心領域R1,R2における特徴構造F1に対応する位置P1,P2と、関心領域R1,R2に含まれる特徴構造F1の像F2の位置とが一致する。このため、関心領域R2に対する関心領域R1の位置ずれ量は0となる。一方、投影画像G2および投影画像G3を取得する間には体動が発生しているため、関心領域R3における特徴構造F1に対応する位置P3と、関心領域R3に含まれる特徴構造F1の像F2の位置とが一致しない。このため、関心領域R3は関心領域R2に対して移動量および移動方向が発生し、その結果、大きさおよび方向を有するシフトベクトルV10が位置ずれ量として導出される。
なお、位置ずれ量を導出する際には、***Mについての乳腺密度、***Mの大きさ、トモシンセシス撮影の撮影時間、トモシンセシス撮影時における***Mの圧迫圧、および***の撮影方向の少なくとも1つに応じて、位置ずれ量導出時の探索範囲を変更してもよい。図15は探索範囲の変更を説明するための図である。図15に示すように、基準となる関心領域R2に対する関心領域R1,R3の探索範囲として、小さい探索範囲H1および大きい探索範囲H2の2種類の探索範囲が設定されている。
ここで、乳腺密度が小さい場合、***Mにおける脂肪量が多くなるため、撮影時において体動が大きくなる傾向にある。また、***Mが大きい場合も、撮影時において体動が大きくなる傾向にある。また、トモシンセシス撮影の時間が長いほど、撮影時において体動が大きくなる傾向にある。また、***Mの圧迫圧が小さい場合にも、撮影時において体動が大きくなる傾向にある。また、***Mの撮影方向がMLO(Medio-Lateral Oblique、内外斜位方向)の場合、CC(Cranio-Caudal、頭尾方向)よりも、撮影時において体動が大きくなる傾向にある。
このため、***Mについての乳腺密度、***Mの大きさ、トモシンセシス撮影の撮影時間、トモシンセシス撮影時における***Mの圧迫圧、および***Mの撮影方向の少なくとも1つの情報の入力デバイス25からの入力を受けて、位置ずれ量導出部36は、位置ずれ量導出時の探索範囲を変更することが好ましい。具体的には、体動が大きくなる傾向の場合には、図15に示す大きい探索範囲H2を設定すればよい。逆に体動が小さくなる傾向の場合には、図15に示す小さい探索範囲H1を設定すればよい。
なお、上記では説明のために1つの断層面Tjにおいて検出した1つの特徴構造F1についてのみ、複数の断層面投影画像GTiの位置ずれ量を導出している。しかしながら、実際には、位置ずれ量導出部36は、図16に示すように、複数の断層画像Djにより表される***M内の3次元空間において複数の異なる特徴構造F(ここでは黒丸で表す10個の特徴構造)に関して位置ずれ量を導出する。これにより、体動が発生した状態で取得された投影画像に対応する断層面投影画像については、複数の異なる特徴構造Fに関する位置ずれ量が導出される。位置ずれ量導出部36は、断層画像Djを導出する3次元空間の座標位置に対して、複数の異なる特徴構造Fについての位置ずれ量を補間する。これにより、位置ずれ量導出部36は、体動が発生した状態で取得された断層面投影画像について、断層画像を導出する3次元空間のすべての座標位置について、再構成を行う際の位置ずれ量を導出する。
そして再構成部33は、このようにして導出された位置ずれ量を補正しつつ、投影画像Giを再構成することにより、体動が補正された補正済み断層画像Dhjを導出する。具体的には、再構成が逆投影法を用いたものである場合、位置ずれが生じている投影画像Giの画素を、導出された位置ずれ量に基づいて、他の投影画像の対応する画素が逆投影される位置に投影されるように位置ずれを補正することにより、再構成を行う。
なお、複数の異なる特徴構造Fにおいて位置ずれ量を導出することに代えて、複数の異なる特徴構造Fから1つの位置ずれ量を導出するようにしてもよい。この場合、複数の異なる特徴構造Fのそれぞれに対して関心領域を設定し、関心領域の全体が同じ方向に同じ量だけ移動していると仮定して、位置ずれ量を導出する。この場合、位置ずれ量導出の対象となる断層面投影画像間におけるすべての関心領域についての相関の代表値(例えば平均値、中間値および最大値等)が最大となるように位置ずれ量を導出すればよい。ここで、断層面投影画像における個々の特徴構造Fの信号対ノイズ比があまりよくない場合には、位置ずれ量の導出精度が悪くなる。しかしながら、このように複数の異なる特徴構造Fから1つの位置ずれ量を導出することにより、個々の特徴構造Fの信号対ノイズ比があまりよくない場合であっても、位置ずれ量の導出精度を向上させることができる。
なお、複数の断層画像Djにより表される***M内の3次元空間を複数の3次元領域に分割し、領域毎に上記と同様に複数の特徴構造Fから1つの位置ずれ量を導出するようにしてもよい。
また、本実施形態においては、再構成部33は、位置ずれ量を補正することなく、複数の投影画像Giを再構成することにより、複数の断層画像Djを導出する。
表示制御部37は、導出された補正済み断層画像をディスプレイ24に表示する。図17は補正済み断層画像の表示画面を示す図である。図17に示すように、表示画面40には、体動補正前の断層画像Djおよび体動補正がなされた補正済み断層画像Dhjが表示される。断層画像Djには体動補正されていないことが分かるように、「補正前」のラベル41が付与されている。補正済み断層画像Dhjには体動補正されていることが分かるように、「補正後」のラベル42が付与されている。なお、断層画像Djに対してのみラベル41を付与してもよく、補正済み断層画像Dhjに対してのみラベル42を付与してもよい。なお、補正済み断層画像Dhjのみを表示してもよいことはもちろんである。図17において、補正前の断層画像Djに含まれる構造物がぼけていることを破線で示し、補正済み断層画像Dhjに含まれる構造物がぼけていないことを実線にて示している。
また、断層画像Djおよび補正済み断層画像Dhjは同一の断面を表示することが好ましい。また、入力デバイス25からの指示により表示する断層面を切り替える際に、断層画像Djおよび補正済み断層画像Dhjにおいて表示する断層面を連動させることが好ましい。また、断層画像Djおよび補正済み断層画像Dhjに加えて、投影画像Giを表示してもよい。
操作者は、表示画面40を見て、体動補正の成否の確認を行うことができる。また、体動が大きすぎる場合には、本実施形態のように位置ずれ量を補正しつつ再構成を行って断層画像を導出しても、体動を精度よく補正できず、体動補正に失敗する場合がある。このような場合は、体動補正に失敗して補正済み断層画像Dhjよりも断層画像Djの方が高画質となる場合がある。このため、入力デバイス25において、断層画像Djおよび補正済み断層画像Dhjのいずれを保存するかの指示を受け付け、指示された画像をストレージ23または外部保存装置に保存するようにしてもよい。
次いで、第1の実施形態において行われる処理について説明する。図18は第1の実施形態において行われる処理を示すフローチャートである。操作者による処理開始の指示を入力デバイス25が受け付けると、画像取得部31は、コンソール2が撮影装置10に***Mのトモシンセシス撮影を行わせることにより導出した複数の投影画像Giを取得する(ステップST1)。そして、構造抽出部32が、複数の投影画像Giのそれぞれから特定構造を抽出することにより複数の構造投影画像SGiを導出する(ステップST2)。
続いて、再構成部33が、複数の構造投影画像SGiを再構成することにより、***Mの複数の断層面のそれぞれにおける構造断層画像SDjを導出する(ステップST3)。次いで、特徴構造検出部34が、複数の構造断層画像SDjから少なくとも1つの特徴構造を検出する(ステップST4)。さらに、投影部35が、複数の投影画像Giのそれぞれについての撮影時の線源位置と放射線検出器15との位置関係に基づいて、複数の投影画像Giを特徴構造F1が検出された断層画像に対応する対応断層面に投影して、複数の投影画像Giのそれぞれに対応する断層面投影画像GTiを導出する(ステップST5)。
そして、位置ずれ量導出部36が、複数の断層面投影画像GTi間の位置ずれ量を導出する(ステップST6)。さらに、再構成部33が、位置ずれを補正しつつ、複数の投影画像Giを再構成することにより補正済み断層画像Dhjを導出する(ステップST7)。そして、表示制御部37が補正済み断層画像Dhjをディスプレイ24に表示し(ステップST8)、処理を終了する。なお、導出された補正済み断層画像Dhjは、画像保存システム3に送信され、保存される。
ここで、トモシンセシス撮影を行う際には複数回の撮影が行われるため、被曝量低減のために1回の撮影における放射線の照射量が少なく、その結果、投影画像Giはノイズが多いものとなる。このため、***M内における石灰化等の構造物が、構造物の重なり方次第でコントラストが低下してしまい、投影画像Giにおいてノイズに埋もれてしまう場合がある。したがって、複数の投影画像Giを再構成することにより導出された断層画像から特徴構造を検出した場合、断層画像から検出した特徴構造と、投影画像に含まれる特徴構造に対応する構造との対応づけを精度よく行うことができなくなり、その結果、特徴構造を用いて投影画像Giの位置ずれ補正を精度よく行うことができない可能性がある。
第1の実施形態においては、投影画像から線構造および点構造のような特定構造を抽出することにより構造投影画像SGiを導出し、構造投影画像SGiを再構成することにより構造断層画像SDjを導出し、構造断層画像SDjから特徴構造を検出するようにした。ここで、構造断層画像SDjは構造投影画像SGiから導出されるため、構造断層画像SDjから検出した特徴構造に対応する構造は、構造投影画像SGiさらには投影画像Giに含まれることが保証されることとなる。したがって、第1の実施形態によれば、検出された特徴構造を用いて複数の投影画像Gi間の位置ずれ量を適切に導出することができ、その結果、本実施形態によれば、体動の影響が低減された、高画質の補正済み断層画像Dhjを取得することができる。
また、第1の実施形態においては、投影画像Giまたは断層面投影画像GTiからではなく、複数の構造断層画像SDjから特徴構造を検出している。ここで、構造断層画像SDjは対応する断層面Tjに含まれる構造物のみを含む。このため、投影画像Giに含まれるような他の断層面における構造物は構造断層画像SDjには含まれないこととなる。したがって、第1の実施形態によれば、他の断層面の構造物に影響されることなく、精度よく特徴構造を検出することができる。よって、複数の投影画像Gi間の位置ずれ量を適切に導出することができ、その結果、本実施形態によれば、体動の影響が低減された、高画質の補正済み断層画像Dhjを取得することができる。
次いで、本開示の第2の実施形態について説明する。第2の実施形態による画像処理装置の構成は、図4に示す第1の実施形態による画像処理装置の構成と同様であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。上記第1の実施形態においては、断層面投影画像GTi間において位置ずれ量を導出している。第2の実施形態においては、構造断層画像SDjにおいて特徴構造F1の座標位置を中心とする関心領域Rf0を設定し、設定した関心領域Rf0に対する断層面投影画像GTiに設定した関心領域Riの位置ずれ量を仮の位置ずれ量として導出する。そして、導出した仮の位置ずれ量に基づいて、複数の断層面投影画像GTi間の位置ずれ量を導出するようにした点が第1の実施形態と異なる。なお、複数の断層面投影画像GTiに設定した関心領域Riが第1の局所領域に対応し、構造断層画像SDjに設置した関心領域Rf0が第2の局所領域に対応する。
図19は第2の実施形態における位置ずれ量の導出を説明するための図である。なお、図19における関心領域Rf0および関心領域R1~R3は、上記図11等に示した関心領域Rf0および関心領域R1~R3と同一である。第2の実施形態においては、位置ずれ量導出部36は、まず構造断層画像SDjに設定した関心領域Rf0を基準として、関心領域Rf0に対する断層面投影画像GTi(図19においてはGT1~GT3(いずれも不図示))に設定した関心領域R1~R3の位置ずれ量を仮の位置ずれ量として導出する。投影画像G1~G3を取得する間に体動が発生していない場合、3つの関心領域R1~R3のすべてにおいて特徴構造F1に対応する位置P1~P3と、特徴構造F1の像F2の位置とが一致する。このため、関心領域Rf0に対する関心領域R1~R3のシフトベクトル(以下、Vf1,Vf2,Vf3とする)、すなわち仮の位置ずれ量はいずれも0となる。
図20は投影画像G1~G3のうち、投影画像G2および投影画像G3を取得する間に体動が発生した場合の3つの関心領域R1~R3内の画像を示す図である。図20においては、投影画像G1および投影画像G2を取得する間には体動が発生していないため、関心領域R1,R2における特徴構造F1に対応する位置P1,P2と、関心領域R1,R2に含まれる特徴構造F1の像F2の位置とが一致する。このため、関心領域Rf0に対する関心領域R1,R2の位置ずれ量は0となる。一方、投影画像G2および投影画像G3を取得する間には体動が発生しているため、関心領域R3における特徴構造F1に対応する位置P3と、関心領域R3に含まれる特徴構造F1の像F2の位置とが一致しない。このため、関心領域R3は関心領域Rf0に対して移動量および移動方向が発生する。したがって、関心領域Rf0に対する関心領域R1,R2のシフトベクトルVf1,Vf2、すなわち、仮の位置ずれ量は0となるが、関心領域Rf0に対する関心領域R3のシフトベクトルVf3、すなわち仮の位置ずれ量は値を有するものとなる。
第2の実施形態において、位置ずれ量導出部36は、仮の位置ずれ量に基づいて断層面投影画像GTi間の位置ずれ量を導出する。具体的には、上記第1の実施形態と同様に、X線源16からのX線の光軸X0が放射線検出器15と直交する基準線源位置Scにおいて取得した投影画像を基準として位置ずれ量を導出する。ここで、投影画像G2を基準断層面投影画像とすると、位置ずれ量導出部36は、断層面投影画像GT1と断層面投影画像GT2との位置ずれ量を、関心領域Rf0に対する関心領域R1,R2のシフトベクトルVf1,Vf2の差分値Vf1-Vf2により導出する。また、位置ずれ量導出部36は、断層面投影画像GT3と断層面投影画像GT2との位置ずれ量を、関心領域Rf0に対する関心領域R3,R2のシフトベクトルVf3,Vf2の差分値Vf3-Vf2により導出する。
このように、第2の実施形態においては、構造断層画像SDjに設定した関心領域Rf0に対する、断層面投影画像GTiに設定した関心領域R1~R3との仮の位置ずれ量を導出し、仮の位置ずれ量に基づいて、断層面投影画像GTi間の位置ずれ量を導出するようにした。ここで、関心領域Rf0は構造断層画像SDjに設定されているため、投影画像Giとは異なり、構造断層画像SDjを取得した断層面にある構造物のみしか含まれていない。したがって、第2の実施形態によれば、特徴構造を設定した断層面以外の断層面に含まれる構造物の影響を低減して、位置ずれ量が導出されることとなる。したがって、第2の実施形態によれば、他の断層面の構造物の影響をより低減して、複数の投影画像Gi間の位置ずれ量を精度よく導出することができ、その結果、第2の実施形態によれば、体動の影響が低減された、高画質の補正済み断層画像Dhjを取得することができる。
なお、第2の実施形態においても、第1の実施形態と同様に、***Mについての乳腺密度、***Mの大きさ、トモシンセシス撮影の撮影時間、トモシンセシス撮影時における***Mの圧迫圧、および***Mの撮影方向の少なくとも1つに応じて、位置ずれ量導出時の探索範囲を変更してもよい。
また、第2の実施形態においては、関心領域Rf0に対する関心領域R1~R3のシフトベクトルVf1~Vf3を仮の位置ずれ量として導出しているが、この際に、図21に示すように関心領域Rf0における特徴構造F1の周囲に、関心領域Rf0よりも小さい周囲領域Ra0を設定し、周囲領域Ra0に基づいて、シフトベクトルを導出してもよい。この場合、周囲領域Ra0のみを用いてシフトベクトルを導出してもよい。また、関心領域R1~R3の間の相関を導出する際に、周囲領域Ra0に対して関心領域R1~R3における周囲領域Ra0以外の領域よりも大きい重み付けを行うようにしてもよい。
また、上記第2の実施形態においては、構造断層画像SDjに関心領域Rf0を設定しているが、仮の位置ずれ量を導出する断層面投影画像GTi毎に、導出する構造断層画像を異なるものとしてもよい。具体的には、仮の位置ずれ量を導出する対象となる対象断層面投影画像に対応する対象投影画像を除いて構造断層画像を導出することが好ましい。以下、これを第3の実施形態として説明する。
図22は第3の実施形態において行われる処理を模式的に示す図である。なお、ここでは、***Mにおける断層面Tjにおいて、15の投影画像G1~G15のうちの投影画像G1を対象投影画像、断層面投影画像GT1を対象断層面投影画像として、投影画像G1についての仮の位置ずれ量を導出する場合について説明する。この場合、再構成部33は、断層面Tjにおいて対象投影画像G1から導出された構造投影画像SG1以外の構造投影画像SG2~SG15を再構成して構造断層画像(SDj_1とする)を導出する。そして、特徴構造検出部34が構造断層画像SDj_1から特徴構造を検出し、投影部35が投影画像G1~G15から断層面投影画像GT1~GT15を導出し、位置ずれ量導出部36が、構造断層画像SDj_1に関心領域Rf0_1を設定し、関心領域Rf0_1に対する断層面投影画像GT1に設定した関心領域R1のシフトベクトルVf1を仮の位置ずれ量として導出する。
なお、投影画像G2についての仮の位置ずれ量を導出する場合、再構成部33において、投影画像G2から導出した構造投影画像SG2以外の構造投影画像SG1,SG3~SG15を再構成して構造断層画像(SDj_2とする)を導出する。そして、特徴構造検出部34が構造断層画像SDj_2から特徴構造を検出し、投影部35が投影画像G1~G15から断層面投影画像GT1~GT15を導出し、位置ずれ量導出部36が、構造断層画像SDj_2に関心領域Rf0_2を設定し、関心領域Rf0_2に対する断層面投
影画像GT2に設定した関心領域R2のシフトベクトルVf2を仮の位置ずれ量として導出する。
影画像GT2に設定した関心領域R2のシフトベクトルVf2を仮の位置ずれ量として導出する。
そして、対象断層面投影画像を順次変更してすべての断層面投影画像GTiについての仮の位置ずれ量を導出し、仮の位置ずれ量から上記第2の実施形態と同様に、断層面投影画像GTi間の位置ずれ量を導出する。
このように、第3の実施形態によれば、対象投影画像による影響がない構造断層画像を
用いて仮の位置ずれ量が導出されることとなる。このため、仮の位置ずれ量をより精度よく導出することができ、その結果、位置ずれ量を精度よく導出することができる。
用いて仮の位置ずれ量が導出されることとなる。このため、仮の位置ずれ量をより精度よく導出することができ、その結果、位置ずれ量を精度よく導出することができる。
なお、第3の実施形態においては、対象投影画像についての構造投影画像を除いて構造断層画像を再構成する際には、下記の式(2)に示すように、すべての構造投影画像SGiを再構成することにより導出した構造断層画像SDjの各画素の画素値Dpから対象投影画像Giから導出した構造投影画像SGiの対応する画素値Gpを減算し、減算した画素値をn/(n-1)倍することにより、構造断層画像を導出してもよい。式(2)の手法は簡易な手法ではあるが、対象投影画像についての構造投影画像を除いた構造断層画像を導出するための演算量を低減することができるため、仮の位置ずれ量導出のための処理を高速に行うことができる。
対象投影画像を除いた構造断層画像=(Dp-Gp)×n/(n-1) (2)
対象投影画像を除いた構造断層画像=(Dp-Gp)×n/(n-1) (2)
次いで、第4の実施形態について説明する。なお、第4の実施形態による画像処理装置の構成は、図4に示す第1の実施形態による画像処理装置の構成と同様であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第4の実施形態においては、位置ずれ量を補正しつつ構造投影画像SGiを再構成することにより構造断層画像SDjを更新し、更新されたしきい値を用いて、更新された構造断層画像から更新された特徴構造を検出し、更新された特徴構造を用いて位置ずれ量を更新し、位置ずれ量が収束するまで構造断層画像の更新、更新されたしきい値を用いての更新された特徴構造の検出および位置ずれ量の更新を繰り返すようにした点が第1の実施形態と異なる。
図23は第4の実施形態において行われる処理を示すフローチャートである。なお、図23において、ステップST11~ステップST16までの処理は、図18に示すステップST1~ステップST6までの処理と同様であるため、ここでは詳細な説明は省略する。ステップST16において位置ずれ量が導出されると、位置ずれ量導出部36は、位置ずれ量が収束したか否かを判定する(ステップST17)。位置ずれ量が収束したか否かの判定は、各断層面投影画像GTiについて導出された位置ずれ量が予め定められたしきい値Th10以下となった否かを判定することにより行えばよい。しきい値Th10は、これ以上位置ずれ量を補正しなくても、断層画像に体動の影響がないといえる程度の値に設定すればよい。なお、複数の断層面投影画像GTiについて導出された位置ずれ量の平均値等の代表値が、しきい値Th10以下となったか否かを判定することにより、位置ずれ量が収束したか否かの判定を行ってもよい。
ステップST17が否定されると、再構成部33は、位置ずれ量を補正しつつ複数の構造投影画像SGiを再構成することにより構造断層画像を更新する(ステップST18)。そして、ステップST14の処理に戻り、ステップST14~ステップST17の処理を行う。この際、ステップST14の処理においては、特徴構造検出部34は、1回目のステップST14の処理において特徴構造を検出する際に用いたしきい値Th1を更新する。本実施形態においては、構造断層画像SDjの画素値は輝度が高いほど小さい値となるため、1回目のステップST14の処理において用いたしきい値Th1よりも小さい値となる更新されたしきい値Th2を用いて更新された特徴構造を検出する。
また、ステップST15の処理においては、投影部35が、複数の投影画像Giのそれぞれについての撮影時の線源位置と放射線検出器15との位置関係に基づいて、複数の投影画像Giを更新された特徴構造F1が検出された断層画像に対応する対応断層面に投影して、複数の投影画像Giのそれぞれに対応する更新された断層面投影画像GTiを導出する。また、ステップST16の処理においては、位置ずれ量導出部36が、更新された複数の断層面投影画像GTi間の更新された位置ずれ量を導出する。
なお、構造断層画像SDjの画素値は輝度が高いほど大きい値となる場合は、1回目のステップST14の処理において用いたしきい値Th1よりも大きい値となる更新されたしきい値Th2を用いて更新された特徴構造を検出する。
ステップST17が否定されると、ステップST17が肯定されるまでステップST18およびステップST14~ステップST16の処理が繰り返される。この際、特徴構造検出部34は、更新されたしきい値を用いて更新された構造断層画像SDjから特徴構造を検出する。
ステップST17が肯定されると、再構成部33が、更新された位置ずれ量を補正しつつ、複数の投影画像Giを再構成することにより補正済み断層画像Dhjを導出する(ステップST19)。そして、表示制御部37が補正済み断層画像Dhjをディスプレイ24に表示し(ステップST20)、処理を終了する。なお、導出された補正済み断層画像Dhjは、画像保存システム3に送信され、保存される。
このように、第4の実施形態においては、位置ずれ量を補正しつつ構造投影画像SGiを再構成することにより構造断層画像SDjを更新し、更新されたしきい値を用いて更新された構造断層画像から更新された特徴構造を検出し、更新された特徴構造を用いて位置ずれ量を更新し、位置ずれ量が収束するまで構造断層画像の更新、更新されたしきい値を用いての更新された特徴構造の検出および位置ずれ量の更新を繰り返すようにした。このため、適切に体動に起因する位置ずれをより効果的に除去することができ、その結果、より高画質の断層画像を取得することができる。
なお、上記第2の実施形態および第3の実施形態においても、第4の実施形態と同様に、位置ずれ量の更新の処理を、位置ずれ量が収束するまで繰り返すようにしてもよい。
また、上記第4の実施形態においては、しきい値を更新しつつ、位置ずれ量が収束するまで構造断層画像の更新、更新されたしきい値を用いての更新された特徴構造の検出および位置ずれ量の更新を繰り返すようにしているが、これに限定されるものではない。しきい値を更新することなく、構造断層画像の更新、更新された特徴構造の検出および位置ずれ量の更新を繰り返すようにしてもよい。
また、上記第4の実施形態においては、位置ずれ量が収束するまで位置ずれ量の更新の処理を繰り返しているが、これに限定されるものではない。位置ずれ量の更新の処理を予め定められた回数繰り返すものであってもよい。
また、上記各実施形態においては、位置ずれ量導出部36が導出した位置ずれ量を予め定められたしきい値と比較し、位置ずれ量がしきい値を超えた場合にのみ、位置ずれ量を補正しつつ、断層画像を再構成するようにしてもよい。なお、しきい値は、位置ずれ量を補正しなくても断層画像に体動の影響がないといえる程度の値に設定すればよい。この場合、図24に示すように、体動がしきい値を超えたことを通知するための警告表示45をディスプレイ24に表示してもよい。操作者は警告表示45において、YESまたはNOを選択することにより、体動補正を行うか否かの指示を行うことができる。
また、上記各実施形態においては、位置ずれ量および仮の位置ずれ量の導出を容易に行うために、構造断層画像SDjおよび断層面投影画像GTiに関心領域を設定し、関心領域の移動方向および移動量をシフトベクトル、すなわち位置ずれ量および仮の位置ずれ量として導出しているが、これに限定されるものではない。関心領域を設定することなく、位置ずれ量を導出してもよい。
次いで、本開示の第5の実施形態について説明する。図25は第5の実施形態による画像処理装置の機能的な構成を示す図である。なお、図25において図4と同様の構成については図4と同一の参照番号を付与し、ここでは詳細な説明は省略する。第5の実施形態による画像処理装置4Aは、複数の特徴構造Fのそれぞれが検出された構造断層画像に対応する対応断層面が、焦点面であるか否かを判別する焦点面判別部38をさらに備え、位置ずれ量導出部36が、焦点面と判別された対応断層面において位置ずれ量を導出するようにした点が第1の実施形態と異なる。なお、第5の実施形態による処理は、第2から第4の実施形態にも適用可能であるが、ここでは第1の実施形態に適用した場合についてのみ説明する。
ここで、トモシンセシス撮影により取得される断層画像においては、構造物が存在する断層画像以外の断層画像に、その構造物の映り込みが発生する。これをリップルアーチファクトという。図26はリップルアーチファクトを説明するための図である。図26に示すように、ある構造物48が断層画像D3に含まれていたとすると、断層画像D3の上下の断層面に対応する断層画像に、構造物48のリップルアーチファクトが含まれる。リップルアーチファクトは、構造物48が含まれる断層面から離れるほど範囲が広がり、かつぼけることとなる。なお、リップルアーチファクトが広がる範囲は、X線源16が移動する範囲と対応する。また、リップルアーチファクトは、構造断層画像SDjにも生じる。
ここで、特徴構造検出部34が対応断層面の構造断層画像SDjから検出した特徴構造Fがリップルアーチファクトであった場合、特徴構造Fはぼけており、かつ広範囲に広がっているものとなる。このため、そのような特徴構造Fを用いたのでは、位置ずれ量を精度よく導出することができない。
このため、第5の実施形態においては、特徴構造Fが検出された構造断層画像SDjについての対応断層面が焦点面であるか否かを焦点面判別部38が判別するようにし、焦点面であると判別された対応断層面において、投影部35が断層面投影画像GTiを導出し、位置ずれ量導出部36が位置ずれ量を導出するようにした。具体的には、焦点面であると判別された対応断層面における構造断層画像から検出された特徴構造を用いて、位置ずれ量を導出するようにした。以下、焦点面であるか否かの判別について説明する。
焦点面判別部38は、特徴構造検出部34が検出した特徴構造について、複数の構造断層画像SDjにおける特徴構造に対応する対応点を導出する。図27は対応点の導出を説明するための図である。図27に示すように、ある構造断層画像SDkにおいて特徴構造F3が検出されたとすると、位置ずれ量導出部36は、構造断層画像SDkの厚さ方向に位置する複数の構造断層画像において、特徴構造F3に対応する対応点C1,C2,C3,C4…を導出する。なお、以降の説明においては、対応点の参照符号をCとする。対応点Cの導出は特徴構造F3を含む関心領域と、構造断層画像SDk以外の構造断層画像との位置合わせにより行えばよい。そして、焦点面判別部38は、特徴構造F3および対応点Cの画素値を断層面が並ぶ順にプロットする。図28は特徴構造および対応点の画素値をプロットした結果を示す図である。図28に示すように特徴構造および対応点の画素値は、リップルアーチファクトの影響により、特徴構造において極小値を有するように変化する。ここで、特徴構造F3が焦点面にあれば、その特徴構造F3はぼけておらず、輝度が高いすなわち画素値は小さいものとなる。一方、特徴構造F3が焦点面にない場合、その特徴構造F3はリップルアーチファクトであることから、画素値はぼけ、画素値は最小値よりも大きくなる。
このため、焦点面判別部38は、特徴構造F3および対応点の画素値をプロットした結果において、特徴構造F3を検出した断層面の位置が、画素値が最小となる図28に示す位置P0である場合、特徴構造F3を検出した対応断層面は焦点面であると判別する。一
方、特徴構造F3を検出した断層面の位置が、画素値が最小とはならない図28に示す位置P1等である場合、特徴構造F3を検出した対応断層面は焦点面でないと判別する。
方、特徴構造F3を検出した断層面の位置が、画素値が最小とはならない図28に示す位置P1等である場合、特徴構造F3を検出した対応断層面は焦点面でないと判別する。
投影部35は、焦点面であると判別された対応断層面のみにおいて、上記各実施形態と同様に断層面投影画像GTiを導出する。位置ずれ量導出部36は、焦点面であると判別された対応断層面において断層面投影画像GTiの位置ずれ量を導出する。すなわち、位置ずれ量導出部36は、焦点面であると判別された対応断層面において検出された特徴構造を用いて、断層面投影画像GTiの位置ずれ量を導出する。
次いで、第5の実施形態において行われる処理について説明する。図29は第5の実施形態において行われる処理を示すフローチャートである。なお、図29におけるステップST21~ステップST24の処理は、図18におけるステップST1~ステップST4の処理と同様であるため、ここでは詳細な説明は省略する。なお、第5の実施形態においては、複数の特徴構造が検出されたものとする。
特徴構造検出部34が複数の特徴構造を検出すると、焦点面判別部38が、特徴構造検出部34が検出した複数の特徴構造のそれぞれが検出された構造断層画像に対応する対応断層面が、焦点面であるか否かを判別する(焦点面判別;ステップST25)。そして、投影部35が、焦点面であると判別された対応断層面において断層面投影画像GTiを導出し(ステップST26)、位置ずれ量導出部36が、焦点面であると判別された対応断層面の構造断層画像において検出された特徴構造を用いて位置ずれ量を導出する(ステップST27)。
さらに、再構成部33が、位置ずれ量を補正しつつ複数の投影画像Giを再構成することにより補正済み断層画像Dhjを導出する(ステップST28)。そして、表示制御部37が補正済み断層画像Dhjをディスプレイ24に表示し(ステップST29)、処理を終了する。なお、導出された補正済み断層画像Dhjは、画像保存システム3に送信され、保存される。
このように、第5の実施形態においては、焦点面であると判別された対応断層面において位置ずれ量を導出するようにした。このため、リップルアーチファクトの影響を受けることなく、精度よく位置ずれ量を導出することができ、その結果、精度よく位置ずれが補正された補正済み断層画像Dhjを導出することができる。
なお、上記第5の実施形態においては、特徴構造および対応点の画素値のプロット結果を用いて、対応断層面が焦点面であるか否かを判別しているが、焦点面であるか否かの判別はこれに限定されるものではない。特徴構造とリップルアーチファクトとでは、周囲の画素とのコントラストの相違が特徴構造の方が大きくなる。このため、特徴構造および対応点における周囲の画素とのコントラストを導出し、特徴構造についてのコントラストが最大である場合に、特徴構造を検出した対応断層面が焦点面であると判別してもよい。また、投影画像における特徴構造に対応する位置の画素値は、特徴構造が焦点面にあれば投影画像間でのばらつきは小さいが、特徴構造が焦点面にないと、投影画像上においては特徴構造に対応する構造以外の構造を表す可能性があるため、投影画像間でのばらつきが大きくなる。このため、投影画像Gi間における特徴構造に対応する画素値の分散値を導出し、分散値が予め定められたしきい値以下の場合に、特徴構造を検出した対応断層面が焦点面であると判別してもよい。さらに、焦点面判別部38を、特徴構造およびその周辺の画素値が入力されると、特徴構造を検出した対応断層面が焦点面であるか否かの判別結果を出力するように機械学習がなされた判別器を有するものとし、特徴構造を検出した対応断層面が焦点面であるか否かを判別器により判別するようにしてもよい。
次いで、本開示の第6の実施形態について説明する。図30は第6の実施形態による画像処理装置の機能的な構成を示す図である。なお、図30において図4と同様の構成については図4と同一の参照番号を付与し、ここでは詳細な説明は省略する。第6の実施形態による画像処理装置4Bは、補正済み断層画像Dhjにおける特徴構造を含む関心領域の画質評価を行い、画質評価結果に基づいて、導出された位置ずれ量が適切であるか不適切であるかを判断する位置ずれ量判断部39をさらに備えた点が第1の実施形態と異なる。なお、第6の実施形態による処理は、第2から第5の実施形態にも適用可能であるが、ここでは第1の実施形態に適用した場合についてのみ説明する。
位置ずれ量判断部39は、画質評価を行うために、図31に示すように補正済み断層画像Dhjに含まれる複数(ここでは2つ)の特徴構造F4,F5の座標位置を中心とする関心領域Rh1,Rh2を設定する。そして、関心領域Rh1,Rh2のそれぞれにおける高周波成分を抽出することにより高周波画像を導出する。高周波成分の抽出は、例えばラプラシアンフィルタ等によるフィルタリング処理を行って、2次微分画像を導出することにより行えばよいが、これに限定されるものではない。さらに、位置ずれ量判断部39は、関心領域Rh1,Rh2の高周波成分の大きさを導出する。高周波成分の大きさは、高周波画像の画素値の二乗和等により導出すればよいが、これに限定されるものではない。そして、位置ずれ量判断部39は、すべての関心領域Rh1,Rh2についての高周波成分の大きさの総和を導出する。
ここで、位置ずれ量が適切に導出されることにより、位置ずれ補正が適切に行われていれば、補正済み断層画像Dhjにおいては、画像のぼけが少なくなり、高周波成分が多くなる。一方、導出された位置ずれ量が適切でないために、位置ずれ補正が不適切であると、補正済み断層画像Dhjにおいては、画像のぼけが多くなり、高周波成分が少なくなる。このため、第6の実施形態においては、位置ずれ量判断部39は、高周波成分の大きさに基づいて画質評価を行う。すなわち、位置ずれ量判断部39は、上述したように導出した、すべての関心領域Rh1,Rh2についての高周波成分の大きさの総和が、予め定められたしきい値Th20以上であるか否かを判定する。総和がしきい値Th20以上である場合に、位置ずれ量判断部39は、位置ずれ量が適切であると判断し、総和がしきい値Th20未満である場合に、位置ずれ量判断部39は、位置ずれ量が不適切であると判断する。位置ずれ量判断部39が位置ずれ量が不適切であると判断した場合、再構成部33は位置ずれ量を補正することなく、複数の投影画像Giを再構成して断層画像Djを導出する。そして、表示制御部37は、補正済み断層画像Dhjに代えて、補正前の断層画像Djをディスプレイ24に表示する。この場合、補正済み断層画像Dhjに代えて、補正前の断層画像Djが外部保存装置に送信される。
次いで、第6の実施形態において行われる処理について説明する。図32は第6の実施形態において行われる処理を示すフローチャートである。なお、図32におけるステップST31~ステップST37の処理は、図18におけるステップST1~ステップST7の処理と同様であるため、ここでは詳細な説明は省略する。再構成部33が補正済み断層画像Dhjを導出すると、位置ずれ量判断部39が、補正済み断層画像Dhjにおける特徴構造を含む関心領域の画質評価を行い、画質評価結果に基づいて、導出された位置ずれ量が適切であるか否かを判断する(ステップST38)。
位置ずれ量が適切であった場合、表示制御部37が補正済み断層画像Dhjをディスプレイ24に表示し(ステップST39)、処理を終了する。なお、導出された補正済み断層画像Dhjは画像保存システム3に送信され、保存される。一方、位置ずれ量が不適切であった場合、再構成部33は位置ずれ量を補正することなく複数の投影画像Giを再構成して断層画像Djを導出する(ステップST40)。そして、表示制御部37が断層画像Djをディスプレイ24に表示し(ステップST41)、処理を終了する。この場合、
断層画像Djが画像保存システム3に送信され、保存される。
断層画像Djが画像保存システム3に送信され、保存される。
ここで、位置ずれ量導出部36により位置ずれ量を導出するに際し、特徴構造以外の構造の影響等により、適切な位置ずれ量を導出できない場合がある。第6の実施形態においては、補正済み断層画像Dhjの画質評価を行い、画質評価結果に基づいて、位置ずれ量が適切か不適切であるかを判断するようにした。このため、導出された位置ずれ量の適、不適を適切に判断することができる。また、位置ずれ量が不適切であると判断された場合には、補正前の断層画像Djを表示したり、保存したりするようにしたため、不適切な位置ずれ量に基づいて導出された補正済み断層画像Dhjにより、誤った診断が行われる可能性を低減できる。
なお、上記第6の実施形態においては、補正済み断層画像Dhjに設定した関心領域の高周波成分の大きさに基づいて画質評価を行っているが、これに限定されるものではない。再構成部33が、位置ずれ補正を行うことなく複数の投影画像Giを再構成することにより複数の断層画像Djを導出し、位置ずれ量判断部39において、断層画像Djにおける特徴構造を含む関心領域の画質評価をさらに行い、補正済み断層画像Dhjについての画質評価の結果と、断層画像Djについての画質評価の結果とを比較し、画質評価が高い方の断層画像を、最終的な断層画像に決定するようにしてもよい。ここで、最終的な断層画像とは、ディスプレイ24に表示されたり、外部装置に送信されて保存されたりする断層画像である。
なお、上記第5の実施形態および第6の実施形態においても、第4の実施形態と同様に、位置ずれ量の更新を繰り返すようにしてもよい。
また、上記第5の実施形態および第6の実施形態においても、位置ずれ量導出部36が導出した位置ずれ量を予め定められたしきい値と比較し、位置ずれ量がしきい値を超えた場合にのみ、位置ずれ量を補正しつつ、断層画像を再構成するようにしてもよい。
次いで、本開示の第7の実施形態について説明する。図33は第7の実施形態による画像処理装置の機能的な構成を示す図である。なお、図33において図4と同様の構成については図4と同一の参照番号を付与し、ここでは詳細な説明は省略する。第7の実施形態による画像処理装置4Cは、補正済み断層画像Dhjにおける特徴構造を含む関心領域の画質評価を行うための評価関数を導出する評価関数導出部50を備え、位置ずれ量導出部36が、評価関数を最適化する位置ずれ量を導出するようにした点が第1の実施形態と異なる。なお、第7の実施形態による処理は、第2から第5の実施形態にも適用可能であるが、ここでは第1の実施形態に適用した場合についてのみ説明する。
第7の実施形態において、評価関数導出部50は、位置ずれ量導出部36が断層面投影画像GTiに対して設定した、特徴構造Fに対応する関心領域について、高周波画像を導出する。高周波画像の導出は、第6の実施形態における位置ずれ量判断部39と同様に、ラプラシアンフィルタ等によるフィルタリング処理を行って、2次微分画像を導出することにより行えばよい。導出した関心領域内の高周波画像の画素値をqklとする。kはk番目の投影画像であることを表し、lは関心領域内の画素数を表す。
ここで、位置ずれ量を補正するための変換行列をWk、変換行列における変換パラメータをθkとする。変換パラメータθkが位置ずれ量に対応する。この場合、補正済み断層画像Dhjにおける特徴構造Fに対応する関心領域における画質評価値は、投影画像Giのそれぞれにおける位置ずれ補正後の関心領域についての高周波画像の大きさの加算値と見なすことができる。この加算値が最大となるように、変換パラメータθk、すなわち位置ずれ量を導出することにより、適切に位置ずれ量が補正された補正済み断層画像Dhj
を導出することができる。
を導出することができる。
このため、評価関数導出部50は,下記の式(3)に示す評価関数を導出する。なお、式(3)に示す評価関数Ecは、上記加算結果を最大とすべく、マイナスを付与した右辺の括弧内の値を最小とするための変換パラメータθkを求める評価関数Ecとなっている。なお、式(3)に示す評価関数は、局所解が複数存在する。このため、変換パラメータθkの範囲および平均値に制約条件を付与する。例えば、すべての投影画像についての変換パラメータθkの平均を0とするような制約条件を付与する。より具体的には、変換パラメータθkが平行移動を表す移動ベクトルである場合、すべての投影画像Giについての移動ベクトルの平均値を0とする制約条件を付与する。そして、第7の実施形態においては、位置ずれ量導出部36は、下記式(3)に示す評価関数Ecを最小とするような変換パラメータθk、すなわち位置ずれ量を導出する。
このように、第7の実施形態においては、補正済み断層画像Dhjにおける特徴構造を含む関心領域の画質評価を行うための評価関数を導出する評価関数導出部50を備え、位置ずれ量導出部36が、評価関数を最適化する位置ずれ量を導出するようにした。このため、不適切な位置ずれ量に基づいて導出された補正済み断層画像Dhjにより、誤った診断が行われる可能性を低減できる。
なお、上記各実施形態においては、位置ずれ量および仮の位置ずれ量の導出を容易に行うために、断層画像Djおよび断層面投影画像GTiに関心領域を設定し、関心領域の移動方向および移動量をシフトベクトル、すなわち位置ずれ量および仮の位置ずれ量として導出しているが、これに限定されるものではない。関心領域を設定することなく、位置ずれ量を導出してもよい。
また、上記各実施形態においては、投影部35により断層面投影画像GTiを導出し、位置ずれ量導出部36により断層面投影画像GTi間の位置ずれ量を導出しているが、これに限定されるものではない。断層面投影画像GTiを導出することなく、投影画像Gi間の位置ずれ量を導出するようにしてもよい。この場合、上記各実施形態において、投影部35は不要となる。また、位置ずれ量導出部36においては、特徴構造Fが検出された断層画像に対応する対応断層面において、投影画像Giの位置関係に基づいて位置ずれ量を導出すればよい。
また、上記各実施形態においては、被写体を***Mとしているが、これに限定されるものではなく、人体の胸部、または腹部等、任意の部位を被写体としてもよいことはもちろんである。
また、上記各実施形態において、例えば、画像取得部31、構造抽出部32、再構成部33、特徴構造検出部34、投影部35、位置ずれ量導出部36、表示制御部37、焦点面判別部38、位置ずれ量判断部39、および評価関数導出部50といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 放射線画像撮影装置
2 コンソール
3 画像保存システム
4,4A,4B,4C 画像処理装置
10 撮影部
11 回転軸
12 アーム部
13 撮影台
14 放射線照射部
15 放射線検出器
15A 検出面
16 X線源
17 圧迫板
18 支持部
19 移動機構
21 CPU
22 画像処理プログラム
23 ストレージ
24 ディスプレイ
25 入力デバイス
26 メモリ
27 ネットワークI/F
28 バス
31 画像取得部
32 構造抽出部
33 再構成部
34 特徴構造検出部
35 投影部
36 位置ずれ量導出部
37 表示制御部
38 焦点面判別部
39 位置ずれ量判断部
40 表示画面
41,42 ラベル
45 警告表示
48 構造物
50 評価関数導出部
C1~C4 対応点
Dj 断層画像
Dhj 補正済み断層画像
F1,F3,F4,F5 特徴構造
F2 特徴構造の像
Gi(i=1~n) 投影画像
Gc 基準投影画像
GTi(i=1~n) 断層面投影画像
H1,H2 探索範囲
M ***
O1~O4 断層面上の画素位置
P1~P3 投影画像の画素位置
Rf0,R1~R3,Rh1,Rh2 関心領域
Ra0 周囲領域
Si(i=1~n) 線源位置
Sc 基準線源位置
SDj,SDk 構造断層画像
SGi(i=1~n) 構造投影画像
Tj 断層面
V10,Vf3 シフトベクトル
X0 光軸
2 コンソール
3 画像保存システム
4,4A,4B,4C 画像処理装置
10 撮影部
11 回転軸
12 アーム部
13 撮影台
14 放射線照射部
15 放射線検出器
15A 検出面
16 X線源
17 圧迫板
18 支持部
19 移動機構
21 CPU
22 画像処理プログラム
23 ストレージ
24 ディスプレイ
25 入力デバイス
26 メモリ
27 ネットワークI/F
28 バス
31 画像取得部
32 構造抽出部
33 再構成部
34 特徴構造検出部
35 投影部
36 位置ずれ量導出部
37 表示制御部
38 焦点面判別部
39 位置ずれ量判断部
40 表示画面
41,42 ラベル
45 警告表示
48 構造物
50 評価関数導出部
C1~C4 対応点
Dj 断層画像
Dhj 補正済み断層画像
F1,F3,F4,F5 特徴構造
F2 特徴構造の像
Gi(i=1~n) 投影画像
Gc 基準投影画像
GTi(i=1~n) 断層面投影画像
H1,H2 探索範囲
M ***
O1~O4 断層面上の画素位置
P1~P3 投影画像の画素位置
Rf0,R1~R3,Rh1,Rh2 関心領域
Ra0 周囲領域
Si(i=1~n) 線源位置
Sc 基準線源位置
SDj,SDk 構造断層画像
SGi(i=1~n) 構造投影画像
Tj 断層面
V10,Vf3 シフトベクトル
X0 光軸
Claims (20)
- 少なくとも1つのプロセッサを備え、
前記プロセッサは、
放射線源を検出部の検出面に対して相対的に移動させ、前記放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、前記複数の線源位置のそれぞれに対応する複数の投影画像を取得し、
前記複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
前記複数の構造投影画像を再構成して前記被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
前記複数の構造断層画像から少なくとも1つの特徴構造を検出し、
前記特徴構造が検出された構造断層画像に対応する対応断層面において、前記特徴構造を基準として、前記被写体の体動に基づく前記複数の投影画像間の位置ずれを補正して前記複数の投影画像を再構成し、前記被写体の少なくとも1つの断層面における補正済み断層画像を導出する
よう構成される、画像処理装置。 - 前記特定構造は、線構造および点構造の少なくとも一方である請求項1に記載の画像処理装置。
- 前記プロセッサは、前記投影画像における画素値の勾配を表す勾配ベクトルの集中度に基づいて前記線構造および前記点構造の少なくとも一方を抽出する
よう構成される、請求項2に記載の画像処理装置。 - 前記プロセッサは、前記対応断層面において、前記特徴構造を基準として、前記被写体の体動に基づく前記複数の投影画像間の位置ずれ量を導出し、
前記位置ずれ量を補正して前記複数の投影画像を再構成することにより、前記補正済み断層画像を導出する
よう構成される、請求項1から3のいずれか1項に記載の画像処理装置。 - 前記プロセッサは、前記複数の構造断層画像から複数の特徴構造を検出し、
前記複数の特徴構造のそれぞれが検出された構造断層画像に対応する対応断層面が焦点面であるか否かを判別し、
前記焦点面と判別された前記対応断層面において前記位置ずれ量を導出する
よう構成される、請求項4に記載の画像処理装置。 - 前記プロセッサは、前記構造断層画像における特定のしきい値条件を満足する点を前記特徴構造として検出する
よう構成される、請求項5に記載の画像処理装置。 - 前記プロセッサは、前記位置ずれを補正しつつ前記構造投影画像を再構成することにより前記構造断層画像を更新し、
更新された前記構造断層画像から更新された特徴構造を検出し、
更新された前記特徴構造を用いて前記位置ずれ量を更新し、
前記構造断層画像の更新、前記特徴構造の更新および前記位置ずれ量の更新を繰り返す
よう構成される、請求項6に記載の画像処理装置。 - 前記プロセッサは、前記位置ずれを補正しつつ前記構造投影画像を再構成することにより前記構造断層画像を更新し、
更新された前記しきい値条件に基づいて更新された前記構造断層画像から更新された特徴構造を検出し、
更新された前記特徴構造を用いて前記位置ずれ量を更新し、
前記構造断層画像の更新、更新された前記しきい値条件に基づく前記特徴構造の更新および前記位置ずれ量の更新を繰り返す
よう構成される、請求項6に記載の画像処理装置。 - 前記プロセッサは、前記複数の投影画像のそれぞれについての撮影時の前記線源位置と前記検出部との位置関係に基づいて、前記複数の投影画像を前記対応断層面に投影して、前記複数の投影画像のそれぞれに対応する断層面投影画像を導出し、
前記対応断層面において、前記特徴構造を基準として、前記被写体の体動に基づく前記複数の断層面投影画像間の位置ずれ量を、前記複数の投影画像間の位置ずれ量として導出する
よう構成される、請求項4から8のいずれか1項に記載の画像処理装置。 - 前記プロセッサは、前記複数の断層面投影画像において、前記特徴構造に対応する局所領域を設定し、前記局所領域に基づいて前記位置ずれ量を導出する
よう構成される、請求項9に記載の画像処理装置。 - 前記プロセッサは、前記複数の断層面投影画像において、前記特徴構造を含む複数の第1の局所領域を設定し、前記特徴構造が検出された断層画像において、前記特徴構造を含む第2の局所領域を設定し、前記第2の局所領域に対する前記複数の第1の局所領域の位置ずれ量を仮の位置ずれ量としてそれぞれ導出し、該複数の仮の位置ずれ量に基づいて前記位置ずれ量を導出する
よう構成される、請求項9に記載の画像処理装置。 - 前記プロセッサは、前記第2の局所領域における前記特徴構造の周囲の領域に基づいて、前記仮の位置ずれ量を導出する
よう構成される、請求項11に記載の画像処理装置。 - 前記プロセッサは、前記位置ずれ量を導出する対象となる対象断層面投影画像に対応する対象投影画像を除いた前記複数の投影画像を再構成して前記複数の断層画像を対象断層画像として導出し、
前記対象断層画像を用いて前記対象断層面投影画像についての前記位置ずれ量を導出する
よう構成される、請求項11または12に記載の画像処理装置。 - 前記プロセッサは、前記補正済み断層画像における前記特徴構造を含む関心領域の画質評価を行い、前記画質評価の結果に基づいて、導出された前記位置ずれ量が適切であるか不適切であるかを判断する
よう構成される、請求項4から13のいずれか1項に記載の画像処理装置。 - 前記プロセッサは、前記複数の投影画像を再構成することにより複数の断層画像を導出し、
前記断層画像における前記特徴構造を含む関心領域の画質評価を行い、前記補正済み断層画像についての画質評価の結果と、前記断層画像についての画質評価の結果とを比較し、前記画質評価の結果が良い方の断層画像を、最終的な断層画像に決定する
よう構成される、請求項14に記載の画像処理装置。 - 前記プロセッサは、前記補正済み断層画像における前記特徴構造を含む関心領域の画質評価を行うための評価関数を導出し、
前記評価関数を最適化する前記位置ずれ量を導出する
よう構成される、請求項4から15のいずれか1項に記載の画像処理装置。 - 前記被写体が***である請求項1から16のいずれか1項に記載の画像処理装置。
- 前記プロセッサは、乳腺密度、前記***の大きさ、前記トモシンセシス撮影の撮影時間、前記トモシンセシス撮影時における前記***の圧迫圧、および前記***の撮影方向の少なくとも1つに応じて、前記位置ずれ量導出時の探索範囲を変更する
よう構成される、請求項17に記載の画像処理装置。 - 放射線源を検出部の検出面に対して相対的に移動させ、前記放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、前記複数の線源位置のそれぞれに対応する複数の投影画像を取得し、
前記複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
前記複数の構造投影画像を再構成して前記被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
前記複数の構造断層画像から少なくとも1つの特徴構造を検出し、
前記特徴構造が検出された構造断層画像に対応する対応断層面において、前記特徴構造を基準として、前記被写体の体動に基づく前記複数の投影画像間の位置ずれを補正して前記複数の投影画像を再構成し、前記被写体の少なくとも1つの断層面における補正済み断層画像を導出する
ことを含む、画像処理方法。 - 放射線源を検出部の検出面に対して相対的に移動させ、前記放射線源の移動による複数の線源位置において被写体に放射線を照射するトモシンセシス撮影を撮影装置に行わせることにより生成された、前記複数の線源位置のそれぞれに対応する複数の投影画像を取得し7、
前記複数の投影画像から特定構造を抽出して複数の構造投影画像を導出し、
前記複数の構造投影画像を再構成して前記被写体の複数の断層面のそれぞれにおける構造断層画像を導出し、
前記複数の構造断層画像から少なくとも1つの特徴構造を検出し、
前記特徴構造が検出された構造断層画像に対応する対応断層面において、前記特徴構造を基準として、前記被写体の体動に基づく前記複数の投影画像間の位置ずれを補正して前記複数の投影画像を再構成し、前記被写体の少なくとも1つの断層面における補正済み断層画像を導出すること
を含む処理をコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022035379 | 2022-03-08 | ||
JP2022-035379 | 2022-03-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023171073A1 true WO2023171073A1 (ja) | 2023-09-14 |
Family
ID=87936539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/046280 WO2023171073A1 (ja) | 2022-03-08 | 2022-12-15 | 画像処理装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023171073A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012512669A (ja) * | 2008-11-21 | 2012-06-07 | ホロジック インコーポレイティッド | トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法 |
JP2016064118A (ja) * | 2014-09-19 | 2016-04-28 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
JP2016064119A (ja) * | 2014-09-19 | 2016-04-28 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
WO2016099924A1 (en) * | 2014-12-17 | 2016-06-23 | General Electric Company | Method and system for processing tomosynthesis data |
JP2020005706A (ja) * | 2018-07-03 | 2020-01-16 | 富士フイルム株式会社 | 画像表示装置、方法およびプログラム |
WO2020067475A1 (ja) * | 2018-09-27 | 2020-04-02 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
JP2020048991A (ja) * | 2018-09-27 | 2020-04-02 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
JP2020089667A (ja) * | 2018-12-07 | 2020-06-11 | 富士フイルム株式会社 | トモシンセシス撮影支援装置、方法およびプログラム |
US20200178926A1 (en) * | 2017-08-16 | 2020-06-11 | Hologic, Inc. | Motion, compression, and positioning corrections in medical imaging |
-
2022
- 2022-12-15 WO PCT/JP2022/046280 patent/WO2023171073A1/ja unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012512669A (ja) * | 2008-11-21 | 2012-06-07 | ホロジック インコーポレイティッド | トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法 |
JP2016064118A (ja) * | 2014-09-19 | 2016-04-28 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
JP2016064119A (ja) * | 2014-09-19 | 2016-04-28 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
WO2016099924A1 (en) * | 2014-12-17 | 2016-06-23 | General Electric Company | Method and system for processing tomosynthesis data |
US20200178926A1 (en) * | 2017-08-16 | 2020-06-11 | Hologic, Inc. | Motion, compression, and positioning corrections in medical imaging |
JP2020005706A (ja) * | 2018-07-03 | 2020-01-16 | 富士フイルム株式会社 | 画像表示装置、方法およびプログラム |
WO2020067475A1 (ja) * | 2018-09-27 | 2020-04-02 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
JP2020048991A (ja) * | 2018-09-27 | 2020-04-02 | 富士フイルム株式会社 | 断層画像生成装置、方法およびプログラム |
JP2020089667A (ja) * | 2018-12-07 | 2020-06-11 | 富士フイルム株式会社 | トモシンセシス撮影支援装置、方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
YOSHINAGA YUKIYASU, HIDEFUMI KOBATAKE: "Evaluation Method of Concentration Degree and Convergence Index Filter", MEDICAL IMAGING TECHNOLOGY, vol. 19, no. 3, 1 May 2001 (2001-05-01), pages 154 - 160, XP093091277, DOI: 10.11409/mit.19.154 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6368779B2 (ja) | トモシンセシスデータからエッジ保存合成マンモグラムを生成するための方法 | |
Penney et al. | A comparison of similarity measures for use in 2-D-3-D medical image registration | |
US7142633B2 (en) | Enhanced X-ray imaging system and method | |
JP6165809B2 (ja) | 断層画像生成装置、方法およびプログラム | |
WO2014203531A1 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP6370280B2 (ja) | 断層画像生成装置、方法およびプログラム | |
JP2006043431A (ja) | ヘリカルマルチスライスctのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法 | |
JP4495926B2 (ja) | X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 | |
JP7275363B2 (ja) | 位置ずれ量導出装置、方法およびプログラム | |
WO2006078085A1 (en) | Method for reconstructing a local high resolution x-ray ct image and apparatus for reconstructing a local high resolution x-ray ct image | |
JP2011125568A (ja) | 画像処理装置、画像処理方法、プログラム及び画像処理システム | |
JP7084291B2 (ja) | トモシンセシス撮影支援装置、方法およびプログラム | |
JP7017492B2 (ja) | 断層画像生成装置、方法およびプログラム | |
JP7134001B2 (ja) | 画像表示装置、方法およびプログラム | |
JP6429958B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN112120722B (zh) | X射线断层合成装置、图像处理装置以及记录介质 | |
JP7187678B2 (ja) | 画像処理装置、方法およびプログラム | |
WO2023171073A1 (ja) | 画像処理装置、方法およびプログラム | |
JP7105726B2 (ja) | 画像処理装置、方法およびプログラム | |
EP3648063B1 (en) | Image display apparatus, radiation imaging display system, image display method, and image display program | |
WO2022018943A1 (ja) | 画像処理装置、方法およびプログラム | |
EP4125031A1 (en) | Method and systems for removing anti-scatter grid artifacts in x-ray imaging | |
JP2022153115A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN118177852A (zh) | 用于2d合成图像生成的投影增强的***和方法 | |
Berger et al. | Marker-free Motion Correction in Weight-Bearing Cone-Beam |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22931043 Country of ref document: EP Kind code of ref document: A1 |