WO2021182229A1 - 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム - Google Patents

画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム Download PDF

Info

Publication number
WO2021182229A1
WO2021182229A1 PCT/JP2021/008162 JP2021008162W WO2021182229A1 WO 2021182229 A1 WO2021182229 A1 WO 2021182229A1 JP 2021008162 W JP2021008162 W JP 2021008162W WO 2021182229 A1 WO2021182229 A1 WO 2021182229A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lesion
radiation
processor
teacher data
Prior art date
Application number
PCT/JP2021/008162
Other languages
English (en)
French (fr)
Inventor
崇文 小池
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21766927.4A priority Critical patent/EP4119055A4/en
Priority to JP2022505970A priority patent/JP7513697B2/ja
Publication of WO2021182229A1 publication Critical patent/WO2021182229A1/ja
Priority to US17/818,362 priority patent/US20220383564A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A61B6/0407—Supports, e.g. tables or beds, for the body or parts of the body
    • A61B6/0414—Supports, e.g. tables or beds, for the body or parts of the body with compression means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Definitions

  • the present disclosure relates to an image generator and a program, a learning device and a program, and an image processing device and a program.
  • mammography radiographic imaging device
  • Tomosynthesis imaging has been proposed to produce.
  • tomosynthesis imaging multiple source locations can be moved in parallel with the radiation detector or in a circular or elliptical arc, depending on the characteristics of the imaging device and the required tomographic image.
  • a back projection method such as a simple back projection method or a filter back projection method, or a sequential reconstruction method to obtain a tomosynthesis image.
  • a back projection method such as a simple back projection method or a filter back projection method, or a sequential reconstruction method to obtain a tomosynthesis image.
  • a learning model that is a machine learning model such as a neural network trained by deep learning or the like is used to automatically detect lesions in an image and highlight the detected lesions.
  • a computer-aided diagnostic imaging system CAD: Computer Aided Diagnosis, hereinafter referred to as CAD
  • lesions such as calcification, spicula, and mass are detected by using CAD from tomographic images acquired by tomosynthesis imaging.
  • the teacher image including the lesion generated by the method described in Japanese Patent Application Laid-Open No. 2008-229161 is generated by adding the image of the lesion to the two-dimensional image simply taken. Therefore, even if the method described in Japanese Patent Application Laid-Open No. 2008-229161 is applied as it is to the projected image acquired by tomosynthesis imaging, it is not possible to derive a tomographic image including the lesion with high accuracy. Further, even if a machine learning model in which such a tomographic image is used as a teacher image for learning is used, there is a possibility that the lesion cannot be detected accurately from the image.
  • the method described in Japanese Patent Application Laid-Open No. 2008-229161 simply synthesizes a lesion image into a normal image. Therefore, the teacher image including the generated lesion looks different from the image acquired by the actual imaging device. Therefore, when a machine learning model is constructed using such a teacher image, it may not be possible to accurately detect the lesion from the image.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to enable accurate detection of lesions from images.
  • the first image generator comprises at least one processor.
  • the processor is A plurality of first projected images acquired by photographing the subject at a plurality of source positions are acquired, and a plurality of first projected images are acquired. Obtain a lesion image showing the lesion and Based on the geometrical relationship between the positions of the plurality of radiation sources and the positions of the lesions virtually placed on the subject, a plurality of second projection images obtained by synthesizing the lesion images with the plurality of first projection images are derived. By reconstructing a plurality of second projection images, it is configured to generate a tomographic image including a lesion.
  • the processor derives the radiation attenuation coefficient for the lesion virtually placed on the subject. It may be configured to derive a plurality of second projected images based on the radiation attenuation factor.
  • the processor includes a tomographic image including a lesion and data representing the position of the lesion in the tomographic image including the lesion, and when the target image is input, the processor includes the target image. It may generate teacher data for machine learning a model for detecting an image.
  • the second image generator comprises at least one processor.
  • the processor is Acquire the image acquired by radiographing the subject, Obtain a lesion image showing the lesion and Derived the radiation attenuation coefficient for the lesion virtually placed on the subject, It is configured to generate an image in which a lesion image is combined with an image based on the geometrical relationship between the radiation attenuation coefficient, the position of the radiation source when radiography is performed, and the position of the lesion virtually placed on the subject. ..
  • the processor includes a composite image of the lesion image and data representing the position of the lesion in the composite image of the lesion image, and when the target image is input, the target image is included. It may generate teacher data for machine learning a model for detecting a lesion contained in the image.
  • the lesion may be at least one of a mass, spicula and calcification.
  • the learning apparatus comprises at least one processor.
  • the processor is When the target image is input, the target image is input using the first teacher data, which is the teacher data generated by the first and second image generators according to the present disclosure, and the second teacher data, which is an image containing no lesion.
  • a model for detecting lesions contained in images is constructed by machine learning.
  • the image processing apparatus includes at least one processor and The model constructed by the learning device according to the present disclosure is provided.
  • the processor is Get the target image and The model is configured to detect lesions contained in the target image.
  • the processor may be configured to display the detection result of the lesion.
  • the first image generation program includes a procedure for acquiring a plurality of first projected images acquired by photographing a subject at a plurality of source positions, and a procedure for acquiring a plurality of first projected images.
  • the computer is made to perform a procedure for generating a tomographic image including a lesion.
  • the second image generation program includes a procedure for acquiring an image acquired by radiographically photographing a subject, and a procedure for acquiring an image.
  • a computer is provided with a procedure for generating an image in which a lesion image is combined with an image based on the geometrical relationship between the radiation attenuation coefficient, the position of the radiation source when radiography is performed, and the position of the lesion virtually placed on the subject. Let it run.
  • the learning program according to the present disclosure uses the first teacher data, which is the teacher data generated by the first and second image generators according to the present disclosure, and the second teacher data, which is an image without lesions.
  • the computer is made to perform a procedure of constructing a model for detecting the lesion contained in the target image by machine learning.
  • the image processing program according to the present disclosure includes a procedure for acquiring a target image and Using the model constructed by the learning device according to the present disclosure, a computer is made to perform a procedure for detecting a lesion contained in a target image.
  • lesions can be detected accurately from images.
  • FIG. 1st Embodiment Schematic configuration diagram of a radiation imaging system to which the image processing apparatus according to the first embodiment of the present disclosure is applied.
  • a view of the radiation imaging device from the direction of arrow A in FIG. The figure which shows the schematic structure of the image processing apparatus by 1st Embodiment
  • the figure for demonstrating the position of the lesion image in the 1st projection image The figure which shows the 1st projection image and the 2nd projection image Diagram for explaining the generation of the first tomographic image Diagram showing tomographic images including tomographic images of simulated lesions
  • the figure which shows the teacher data generated in 1st Embodiment Diagram showing the target tomographic image and the detection result of the lesion area The figure which shows the display screen of the detection result of the target tomographic image in 1st Embodiment Flowchart of image generation processing performed in the first embodiment Flowchart of learning process performed in the first embodiment Flowchart of detection processing performed in the first embodiment
  • the figure for demonstrating the derivation of the synthetic position of the lesion image in 2nd Embodiment The figure which shows the teacher data generated in the 2nd Embodiment
  • the figure which shows the display screen of the detection result of the target image in 2nd Embodiment Flowchart of image generation processing performed in the second embodiment Diagram for explaining the generation of a composite 2D image
  • FIG. 1 is a schematic configuration diagram of a radiation imaging system to which the image processing apparatus according to the first embodiment of the present disclosure is applied
  • FIG. 2 is a view of a mammography imaging device in the radiation imaging system as viewed from the direction of arrow A in FIG. be.
  • the radiation imaging system 100 includes a mammography imaging device 1, a console 2, an image storage system 3, and an image processing device 4.
  • the mammography imaging apparatus 1 photographs the breast M, which is a subject, from a plurality of radiation source positions in order to perform tomosynthesis imaging of the breast and generate a tomographic image, and acquires a plurality of radiographic images, that is, a plurality of projected images. Is for.
  • the mammography imaging apparatus 1 can also perform simple imaging of irradiating the breast M with radiation from a predetermined radiation source position to acquire a two-dimensional radiographic image of the breast.
  • the mammography photographing apparatus 1 includes an arm portion 12 connected to a base (not shown) by a rotating shaft 11.
  • An imaging table 13 is attached to one end of the arm portion 12, and a radiation irradiation unit 14 is attached to the other end so as to face the photographing table 13.
  • the arm portion 12 is configured so that only the end portion to which the radiation irradiation unit 14 is attached can be rotated, whereby the imaging table 13 can be fixed and only the radiation irradiation unit 14 can be rotated. It has become.
  • a radiation detector 15 such as a flat panel detector is provided inside the photographing table 13.
  • the radiation detector 15 has a radiation detection surface 15A.
  • a charge amplifier that converts the charge signal read from the radiation detector 15 into a voltage signal
  • a correlated double sampling circuit that samples the voltage signal output from the charge amplifier, and a voltage signal.
  • a circuit board or the like provided with an AD (Analog Digital) conversion unit or the like for converting the voltage into a digital signal is also installed.
  • the radiation source 16 is housed inside the radiation irradiation unit 14.
  • the radiation source 16 emits X-rays as radiation, and the timing of irradiating the radiation from the radiation source 16 and the radiation generation conditions in the radiation source 16, that is, the selection of the material of the target and the filter, the tube voltage, the irradiation time, and the like are determined. It is controlled by the console 2.
  • a compression plate 17 which is arranged above the imaging table 13 and presses and presses the breast M, a support portion 18 which supports the compression plate 17, and a support portion 18 are vertically attached to FIGS. 1 and 2.
  • a moving mechanism 19 for moving in a direction is provided. The distance between the compression plate 17 and the photographing table 13, that is, the compression thickness is input to the console 2.
  • the console 2 displays the shooting order and various information acquired from RIS (Radiology Information System), which is not shown, and instructions directly given by the engineer, etc., via a network such as a wireless communication LAN (Local Area Network). It has a function of controlling the mammography photographing apparatus 1 by using the device. Specifically, the console 2 acquires a plurality of projected images as described later by causing the mammography imaging device 1 to perform tomosynthesis imaging of the breast M. As an example, in this embodiment, the server computer is used as the console 2.
  • the image storage system 3 is a system that stores image data such as a radiation image, a projection image, and a tomographic image taken by the mammography imaging device 1.
  • the image storage system 3 extracts an image in response to a request from the console 2, the image processing device 4, and the like from the stored image, and transmits the image to the requesting device.
  • Specific examples of the image storage system 3 include PACS (Picture Archiving and Communication Systems).
  • the image processing device 4 according to the first embodiment includes the image generation device and the learning device according to the present disclosure, but in the following description, the image processing device will be represented.
  • the hardware configuration of the image processing apparatus according to the first embodiment will be described with reference to FIG.
  • the image processing device 4 is a computer such as a workstation, a server computer, and a personal computer, and includes a CPU (Central Processing Unit) 21, a non-volatile storage 23, and a memory 26 as a temporary storage area. Be prepared.
  • a CPU Central Processing Unit
  • the image processing device 4 includes a display 24 such as a liquid crystal display, an input device 25 such as a keyboard and a mouse, and a network I / F (InterFace) 27 connected to a network (not shown).
  • the CPU 21, the storage 23, the display 24, the input device 25, the memory 26, and the network I / F 27 are connected to the bus 28.
  • the CPU 21 is an example of the processor in the present disclosure.
  • the storage 23 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the storage 23 as a storage medium stores the image generation program 22A, the learning program 22B, and the image processing program 22C installed in the image processing device 4.
  • the CPU 21 reads the image generation program 22A, the learning program 22B, and the image processing program 22C from the storage 23, expands them into the memory 26, and executes the expanded image generation program 22A, the learning program 22B, and the image processing program 22C.
  • the image generation program 22A, the learning program 22B, and the image processing program 22C are stored in the storage device of the server computer connected to the network or the network storage in a state of being accessible from the outside, and are stored in the image processing device in a state of being accessible from the outside. It is downloaded and installed on the computers that make up 4. Alternatively, it is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and the recording medium is installed in a computer constituting the image processing device 4.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • FIG. 4 is a diagram showing a functional configuration of the image processing apparatus according to the first embodiment.
  • the image processing device 4 includes an image acquisition unit 31, a synthesis unit 32, a reconstruction unit 33, a teacher data generation unit 34, a learning unit 35, a detection unit 36, a display control unit 37, and a communication unit 38.
  • the CPU 21 executes the image generation program 22A, the learning program 22B, and the image processing program 22C, so that the image processing device 4 has the image acquisition unit 31, the composition unit 32, the reconstruction unit 33, and the teacher data generation unit 34. It functions as a learning unit 35, a detection unit 36, a display control unit 37, and a communication unit 38.
  • the learning model 36A which will be described later, is applied to the detection unit 36.
  • the image acquisition unit 31, the composition unit 32, the reconstruction unit 33, the teacher data generation unit 34, the display control unit 37, and the communication unit 38 constitute the image generation device according to the first embodiment.
  • the image acquisition unit 31 and the learning unit 35 constitute a learning device according to the first embodiment.
  • the image acquisition unit 31, the detection unit 36, and the display control unit 37 constitute an image processing device according to the first embodiment.
  • the image acquisition unit 31 acquires a plurality of projected images acquired by the console 2 causing the mammography imaging device 1 to perform tomosynthesis imaging. In addition, a lesion image of a simulated lesion that schematically represents the lesion contained in the breast M is acquired.
  • the image acquisition unit 31 acquires a projected image from the console 2 or the image storage system 3 via the network I / F27.
  • the image acquisition unit 31 acquires a lesion image from the image storage system 3 via the network I / F27.
  • the image acquisition unit 31 acquires the teacher data generated as described later and stored in the image storage system 3 via the network I / F 27 for learning the learning model described later. Further, the image acquisition unit 31 acquires a target image to be detected of the lesion from the image storage system 3 via the network I / F 27, as will be described later.
  • the console 2 moves the radiation source 16 by rotating the arm portion 12 around the rotation axis 11 when performing tomosynthesis imaging for generating a tomographic image, and at a plurality of radiation source positions due to the movement of the radiation source 16.
  • FIG. 5 is a diagram for explaining the acquisition of the projected image Gi.
  • the radiation source 16 is moved to each source position of S1, S2, ..., Sn, and the radiation source 16 is driven at each source position to irradiate the breast M with radiation, and the breast M is radiated.
  • projected images G1, G2, ..., Gn are acquired corresponding to the respective source positions S1 to Sn.
  • the projected image Gi will be referred to as a first projected image.
  • the radiation source position Sc is the radiation source position where the optical axis X0 of the radiation emitted from the radiation source 16 is orthogonal to the detection surface 15A of the radiation detector 15.
  • the radiation source position Sc shall be referred to as a reference radiation source position Sc.
  • the synthesis unit 32 has a plurality of first units based on the geometrical relationship between the positions of the plurality of radiation sources when the mammography imaging apparatus 1 performs tomosynthesis imaging and the positions of the lesions arranged at predetermined positions in the breast M.
  • a plurality of second projected images are derived by synthesizing the lesion image of the simulated lesion with the projected image Gi of. Examples of breast M lesions include tumors, spicula, and calcification.
  • FIG. 6 is a diagram showing lesion images of simulated lesions for various lesions.
  • a lesion image of the simulated lesion an image similar to the actual shape of the lesion is prepared.
  • a lesion image of a tumor a sphere or an ellipsoid, a polygon, a lobation type, and an irregular shape are prepared.
  • a lesion image of Spicula a tumor accompanied by Spicula and a disorder of construction are prepared.
  • Disordered construction refers to a condition without a mass.
  • calcification lesion images spherical, polygonal, linear and lobulated ones are prepared.
  • the lesion image of the simulated lesion may be obtained by radiography of the breast including the actual lesion, or may be artificially generated by computer graphics or the like. In this embodiment, a lesion image generated by computer graphics is used.
  • the synthesizing unit 32 When synthesizing the lesion image with the first projected image Gi, the synthesizing unit 32 performs geometry of a plurality of radiation source positions when the mammography imaging apparatus 1 performs tomosynthesis imaging and the position of the lesion virtually arranged on the breast M. Based on the scientific relationship, first, the composite position of the lesion image with respect to the first projected image Gi is derived.
  • FIG. 7 is a diagram for explaining the derivation of the synthetic position of the lesion image in the first embodiment. As shown in FIG. 7, it is assumed that the simulated lesion 40 is virtually arranged at a predetermined position in the breast M. As shown in FIG. 7, the radiation emitted from each source position S1 to Sn (only S1, S2, Sc are shown in FIG.
  • the position on the detection surface 15A of the radiation detector 15 on which the radiation transmitted through the simulated lesion 40 is irradiated differs depending on the radiation source position. Therefore, as shown in FIG. 8, the position of the lesion image 42 of the simulated lesion 40 included in the first projected images G1, G2, Gc acquired at the source positions S1, S2, Sc is set for each source position. Will be different.
  • the synthesis unit 32 detects the radiation source positions S1 to Sn, the positions of the simulated lesions 40 in the breast M, and the radiation detection when the simulated lesions 40 are virtually placed in the breast M and tomosynthesis is performed. From the geometrical relationship of the position of the detection surface 15A of the vessel 15, the composite position where the lesion image 42 is synthesized in the first projected image Gi is derived.
  • the radiation emitted from the radiation source 16 when performing tomosynthesis imaging passes through the air existing between the radiation source 16 and the compression plate 17, the compression plate 17, the breast M, and the top plate 13A of the imaging table 13. Then, the radiation detector 15 is irradiated. Therefore, the radiation emitted from the radiation source 16 is attenuated by the air, the compression plate 17, the breast M, and the top plate 13A and irradiated to the radiation detector 15, and is detected as the first projected image Gi.
  • the radiation detector 15 is irradiated through the compression plate 17, the simulated lesion 40, and the top plate 13A of the imaging table 13.
  • the synthesis unit 32 synthesizes the lesion image 42 of the simulated lesion 40 at the composite position of the first projected image Gi, the radiation representing the attenuation of the radiation transmitted through the simulated lesion 40.
  • the attenuation coefficient is derived, and the lesion image 42 of the simulated lesion 40 is combined with the first projected image Gi at the composite position based on the radiation attenuation coefficient to derive the second projected image CGi.
  • the derivation of the radiation attenuation coefficient of the simulated lesion 40 will be described.
  • the radiation generation conditions (that is, the target and filter, and the tube voltage) when the first projected image Gi is acquired are known and can be acquired from the console 2.
  • the synthesis unit 32 acquires the radiation irradiation spectrum P0 when the first projected image Gi is acquired from the radiation generation conditions.
  • a table that defines the relationship between various radiation generation conditions and the irradiation spectrum P0 is prepared in advance and stored in the storage 23.
  • the synthesis unit 32 refers to the table stored in the storage 23 and acquires the radiation irradiation spectrum P0 when the first projected image Gi is acquired from the radiation generation conditions acquired from the console 2.
  • the attenuation of radiation occurs in the same way at any source position Si. Therefore, in the present embodiment, the radiation attenuation coefficient of the simulated lesion 40 is subsequently derived based on the reference radiation source position Sc, but the present invention is not limited to this.
  • the synthesis unit 32 derives the path length of the radiation emitted from the reference radiation source position Sc and incident on the simulated lesion 40 when passing through the simulated lesion 40 as the thickness t1 of the simulated lesion 40.
  • the radiation attenuation coefficient ⁇ 1 of the simulated lesion 40 for each radiation energy is known for each type of lesion. Therefore, the synthesis unit 32 has passed through the simulated lesion 40 by the following formula (1) from the radiation spectrum P0, the radiation attenuation coefficient ⁇ 1 of the simulated lesion 40 for each radiation energy, and the thickness t1 of the simulated lesion 40.
  • the synthesis unit 32 derives the radiation attenuation coefficient ⁇ m of the simulated lesion 40 over the entire energy range of the radiation from the radiation spectrum P0 and the radiation spectrum P1 for each energy of the radiation by the following equation (2).
  • the synthesis unit 32 synthesizes the lesion image 42 at the composite position in the first projected image Gi derived as described above, and synthesizes the lesion image 42 to the second projection image Gi.
  • the projected image CGi is derived.
  • the second projected image CGi is derived by deriving the pixel value of the projected image CGi at the composite position (x, y) by the following equation (3).
  • G (x, y) is the composite position in the first projected image Gi
  • CG (x, y) is the composite position in the second projected image CGi
  • l (x, y) is the composite position.
  • CG (x, y) G (x, y) - ⁇ m ⁇ l (x, y) (3)
  • FIG. 9 is a diagram showing a first projected image Gi and a second projected image CGi. As shown in FIG. 9, in the second projected image CGi, the lesion image 42 of the simulated lesion 40 is included in the composite position 41 in the first projected image Gi.
  • the synthesis unit 32 generates a second projected image CGi including lesion images of various types of simulated lesions having various shapes as shown in FIG.
  • a well-known back projection method such as a simple back projection method or a filter back projection method
  • a three-dimensional image of the breast M is composed of a plurality of tomographic images Daj generated by the reconstruction. Further, as shown in FIG. 11, the generated tomographic image Daj includes a tomographic image 43 of the simulated lesion 40 virtually arranged in the breast M when the second projected image CGi is generated. There is something. In FIG. 11, a tomographic image 43 of the simulated lesion 40 is included over the tomographic images Da2, Da3, and Da4. In the following description, the tomographic image Daj including the simulated lesion 40 will be referred to as an abnormal image. Further, in the following description, it is assumed that the reference code Daj may be used as the abnormal image.
  • the teacher data generation unit 34 includes the abnormal image generated as described above (that is, the tomographic image Daj including the tomographic image 43 of the simulated lesion 40) and the data representing the position of the tomographic image 43 included in each abnormal image Daj (hereinafter,). , Correct answer data) and the teacher data Tj is generated.
  • FIG. 12 is a diagram schematically showing the teacher data generated in the first embodiment.
  • the teacher data Tj consists of an abnormal image Daj including a tomographic image 43 of the simulated lesion 40 and correct data Cj representing the position of the tomographic image 43 of the simulated lesion 40 in the abnormal image Daj.
  • the teacher data is generated for each abnormal image Daj.
  • the teacher data Tj generated by the teacher data generation unit 34 is stored in the storage 23.
  • the generated abnormal image Daj may be displayed on the display 24 by the display control unit 37. Further, the communication unit 38 transmits the teacher data Tj to the image storage system 3. The image storage system 3 stores the received teacher data Tj.
  • the learning unit 35 uses the teacher data Tj for the abnormal image as the first teacher data and the teacher data for the medical image that does not include the lesion as the second teacher data, respectively, and uses the region of the lesion in the input target image.
  • the learning model 36A possessed by the detection unit 36 is constructed.
  • a plurality of first and second teacher data are prepared. Therefore, when learning the machine learning model, the image acquisition unit 31 acquires a plurality of first and second teacher data from the storage 23 or the image storage system 3.
  • An example of a machine learning model for constructing a learning model 36A is a neural network model.
  • the neural network model include a simple perceptron, a multi-layer perceptron, a deep neural network, a convolutional neural network, a deep belief network, a recurrent neural network, and a stochastic neural network.
  • a convolutional neural network is used as a machine learning model for constructing the learning model 36A.
  • the learning model 36A learns a machine learning model so that when the abnormal image Daj included in the teacher data is input, the probability (probability) that each pixel of the abnormal image Daj is a lesion region is output. It is built by.
  • the region composed of pixels whose probability is equal to or higher than a predetermined threshold value output by the learning model 36A is the lesion region.
  • the learning unit 35 inputs the abnormal image into the machine learning model, and outputs the probability of becoming a lesion region for each pixel of the abnormal image. Then, the difference between the region consisting of pixels output by the machine learning model, which has a probability of exceeding a predetermined threshold value, and the region represented by the correct answer data included in the teacher data is derived as a loss.
  • the machine learning model is learned based on the loss.
  • the kernel coefficient in the convolutional neural network, the weight of the connection of the neural network, and the like are derived so as to reduce the loss.
  • the learning unit 35 repeats learning until the loss becomes equal to or less than a predetermined threshold value.
  • the lesion area included in the input target image is extracted by outputting a high probability equal to or higher than a predetermined threshold value.
  • the learning model 36A is constructed.
  • the learning model 36A constructed by the learning unit 35 is applied to the detection unit 36.
  • the detection unit 36 detects the lesion area by causing the learning model 36A to detect the lesion area included in the target image.
  • the image acquisition unit 31 acquires a projected image (referred to as the target projected image) to be the target image from the mammography imaging device 1 or the image storage system 3. ..
  • the reconstruction unit 33 generates the target tomographic image by reconstructing the target projection image.
  • the detection unit 36 detects the lesion area from the target tomographic image.
  • the console 2 of the mammography imaging apparatus 1 may generate a target tomographic image from the target projected image. In this case, the image acquisition unit 31 acquires the target tomographic image from the console 2. Further, when the target tomographic image generated from the target projected image is stored in the image storage system 3, the image acquisition unit 31 may acquire the target tomographic image from the image storage system 3.
  • FIG. 13 is a diagram showing a target tomographic image and a detection result of a lesion area.
  • the detection unit 36 detects the lesion region from, for example, six target tomographic images DT1 to DT6, and outputs the detection results R1 to R6.
  • FIG. 14 is a diagram showing a display screen of the detection result of the target tomographic image in the first embodiment.
  • the first target tomographic image DT1 of the six target tomographic images DT1 to DT6 shown in FIG. 13 is displayed on the display screen 50.
  • the displayed target tomographic image can be switched by operating from the input device 25.
  • the display control unit 37 emphasizes the lesion area 52 in the target tomographic image DT1 by surrounding the lesion area 52 included in the target tomographic image DT1 with a rectangular frame 53.
  • the rectangular frame 53 is shown in white in FIG. 14, a color may be added.
  • the area of the lesion may be emphasized by adding marks such as arrows and stars in the vicinity of the area of the lesion.
  • FIG. 15 is a flowchart of the image generation process performed in the first embodiment.
  • the image acquisition unit 31 acquires a plurality of first projected images Gi (step ST1).
  • the synthesis unit 32 first projects the first projection based on the geometrical relationship between the positions of the plurality of radiation sources when the mammography imaging apparatus 1 performs tomosynthesis imaging and the positions of the simulated lesions virtually arranged on the breast M.
  • a plurality of second projected images CGi are derived by synthesizing the lesion image 42 with the image Gi (step ST2).
  • the reconstruction unit 33 reconstructs a plurality of second projected images CGi to obtain a tomographic image emphasizing the desired tomographic surface of the breast M, which includes a tomographic image 43 of the simulated lesion 40.
  • the teacher data generation unit 34 generates teacher data Tj including the abnormal image Daj generated as described above and the correct answer data Cj representing the position of the tomographic image 43 of the simulated lesion 40 included in each abnormal image Daj.
  • Step ST4 the process is terminated.
  • the generated teacher data Tj is stored in the storage 23, and is further transmitted to the image storage system 3 by the communication unit 38.
  • FIG. 16 is a flowchart of the learning process performed in the first embodiment.
  • the image acquisition unit 31 acquires the first and second teacher data (step ST11), and the learning unit 35 uses the first and second machine learning models for constructing the learning model 36A of the detection unit 36.
  • the teacher data is input to acquire the extraction result of the lesion area, the machine learning model is learned using the loss based on the difference from the correct answer data (step ST12), and the process returns to step ST11.
  • the learning unit 35 repeats the processes of steps ST11 and ST12 until the loss reaches a predetermined threshold value, and ends the learning of the machine learning model.
  • the learning model 36A is constructed.
  • the learning unit 35 may end the learning by repeating the learning a predetermined number of times.
  • FIG. 17 is a flowchart of the detection process performed in the first embodiment.
  • the image acquisition unit 31 acquires the target image (target tomographic image DTj) to be detected (step ST21), and the detection unit 36 detects the lesion region from the target image (step ST22). Then, the display control unit 37 displays the target image in which the lesion area is emphasized on the display 24 (step ST23), and ends the process.
  • the tomographic image Daj including the tomographic image 43 of the simulated lesion 40 is obtained by using the second projected image CGi generated by synthesizing the lesion image 42 of the simulated lesion 40 with the first projected image Gi. Changed to generate as an abnormal image. Therefore, by changing the type of the simulated lesion 40 and changing the position where the simulated lesion 40 is installed, a tomographic image containing various types of lesions at various positions is generated as an abnormal image. can do. Therefore, a sufficient number and sufficient variations of abnormal images can be prepared for learning a machine learning model for constructing the learning model 36A.
  • a learning model 36A for discriminating the lesion region from the input target image is constructed by machine learning using the first teacher image consisting of the abnormal image and the data including the information indicating the position of the lesion image in the abnormal image. I did.
  • a sufficient number and sufficient variations of abnormal images, and a first teacher data can be prepared for learning the machine learning model for constructing the learning model 36A. .. Therefore, according to the present embodiment, it is possible to construct a learning model 36A having high lesion detection accuracy.
  • the second projected image CGi is derived based on the radiation attenuation coefficient ⁇ m of the simulated lesion 40, the second projected image CGi similar to the case where the breast M including the lesion is actually photographed is acquired. can do. Therefore, a learning model 36A with high lesion detection accuracy can be constructed.
  • the configuration of the image processing apparatus according to the second embodiment is the same as the configuration of the image processing apparatus 4 according to the first embodiment, and only the processing to be performed is different. Therefore, a detailed description of the apparatus will be described here. Omit.
  • the lesion image 42 of the simulated lesion 40 is combined with the first projected image Gi acquired by tomosynthesis imaging to generate a second projected image CGi, and the second projected image CGi is generated.
  • the tomographic image was generated as an abnormal image from.
  • the second embodiment is different from the second embodiment in that an image obtained by synthesizing the lesion image 42 of the simulated lesion 40 with the radiographic image acquired by simple radiography is generated as an abnormal image.
  • the image processing device according to the second embodiment does not require the reconstruction unit 33 according to the first embodiment, the image processing device according to the second embodiment does not include the reconstruction unit 33. good.
  • the mammography imaging apparatus 1 acquires the radiation image H0 of the breast M by performing a simple imaging in which the breast M is irradiated only from the reference radiation source position Sc.
  • the image acquisition unit 31 acquires a radiation image H0 of the breast M by simple radiography.
  • the synthesis unit 32 synthesizes the lesion image 42 of the simulated lesion 40 at the synthesis position of the radiographic image H0.
  • FIG. 18 is a diagram for explaining the synthetic position of the lesion image 42 of the simulated lesion 40 in the second embodiment.
  • the breast M is imaged only at the reference source position Sc. Therefore, the synthesis unit 32 is based on the geometric relationship between the reference radiation source position Sc, the arrangement position of the simulated lesion 40 virtually arranged in the breast M, and the position of the detection surface 15A of the radiation detector 15.
  • the synthetic position where the lesion image 42 is synthesized in the radiographic image H0 is derived.
  • the synthesis unit 32 derives the radiation attenuation coefficient ⁇ m of the simulated lesion 40 by simulating the radiation attenuation in the same manner as in the first embodiment, and uses the radiation attenuation coefficient ⁇ m as described above.
  • the lesion image 42 is synthesized at the composite position in the derived radiographic image H0 to generate the abnormal image H1.
  • the teacher data generation unit 34 generates teacher data HT including the abnormal image H1 generated as described above and data representing the position of the lesion image included in the abnormal image H1 (referred to as correct answer data).
  • FIG. 19 is a diagram schematically showing the teacher data generated in the second embodiment. As shown in FIG. 19, the teacher data HT consists of an abnormal image H1 including the lesion image 44 of the simulated lesion 40 and correct data HC representing the position of the lesion image 44 of the simulated lesion 40 in the abnormal image H1.
  • the teacher data HT generated by the teacher data generation unit 34 is stored in the storage 23.
  • the generated abnormal image H1 may be displayed on the display 24 by the display control unit 37. Further, the communication unit 38 transmits the teacher data HT to the image storage system 3. The image storage system 3 stores the received teacher data HT.
  • the learning unit 35 uses the teacher data HT for the abnormal image H1 as the first teacher data and the teacher data for the medical image not including the lesion as the second teacher data. Then, the learning model 36A possessed by the detection unit 36 is constructed by learning the machine learning model so as to discriminate the region of the lesion in the target image acquired by the input simple imaging. A plurality of first and second teacher data are prepared. Therefore, when learning the machine learning model, the image acquisition unit 31 acquires a plurality of first and second teacher data from the storage 23 or the image storage system 3. Since the learning process performed by the learning unit 35 is the same as that of the first embodiment except that the teacher data is a tomographic image, detailed description thereof will be omitted here.
  • the detection unit 36 detects the lesion area by causing the learning model 36A to detect the lesion area included in the target image. do.
  • the display control unit 37 emphasizes the area of the lesion detected by the detection unit 36 from the target image and displays the target image on the display 24.
  • FIG. 20 is a diagram showing a display screen of the detection result of the target image in the second embodiment. As shown in FIG. 20, the target image 61 is displayed on the display screen 60. The display control unit 37 emphasizes the lesion area 62 in the target image 61 by surrounding the lesion area 62 included in the target image 61 with a rectangular frame 63.
  • FIG. 21 is a flowchart of the image generation process performed in the second embodiment.
  • the image acquisition unit 31 acquires the radiation image H0 for generating an abnormal image (step ST31).
  • the synthesis unit 32 displays the lesion image on the radiographic image H0 based on the geometrical relationship between the radiation source position when the mammography imaging device 1 takes an image and the position of the simulated lesion virtually arranged on the breast M.
  • the abnormal image H1 is generated by combining (step ST32).
  • the teacher data generation unit 34 generates teacher data including correct answer data representing the positions of the abnormal image H1 and the lesion image included in the abnormal image H1 (step ST33), and ends the process.
  • the generated teacher data is stored in the storage 23, and further transmitted to the image storage system 3 by the communication unit 38.
  • the learning process in the second embodiment is the same as that in the first embodiment except that the teacher data consists of the abnormal image H1 and the correct answer data. Further, the lesion detection process in the second embodiment is the same as that in the first embodiment except that the target image is a radiographic image acquired by simple radiography. Therefore, detailed description of the learning process and the lesion detection process in the second embodiment will be omitted.
  • the lesion image 42 of the simulated lesion 40 is combined with the plurality of tomographic images to generate an abnormal image Daj including the tomographic image 43 of the simulated lesion 40. Therefore, a composite two-dimensional image may be generated by using a plurality of abnormal image Daj.
  • the composite two-dimensional image is a pseudo two-dimensional image corresponding to a simple two-dimensional image by synthesizing a plurality of tomographic images including anomalous images by an addition method, an average method, a maximum value projection method, a minimum value projection method, or the like. It is an image (see JP-A-2014-128716).
  • FIG. 22 is a diagram for explaining the generation of a composite two-dimensional image.
  • the composite two-dimensional image may be generated by the composite unit 32, or a composite two-dimensional image generation unit may be provided for generating the composite two-dimensional image, and the composite two-dimensional image generation unit may generate the composite two-dimensional image.
  • the synthesizing unit 32 in a state where a plurality of abnormal images Daj are stacked, is directed toward the radiation detector 15 from the reference radiation source position Sc, that is, along the optical axis X0 shown in FIG. , Pixel values of corresponding pixel positions of a plurality of tomographic images including an abnormal image are combined to generate a composite two-dimensional image GG0.
  • the teacher data generation unit 34 When the synthetic two-dimensional image GG0 is generated in this way, the teacher data generation unit 34 generates teacher data from the synthetic two-dimensional image GG0 and the data representing the position of the lesion image of the simulated lesion 40 included in the synthetic two-dimensional image GG0. Generate.
  • the learning unit 35 learns the machine learning model using the teacher data so as to detect the lesion included in the synthetic two-dimensional image, so that the learning model 36A in the detection unit 36 To build.
  • the learning model 36A constructed in this way when the synthetic two-dimensional image is input to the detection unit 36 as the target image, the lesion can be detected from the target image which is the synthetic two-dimensional image.
  • the method for generating a composite two-dimensional image is not limited to the above method.
  • a composite two-dimensional image is generated by synthesizing only the tomographic image included in the abnormal image Daj with an arbitrary tomographic image prepared in advance. May be good.
  • a composite two-dimensional image may be generated by synthesizing only the tomographic images included in the abnormal image Daj by averaging them.
  • the radiation in the above embodiment is not particularly limited, and ⁇ -rays, ⁇ -rays, etc. can be applied in addition to X-rays.
  • the subject is the breast M, but the subject is not limited to this.
  • any part of the human body such as the heart, liver, brain, and limbs can be the subject.
  • the simulated lesion may be of a type suitable for the subject.
  • the learning model 36A of the detection unit 36 is prepared to detect the lesion according to the subject, and learning is performed by the teacher data including the generated abnormal image, and the detection unit 36 detects the lesion according to the subject. Will be done.
  • various processes such as an image acquisition unit 31, a synthesis unit 32, a reconstruction unit 33, a teacher data generation unit 34, a learning unit 35, a detection unit 36, a display control unit 37, and a communication unit 38 are performed.
  • various processors Processors
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

プロセッサは、被写体を複数の線源位置で撮影することにより取得された複数の第１の投影画像を取得し、病変を表す病変画像を取得する。プロセッサは、複数の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、複数の第１の投影画像に病変画像を合成した複数の第２の投影画像を導出する。プロセッサは、複数の第２の投影画像を再構成することにより、病変を含む断層画像を生成する。

Description

画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム
　本開示は、画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラムに関する。
　近年、乳がんの早期発見を促すため、***を撮影する放射線画像撮影装置（マンモグラフィと呼ばれる）を用いた画像診断が注目されている。また、マンモグラフィにおいて、放射線源を移動させて複数の線源位置から***に放射線を照射して撮影を行い、これにより取得した複数の投影画像を再構成して所望の断層面を強調した断層画像を生成するトモシンセシス撮影が提案されている。トモシンセシス撮影では、撮影装置の特性および必要な断層画像に応じて、放射線源を放射線検出器と平行に移動させたり、円または楕円の弧を描くように移動させたりして、複数の線源位置において***を撮影することにより複数の投影画像を取得し、単純逆投影法若しくはフィルタ逆投影法等の逆投影法、または逐次再構成法等を用いてこれらの投影画像を再構成して断層画像を生成する。
　このような断層画像を***における複数の断層面において生成することにより、***内において断層面が並ぶ深さ方向に重なり合った構造を分離することができる。このため、予め定められた方向から被写体に放射線を照射する、従来の単純撮影により取得される２次元画像（以下、単純２次元画像とする）においては検出が困難であった病変等の異常部位を発見することが可能となる。
　一方、医療分野においては、ディープラーニング等により学習がなされたニューラルネットワーク等の機械学習モデルである学習モデルを用いて、画像中の病変を自動的に検出し、検出された病変の強調表示等を行うコンピュータ支援画像診断システム（ＣＡＤ: Computer Aided Diagnosis、以下ＣＡＤと称する）が知られている。例えば、トモシンセシス撮影により取得された断層画像から、石灰化、スピキュラおよび腫瘤等の病変を、ＣＡＤを用いて検出することが行われている。
　ところで、ＣＡＤにおける機械学習モデルを構築するためには、病変を含む教師画像および教師画像における病変の位置を表す情報を教師データとして用いて、機械学習モデルを学習する必要がある。とくに、検出の精度を向上させるためには、大量の教師データを用意する必要がある。しかしながら、病変を含む教師画像を大量に用意することは容易ではない。
　このため、病変を含まない正常な画像に、病変画像を人工的に加えることにより、病変を含む教師画像を生成し、病変を含む教師画像と正常な画像とを教師データとして用いて、学習モデルを構築する手法が提案されている（特開２００８－２２９１６１号公報参照）。
　しかしながら、特開２００８－２２９１６１号公報に記載された手法により生成される病変を含む教師画像は、単純撮影された２次元画像に病変の画像を加算することにより生成される。このため、特開２００８－２２９１６１号公報に記載された手法をトモシンセシス撮影により取得される投影画像に対してそのまま適用しても、病変を精度よく含む断層画像を導出することはできない。また、このような断層画像を教師画像として使用して学習を行った機械学習モデルを用いても、画像から病変を精度よく検出することができない可能性がある。
　また、特開２００８－２２９１６１号公報に記載された手法は、病変画像を単純に正常な画像に合成しているのみである。このため、生成された病変を含む教師画像は、実際の撮影装置により取得された画像とは見た目が異なるものとなる。したがって、そのような教師画像を用いて機械学習モデルを構築した場合、画像から病変を精度よく検出することができない可能性がある。
　本発明は上記事情に鑑みなされたものであり、画像から病変を精度よく検出できるようにすることを目的とする。
　本開示による第１の画像生成装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　被写体を複数の線源位置で撮影することにより取得された複数の第１の投影画像を取得し、
　病変を表す病変画像を取得し、
　複数の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、複数の第１の投影画像に病変画像を合成した複数の第２の投影画像を導出し、
　複数の第２の投影画像を再構成することにより、病変を含む断層画像を生成するように構成される。
　なお、本開示による第１の画像生成装置においては、プロセッサは、被写体に仮想的に配置した病変についての放射線減弱係数を導出し、
　放射線減弱係数にも基づいて、複数の第２の投影画像を導出するように構成されるものであってもよい。
　また、本開示による第１の画像生成装置においては、プロセッサは、病変を含む断層画像と病変を含む断層画像における病変の位置を表すデータとを含み、対象画像が入力されると対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成するものであってもよい。
　本開示による第２の画像生成装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　被写体を放射線撮影することにより取得された画像を取得し、
　病変を表す病変画像を取得し、
　被写体に仮想的に配置した病変についての放射線減弱係数を導出し、
　放射線減弱係数、放射線撮影を行った際の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、画像に病変画像を合成した画像を生成するように構成される。
　また、本開示による第２の画像生成装置においては、プロセッサは、病変画像を合成した画像と病変画像を合成した画像における病変の位置を表すデータとを含み、対象画像が入力されると対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成するものであってもよい。
　なお、本開示による第１および第２の画像生成装置においては、病変は腫瘤、スピキュラおよび石灰化の少なくとも１つであってもよい。
　本開示による学習装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　本開示による第１および第２の画像生成装置により生成された教師データである第１の教師データおよび病変を含まない画像である第２の教師データを使用し、対象画像が入力されると対象画像に含まれる病変を検出するモデルを、機械学習によって構築するように構成される。
　本開示による画像処理装置は、少なくとも１つのプロセッサと、
　本開示による学習装置により構築されたモデルとを備え、
　プロセッサは、
　対象画像を取得し、
　モデルを用いて、対象画像に含まれる病変を検出するように構成される。
　なお、本開示による画像処理装置においては、プロセッサは、病変の検出結果を表示するように構成されるものであってもよい。
　本開示による第１の画像生成プログラムは、被写体を複数の線源位置で撮影することにより取得された複数の第１の投影画像を取得する手順と、
　病変を表す病変画像を取得する手順と、
　複数の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、複数の第１の投影画像に病変画像を合成した複数の第２の投影画像を導出する手順と、
　複数の第２の投影画像を再構成することにより、病変を含む断層画像を生成する手順とをコンピュータに実行させる。
　本開示による第２の画像生成プログラムは、被写体を放射線撮影することにより取得された画像を取得する手順と、
　病変を表す病変画像を取得する手順と、
　被写体に仮想的に配置した病変についての放射線減弱係数を導出する手順と、
　放射線減弱係数、放射線撮影を行った際の線源位置および被写体に仮想的に配置した病変の位置の幾何学的関係に基づいて、画像に病変画像を合成した画像を生成する手順とをコンピュータに実行させる。
　本開示による学習プログラムは、本開示による第１および第２の画像生成装置により生成された教師データである第１の教師データおよび病変を含まない画像である第２の教師データを使用し、対象画像が入力されると対象画像に含まれる病変を検出するモデルを、機械学習によって構築する手順をコンピュータに実行させる。
　本開示による画像処理プログラムは、対象画像を取得する手順と、
　本開示による学習装置により構築されたモデルを用いて、対象画像に含まれる病変を検出する手順とをコンピュータに実行させる。
　本開示によれば、画像から病変を精度よく検出できる。
本開示の第１の実施形態による画像処理装置を適用した放射線画像撮影システムの概略構成図 放射線画像撮影装置を図１の矢印Ａ方向から見た図 第１の実施形態による画像処理装置の概略構成を示す図 第１の実施形態による画像処理装置の機能的な構成を示す図 投影画像の取得を説明するための図 各種病変についての模擬病変の病変画像を示す図 第１の実施形態における病変画像の合成位置の導出を説明するための図 第１の投影画像における病変画像の位置を説明するための図 第１の投影画像および第２の投影画像を示す図 第１の断層画像の生成を説明するための図 模擬病変の断層像を含む断層画像を示す図 第１の実施形態において生成される教師データを示す図 対象断層画像および病変の領域の検出結果を示す図 第１の実施形態における対象断層画像の検出結果の表示画面を示す図 第１の実施形態において行われる画像生成処理のフローチャート 第１の実施形態において行われる学習処理のフローチャート 第１の実施形態において行われる検出処理のフローチャート 第２の実施形態における病変画像の合成位置の導出を説明するための図 第２の実施形態において生成される教師データを示す図 第２の実施形態における対象画像の検出結果の表示画面を示す図 第２の実施形態において行われる画像生成処理のフローチャート 合成２次元画像の生成を説明するための図
　以下、図面を参照して本開示の実施形態について説明する。図１は本開示の第１の実施形態による画像処理装置を適用した放射線画像撮影システムの概略構成図、図２は放射線画像撮影システムにおけるマンモグラフィ撮影装置を図１の矢印Ａ方向から見た図である。図１に示すように、本実施形態による放射線画像撮影システム１００は、マンモグラフィ撮影装置１、コンソール２、画像保存システム３および画像処理装置４を備える。マンモグラフィ撮影装置１は、***のトモシンセシス撮影を行って断層画像を生成するために、複数の線源位置から被写体である***Ｍを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。また、マンモグラフィ撮影装置１は、予め定められた線源位置から***Ｍに放射線を照射して***の２次元の放射線画像を取得する単純撮影も行うことができる。
　マンモグラフィ撮影装置１は、不図示の基台に対して回転軸１１により連結されたアーム部１２を備えている。アーム部１２の一方の端部には撮影台１３が、その他方の端部には撮影台１３と対向するように放射線照射部１４が取り付けられている。アーム部１２は、放射線照射部１４が取り付けられた端部のみを回転することが可能に構成されており、これにより、撮影台１３を固定して放射線照射部１４のみを回転することが可能となっている。
　撮影台１３の内部には、フラットパネルディテクタ等の放射線検出器１５が備えられている。放射線検出器１５は放射線の検出面１５Ａを有する。また、撮影台１３の内部には、放射線検出器１５から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関２重サンプリング回路、および電圧信号をデジタル信号に変換するＡＤ(Analog Digital)変換部等が設けられた回路基板等も設置されている。
　放射線照射部１４の内部には、放射線源１６が収納されている。放射線源１６は放射線としてＸ線を出射するものであり、放射線源１６から放射線を照射するタイミングおよび放射線源１６における放射線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール２により制御される。
　また、アーム部１２には、撮影台１３の上方に配置されて***Ｍを押さえつけて圧迫する圧迫板１７、圧迫板１７を支持する支持部１８、および支持部１８を図１および図２の上下方向に移動させる移動機構１９が設けられている。なお、圧迫板１７と撮影台１３との間隔、すなわち圧迫厚はコンソール２に入力される。
　コンソール２は、無線通信ＬＡＮ（Local Area Network）等のネットワークを介して、不図示のＲＩＳ（Radiology Information System）等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置１の制御を行う機能を有している。具体的には、コンソール２は、マンモグラフィ撮影装置１に***Ｍのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得する。一例として、本実施形態では、サーバコンピュータをコンソール２として用いている。
　画像保存システム３は、マンモグラフィ撮影装置１により撮影された放射線画像、投影画像および断層画像等の画像データを保存するシステムである。画像保存システム３は、保存している画像から、コンソール２および画像処理装置４等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム３の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。
　次に、第１の実施形態に係る画像処理装置について説明する。なお、第１の実施形態に係る画像処理装置４は、本開示による画像生成装置および学習装置を内包するものであるが、以降の説明においては、画像処理装置にて代表させるものとする。まず、図３を参照して、第１の実施形態に係る画像処理装置のハードウェア構成を説明する。図３に示すように、画像処理装置４は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、ＣＰＵ（Central Processing Unit）２１、不揮発性のストレージ２３、および一時記憶領域としてのメモリ２６を備える。また、画像処理装置４は、液晶ディスプレイ等のディスプレイ２４、キーボードおよびマウス等の入力デバイス２５、不図示のネットワークに接続されるネットワークＩ／Ｆ（InterFace）２７を備える。ＣＰＵ２１、ストレージ２３、ディスプレイ２４、入力デバイス２５、メモリ２６およびネットワークＩ／Ｆ２７は、バス２８に接続される。なお、ＣＰＵ２１は、本開示におけるプロセッサの一例である。
　ストレージ２３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ２３には、画像処理装置４にインストールされた画像生成プログラム２２Ａ、学習プログラム２２Ｂおよび画像処理プログラム２２Ｃが記憶される。ＣＰＵ２１は、ストレージ２３から画像生成プログラム２２Ａ、学習プログラム２２Ｂおよび画像処理プログラム２２Ｃを読み出してからメモリ２６に展開し、展開した画像生成プログラム２２Ａ、学習プログラム２２Ｂおよび画像処理プログラム２２Ｃを実行する。
　なお、画像生成プログラム２２Ａ、学習プログラム２２Ｂおよび画像処理プログラム２２Ｃは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置４を構成するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体から画像処理装置４を構成するコンピュータにインストールされる。
　次いで、第１の実施形態による画像処理装置の機能的な構成を説明する。図４は、第１の実施形態による画像処理装置の機能的な構成を示す図である。図４に示すように、画像処理装置４は、画像取得部３１、合成部３２、再構成部３３、教師データ生成部３４、学習部３５、検出部３６、表示制御部３７および通信部３８を備える。そして、ＣＰＵ２１が、画像生成プログラム２２Ａ、学習プログラム２２Ｂおよび画像処理プログラム２２Ｃを実行することにより、画像処理装置４は、画像取得部３１、合成部３２、再構成部３３、教師データ生成部３４、学習部３５、検出部３６、表示制御部３７および通信部３８として機能する。なお、検出部３６は、後述する学習モデル３６Ａが適用されている。
　なお、一例として、画像取得部３１、合成部３２、再構成部３３、教師データ生成部３４、表示制御部３７および通信部３８が、第１の実施形態による画像生成装置を構成する。また、一例として、画像取得部３１および学習部３５が、第１の実施形態による学習装置を構成する。また、一例として、画像取得部３１、検出部３６および表示制御部３７が、第１の実施形態による画像処理装置を構成する。
　画像取得部３１は、コンソール２がマンモグラフィ撮影装置１にトモシンセシス撮影を行わせることにより取得した複数の投影画像を取得する。また、***Ｍに含まれる病変を模式的に表す模擬病変の病変画像を取得する。画像取得部３１は、コンソール２または画像保存システム３からネットワークＩ／Ｆ２７を介して投影画像を取得する。また、画像取得部３１は、画像保存システム３からネットワークＩ／Ｆ２７を介して病変画像を取得する。また、画像取得部３１は、後述する学習モデルの学習のために，後述するように生成されて画像保存システム３に保存された教師データをネットワークＩ／Ｆ２７を介して取得する。また、画像取得部３１は、後述するように病変の検出の対象となる対象画像を、画像保存システム３からネットワークＩ／Ｆ２７を介して取得する。
　ここで、コンソール２におけるトモシンセシス撮影について説明する。コンソール２は、断層画像を生成するためのトモシンセシス撮影を行うに際し、アーム部１２を回転軸１１の周りに回転させることにより放射線源１６を移動させ、放射線源１６の移動による複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である***Ｍに放射線を照射し、***Ｍを透過した放射線を放射線検出器１５により検出して、複数の線源位置における複数の投影画像Ｇｉ（ｉ＝１～ｎ、ｎは線源位置の数であり、例えばｎ＝１５）を取得する。
　図５は投影画像Ｇｉの取得を説明するための図である。図５に示すように、放射線源１６をＳ１、Ｓ２、・・・、Ｓｎの各線源位置に移動し、各線源位置において放射線源１６を駆動して***Ｍに放射線を照射し、***Ｍを透過したＸ線を放射線検出器１５により検出することにより、各線源位置Ｓ１～Ｓｎに対応して、投影画像Ｇ１、Ｇ２、・・・、Ｇｎが取得される。なお、各線源位置Ｓ１～Ｓｎにおいては、同一の線量の放射線が***Ｍに照射される。また、以降の説明においては、投影画像Ｇｉを第１の投影画像と称するものとする。
　なお、図５において、線源位置Ｓｃは、放射線源１６から出射された放射線の光軸Ｘ０が放射線検出器１５の検出面１５Ａと直交する線源位置である。線源位置Ｓｃを基準線源位置Ｓｃと称するものとする。
　合成部３２は、マンモグラフィ撮影装置１がトモシンセシス撮影を行った際の複数の線源位置および***Ｍにおける予め定められた位置に配置した病変の位置の幾何学的関係に基づいて、複数の第１の投影画像Ｇｉに模擬病変の病変画像を合成して複数の第２の投影画像を導出する。なお、***Ｍの病変の種類としては、腫瘤、スピキュラおよび石灰化等が挙げられる。
　図６は各種病変についての模擬病変の病変画像を示す図である。図６に示すように、模擬病変の病変画像としては、実際の病変の形状と同様のものが用意される。具体的には、腫瘤の病変画像として、球体または楕円体、多角形、分葉型および不整形のものが用意される。また、スピキュラの病変画像としては、スピキュラを伴う腫瘤および構築の乱れが用意される。構築の乱れとは、腫瘤を伴っていない状態を示す。また、石灰化の病変画像としては、球形、多角形および線状・分葉状のもののが用意される。
　なお、模擬病変の病変画像は、実際の病変が含まれる***を放射線撮影することにより取得されたものであってもよく、コンピュータグラフィックス等により人工的に生成されたものであってもよい。本実施形態においては、コンピュータグラフィックスにより生成された病変画像を用いるものとする。
　合成部３２は、第１の投影画像Ｇｉに病変画像を合成するに際し、マンモグラフィ撮影装置１がトモシンセシス撮影を行った際の複数の線源位置および***Ｍに仮想的に配置した病変の位置の幾何学的関係に基づいて、まず、第１の投影画像Ｇｉに対する病変画像の合成位置を導出する。図７は、第１の実施形態における病変画像の合成位置の導出を説明するための図である。図７に示すように、***Ｍ内における予め定められた位置に模擬病変４０が仮想的に配置されたものとする。図７に示すように、各線源位置Ｓ１～Ｓｎ（図７においてはＳ１，Ｓ２，Ｓｃのみを示す）から出射されて***Ｍ内の模擬病変４０を透過した放射線は、放射線検出器１５の検出面１５Ａに照射される。この場合、模擬病変４０を透過した放射線が照射される放射線検出器１５の検出面１５Ａ上の位置は、線源位置に応じて異なるものとなる。このため、図８に示すように、線源位置Ｓ１，Ｓ２，Ｓｃにおいて取得される第１の投影画像Ｇ１，Ｇ２，Ｇｃに含まれる模擬病変４０の病変画像４２の位置は、線源位置毎に異なるものとなる。
　ここで、各線源位置Ｓ１～Ｓｎ、***Ｍ内に仮想的に配置した模擬病変４０の配置位置、放射線検出器１５の検出面１５Ａの位置は既知である。このため、合成部３２は、***Ｍ内に仮想的に模擬病変４０を配置してトモシンセシスを行った場合における、各線源位置Ｓ１～Ｓｎ、模擬病変４０の***Ｍ内における配置位置、および放射線検出器１５の検出面１５Ａの位置の幾何学的関係から、第１の投影画像Ｇｉにおいて病変画像４２が合成される合成位置を導出する。
　一方、トモシンセシス撮影を行う際に放射線源１６から出射される放射線は、放射線源１６と圧迫板１７との間に存在する空気、圧迫板１７、***Ｍおよび撮影台１３の天板１３Ａを透過して、放射線検出器１５に照射される。このため、放射線源１６から出射された放射線は、空気、圧迫板１７、***Ｍおよび天板１３Ａにより減弱されて放射線検出器１５に照射され、第１の投影画像Ｇｉとして検出される。
　上述したように、***Ｍ内に模擬病変４０を配置した場合、模擬病変４０を透過して放射線検出器１５に照射される放射線の透過シミュレーションを行うと、放射線は、圧迫板１７の上の空気、圧迫板１７、模擬病変４０および撮影台１３の天板１３Ａを透過して、放射線検出器１５に照射されることとなる。
　このため、本実施形態においては、合成部３２は、第１の投影画像Ｇｉの上記合成位置に模擬病変４０の病変画像４２を合成する際に、模擬病変４０を透過する放射線の減弱を表す放射線減弱係数を導出し、第１の投影画像Ｇｉに模擬病変４０の病変画像４２を、放射線減弱係数に基づいて合成位置に合成することにより、第２の投影画像ＣＧｉを導出する。以下、模擬病変４０の放射線減弱係数の導出について説明する。
　なお、第１の投影画像Ｇｉを取得した際の放射線発生条件（すなわちターゲットおよびフィルタ、並びに管電圧）は既知であり、コンソール２から取得することができる。本実施形態においては、合成部３２は、放射線発生条件から第１の投影画像Ｇｉを取得した際の放射線の照射スペクトルＰ０を取得する。なお、本実施形態においては、各種放射線発生条件と照射スペクトルＰ０との関係を規定したテーブルが予め用意されてストレージ２３に保存されている。合成部３２は、ストレージ２３に保存されたテーブルを参照して、コンソール２から取得した放射線発生条件から第１の投影画像Ｇｉを取得した際の放射線の照射スペクトルＰ０を取得する。
　また、放射線の減弱は、いずれの線源位置Ｓｉにおいても同様に生じる。このため、本実施形態においては、以下、基準線源位置Ｓｃに基づいて、模擬病変４０の放射線減弱係数を導出するものとするが、これに限定されるものではない。
　ここで、模擬病変４０の***Ｍ内の配置位置およびサイズは既知である。このため、合成部３２は、基準線源位置Ｓｃから出射されて模擬病変４０に入射した放射線の、模擬病変４０を透過する際の経路長を、模擬病変４０の厚さｔ１として導出する。
　また、放射線のエネルギー毎の模擬病変４０の放射線減弱係数μ１は、病変の種類毎に既知である。このため、合成部３２は、放射線スペクトルＰ０、放射線のエネルギー毎の模擬病変４０の放射線減弱係数μ１、および模擬病変４０の厚さｔ１から、下記の式（１）により模擬病変４０を透過後の放射線スペクトルＰ１を導出する。
　Ｐ１＝Ｐ０・ｅｘｐ（－μ１・ｔ１）　　（１）
　そして、合成部３２は、放射線のエネルギー毎の放射線スペクトルＰ０および放射線スペクトルＰ１から、下記の式（２）により、放射線の全エネルギー域に亘る模擬病変４０の放射線減弱係数μｍを導出する。
Figure JPOXMLDOC01-appb-M000001
 
　合成部３２は、上述したように導出した模擬病変４０の放射線減弱係数μｍを用いて、上述したように導出した第１の投影画像Ｇｉにおける合成位置に病変画像４２を合成して、第２の投影画像ＣＧｉを導出する。具体的には下記の式（３）により、合成位置（ｘ，ｙ）における投影画像ＣＧｉの画素値を導出することにより、第２の投影画像ＣＧｉを導出する。なお、式（３）において、Ｇ（ｘ，ｙ）は第１の投影画像Ｇｉにおける合成位置、ＣＧ（ｘ，ｙ）は第２の投影画像ＣＧｉにおける合成位置、ｌ（ｘ，ｙ）は合成位置（ｘ，ｙ）における模擬病変４０を透過する放射線の透過長である。
　ＣＧ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）－μｍ・ｌ（ｘ，ｙ）　（３）
　図９は第１の投影画像Ｇｉおよび第２の投影画像ＣＧｉを示す図である。図９に示すように、第２の投影画像ＣＧｉにおいては、第１の投影画像Ｇｉにおける合成位置４１に模擬病変４０の病変画像４２が含まれたものとなっている。
　なお、本実施形態においては、合成部３２は、図６に示すように各種形状を有する各種種類の模擬病変についての病変画像を含む第２の投影画像ＣＧｉを生成する。
　再構成部３３は、第２の投影画像ＣＧｉを再構成することにより、模擬病変４０の病変画像４２が含まれる、***Ｍの所望とする断層面を強調した断層画像を生成する。具体的には、再構成部３３は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて複数の第２の投影画像ＣＧｉを再構成して、図１０に示すように、***Ｍの複数の断層面のそれぞれにおける複数の断層画像Ｄａｊ（ｊ＝１～ｍ）を生成する。この際、***Ｍを含む３次元空間における３次元の座標位置が設定され、設定された３次元の座標位置に対して、複数の第２の投影画像ＣＧｉの対応する画素位置の画素値が再構成されて、その座標位置の画素値が算出される。なお、再構成により生成された複数の断層画像Ｄａｊにより、***Ｍの３次元画像が構成される。また、生成された断層画像Ｄａｊには、図１１に示すように、第２の投影画像ＣＧｉを生成した際に、***Ｍ内に仮想的に配置された模擬病変４０の断層像４３が含まれるものがある。図１１においては、断層画像Ｄａ２，Ｄａ３，Ｄａ４に亘って模擬病変４０の断層像４３が含まれる。以降の説明においては、模擬病変４０が含まれる断層画像Ｄａｊを異常画像と称するものとする。また、以降の説明においては、異常画像として参照符号Ｄａｊを用いる場合があるものとする。
　教師データ生成部３４は、上述したように生成された異常画像（すなわち模擬病変４０の断層像４３を含む断層画像Ｄａｊ）と、各異常画像Ｄａｊに含まれる断層像４３の位置を表すデータ（以下、正解データとする）とを含む教師データＴｊを生成する。図１２は第１の実施形態において生成される教師データを模式的に示す図である。図１２に示すように，教師データＴｊは、模擬病変４０の断層像４３を含む異常画像Ｄａｊおよび異常画像Ｄａｊにおける模擬病変４０の断層像４３の位置を表す正解データＣｊとからなる。なお、教師データは異常画像Ｄａｊ毎に生成される。教師データ生成部３４が生成した教師データＴｊはストレージ２３に保存される。
　なお、生成された異常画像Ｄａｊは、表示制御部３７がディスプレイ２４に表示するようにしてもよい。また、通信部３８は、教師データＴｊを画像保存システム３に送信する。画像保存システム３は、受信した教師データＴｊを保存する。
　学習部３５は、異常画像についての教師データＴｊを第１の教師データとして、病変を含まない医用画像についての教師データを第２の教師データとしてそれぞれ用いて、入力された対象画像における病変の領域を判別するように、機械学習モデルを学習することによって、検出部３６が有する学習モデル３６Ａを構築する。第１および第２の教師データは複数用意される。このため、機械学習モデルの学習に際しては、画像取得部３１が、ストレージ２３または画像保存システム３から複数の第１および第２の教師データを取得する。
　学習モデル３６Ａを構築するための機械学習モデルの一例として、ニューラルネットワークモデルが挙げられる。ニューラルネットワークモデルとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、学習モデル３６Ａを構築するための機械学習モデルとして畳み込みニューラルネットワークを用いるものとする。
　学習モデル３６Ａは、教師データに含まれる異常画像Ｄａｊが入力されると、異常画像Ｄａｊの各画素が病変の領域であることの確率（尤度）を出力するように、機械学習モデルを学習することによって構築される。学習モデル３６Ａが出力した、確率が予め定められたしきい値以上となる画素からなる領域が病変の領域となる。学習部３５は、異常画像を機械学習モデルに入力し、異常画像の各画素について病変の領域となる確率を出力させる。そして、機械学習モデルが出力した、予め定められたしきい値以上となる確率となる画素からなる領域と、教師データに含まれる正解データにより表される領域との相違を損失として導出する。そして、損失に基づいて機械学習モデルを学習する。具体的には、損失を小さくするように、畳み込みニューラルネットワークにおけるカーネルの係数およびニューラルネットワークの結合の重み等を導出する。学習部３５は、損失が予め定められたしきい値以下となるまで学習を繰り返す。これによって、入力された対象画像に含まれる病変の領域について、予め定められたしきい値以上の高い確率を出力することにより、入力された対象画像に含まれる病変の領域を抽出するように、学習モデル３６Ａが構築される。
　検出部３６は、学習部３５により構築された学習モデル３６Ａが適用されてなる。検出部３６に対象画像が入力されると、検出部３６は、対象画像に含まれる病変の領域を学習モデル３６Ａに検出させることにより、病変の領域を検出する。なお、検出部３６が対象画像から病変の領域を検出するに際しては、画像取得部３１がマンモグラフィ撮影装置１または画像保存システム３から、対象画像となる投影画像（対象投影画像とする）を取得する。そして、再構成部３３が、対象投影画像を再構成することにより、対象断層画像を生成する。検出部３６は、対象断層画像から病変の領域を検出する。なお、マンモグラフィ撮影装置１のコンソール２において、対象投影画像から対象断層画像を生成するようにしてもよく、この場合、画像取得部３１はコンソール２から対象断層画像を取得する。また、画像保存システム３に対象投影画像から生成された対象断層画像が保存されている場合には、画像取得部３１は、画像保存システム３から対象断層画像を取得するようにしてもよい。
　図１３は対象断層画像および病変の領域の検出結果を示す図である。図１３に示すように、検出部３６は、例えば、６枚の対象断層画像ＤＴ１～ＤＴ６から病変の領域を検出して、検出結果Ｒ１～Ｒ６を出力する。
　表示制御部３７は、検出部３６が対象断層画像から検出した病変の領域を強調して、対象断層画像をディスプレイ２４に表示する。図１４は第１の実施形態における対象断層画像の検出結果の表示画面を示す図である。図１４に示すように、表示画面５０には図１３に示す６枚の対象断層画像ＤＴ１～ＤＴ６のうちの１枚目の対象断層画像ＤＴ１が表示されている。表示される対象断層画像は、入力デバイス２５からの操作により切り替え可能である。表示制御部３７は、対象断層画像ＤＴ１に含まれる病変の領域５２を矩形の枠５３で囲むことにより、対象断層画像ＤＴ１における病変の領域５２を強調する。なお、図１４においては矩形の枠５３は白抜きにて示しているが、色を付与してもよい。なお、矩形の枠５３の付与に代えて、病変の領域付近に矢印および星印等のマークを付与することにより、病変の領域を強調してもよい。
　次いで、第１の実施形態において行われる処理について説明する。図１５は第１の実施形態において行われる画像生成処理のフローチャートである。まず、画像取得部３１が、複数の第１の投影画像Ｇｉを取得する（ステップＳＴ１）。次いで、合成部３２が、マンモグラフィ撮影装置１がトモシンセシス撮影を行った際の複数の線源位置および***Ｍに仮想的に配置した模擬病変の位置の幾何学的関係に基づいて、第１の投影画像Ｇｉに病変画像４２を合成して複数の第２の投影画像ＣＧｉを導出する（ステップＳＴ２）。
　次いで、再構成部３３が複数の第２の投影画像ＣＧｉを再構成することにより、模擬病変４０の断層像４３が含まれる、***Ｍの所望とする断層面を強調した断層画像を異常画像Ｄａｊとして生成する（異常画像生成：ステップＳＴ３）。そして、教師データ生成部３４が、上述したように生成された異常画像Ｄａｊと各異常画像Ｄａｊに含まれる模擬病変４０の断層像４３の位置を表す正解データＣｊとを含む教師データＴｊを生成し（ステップＳＴ４）、処理を終了する。生成された教師データＴｊは、ストレージ２３に保存され、さらに通信部３８により画像保存システム３に送信される。
　次いで、第１の実施形態における学習処理について説明する。図１６は第１の実施形態において行われる学習処理のフローチャートである。まず，画像取得部３１が第１および第２の教師データを取得し（ステップＳＴ１１）、学習部３５が、検出部３６の学習モデル３６Ａを構築するための機械学習モデルに第１および第２の教師データを入力して病変の領域の抽出結果を取得し、正解データとの相違に基づく損失を用いて機械学習モデルを学習し（ステップＳＴ１２）、ステップＳＴ１１にリターンする。そして、学習部３５は、損失が予め定められたしきい値となるまで、ステップＳＴ１１，ＳＴ１２の処理を繰り返し、機械学習モデルの学習を終了する。これにより、学習モデル３６Ａが構築される。なお、学習部３５は、予め定められた回数学習を繰り返すことにより、学習を終了するものであってもよい。
　次いで、第１の実施形態における病変の領域の検出処理について説明する。図１７は第１の実施形態において行われる検出処理のフローチャートである。画像取得部３１が、検出対象となる対象画像（対象断層画像ＤＴｊ）を取得し（ステップＳＴ２１）、検出部３６が、対象画像から病変の領域を検出する（ステップＳＴ２２）。そして、表示制御部３７が、病変の領域を強調した対象画像をディスプレイ２４に表示し（ステップＳＴ２３）、処理を終了する。
　ここで、学習モデル３６Ａを構築するための機械学習モデルの学習に必要な、病変を含む異常画像を大量に収集することは困難である。本実施形態においては、第１の投影画像Ｇｉに模擬病変４０の病変画像４２を合成することにより生成した第２の投影画像ＣＧｉを用いて、模擬病変４０の断層像４３を含む断層画像Ｄａｊを異常画像として生成するようにした。このため、模擬病変４０の種類を種々変更したり、模擬病変４０が設置される位置を種々変更したりすることにより、様々な位置に様々な種類の病変が含まれる断層画像を異常画像として生成することができる。したがって、学習モデル３６Ａを構築するための機械学習モデルの学習のために、十分な数および十分なバリエーションの異常画像を用意することができる。
　また、異常画像および異常画像における病変画像の位置を表す情報を含むデータからなる第１の教師画像を用いて、入力された対象画像から病変の領域を判別する学習モデル３６Ａを機械学習によって構築するようにした。ここで、本実施形態においては、学習モデル３６Ａを構築するための機械学習モデルの学習のために、十分な数および十分なバリエーションの異常画像、さらには第１の教師データを用意することができる。したがって、本実施形態によれば、病変の検出精度が高い学習モデル３６Ａを構築することができる。
　また、模擬病変４０の放射線減弱係数μｍにも基づいて、第２の投影画像ＣＧｉを導出しているため、実際に病変を含む***Ｍを撮影した場合と同様の第２の投影画像ＣＧｉを取得することができる。このため、病変の検出精度が高い学習モデル３６Ａを構築することができる。
　次いで、本開示の第２の実施形態について説明する。なお、第２の実施形態による画像処理装置の構成は、上記第１の実施形態による画像処理装置４の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。上記第１の実施形態においては、トモシンセシス撮影により取得された第１の投影画像Ｇｉに模擬病変４０の病変画像４２を合成して、第２の投影画像ＣＧｉを生成し、第２の投影画像ＣＧｉから断層画像を異常画像として生成していた。第２の実施形態においては、単純撮影により取得された放射線画像に、模擬病変４０の病変画像４２を合成した画像を、異常画像として生成するようにした点が第２の実施形態と異なる。
　なお、第２の実施形態による画像処理装置は、第１の実施形態における再構成部３３は不要であるため、第２の実施形態による画像処理装置は、再構成部３３を備えないものとしてもよい。
　第２の実施形態においては、マンモグラフィ撮影装置１において、基準線源位置Ｓｃからのみ***Ｍに放射線を照射する単純撮影を行うことにより、***Ｍの放射線画像Ｈ０を取得する。画像取得部３１は、単純撮影による***Ｍの放射線画像Ｈ０を取得する。
　合成部３２は、放射線画像Ｈ０の合成位置に模擬病変４０の病変画像４２を合成する。図１８は第２の実施形態における模擬病変４０の病変画像４２の合成位置を説明するための図である。第２の実施形態においては、基準線源位置Ｓｃにおいてのみ***Ｍの撮影が行われる。このため、合成部３２は、基準線源位置Ｓｃ、***Ｍ内に仮想的に配置した模擬病変４０の配置位置および放射線検出器１５の検出面１５Ａの位置との幾何学的関係に基づいて、放射線画像Ｈ０において病変画像４２が合成される合成位置を導出する。
　そして、合成部３２は、上記第１の実施形態と同様に、放射線減弱のシミュレーションを行うことにより、模擬病変４０の放射線減弱係数μｍを導出し、放射線減弱係数μｍを用いて、上述したように導出した放射線画像Ｈ０における合成位置に病変画像４２を合成して、異常画像Ｈ１を生成する。
　教師データ生成部３４は、上述したように生成された異常画像Ｈ１と、異常画像Ｈ１に含まれる病変画像の位置を表すデータ（正解データとする）を含む教師データＨＴを生成する。図１９は第２の実施形態において生成される教師データを模式的に示す図である。図１９に示すように、教師データＨＴは、模擬病変４０の病変画像４４を含む異常画像Ｈ１および異常画像Ｈ１における模擬病変４０の病変画像４４の位置を表す正解データＨＣとからなる。教師データ生成部３４が生成した教師データＨＴはストレージ２３に保存される。
　なお、生成された異常画像Ｈ１は、表示制御部３７がディスプレイ２４に表示するようにしてもよい。また、通信部３８は、教師データＨＴを画像保存システム３に送信する。画像保存システム３は、受信した教師データＨＴを保存する。
　また、第２の実施形態においては、学習部３５は、異常画像Ｈ１についての教師データＨＴを第１の教師データとして、病変を含まない医用画像についての教師データを第２の教師データとしてそれぞれ用いて、入力された単純撮影により取得された対象画像における病変の領域を判別するように、機械学習モデルを学習することによって、検出部３６が有する学習モデル３６Ａを構築する。第１および第２の教師データは複数用意される。このため、機械学習モデルの学習に際しては、画像取得部３１が、ストレージ２３または画像保存システム３から複数の第１および第２の教師データを取得する。なお、学習部３５が行う学習の処理は、教師データが断層画像である点を除いて第１の実施形態と同一であるため、ここでは詳細な説明は省略する。
　第２の実施形態においては、検出部３６は、単純撮影により取得された対象画像が入力されると、対象画像に含まれる病変の領域を学習モデル３６Ａに検出させることにより、病変の領域を検出する。
　第２の実施形態において、表示制御部３７は、検出部３６が対象画像から検出した病変の領域を強調して、対象画像をディスプレイ２４に表示する。図２０は第２の実施形態における対象画像の検出結果の表示画面を示す図である。図２０に示すように、表示画面６０には対象画像６１が表示されている。表示制御部３７は、対象画像６１に含まれる病変の領域６２を矩形の枠６３で囲むことにより、対象画像６１における病変の領域６２を強調している。
　次いで、第２の実施形態において行われる処理について説明する。図２１は第２の実施形態において行われる画像生成処理のフローチャートである。まず、画像取得部３１が、異常画像を生成するための放射線画像Ｈ０を取得する（ステップＳＴ３１）。次いで、合成部３２が、マンモグラフィ撮影装置１が撮影を行った際の線源位置および***Ｍに仮想的に配置した模擬病変の位置の幾何学的関係に基づいて、放射線画像Ｈ０に病変画像を合成して異常画像Ｈ１を生成する（ステップＳＴ３２）。
　次いで、教師データ生成部３４が、異常画像Ｈ１と異常画像Ｈ１に含まれる病変画像の位置を表す正解データを含む教師データを生成し（ステップＳＴ３３）、処理を終了する。生成された教師データは、ストレージ２３に保存され、さらに通信部３８により画像保存システム３に送信される。
　なお、第２の実施形態における学習処理については、教師データが異常画像Ｈ１と正解データとからなる点を除いて第１の実施形態と同一である。また、第２の実施形態における病変の検出処理は、対象画像が単純撮影により取得された放射線画像である点を除いて第１の実施形態と同一である。このため、第２の実施形態における学習処理および病変の検出処理については、詳細な説明は省略する。
　また、上記第１の実施形態においては、複数の断層画像に模擬病変４０の病変画像４２を合成して、模擬病変４０の断層像４３を含む異常画像Ｄａｊを生成している。このため、複数の異常画像Ｄａｊを用いて、合成２次元画像を生成するようにしてもよい。合成２次元画像は、異常画像を含む複数の断層画像を、加算法、平均法、最大値投影法または最小値投影法等によって合成することにより、単純２次元画像に相当する擬似的な２次元画像である（特開２０１４－１２８７１６号公報参照）。
　図２２は、合成２次元画像の生成を説明するための図である。なお、合成２次元画像の生成は合成部３２が行ってもよく、合成２次元画像を生成するための合成２次元画像生成部を設け、合成２次元画像生成部において行うようにしてもよい。合成部３２は、図２３に示すように、複数の異常画像Ｄａｊを積層した状態で、基準線源位置Ｓｃからの放射線検出器１５へ向かう視点方向、すなわち図５に示す光軸Ｘ０に沿って、異常画像を含む複数の断層画像の対応する画素位置の画素値を合成して、合成２次元画像ＧＧ０を生成する。
　このように合成２次元画像ＧＧ０を生成した場合、教師データ生成部３４は、合成２次元画像ＧＧ０と合成２次元画像ＧＧ０に含まれる模擬病変４０の病変像の位置を表すデータとから教師データを生成する。学習部３５は、合成２次元画像が入力されると、合成２次元画像に含まれる病変を検出するように、教師データを用いて機械学習モデルを学習することによって、検出部３６における学習モデル３６Ａを構築する。このように構築された学習モデル３６Ａを用いることにより、検出部３６に合成２次元画像が対象画像として入力されると、合成２次元画像である対象画像から病変を検出することが可能となる。
　なお、合成２次元画像の生成の手法は上記手法に限定されるものではない。例えば、米国特許第８９８３１５６号明細書に記載された手法のように、異常画像Ｄａｊに含まれる断層像のみを予め用意された任意の断層画像に合成することにより、合成２次元画像を生成してもよい。また、米国特許第９７９２７０３号明細書に記載されたように、異常画像Ｄａｊに含まれる断層像のみを平均化することによって合成することにより、合成２次元画像を生成するようにしてもよい。
　なお、上記実施形態における放射線は、とくに限定されるものではなく、Ｘ線の他、α線またはγ線等を適用することができる。
　また、上記各実施形態においては、被写体を***Ｍとしているが、これに限定されるものではない。***Ｍの他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を被写体とすることができる。この場合、模擬病変は被写体に応じた種類のものを用意すればよい。また、検出部３６の学習モデル３６Ａは被写体に応じた病変の検出を行うものが用意され、生成された異常画像を含む教師データにより学習がなされ、検出部３６により被写体に応じた病変の検出が行われる。
　また、上記実施形態において、例えば、画像取得部３１、合成部３２、再構成部３３、教師データ生成部３４、学習部３５、検出部３６、表示制御部３７および通信部３８といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　マンモグラフィ撮影装置
　　　２　　コンソール
　　　３　　画像保存システム
　　　４　　画像処理装置
　　　１１　　回転軸
　　　１２　　アーム部
　　　１３　　撮影台
　　　１３Ａ　　天板
　　　１４　　放射線照射部
　　　１５　　放射線検出器
　　　１５Ａ　　検出面
　　　１６　　放射線源
　　　１７　　圧迫板
　　　２１　　ＣＰＵ
　　　２２Ａ　　画像生成プログラム
　　　２２Ｂ　　学習プログラム
　　　２２Ｃ　　画像処理プログラム
　　　２３　　ストレージ
　　　２４　　ディスプレイ
　　　２５　　入力デバイス
　　　２６　　メモリ
　　　２７　　ネットワークＩ／Ｆ
　　　２８　　バス
　　　３１　　画像取得部
　　　３２　　合成部
　　　３３　　再構成部
　　　３４　　教師データ生成部
　　　３５　　学習部
　　　３６　　検出部
　　　３６Ａ　　学習モデル
　　　３７　　表示制御部
　　　３８　　通信部
　　　４０　　模擬病変
　　　４１　　合成位置
　　　４２，４４　　病変画像
　　　４３　　断層像
　　　５０，６０　　表示画面
　　　６１　　対象画像
　　　５２，６２　　病変
　　　５３，６３　　矩形の枠
　　　１００　　放射線撮影システム
　　　Ｃｊ　　正解データ
　　　Ｄａｊ（ｊ＝１～ｍ）　　異常画像
　　　ＤＴ１～ＤＴ６　　対象断層画像
　　　Ｇｉ（ｉ＝１～ｎ）　　投影画像
　　　ＧＧ０　　合成２次元画像
　　　Ｈ０　　放射線画像
　　　Ｈ１　　異常画像
　　　ＨＣ　　正解データ
　　　ＨＴ　　教師データ
　　　Ｍ　　***
　　　Ｓｉ（ｉ＝１～ｎ）　　線源位置
　　　Ｓｃ　　基準線源位置
　　　Ｔｊ　　教師データ
　　　Ｘ０　　光軸

Claims (13)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　被写体を複数の線源位置で撮影することにより取得された複数の第１の投影画像を取得し、
    　病変を表す病変画像を取得し、
    　前記複数の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記複数の第１の投影画像に前記病変画像を合成した複数の第２の投影画像を導出し、
    　前記複数の第２の投影画像を再構成することにより、前記病変を含む断層画像を生成するように構成される画像生成装置。
  2. 　前記プロセッサは、前記被写体に仮想的に配置した前記病変についての放射線減弱係数を導出し、
    　前記放射線減弱係数にも基づいて、前記複数の第２の投影画像を導出するように構成される請求項１に記載の画像生成装置。
  3. 　前記プロセッサは、前記病変を含む断層画像と前記病変を含む断層画像における病変の位置を表すデータとを含み、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成する請求項１または２に記載の画像生成装置。
  4. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　被写体を放射線撮影することにより取得された画像を取得し、
    　病変を表す病変画像を取得し、
    　前記被写体に仮想的に配置した前記病変についての放射線減弱係数を導出し、
    　前記放射線減弱係数、前記放射線撮影を行った際の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記画像に前記病変画像を合成した画像を生成するように構成される画像生成装置。
  5. 　前記プロセッサは、前記病変画像を合成した画像と前記病変画像を合成した画像における病変の位置を表すデータとを含み、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを機械学習するための教師データを生成する請求項４に記載の画像生成装置。
  6. 　前記病変は腫瘤、スピキュラおよび石灰化の少なくとも１つである請求項１から５のいずれか１項に記載の画像生成装置。
  7. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　請求項３または５に記載の画像生成装置により生成された教師データである第１の教師データおよび前記病変を含まない画像である第２の教師データを使用し、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを、機械学習によって構築するように構成される学習装置。
  8. 　少なくとも１つのプロセッサと、
    　請求項７に記載の学習装置により構築されたモデルとを備え、
    　前記プロセッサは、
    　対象画像を取得し、
    　前記モデルを用いて、前記対象画像に含まれる病変を検出するように構成される画像処理装置。
  9. 　前記プロセッサは、前記病変の検出結果を表示するように構成される請求項８に記載の画像処理装置。
  10. 　被写体を複数の線源位置で撮影することにより取得された複数の第１の投影画像を取得する手順と、
    　病変を表す病変画像を取得する手順と、
    　前記複数の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記複数の第１の投影画像に前記病変画像を合成した複数の第２の投影画像を導出する手順と、
    　前記複数の第２の投影画像を再構成することにより、前記病変を含む断層画像を生成する手順とをコンピュータに実行させる画像生成プログラム。
  11. 　被写体を放射線撮影することにより取得された画像を取得する手順と、
    　病変を表す病変画像を取得する手順と、
    　前記被写体に仮想的に配置した前記病変についての放射線減弱係数を導出する手順と、
    　前記放射線減弱係数、前記放射線撮影を行った際の線源位置および前記被写体に仮想的に配置した前記病変の位置の幾何学的関係に基づいて、前記画像に前記病変画像を合成した画像を生成する手順とをコンピュータに実行させる画像生成プログラム。
  12. 　請求項３または５に記載の画像生成装置により生成された教師データである第１の教師データおよび前記病変を含まない画像である第２の教師データを使用し、対象画像が入力されると該対象画像に含まれる病変を検出するモデルを、機械学習によって構築する手順をコンピュータに実行させる学習プログラム。
  13. 　対象画像を取得する手順と、
    　請求項７に記載の学習装置により構築されたモデルを用いて、前記対象画像に含まれる病変を検出する手順とをコンピュータに実行させる画像処理プログラム。
PCT/JP2021/008162 2020-03-13 2021-03-03 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム WO2021182229A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21766927.4A EP4119055A4 (en) 2020-03-13 2021-03-03 IMAGE GENERATING DEVICE AND PROGRAM, LEARNING DEVICE AND PROGRAM, AND IMAGE PROCESSING DEVICE AND PROGRAM
JP2022505970A JP7513697B2 (ja) 2020-03-13 2021-03-03 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム
US17/818,362 US20220383564A1 (en) 2020-03-13 2022-08-09 Image generation device, image generation program, learning device, learning program, image processing device, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-044697 2020-03-13
JP2020044697 2020-03-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/818,362 Continuation US20220383564A1 (en) 2020-03-13 2022-08-09 Image generation device, image generation program, learning device, learning program, image processing device, and image processing program

Publications (1)

Publication Number Publication Date
WO2021182229A1 true WO2021182229A1 (ja) 2021-09-16

Family

ID=77670717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008162 WO2021182229A1 (ja) 2020-03-13 2021-03-03 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム

Country Status (4)

Country Link
US (1) US20220383564A1 (ja)
EP (1) EP4119055A4 (ja)
JP (1) JP7513697B2 (ja)
WO (1) WO2021182229A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
CN116128320B (zh) * 2023-01-04 2023-08-08 杭州有泰信息技术有限公司 电网输变电可视化管控方法及平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283108A (ja) * 2006-04-17 2007-11-01 Siemens Medical Solutions Usa Inc 画像の位置合わせを容易にするシステム及び方法
JP2008048880A (ja) * 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc 画像作成方法
JP2008229161A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2014128716A (ja) 2008-11-21 2014-07-10 Hologic Inc トモシンセシスデータセットから２ｄ画像を生成するためのシステムおよび方法
US8983156B2 (en) 2012-11-23 2015-03-17 Icad, Inc. System and method for improving workflow efficiences in reading tomosynthesis medical image data
US9792703B2 (en) 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
WO2017221537A1 (ja) * 2016-06-21 2017-12-28 株式会社日立製作所 画像処理装置、及び方法
JP2020018705A (ja) * 2018-08-02 2020-02-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置、画像生成方法、及び画像生成プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5125500B2 (ja) 2007-12-29 2013-01-23 オムロン株式会社 Ｘ線断層撮影のシミュレーション方法およびシミュレーション用のプログラム
EP3254623B1 (en) 2016-06-09 2020-09-16 Agfa Nv Method and system for correcting geometric misalignment during image reconstruction in chest tomosynthesis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283108A (ja) * 2006-04-17 2007-11-01 Siemens Medical Solutions Usa Inc 画像の位置合わせを容易にするシステム及び方法
JP2008048880A (ja) * 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc 画像作成方法
JP2008229161A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2014128716A (ja) 2008-11-21 2014-07-10 Hologic Inc トモシンセシスデータセットから２ｄ画像を生成するためのシステムおよび方法
US8983156B2 (en) 2012-11-23 2015-03-17 Icad, Inc. System and method for improving workflow efficiences in reading tomosynthesis medical image data
US9792703B2 (en) 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
WO2017221537A1 (ja) * 2016-06-21 2017-12-28 株式会社日立製作所 画像処理装置、及び方法
JP2020018705A (ja) * 2018-08-02 2020-02-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置、画像生成方法、及び画像生成プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABE, KAZUYA ET AL.: "Creation of new artificial calcification shadows for breast cancer and verification of effectiveness of CAD development method without any empirical examples", MEDICAL IMAGING TECHNOLOGY, vol. 35, no. 5, 2017, pages 268 - 272, XP055856990 *
LI HUI, GIGER MARYELLEN L., HUYNH BENJAMIN Q., ANTROPOVA NATALIA O.: "Deep learning in breast cancer risk assessment: evaluation of convolutional neural networks on a clinical dataset of full-field digital mammograms", JOURNAL OF MEDICAL IMAGING, vol. 4, no. 4, 2017, pages 1 - 4, XP055856994 *

Also Published As

Publication number Publication date
JPWO2021182229A1 (ja) 2021-09-16
EP4119055A4 (en) 2023-08-09
US20220383564A1 (en) 2022-12-01
EP4119055A1 (en) 2023-01-18
JP7513697B2 (ja) 2024-07-09

Similar Documents

Publication Publication Date Title
US7142633B2 (en) Enhanced X-ray imaging system and method
JP7122886B2 (ja) 撮影制御装置、方法およびプログラム
US11080895B2 (en) Generating simulated body parts for images
WO2021182229A1 (ja) 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム
KR20240013724A (ko) 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련
EP3143936B1 (en) Iterative x-ray imaging optimization method
WO2014011681A2 (en) Super-resolution tomosynthesis imaging systems and methods
JP7084291B2 (ja) トモシンセシス撮影支援装置、方法およびプログラム
JP7017492B2 (ja) 断層画像生成装置、方法およびプログラム
US20220318998A1 (en) Image processing device, learning device, radiography system, image processing method, learning method, image processing program, and learning program
Boone et al. Computed tomography turns 50
JP2021029698A (ja) 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム
JPWO2021182229A5 (ja)
WO2020202612A1 (ja) 画像処理装置、方法およびプログラム
JP2019032211A (ja) 核医学診断装置
JP2021142146A (ja) 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム
Kim et al. AI-based computer-aided diagnostic system of chest digital tomography synthesis: Demonstrating comparative advantage with X-ray-based AI systems
JP7203705B2 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
JP2022163614A (ja) 推定装置、方法およびプログラム
JP2021019930A (ja) 画像処理装置、方法およびプログラム
JP2021168788A (ja) 医用画像処理装置および医用画像処理方法
JP7209599B2 (ja) 画像処理装置、方法およびプログラム
WO2022070570A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021186957A1 (ja) 画像処理装置、方法およびプログラム
WO2021186956A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21766927

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505970

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021766927

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021766927

Country of ref document: EP

Effective date: 20221013

NENP Non-entry into the national phase

Ref country code: DE