WO2021177374A1 - 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム - Google Patents

画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム Download PDF

Info

Publication number
WO2021177374A1
WO2021177374A1 PCT/JP2021/008263 JP2021008263W WO2021177374A1 WO 2021177374 A1 WO2021177374 A1 WO 2021177374A1 JP 2021008263 W JP2021008263 W JP 2021008263W WO 2021177374 A1 WO2021177374 A1 WO 2021177374A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
medical image
learning
region
dimensional
Prior art date
Application number
PCT/JP2021/008263
Other languages
English (en)
French (fr)
Inventor
玄顕 ▲高▼橋
健仁 道家
遼平 ▲高▼橋
太一 金
季 斎藤
尚人 國井
博史 小山
延人 齊藤
Original Assignee
株式会社Ｋｏｍｐａｔｈ
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｋｏｍｐａｔｈ, 国立大学法人東京大学 filed Critical 株式会社Ｋｏｍｐａｔｈ
Priority to JP2022504437A priority Critical patent/JP7323885B2/ja
Publication of WO2021177374A1 publication Critical patent/WO2021177374A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Definitions

  • the disclosed technology relates to an image processing device, an image processing model generator, a learning data generator, and a program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2018-515197.
  • the technique disclosed in Patent Document 1 uses a training phase and a test phase. Specifically, during the training phase, the supervised machine learning concept is used to train the classifier based on the labeled training data, and during the test phase, the trained classifier is applied and laparoscopic images or within. A new spectroscopic image is input and semantic segmentation is performed (paragraph [0009] of Patent Document 1).
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2018-5226212.
  • frames of the intraoperative image stream are transformed and semantic segmentation is performed on the frames for the purpose of generating semantically labeled images and training machine learning-based classifiers for semantic segmentation.
  • paragraph [0010] of Patent Document 2 illustrates a scene analysis method in an intraoperative image stream using preoperative 3D image data.
  • a technique for generating a pseudo CT image from an MR image is known (for example, Patent Document 3: Japanese Patent Application Laid-Open No. 2018-535732).
  • the technique provides a learning-based technique that includes a training module and a prediction module to create a pseudo CT image (also referred to as a composite CT image or a guided CT image) from an MR image.
  • the training module builds a predictive model (also called a regression model) that can be used to predict the CT value of any given voxel based on features extracted from one or more MR images for a selected location.
  • a predictive model also called a regression model
  • the predictive model can be trained using training data, and during the training phase, the trained data collected will be modeled using regression methods (eg, statistical learning, regression analysis, machine learning, etc.). Can be trained (paragraph [0035]).
  • Patent Document 4 Japanese Patent Application Laid-Open No. 2017-). No. 189394.
  • This information processing apparatus determines the value of each parameter set in advance based on the extraction accuracy of the lung nodule region by using machine learning (paragraph [0034] of Patent Document 4).
  • the disclosed technology has been made in view of the above circumstances, and provides an image processing device, an image processing model generation device, a learning data generation device, and a program capable of accurately extracting an area of interest from a medical image.
  • the purpose is to do.
  • the image processing apparatus includes an acquisition unit that acquires target data that is three-dimensional medical image data to be extracted from an area of interest, and the target data acquired by the acquisition unit. , The conversion process is performed so that at least one of the size, orientation, and position of the target data is aligned with the standard data so that the degree of agreement with the standard data, which is three-dimensional image data representing the standard, is large.
  • a conversion unit that generates converted data that is three-dimensional medical image data that has undergone the conversion processing on the target data, and the converted data obtained by the conversion unit are obtained from the three-dimensional medical image data.
  • Area extraction unit that inputs to a pre-trained trained model for extracting the region of interest included in the three-dimensional medical image data and extracts the region of interest included in the converted data by calculation by the trained model. And, including.
  • the standard data of the disclosed technique is to be 3D image data generated by aligning at least one of the sizes, orientations, and positions of each of the plurality of 3D medical image data and then averaging them. be able to.
  • the standard data of the disclosed technology can be made to be three-dimensional medical image data selected in advance from a plurality of three-dimensional medical image data.
  • the standard data of the disclosed technology can be made to be three-dimensional image data generated in advance by performing statistical processing on a plurality of three-dimensional medical image data.
  • the trained model of the disclosed technique is a pre-trained model based on training data which is a combination of three-dimensional medical image data for learning and a region of interest included in the three-dimensional medical image data for learning. Can be.
  • the learning data of the disclosed technique includes the three-dimensional medical image data for learning and the three-dimensional medical image data for learning, which have been subjected to the conversion process so as to have a large degree of agreement with the standard data. It is possible to make the data associated with the area of interest of.
  • the three-dimensional medical image data for learning in the learning data is a first type of medical image
  • the area of interest in the learning data is a second type of medical image. It can be an area of interest extracted from the image.
  • the first type of medical image of the disclosed technique is a medical image taken when the contrast medium is not administered to the patient
  • the second type of medical image is a medical image taken when the contrast medium is administered to the patient. It can be a medical image taken.
  • the first type of medical image and the second type of medical image of the disclosed technique can be made to be a medical image taken when a contrast medium is administered to a patient.
  • the target data of the disclosed technique is a type of medical image different from the first type medical image and the second type medical image, and the conversion unit corrects the gradation of the brightness value of the target data. By performing the processing and performing the conversion processing on the target data, the converted data can be generated.
  • the conversion process for correcting the gradation of the brightness value of the target data in the disclosed technology can be a gamma correction process.
  • the disclosed technique performs an inverse transformation process on the target data according to the conversion process on the region of interest obtained by the region extraction unit, and the inverse conversion process is performed on the target data before conversion.
  • the region of interest can be extracted from the target data, and a three-dimensional object generation unit that generates a three-dimensional object of the region of interest can be further included based on the region of interest.
  • the three-dimensional object generation unit of the disclosed technique corresponds to the target data before conversion and the region of interest by the Hadamard product of the target data before the conversion and the region of interest subjected to the inverse transformation processing.
  • the region of interest can be extracted from the target data, and the three-dimensional object of the region of interest can be displayed by volume rendering based on the region of interest.
  • the conversion unit of the disclosed technology complements the target data and generates the converted data by integrating a region different from the standard data region that matches the target data into the target data. Can be done.
  • the conversion unit of the disclosed technique When integrating a region different from the region of the standard data that matches the target data into the target data, the conversion unit of the disclosed technique includes averaging or dispersion of the brightness values of the standard data and the target data.
  • the converted data can be generated by performing the correction process on the standard data so that the average or the variance of the brightness values approaches the standard data and performing the integration.
  • the image processing model generator of the disclosed technique is generated by the data setting unit for each of a data setting unit that sets standard data, which is three-dimensional image data representing a standard, and a plurality of three-dimensional medical image data for learning.
  • the conversion process is performed so that at least one of the size, orientation, and position of each of the plurality of three-dimensional medical image data for learning is aligned so that the degree of agreement with the standard data is increased.
  • the conversion process is performed on the region of interest of the three-dimensional medical image data for learning, and the converted three-dimensional medical image data for learning and the converted region of interest are associated with each other to obtain the learning data. Learning to extract the region of interest included in the three-dimensional medical image data from the three-dimensional medical image data based on the learning data generation unit to be generated and the learning data generated by the learning data generation unit. Includes a learning unit that generates a completed model.
  • the learning data generation device of the disclosed technique has an interval between the standard data, which is the three-dimensional image data representing the standard, and the three-dimensional medical image data for learning, for each of the plurality of three-dimensional medical image data for learning.
  • the conversion process is performed so that at least one of the size, orientation, and position of the three-dimensional medical image data for learning is aligned so that the degree of coincidence becomes large, and the interest of the three-dimensional medical image data for learning is increased.
  • It includes a learning data generation unit that performs the conversion process on a region and generates learning data by associating the converted three-dimensional medical image data for learning with the converted region of interest.
  • the disclosure technology program is a program for causing the computer to function as each part of the disclosure technology image processing device, the disclosure technology image processing model generation device, and the learning data generation device.
  • the effect that the region of interest can be accurately extracted from the medical image can be obtained.
  • FIG. 1 is a block diagram showing a medical image processing system 100 of the first embodiment.
  • the medical image processing system 100 of the first embodiment includes an external device 10, an image processing device 20, and an output device 40.
  • T1-weighted images and CEFIESTA (contrast enhanced fast imaging steady-state acquisition) images are known as a type of medical image.
  • a T1-weighted image is a type of medical image taken by magnetic resonance imaging (MRI), and is an example of a medical image taken when a contrast medium is not administered to a patient.
  • the CEFIESTA image is a medical image taken by an imaging method called Fast Imaging Employing Steady State Acquisition by GE (General Electric), and is an example of a medical image taken when a contrast medium is administered to a patient. Is.
  • CEFIESTA images require the administration of a contrast medium to the patient. Since the image signal of a predetermined part of the human body is emphasized by administering the contrast medium to the patient, the CEFIESTA image shows the predetermined part of the human body more clearly than the T1-weighted image. However, since the contrast medium is invasive to the human body, it is preferable not to administer the contrast medium to the patient as much as possible.
  • the medical image processing system 100 of the first embodiment extracts the region of interest from the T1-weighted image obtained without administering a contrast medium to the patient. Specifically, the medical image processing system 100 of the first embodiment uses a trained model obtained by machine learning using a CEFIESTA image obtained when a contrast medium is administered to a patient to obtain a region of interest from a T1-weighted image. Extract. Then, the medical image processing system 100 of the first embodiment generates a three-dimensional object of the target site of the patient by using the T1-weighted image from which the region of interest is extracted.
  • the region of interest in this embodiment is the cerebral region in the medical image obtained by imaging the head.
  • the T1-weighted image is an example of a first type of medical image
  • the CEFIESTA image is an example of a second type of medical image.
  • FIG. 2 shows an explanatory diagram for explaining the outline of the processing executed by the medical image processing system 100 of the present embodiment.
  • an image of the head of a human body is targeted.
  • the medical image processing system 100 of the present embodiment in the learning phase LP (Learning Phase) shown in FIG. 2, the grayscale image ImL1 of the T1-weighted image for learning and the binarized image ImL2 of the CEFIESTA image for learning are combined.
  • the neural network M is machine-learned based on the associated learning data. Then, the medical image processing system 100 generates a trained neural network LM for extracting the cerebral region from the T1-weighted image.
  • One data is a grayscale image of a T1-weighted image taken from the same patient (hereinafter, simply referred to as "T1-weighted image”) and a binarized image of a CEFIESTA image (hereinafter, simply "CEFIESTA image”). It is a combination with).
  • the binarized image of the CEFIESTA image is an image in which the cerebral region is extracted in advance by a doctor or the like. Further, in the present embodiment, as shown in FIG. 3, a plurality of image Ims representing each cross section of the brain of the patient P are used as one three-dimensional medical image data.
  • the medical image processing system 100 inputs the three-dimensional medical image data ImU1 which is a T1-weighted image to be extracted in the cerebral region into the trained neural network LM. Generates the cerebral region ImU2, which is the region of interest for 3D medical image data. Then, the medical image processing system 100 generates a three-dimensional object of the target site of the patient based on the cerebral region ImU2.
  • FIG. 4 shows an example of a three-dimensional object in the patient's brain. As shown in FIG. 4, in this embodiment, a three-dimensional object BR of the patient's cerebrum is generated.
  • the external device 10 inputs data in which a T1-weighted image captured from the same patient and a CEFIESTA image are associated with each other to the image processing device 20. Further, the external device 10 inputs the T1-weighted image of the cerebral region extraction target captured from the patient to the image processing device 20. The T1-weighted image to be extracted from the cerebral region is subjected to the extraction processing of the cerebral region in the image processing device 20 described later.
  • the image processing device 20 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) that stores programs for realizing each processing routine, a RAM (Random Access Memory) that temporarily stores data, and a storage means. It is realized by a computer that includes the memory, network interface, etc. As shown in FIG. 1, functionally, the image processing device 20 includes an acquisition unit 21, a medical image storage unit 22, an average data generation unit 23 which is an example of a data setting unit, and an average data storage unit 23A. A learning data generation unit 24, a learning data storage unit 25, a learning unit 26, a learned model storage unit 27, a conversion unit 28, an area extraction unit 30, and an object generation unit 32 are provided. There is.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the acquisition unit 21 acquires the data input from the external device 10 in which the T1-weighted image and the CEFIESTA image for each of the plurality of patients are associated with each other. Then, the acquisition unit 21 stores the data in which the T1-weighted image and the CEFIESTA image for each of the plurality of patients are associated with each other in the medical image storage unit 22. In addition, the acquisition unit 21 acquires a T1-weighted image of the cerebral region extraction target input from the external device 10.
  • the T1-weighted image is an example of the target data of the disclosed technology.
  • the medical image storage unit 22 stores data in which a T1-weighted image and a CEFIESTA image for each of a plurality of patients are associated with each other.
  • the cerebral region and the region different from the cerebral region are binarized. Extraction of the cerebral region in the CEFIESTA image is performed in advance by a doctor or the like. For example, as shown in FIG. 2, the cerebral region in the CEFIESTA image is represented by white pixels, and the region different from the cerebral region is represented by black pixels.
  • the medical image storage unit 22 stores a T1-weighted image and a CEFIESTA image for each of a plurality of patients in association with each other.
  • the "patient ID” shown in FIG. 5 is identification information for identifying the patient. Further, the "image ID” is identification information for identifying an image, and one image ID corresponds to one cross section. Therefore, one image is an image showing one cross section of the brain. In this embodiment, a T1-weighted image or a CEFIESTA image of each cross section obtained from one patient is treated as one three-dimensional medical image data.
  • the average data which is an example of the standard data, is generated based on the data stored in the medical image storage unit 22, and then the learning data is generated.
  • FIG. 6 shows an explanatory diagram for explaining the generation of the average data.
  • learning data is generated by aligning the position, size, and orientation of each of the three-dimensional medical image data and the region of interest of the three-dimensional medical image data.
  • the three-dimensional medical image data of each of a plurality of patients, to produce an average data H AV is three-dimensional medical image data of the average of the head .
  • conversion processing such as affine transformation is performed so that each of the three-dimensional medical image data of the heads of a plurality of patients is brought closer to the average data.
  • the differences in position, size, and orientation of each of the three-dimensional medical image data (T1-weighted image, CIFIESTA image, etc.) of a plurality of patients are suppressed, and the positions, sizes, and orientations are aligned. It becomes.
  • the average data generation unit 23 sets average data, which is an example of standard data, which is three-dimensional image data representing a standard. Specifically, the average data generation unit 23 aligns at least one of the sizes, orientations, and positions of each of the plurality of T1-weighted images, which are three-dimensional medical image data, and then averages the plurality of T1-weighted images. Generate average image data.
  • the average data generation unit 23 generates average data of T1-weighted images of patients according to the procedures shown in (1) to (4) below.
  • the average data generation unit 23 acquires a T1-weighted image, which is three-dimensional medical image data of the head, from a plurality of data stored in the medical image storage unit 22. For example, the average data generation unit 23 reads out 10 T1-weighted images from the data stored in the medical image storage unit 22.
  • the average data generation unit 23 selects one reference data, which is a reference T1-weighted image, from the ten read T1-weighted images. The reference data may be selected by the user.
  • the average data generation unit 23 performs conversion such as affine transformation so that each of the nine T1-weighted images different from the reference data is brought closer to one reference data.
  • the average data generation unit 23 obtains average data of the head by adding and averaging the T1-weighted image of the reference data and the nine T1-weighted images subjected to conversion processing such as affine transformation. Then, the average data generation unit 23 stores the average data of the T1-weighted image in the average data storage unit 23A.
  • average data in which the sizes, orientations, and positions of the plurality of three-dimensional medical image data are aligned is obtained.
  • the sizes, orientations, and positions of T1-weighted images H X , HY , and H Z which differ in the size, orientation, and position of the heads of a plurality of patients, are aligned.
  • the average data HAR is obtained.
  • the learning data generation unit 24 uses the average data of the head stored in the average data storage unit 23A to bring the data of each of the plurality of patients stored in the medical image storage unit 22 closer to the average data. Generate training data.
  • the learning data generation unit 24 stores the average data storage unit 23A for each of the plurality of learning three-dimensional medical image data stored in the medical image storage unit 22 and the T1-weighted image for learning.
  • the conversion process is performed so that at least one of the sizes, orientations, and positions of each of the multiple training T1-weighted images is aligned so that the degree of agreement with the average data of the stored T1-weighted images is large. conduct.
  • the learning data generation unit 24 of the present embodiment uses affine transformation, which is an example of anisotropic scaling, which is a known technique, as the transformation process.
  • affine transformation which is an example of anisotropic scaling, which is a known technique, as the transformation process.
  • the affine transformation process is performed so that the correlation value, which is an example of the degree of agreement, becomes large.
  • the affine transformation process is performed on one T1-weighted image for learning, one affine transformation matrix is obtained.
  • the learning data generation unit 24 performs the same conversion processing on each of the CEFIESTA images from which the region of interest of the T1-weighted image for learning is extracted. Specifically, the learning data generation unit 24 converts the CEFIESTA image from which the region of interest is extracted by using the affine transformation matrix obtained when converting the T1-weighted image for learning.
  • the learning data generation unit 24 generates learning data by associating the converted three-dimensional medical image data for learning, the T1-weighted image, with the converted CEFIESTA image, which is the region of interest.
  • the sizes, orientations, and positions of the plurality of T1-weighted images and the plurality of CEFIESTA images, which had different positions, sizes, and orientations, are aligned.
  • FIG. 7 shows an explanatory diagram for explaining a process of aligning the size, orientation, and position of the T1-weighted image for learning and the CEFIESTA image for learning.
  • Figure 7 (A) (B) is a T1-weighted image H 1 is a three-dimensional medical image data of a patient P 1 head, it is shown and CEFIESTA image B 1 of the cerebral region of the patient P 1 is ..
  • the learning data generation unit 24 matches the T1-weighted image H 1 of the head of a patient P 1 with the average data H AV of the head. as degree increases performs affine transformation T, to produce a T1 weighted image H 1 'of the conversion process of the patient P 1 was made head.
  • the affine transformation matrix at this time is obtained by the affine transformation T.
  • the learning data generation unit 24 displays the T1-weighted image H 1 of the head on the CEFIESTA image B 1 from which the cerebral region of the patient P 1 is extracted.
  • mean affine transformation matrix obtained when a match to the data H AV was used to implement the conversion process to generate an CEFIESTA image B 1 'of the conversion process is cerebral region of the patient P 1 was made of.
  • the size, orientation, and position of the head of the CEFIESTA image which is the source of the T1-weighted image H 1 and the CEFIESTA image B 1, of the head, are already aligned.
  • the data of a patient P 1 is brought close to the average data, and the 'CEFIESTA image B 1 of the patient P 1 cerebral region' T1 weighted images H 1 of the head patient P 1 is obtained.
  • the learning data creation section 24 'the three-dimensional medical image data corresponding to, CEFIESTA image B 1 of the converted cerebral regions' T1 weighted images H 1 of the converted head and brain area corresponding to Generate training data in association with each other.
  • the learning data generation unit 24 performs the above conversion processing on each of the plurality of data stored in the medical image storage unit 22, and generates learning data having the same size, orientation, and position. Then, it is stored in the learning data storage unit 25.
  • the data used for generating the average data may be excluded from the plurality of data stored in the medical image storage unit 22.
  • the learning data generation unit 24 absorbs differences in the size, orientation, and position of the head of each patient, and reduces variations in the size and shape of the brain of each patient. Is obtained. Further, learning data of a plurality of patients with reduced variations caused by different imaging conditions can be obtained.
  • the learning data storage unit 25 stores learning data of a plurality of patients generated by the learning data generation unit 24. Specifically, the learning data storage unit 25 contains three-dimensional medical image data representing a T1-weighted image in which the size, orientation, and position of each of the plurality of patients are aligned, and the size, orientation, and the like. And the learning data associated with the three-dimensional medical image data representing the aligned CEFIESTA image is stored.
  • the learning data storage unit 25 contains a T1-weighted image in which the sizes, orientations, and positions of each of the plurality of patients are aligned, and the size, orientation, and position.
  • the aligned CEFIESTA images are stored in association with each other.
  • the learning unit 26 generates a trained model for extracting a cerebral region from a T1-weighted image based on a plurality of learning data stored in the learning data storage unit 25.
  • a trained neural network LM as shown in FIG. 2 is generated.
  • deep learning is used as an example of the learning algorithm.
  • the learning unit 26 stores the trained neural network LM in the trained model storage unit 27.
  • the conversion unit 28 targets the T1-weighted image of the cerebral region extraction target acquired by the acquisition unit 21 so that the degree of agreement between the T1-weighted image and the average data of the head stored in the average data storage unit 23A becomes large.
  • the affine transformation process is performed so that at least one of the size, orientation, and position of the data is aligned with the average data. Then, the conversion unit 28 generates the converted data obtained by performing the conversion process on the T1-weighted image to be extracted from the cerebral region.
  • the average data of the head is generated, and the data of each patient is averaged so that the degree of agreement with the average data of the head becomes large.
  • Generated training data Since the trained model is generated from the training data, it is necessary to perform the same conversion process on the T1-weighted image to be extracted from the cerebral region. Therefore, the conversion unit 28 performs the affine transformation process so that the degree of agreement between the T1-weighted image to be extracted from the cerebral region and the average data of the head becomes large. Then, the conversion unit 28 obtains the converted data that has undergone the affine transformation processing.
  • the area extraction unit 30 reads out the trained neural network LM stored in the trained model storage unit 27. Then, the region extraction unit 30 inputs the converted data that has been converted by the conversion unit 28 into the trained neural network LM, and extracts the cerebral region. As a result, the cerebral region was automatically extracted from the T1-weighted image taken without administration of the contrast medium.
  • the object generation unit 32 generates a three-dimensional object of the target site of the patient based on the cerebral region extracted by the region extraction unit 30.
  • the image output from the trained neural network LM is a binarized image in which the cerebral region is represented by "1" and the region other than the cerebrum is represented by "0".
  • a grayscale image is required because volume rendering, which is a known technique, is used when drawing a three-dimensional object of the cerebrum.
  • the object generation unit 32 extracts the cerebral region from the T1-weighted image, which is the original three-dimensional medical image data before conversion, based on the cerebral region represented by "1" in the binarized image.
  • the object generation unit 32 performs an inverse transformation process on the cerebral region obtained by the region extraction unit 30 according to the transformation process for aligning the size, orientation, and position performed by the conversion unit 28. conduct.
  • the cerebral region B 2 is volume data.
  • Object generation unit 32 with respect to cerebral region B 2, conversion unit 28 performs the inverse transformation process INVT corresponding to affine transformation process conducted by the pre-conversion of the T1-weighted images and cerebral region inverse transform processing has been performed B 2
  • the cerebral region is extracted from the T1-weighted image by associating with.
  • the object generation unit 32 takes the Hadamard product between the cerebral region B 2 that has undergone the inverse transformation process and the T1-weighted image that is the original three-dimensional medical image data, so that the T1-weighted image is used as the cerebrum. Extract the area. This extracts the grayscale cerebral region.
  • the object generation unit 32 displays a three-dimensional object of the patient's brain using volume rendering, which is a known technique, based on the cerebral region extracted from the original T1-weighted image before conversion. Specifically, the object generation unit 32 outputs the three-dimensional object of the patient's brain generated from the volume data of the patient's brain to the output device 40.
  • the output device 40 outputs the three-dimensional object output from the object generation unit 32 as a result.
  • the output device 40 is composed of, for example, a display or the like. From the output device 40, for example, a three-dimensional object BR of the cerebrum as shown in FIG. 4 is displayed.
  • the image processing device 20 can be realized by, for example, the computer 50 shown in FIG.
  • the computer 50 includes a CPU 51, a memory 52 as a temporary storage area, and a non-volatile storage unit 53. Further, the computer 50 is a read / write (R / W) unit that controls reading and writing of data to the input / output interface (I / F) 54 and the recording medium 59 to which the external device 10 and the output device 40 are connected. 55 is provided. Further, the computer 50 includes a network I / F 56 connected to a network such as the Internet.
  • the CPU 51, the memory 52, the storage unit 53, the input / output I / F 54, the R / W unit 55, and the network I / F 56 are connected to each other via the bus 57.
  • the storage unit 53 can be realized by a Hard Disk Drive (HDD), a Solid State Drive (SSD), a flash memory, or the like.
  • a program for operating the computer 50 is stored in the storage unit 53 as a storage medium.
  • the CPU 51 reads the program from the storage unit 53, expands it in the memory 52, and sequentially executes the processes included in the program.
  • the operation of the medical image processing system 100 of the present embodiment will be described with reference to FIGS. 10 to 12.
  • the medical image processing system 100 operates and data in which a T1-weighted image and a CEFIESTA image for each of a plurality of patients are associated with each other is input from the external device 10, the acquisition unit 21 inputs each of the data. It is stored in the medical image storage unit 22. Then, when the image processing device 20 receives the instruction signal for average data generation, the image processing device 20 executes the average data generation processing routine shown in FIG.
  • step S50 the average data generation unit 23 reads, for example, 10 T1-weighted images stored in the medical image storage unit 22.
  • step S52 the average data generation unit 23 selects one reference data from the T1-weighted images of the plurality of patients read out in step S50.
  • step S54 the average data generation unit 23 takes between the reference data selected in step S52 and the T1-weighted image for each of the nine T1-weighted images different from the reference data selected in step S52.
  • the affine transformation is performed so that at least one of the size, orientation, and position is aligned.
  • step S56 the average data generation unit 23 adds and averages the T1-weighted image corresponding to the reference data selected in step S52 and the T1-weighted image subjected to the affine transformation in step S54, and averages the data. To generate.
  • step S58 the average data generation unit 23 stores the average data generated in step S56 in the average data storage unit 23A.
  • the image processing device 20 executes the learning data generation processing routine shown in FIG.
  • step S70 the learning data generation unit 24 reads one data from the data stored in the medical image storage unit 22 in which the T1-weighted image and the CEFIESTA image for each of the plurality of patients are associated with each other.
  • step S72 the learning data generation unit 24 reads out the average data stored in the average data storage unit 23A.
  • step S74 the learning data generation unit 24 determines the size, orientation, and position between the T1-weighted image of the data read in step S70 and the average data read in step S72. Affine transformation is performed on the T1-weighted image so that at least one is aligned. At this time, an affine transformation matrix is obtained.
  • step S76 the learning data generation unit 24 was obtained in step S74 so as to align the CEFIESTA image of the data read in step S70 with the average data read in step S72.
  • the affine transformation is performed using the affine transformation matrix.
  • step S78 the learning data generation unit 24 associates the T1-weighted image converted in step S74 with the CEFIESTA image converted in step S76 to the learning data storage unit 25. Store as one learning data.
  • step S80 the learning data generation unit 24 determines whether or not the processes of steps S70 to S78 have been executed for all the data stored in the medical image storage unit 22. When the processes of steps S70 to S78 are executed for all the data, the learning data generation processing routine is terminated. On the other hand, if there is data for which the processes of steps S70 to S78 have not been executed, the process returns to step S70.
  • the data used when generating the average data among the plurality of data stored in the medical image storage unit 22 may be excluded from the generation of the learning data.
  • the machine learning process for the neural network M can be executed. It becomes. Therefore, when the image processing device 20 receives the instruction signal for the learning process, the image processing device 20 executes the learning processing routine shown in FIG.
  • step S100 the learning unit 26 acquires a plurality of learning data stored in the learning data storage unit 25.
  • step S102 the learning unit 26 generates a trained neural network LM for extracting the cerebral region from the T1-weighted image by machine learning based on the plurality of learning data acquired in step S100.
  • step S104 the learning unit 26 stores the learned neural network LM generated in step S102 in the learned model storage unit 27, and ends the learning processing routine.
  • the cerebral region can be extracted using the trained neural network LM. Therefore, when the T1-weighted image to be extracted from the cerebral region is input from the external device 10 to the image processing device 20, the image processing device 20 executes the image processing routine shown in FIG.
  • step S200 the acquisition unit 21 acquires a T1-weighted image to be extracted from the cerebral region.
  • step S201 the conversion unit 28 receives the T1-weighted image of the cerebral region extraction target acquired in step S200, and between the T1-weighted image and the average data of the head stored in the average data storage unit 23A.
  • the affine transformation process is performed so that the degree of coincidence becomes large, and the converted data is generated.
  • step S202 the area extraction unit 30 reads out the trained neural network LM stored in the trained model storage unit 27.
  • step S204 the region extraction unit 30 inputs the converted data generated in step S201 to the learned neural network LM read in step S202, and extracts the volume data of the cerebral region.
  • step S206 the object generation unit 32 performs an inverse transformation process on the volume data of the cerebral region extracted in step S204 according to the affine transformation process performed in step S201. Then, the object generation unit 32 extracts the cerebral region from the original T1-weighted image by the Hadamard product of the volume data of the T1-weighted image before the affine transformation and the volume data of the cerebral region subjected to the inverse transformation processing. This extracts the grayscale cerebral region.
  • step S208 the object generation unit 32 generates a three-dimensional object of the patient's brain using volume rendering, which is a known technique, based on the volume data of the grayscale cerebral region obtained in step S206. ..
  • step S210 the object generation unit 32 outputs the three-dimensional object of the patient's brain to the output device 40, and ends the image processing routine.
  • the output device 40 outputs the three-dimensional object of the patient's brain output from the object generation unit 32 as a result.
  • the image processing apparatus 20 has the size, orientation, and orientation of the target data, which is the three-dimensional medical image data to be extracted from the region of interest, and the respective sizes, orientations, and orientations of the plurality of three-dimensional medical image data. At least one of the size, orientation, and position of the target data so that there is a greater degree of agreement with the average data, which is the three-dimensional medical image data generated by averaging after aligning at least one of the positions. The conversion process is performed so that one is aligned with the average data.
  • the image processing device 20 extracts the converted data, which is the three-dimensional medical image data that has been converted with respect to the target data, from the three-dimensional medical image data to the region of interest included in the three-dimensional medical image data.
  • Input to the pre-trained trained model for the purpose and extract the region of interest contained in the transformed data by the calculation by the trained model. This makes it possible to accurately extract the region of interest from the medical image.
  • the area of interest can be accurately extracted from the medical image by the trained model generated from the learning data in which the variation of the medical image obtained from the patient is reduced.
  • the present embodiment by treating the combination of a plurality of medical images representing each cross section of one patient as one learning data, the information in the height direction is reflected in the learning data. Therefore, the training data is reflected in the trained model, and the patient's three-dimensional object can be generated with high accuracy.
  • the region of interest is equivalent to the result of extracting the region of interest from the CEFIESTA image obtained by administering the contrast medium to the patient from the T1-weighted image that does not require administration of the contrast medium to the patient. Can be extracted. Therefore, it is possible to reduce the burden on the patient and obtain data in which the region of interest is extracted with high accuracy.
  • the trained model is used to extract the region of interest of the T1-weighted image. Then, according to the present embodiment, it is possible to accurately display the three-dimensional object of the target part of the patient by volume rendering based on the T1-weighted image in which the region of interest is extracted.
  • the second embodiment differs from the first embodiment in that the cerebral region is extracted from the FIESTA image.
  • the FIESTA-enhanced image is an example of a first-class medical image
  • the CEFIESTA image is an example of a second-class medical image.
  • the FIESTA image is a medical image taken by an imaging method called Fast Imaging Employing Steady State Acquisition by GE (General Electric).
  • the FIESTA image without "CE” is an example of a medical image taken when no contrast medium is administered to the patient.
  • the cerebral region is extracted from the FIESTA image that does not require the administration of the contrast medium to the patient, as much as the cerebral region is extracted from the CEFIESTA image taken by administering the contrast medium to the patient. It can be extracted with high accuracy. Therefore, as in the first embodiment, the burden on the patient can be reduced and the cerebral region can be extracted with high accuracy.
  • the medical image storage unit 22 of the second embodiment stores data in which the FIESTA image and the CEFIESTA image are associated with each other, instead of the data in which the T1-weighted image and the CEFIESTA image in the first embodiment are associated with each other. Will be done.
  • the learning data storage unit 25 of the second embodiment has a three-dimensional medical image representing a T1-enhanced image in which the size, orientation, and position of each of the plurality of patients in the first embodiment are aligned.
  • learning data associated with the data and 3D medical image data representing a CEFIESTA image with aligned size, orientation, and position the size, orientation, and orientation of each of the plurality of patients.
  • the learning data in which the three-dimensional medical image data representing the FIESTA image in which the positions are aligned and the three-dimensional medical image data representing the CEFIESTA image in which the size, orientation, and position are aligned are stored is stored.
  • the region extraction unit 30 of the second embodiment inputs the FIESTA image, which is the three-dimensional medical image data to be extracted of the region of interest, into the trained neural network of the second embodiment, and extracts the cerebral region from the FIESTA image. Extract. As a result, the cerebral region is extracted with high accuracy.
  • the object generation unit 32 of the second embodiment is based on the information of the cerebral region extracted by the region extraction unit 30, and of "0" and "1" output from the region extraction unit 30 without performing the Hadamard product.
  • a three-dimensional object in the cerebral region is displayed by surface-rendering the binarized image by the marching cube method.
  • a trained model previously trained by a type of medical image different from the target data which is the three-dimensional medical image data to be extracted from the region of interest, is used. Therefore, the area of interest can be extracted from the target data.
  • the third embodiment Since the configuration of the medical image processing system according to the third embodiment has the same configuration as that of the first embodiment, the same reference numerals are given and the description thereof will be omitted.
  • the third embodiment is different from the first embodiment and the second embodiment in that a combination of the CEFIESTA image and the CEFIESTA image is used as the learning data.
  • the CEFIESTA image is an example of a first type medical image and a second type medical image.
  • the CEFIESTA image is a medical image taken when a contrast medium is administered to a patient.
  • the CEFIESTA image and the cerebral region in which the cerebral region is not extracted are extracted in place of the data in which the T1-weighted image and the CEFIESTA image in the first embodiment are associated with each other.
  • the data associated with the CEFIESTA image is stored.
  • the region extraction unit 30 of the third embodiment inputs the CEFIESTA image, which is the three-dimensional medical image data to be extracted of the region of interest, into the trained neural network of the third embodiment, and extracts the cerebral region from the CEFIESTA image. Extract. As a result, the cerebral region is extracted with high accuracy.
  • the object generation unit 32 of the third embodiment is based on the information of the cerebral region extracted by the region extraction unit 30, and of "0" and "1" output from the region extraction unit 30 without performing the Hadamard product.
  • a three-dimensional object in the cerebral region is displayed by surface-rendering the binarized image by the marching cube method.
  • a trained model previously trained by a type of medical image different from the target data which is the three-dimensional medical image data to be extracted from the region of interest, is used. Therefore, the area of interest can be extracted from the target data.
  • FIG. 14 is a three-dimensional object of the cerebrum generated by the image processing device 20 of the present embodiment. As shown in FIG. 14, it can be seen that the cerebral region is extracted with high accuracy. In particular, it can be seen that the sulci and gyrus are extracted with high accuracy.
  • the degree of agreement (dice coefficient) between the patient's cerebral volume data generated by this embodiment and the cerebral volume data generated from the result of labeling the CEFIESTA image by a doctor is shown in the following table. ..
  • the results shown in the table below generate a trained model based on the training data associated with the CEFIESTA image from which the cerebral region has not been extracted and the CEFIESTA image from which the cerebral region has been extracted, and are unknown. This is the result of extracting the cerebral region from the CEFIESTA image.
  • the dice coefficient for each of the plurality of patients is 0.9 or more. This result indicates that the three-dimensional object of the cerebrum is generated with higher accuracy than before. Therefore, it can be said that the cerebral region is accurately generated from the medical image and the three-dimensional object of the cerebrum is generated with high accuracy.
  • the case where the first type of medical image is a T1-weighted image and the second type of medical image is a CEFIESTA image has been described as an example.
  • the case where the first type of medical image is a FIESTA image and the second type of medical image is a CEFIESTA image has been described as an example.
  • the case where the first type of medical image is a CEFIESTA image and the second type of medical image is also a CEFIESTA image has been described as an example.
  • the combination of the first type of medical image and the second type of medical image is not limited to this, and any combination of medical images in which the brain region can be extracted by a doctor's hand is not limited to this. It may be.
  • the first type of medical image and the second type of medical image may be any medical image such as a T2-weighted image and a CT image.
  • the case where the binarized image of the CEFIESTA image is used has been described as an example, but the present invention is not limited to this, and a grayscale image or the like may be used.
  • a trained model is generated using a plurality of types of medical images Im1, Im2, Im3, Im4, and a different type of medical image is generated from any type of medical image, or
  • the target area may be extracted from the medical image to generate a three-dimensional object BR of the target part.
  • the present embodiment may be used when creating a three-dimensional object of an artery.
  • the affine transformation is used as an example of anisotropic scaling has been described as an example, but the present invention is not limited to this, and the transformation processing may be performed using another method.
  • the case where the average data generation processing routine, the learning data generation processing routine, the learning processing routine, and the image processing routine are executed in the same image processing apparatus 20 has been described as an example. , Not limited to this.
  • the average data generator that executes the average data generation processing routine, the learning data generator that executes the learning data generation processing routine, the image processing model generator that executes the learning processing routine, and the image processing routine are executed. It may be configured as a separate device such as an image processing device.
  • the neural network model as an example of the model is trained by deep learning has been described as an example, but the present invention is not limited to this.
  • another model different from the neural network model may be trained by another learning method different from deep learning.
  • a trained model is generated using the first type of medical image and the second type of medical image, and the target data, which is the three-dimensional medical image data to be extracted from the region of interest, is converted into the trained model.
  • the target data which is the three-dimensional medical image data to be extracted from the region of interest.
  • the region of interest is extracted from the T2-weighted image using the image processing device 20 of the third embodiment.
  • the imaging method of the T2-weighted image is similar to the imaging method of the CEFIESTA image. Therefore, the region of interest can be extracted from the T2-weighted image by performing some conversion processing on the T2-weighted image to make it resemble the CEFIESTA image and then inputting it to the trained model trained in advance by the CEFIESTA image. ..
  • the conversion unit 28 performs a conversion process for aligning the T2-weighted image, which is the target data, with the average data, and then performs a conversion process for correcting the gradation of the brightness value of the T2-weighted image.
  • the converted data is generated.
  • the conversion unit 28 performs ⁇ -correction processing on the T2-weighted image to make it resemble a CEFIESTA image, and then inputs the ⁇ -corrected T2-weighted image to the trained model to set the region of interest. It can also be extracted.
  • the conversion unit 28 may perform a conversion process for correcting the gradation of the brightness value of the T2-weighted image, and then perform a conversion process for aligning the T2-weighted image with the average data.
  • the part may be complemented and input to the trained model.
  • the target data which is the three-dimensional medical image data showing only the affected part
  • the trained model generated from the learning data of the three-dimensional medical image data showing the entire head. Extraction of the region of interest may fail due to the missing part of the target data other than the affected area.
  • the conversion unit 28 when the conversion unit 28 performs the conversion process so as to align the target data with the average data, the conversion unit 28 integrates an area different from the area of the average data that matches the target data into the target data. Complements the target data and generates converted data. In this case, the conversion unit 28 performs correction processing on the average data so that the average or variance of the brightness value of the average data and the average or variance of the brightness value of the target data are close to each other, and integrates the data. , The converted data may be generated. Then, the region extraction unit 30 inputs the complemented target data into the trained model and extracts the region of interest. In this case, the region extraction unit 30 extracts only the affected portion corresponding to the target data from the extracted region of interest.
  • 3D medical image data selected in advance from a plurality of 3D medical image data may be used as standard data.
  • three-dimensional medical image data of a patient having a standard head is preset as standard data.
  • 3D image data generated in advance by performing statistical processing on a plurality of 3D medical image data may be used as standard data.
  • principal component analysis which is an example of statistical processing, is performed on a plurality of three-dimensional medical image data, and the three-dimensional image data corresponding to the first principal component or the like obtained thereby is standardized. It can be data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

画像処理装置の取得部は、関心領域抽出対象の３次元医用画像データである対象データを取得する。そして、変換部は、対象データと、標準を表す３次元医用データである標準データとの間の一致度が大きくなるように、対象データの大きさ、向き、及び位置の少なくとも１つを標準データと揃えるように変換処理を行い、対象データに対して変換処理がされた３次元医用画像データである変換済データを生成する。そして、領域抽出部は、変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、学習済みモデルによる演算によって変換済データに含まれる関心領域を抽出する。

Description

画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム
　開示の技術は、画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラムに関する。
　従来から、術中画像のセマンティックセグメンテーションに関する技術が知られている（例えば、特許文献１：特表２０１８－５１５１９７号公報）。特許文献１に開示されている技術は、トレーニングフェーズとテストフェーズとを用いる。具体的には、トレーニングフェーズでは、教師あり機械学習コンセプトを使用して、ラベリングされたトレーニングデータに基づき分類器をトレーニングし、テストフェーズ中、トレーニングされた分類器を適用し、腹腔鏡画像または内視鏡画像を新たに入力して、セマンティックセグメンテーションを実行する（特許文献１の段落［０００９］）。
　また、術前３Ｄ画像データを用いた術中画像ストリームにおけるシーン解析方法が知られている（例えば、特許文献２：特表２０１８－５２２６２２号公報）。この方法によれば、セマンティックにラベリングされた画像を生成し、セマンティックセグメンテーションのために機械学習ベースの分類器をトレーニングする目的で、術中画像ストリームのフレームが変換され、フレームに対しセマンティックセグメンテーションが実施される（特許文献２の段落［００１０］）。
　また、ＭＲ画像から疑似ＣＴ画像を生成する技術が知られている（例えば、特許文献３：特表２０１８－５３５７３２号公報）。この技術では、ＭＲ画像から疑似ＣＴ画像（合成ＣＴ画像又は誘導ＣＴ画像とも称される）を作成するために、訓練モジュール及び予測モジュールを含む学習ベースの手法が提供される。訓練モジュールは、選択された位置についてひとつ又はそれ以上のＭＲ画像から抽出された特徴に基づいて任意の所与のボクセルのＣＴ値を予測するのに使用できる予測モデル（回帰モデルとも呼ばれる）を構築する（段落［００３４］）。なお、予測モデルは、訓練データを使用して訓練することができ、訓練段階の間、収集された訓練データに回帰法（例えば、統計学習、回帰分析、機械学習など）を使用してモデルを訓練することができる（段落［００３５］）。
　また、医用画像から得られた注目領域の複数の抽出結果から適切な抽出結果を選択する際のユーザの負担を軽減する情報処理装置が知られている（例えば、特許文献４：特開２０１７－１８９３９４号公報）。この情報処理装置は、各パラメータセットの値を、機械学習を用いて、肺結節領域の抽出精度に基づいて事前に決める（特許文献４の段落［００３４］）。
　しかし、上記特許文献１～上記特許文献４に記載の技術においては、患者から得られる医用画像のばらつき、例えば撮像機器による画像特性の違い等が考慮されていない。このため、患者から撮像された医用画像を学習用データとして用いたとしても、精度の良い学習済みモデルを生成することができない。したがって、そのような学習用データから生成された学習済みモデルを用いたとしても、精度の良い結果を得ることができない、という課題がある。
　開示の技術は、上記の事情に鑑みてなされたもので、医用画像から関心領域を精度良く抽出することができる、画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラムを提供することを目的とする。
　上記の目的を達成するために開示の技術に係る画像処理装置は、関心領域抽出対象の３次元医用画像データである対象データを取得する取得部と、前記取得部により取得された前記対象データと、標準を表す３次元画像データである標準データとの間の一致度が大きくなるように、前記対象データの大きさ、向き、及び位置の少なくとも１つを前記標準データと揃えるように変換処理を行い、前記対象データに対して前記変換処理がされた３次元医用画像データである変換済データを生成する変換部と、前記変換部によって得られた前記変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、前記学習済みモデルによる演算によって前記変換済データに含まれる関心領域を抽出する領域抽出部と、を含む。
　開示の技術の前記標準データは、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元画像データであるようにすることができる。
　開示の技術の前記標準データは、複数の３次元医用画像データから予め選定された３次元医用画像データであるようにすることができる。
　開示の技術の前記標準データは、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データであるようにすることができる。
　開示の技術の前記学習済みモデルは、学習用の３次元医用画像データと該学習用の３次元医用画像データに含まれる関心領域との組み合わせである学習用データに基づいて、予め学習されたモデルであるようにすることができる。
　開示の技術の前記学習用データは、前記標準データとの一致度が大きくなるように前記変換処理がなされた前記学習用の３次元医用画像データと、該学習用の３次元医用画像データのうちの関心領域と、が対応付けられたデータであるようにすることができる。
　開示の技術においては、前記学習用データのうちの前記学習用の３次元医用画像データは、第１種類の医用画像であり、前記学習用データのうちの前記関心領域は、第２種類の医用画像から抽出された関心領域であるようにすることができる。
　開示の技術の第１種類の医用画像は、患者に対して造影剤を投与しない場合に撮像された医用画像であり、第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像である、ようにすることができる。
　開示の技術の第１種類の医用画像及び第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像である、ようにすることができる。
　開示の技術の前記対象データは、第１種類の医用画像及び第２種類の医用画像とは異なる種類の医用画像であり、前記変換部は、前記対象データの輝度値の階調を補正する変換処理を行うと共に、前記対象データに対して前記変換処理を行うことにより、前記変換済データを生成するようにすることができる。
　開示の技術の前記対象データの輝度値の階調を補正する変換処理は、γ補正処理であるようにすることができる。
　開示の技術は、前記領域抽出部によって得られた前記関心領域に対し、前記対象データに対する前記変換処理に応じた逆変換処理を行い、変換前の前記対象データと前記逆変換処理がなされた前記関心領域との対応付けにより、前記対象データから関心領域を抽出し、該関心領域に基づいて、前記関心領域の３次元オブジェクトを生成する３次元オブジェクト生成部を更に含むようにすることができる。
　開示の技術の前記３次元オブジェクト生成部は、前記変換前の前記対象データと前記逆変換処理がなされた前記関心領域とのアダマール積によって、前記変換前の前記対象データと前記関心領域との対応付けを行うことにより、前記対象データから関心領域を抽出し、該関心領域に基づくボリュームレンダリングにより、前記関心領域の３次元オブジェクトを表示するようにすることができる。
　開示の技術の前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を、前記対象データへ統合することにより、前記対象データを補完して、前記変換済データを生成するようにすることができる。
　開示の技術の前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を前記対象データへ統合する際に、前記標準データの輝度値の平均又は分散と、前記対象データの輝度値の平均又は分散とが近づくような補正処理を前記標準データに対して行って、前記統合をすることにより、前記変換済データを生成するようにすることができる。
　開示の技術の画像処理モデル生成装置は、標準を表す３次元画像データである標準データを設定するデータ設定部と、複数の学習用の３次元医用画像データの各々について、前記データ設定部により生成された前記標準データとの間の一致度が大きくなるように、複数の学習用の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行うと共に、該学習用の３次元医用画像データの関心領域に対して前記変換処理を行い、変換された前記学習用の３次元医用画像データと変換された前記関心領域とを対応付けて学習用データを生成する学習用データ生成部と、前記学習用データ生成部によって生成された前記学習用データに基づいて、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための学習済みモデルを生成する学習部と、を含む。
　開示の技術の学習用データ生成装置は、複数の学習用の３次元医用画像データの各々について、標準を表す３次元画像データである標準データと前記学習用の３次元医用画像データとの間の一致度が大きくなるように、前記学習用の３次元医用画像データの大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行うと共に、該学習用の３次元医用画像データの関心領域に対して前記変換処理を行い、変換された前記学習用の３次元医用画像データと変換された前記関心領域とを対応付けて学習用データを生成する学習用データ生成部を含む。
　また、開示の技術のプログラムは、コンピュータを、開示の技術の画像処理装置、開示の技術の画像処理モデル生成装置、及び学習用データ生成装置の各部として機能させるためのプログラムである。
　開示の技術によれば、医用画像から関心領域を精度良く抽出することができる、という効果が得られる。
本実施形態の医用画像処理システムの概略構成の一例を示す図である。 本実施形態の医用画像処理システムの概要を説明するための説明図である。 本実施形態の脳の各断面の医用画像を説明するための説明図である。 本実施形態の脳の３次元オブジェクトを説明するための説明図である。 T1強調画像とCEFIESTA画像とが対応付けられたデータの一例を示す図である。 本実施形態の頭部の平均データを説明するための説明図である。 ３次元医用画像データを平均データへ近づける処理を説明するための説明図である。 データ毎にばらつきのある３次元医用画像データの、位置、大きさ、向きを揃えた医用画像の学習用データを説明するための説明図である。 画像処理装置として機能するコンピュータの概略ブロック図である。 平均データ生成処理ルーチンの一例を示す図である。 学習用データ生成処理ルーチンの一例を示す図である。 学習処理ルーチンの一例を示す図である。 画像処理ルーチンの一例を示す図である。 実施例の結果を示す図である。 本実施形態の変形例を説明するための説明図である。
　以下、図面を参照して、開示の技術の一例である実施形態を詳細に説明する。
＜第１実施形態に係る医用画像処理システム１００＞
　図１は、第１実施形態の医用画像処理システム１００を示すブロック図である。図１に示されるように、第１実施形態の医用画像処理システム１００は、外部装置１０と、画像処理装置２０と、出力装置４０とを備える。
　医用画像の一種として、T1強調画像とCEFIESTA(contrast enhanced fast imaging employing steady - state acquisition)画像とが知られている。T1強調画像は、核磁気共鳴画像法(MRI: Magnetic Resonance Imager)によって撮像される医用画像の一種であり、患者に対して造影剤を投与しない場合に撮像される医用画像の一例である。CEFIESTA画像は、GE(General Electric)社によるFast Imaging Employing Steady state Acquisitionと称される撮像方式によって撮像される医用画像であり、患者に対して造影剤を投与した場合に撮像される医用画像の一例である。
　T1強調画像は患者に対して造影剤を投与しなくとも得られるのに対し、CEFIESTA画像は患者に対して造影剤を投与する必要がある。患者に対して造影剤が投与されることにより、人体の所定部位の画像信号が強調されるため、T1強調画像よりもCEFIESTA画像の方が人体の所定部位が鮮明に映る。しかし、造影剤は人体に対して侵襲性を有しているため、患者に対してはなるべく造影剤を投与しないほうが好ましい。
　そこで、第１実施形態の医用画像処理システム１００は、患者に対し造影剤を投与しなくとも得られるT1強調画像から関心領域を抽出する。具体的には、第１実施形態の医用画像処理システム１００は、患者に造影剤を投与した際に得られるCEFIESTA画像を用いた機械学習によって得られる学習済みモデルによって、T1強調画像から関心領域を抽出する。そして、第１実施形態の医用画像処理システム１００は、関心領域が抽出されたT1強調画像を用いて、患者の対象部位の３次元オブジェクトを生成する。なお、本実施形態における関心領域は、頭部を撮像した医用画像のうちの大脳領域である。また、第１実施形態においては、T1強調画像は第１種類の医用画像の一例であり、CEFIESTA画像は第２種類の医用画像の一例である。
　図２に、本実施形態の医用画像処理システム１００が実行する処理の概要を説明するための説明図を示す。
　図２に示されるように、本実施形態では、人体の頭部の画像を対象とする。本実施形態の医用画像処理システム１００は、図２に示される学習フェーズLP（Learning Phase）において、学習用のT1強調画像のグレースケール画像ImL1と学習用のCEFIESTA画像の２値化画像ImL2とが対応付けられた学習用データに基づいて、ニューラルネットワークＭを機械学習させる。そして、医用画像処理システム１００は、T1強調画像から大脳領域を抽出するための学習済みのニューラルネットワークLMを生成する。
　なお、１つのデータは、同一の患者から撮像されたT1強調画像のグレースケール画像（以下、単に「T1強調画像」と称する。）とCEFIESTA画像の２値化画像（以下、単に「CEFIESTA画像」と称する。）との組み合わせである。なお、CEFIESTA画像の２値化画像は、医師等によって大脳領域が予め抽出された画像である。また、本実施形態においては、図３に示されるように、患者Ｐの脳の各断面を表す複数の画像Imを１つの３次元医用画像データとする。
　医用画像処理システム１００は、図２に示される利用フェーズUP（Using Phase）において、大脳領域抽出対象のT1強調画像である３次元医用画像データImU1を、学習済みのニューラルネットワークLMへ入力して、３次元医用画像データの関心領域である大脳領域ImU2を生成する。そして、医用画像処理システム１００は、大脳領域ImU2に基づいて、患者の対象部位の３次元オブジェクトを生成する。図４に、患者の脳の３次元オブジェクトの一例を示す。図４に示されるように、本実施形態では、患者の大脳の３次元オブジェクトBRが生成される。
　以下、具体的に説明する。
　外部装置１０は、同一の患者から撮像されたT1強調画像とCEFIESTA画像とが対応付けられたデータを画像処理装置２０へ入力する。また、外部装置１０は、患者から撮像された大脳領域抽出対象のT1強調画像を画像処理装置２０へ入力する。大脳領域抽出対象のT1強調画像は、後述する画像処理装置２０において、大脳領域の抽出処理が行われる。
　画像処理装置２０は、CPU(Central Processing Unit)、各処理ルーチンを実現するためのプログラム等を記憶したROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、記憶手段としてのメモリ、ネットワークインタフェース等を含んだコンピュータによって実現される。図１に示されるように、画像処理装置２０は、機能的には、取得部２１と、医用画像記憶部２２と、データ設定部の一例である平均データ生成部２３と、平均データ記憶部２３Ａと、学習用データ生成部２４と、学習用データ記憶部２５と、学習部２６と、学習済みモデル記憶部２７と、変換部２８と、領域抽出部３０と、オブジェクト生成部３２とを備えている。
　取得部２１は、外部装置１０から入力された、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータを取得する。そして、取得部２１は、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータを、医用画像記憶部２２へ格納する。また、取得部２１は、外部装置１０から入力された、大脳領域抽出対象のT1強調画像を取得する。T1強調画像は、開示の技術の対象データの一例である。
　医用画像記憶部２２には、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータが格納される。本実施形態のCEFIESTA画像は、大脳領域と大脳領域とは異なる領域とが２値化されている。CEFIESTA画像における大脳領域の抽出は、医師等の人手によって予め行われる。例えば、図２に示されるように、CEFIESTA画像のうちの大脳領域が白画素によって表現され、大脳領域とは異なる領域が黒画素によって表現される。
　例えば、図５に示されるように、医用画像記憶部２２には、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられて格納される。
　図５に示される「患者ID」は患者を識別するための識別情報である。また、「画像ID」は画像を識別するための識別情報であり、１つの画像IDが１つの断面に対応する。このため、１枚の画像は脳の１つの断面を表す画像である。本実施形態では、1人の患者から得られた各断面のT1強調画像又はCEFIESTA画像を、１つの３次元医用画像データとして取り扱う。
　本実施形態においては、医用画像記憶部２２に格納されたデータに基づいて、標準データの一例である平均データを生成した後、学習用データを生成する。図６に、平均データの生成を説明するための説明図を示す。
　図６に示されるように、患者Xの頭部の３次元医用画像データHXと、患者Yの頭部の３次元医用画像データHYと、患者Zの頭部の３次元医用画像データHZとを比較すると、個人差に起因して、大きさ及び形状等が異なる。更に、医用画像の撮像機器による特性の違いから、３次元医用画像データの大きさ、形状、向き、及び位置は、ばらばらなものとなる。このため、これら複数の患者の医用画像をそのまま学習用データとしてニューラルネットワークを学習させたとしても、精度の良い結果を得ることはできない。
　そこで、本実施形態においては、ばらつきのある３次元医用画像データ及び３次元医用画像データの関心領域の各々について、位置、大きさ、向きを揃えて学習用データを生成する。
　具体的には、本実施形態では、図６に示されるように、複数の患者の各々の３次元医用画像データから、平均の頭部の３次元医用画像データである平均データHAVを生成する。そして、本実施形態では、複数の患者の頭部の３次元医用画像データの各々を、平均データに近づけるようにアフィン変換等の変換処理を行う。これにより、複数の患者の３次元医用画像データ（T1強調画像及びCIFIESTA画像等）の各々は、位置、大きさ、及び向きの違いが抑えられ、位置、大きさ、及び向きが揃えられたデータとなる。
　以下、具体的に説明する。
　平均データ生成部２３は、標準を表す３次元画像データである標準データの一例である平均データを設定する。具体的には、平均データ生成部２３は、３次元医用画像データである複数のT1強調画像の各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均して、複数のT1強調画像の平均データを生成する。
　具体的には、平均データ生成部２３は、以下の（１）～（４）に示される手順に従って、患者のT1強調画像の平均データを生成する。
（１）平均データ生成部２３は、医用画像記憶部２２に格納された複数のデータから、頭部の３次元医用画像データであるT1強調画像を取得する。例えば、平均データ生成部２３は、医用画像記憶部２２に格納されたデータの中から、１０件のT1強調画像を読み出す。
（２）平均データ生成部２３は、読み出した１０件のT1強調画像の中から、基準となるT1強調画像である基準データを１つ選択する。なお、基準データは、ユーザによって選択されてもよい。
（３）平均データ生成部２３は、基準データとは異なる９件のT1強調画像の各々を、１つの基準データに近づけるようにアフィン変換等の変換を行う。
（４）平均データ生成部２３は、基準データのT1強調画像と、アフィン変換等の変換処理が施された９件のT1強調画像とを加算平均することにより、頭部の平均データを得る。そして、平均データ生成部２３は、T1強調画像の平均データを、平均データ記憶部２３Ａに格納する。
　これにより、複数の３次元医用画像データの大きさ、向き、及び位置が揃えられた平均データが得られたことになる。例えば、図６に示されるように、複数の患者の各々の頭部の大きさ、向き、及び位置が異なるT1強調画像HX，HY，HZの、大きさ、向き、及び位置が揃えられ、平均データHAVが得られる。
　学習用データ生成部２４は、平均データ記憶部２３Ａに格納された頭部の平均データを用いて、医用画像記憶部２２に格納された複数の患者の各々のデータを平均データへ近づけることにより、学習用データを生成する。
　具体的には、学習用データ生成部２４は、医用画像記憶部２２に格納された複数の学習用の３次元医用画像データである学習用のT1強調画像の各々について、平均データ記憶部２３Ａに格納されたT1強調画像の平均データとの間の一致度が大きくなるように、複数の学習用のT1強調画像の各々の大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行う。
　本実施形態の学習用データ生成部２４は、変換処理として、既知の技術である異方性スケーリングの一例であるアフィン変換を用いる。なお、アフィン変換によって変換処理が行われる場合には、一致度の一例である相関値が大きくなるように、アフィン変換処理がなされる。なお、１つの学習用のT1強調画像に対してアフィン変換処理が行われた場合には、１つのアフィン変換行列が得られる。
　また、学習用データ生成部２４は、該学習用のT1強調画像の関心領域が抽出されているCEFIESTA画像の各々について、同様の変換処理を行う。具体的には、学習用データ生成部２４は、学習用のT1強調画像を変換する際に得られたアフィン変換行列を用いて、関心領域が抽出されているCEFIESTA画像を変換する。
　そして、学習用データ生成部２４は、変換された学習用の３次元医用画像データであるT1強調画像と、変換された関心領域であるCEFIESTA画像とを対応付けて学習用データを生成する。
　これにより、位置、大きさ、及び向きがばらばらであった複数のT1強調画像及び複数のCEFIESTA画像各々の大きさ、向き、及び位置が揃えられた状態となる。
　図７に、学習用のT1強調画像と学習用のCEFIESTA画像の大きさ、向き、及び位置を揃える処理を説明するための説明図を示す。図７(A)(B)には、ある患者P1の頭部の３次元医用画像データであるT1強調画像H1と、患者P1の大脳領域のCEFIESTA画像B1とが示されている。
　まず、学習用データ生成部２４は、図７（A）に示されるように、ある患者P1の頭部のT1強調画像H1に対して、頭部の平均データHAVとの間の一致度が大きくなるように、アフィン変換Tを行い、変換処理がなされた患者P1の頭部のT1強調画像H1’を生成する。このときのアフィン変換Tにより、アフィン変換行列が得られる。
　次に、学習用データ生成部２４は、図７（B）に示されるように、患者P1の大脳領域が抽出されたCEFIESTA画像B1に対し、頭部のT1強調画像H1を頭部の平均データHAVへ一致させた際に得られたアフィン変換行列を用いて変換処理を実施し、変換処理がなされた患者P1の大脳領域のCEFIESTA画像B1’を生成する。ただし、頭部のT1強調画像H1とCEFIESTA画像B1の元となるCEFIESTA画像の頭部の大きさ、向き、及び位置は既に揃っているものとする。
　これにより、ある患者P1のデータが平均データに近づけられた、患者P1の頭部のT1強調画像H1’と患者P1の大脳領域のCEFIESTA画像B1’とが得られる。
　そして、学習用データ生成部２４は、変換された頭部のT1強調画像H1’に対応する３次元医用画像データと、変換された大脳領域のCEFIESTA画像B1’に対応する大脳領域とを対応付けて学習用データを生成する。
　学習用データ生成部２４は、医用画像記憶部２２に格納された複数のデータの各々に対して、上記の変換処理を実施し、大きさ、向き、及び位置が揃えられた学習用データを生成し、学習用データ記憶部２５へ格納する。なお、学習用データを生成する際には、医用画像記憶部２２に格納された複数のデータから、平均データを生成する際に用いたデータを除くようにしてもよい。
　学習用データ生成部２４によって、患者毎の頭部の大きさ、向き、及び位置の差が吸収され、患者毎の脳の大きさ及び形状等のばらつきが低減された複数の患者の学習用データが得られる。更に、撮像条件の異なりによって発生したばらつきが低減された複数の患者の学習用データが得られる。
　学習用データ記憶部２５には、学習用データ生成部２４によって生成された、複数の患者の学習用データが格納される。具体的には、学習用データ記憶部２５には、複数の患者の各々についての、大きさ、向き、及び位置が揃えられたT1強調画像を表す３次元医用画像データと、大きさ、向き、及び位置が揃えられたCEFIESTA画像を表す３次元医用画像データとが対応付けられた学習用データが格納される。
　例えば、図８に示されるように、学習用データ記憶部２５には、複数の患者の各々についての大きさ、向き、及び位置が揃えられたT1強調画像と、大きさ、向き、及び位置が揃えられたCEFIESTA画像とが対応付けられて格納される。
　学習部２６は、学習用データ記憶部２５に格納された複数の学習用データに基づいて、T1強調画像から大脳領域を抽出するための学習済みモデルを生成する。本実施形態では、上記図２に示されるような学習済みのニューラルネットワークLMを生成する。なお、本実施形態においては学習アルゴリズムの一例としてディープラーニングを用いる。そして、学習部２６は、学習済みのニューラルネットワークLMを学習済みモデル記憶部２７へ格納する。
　変換部２８は、取得部２１により取得された大脳領域抽出対象のT1強調画像に対し、平均データ記憶部２３Ａに格納された頭部の平均データとの間の一致度が大きくなるように、対象データの大きさ、向き、及び位置の少なくとも１つを平均データと揃えるようにアフィン変換処理を行う。そして、変換部２８は、大脳領域抽出対象のT1強調画像に対して当該変換処理がされた変換済データを生成する。
　本実施形態においては、頭部のばらつき等を低減させるために、頭部の平均のデータを生成し、その頭部の平均データとの一致度が大きくなるように各患者のデータを平均化して学習用データを生成した。そして、それらの学習用データから学習済みモデルが生成されているため、大脳領域抽出対象のT1強調画像に対しても同様の変換処理を実施する必要がある。このため、変換部２８は、大脳領域抽出対象のT1強調画像と頭部の平均データとの間の一致度が大きくなるように、アフィン変換処理を行う。そして、変換部２８は、アフィン変換処理が施された変換済データを得る。
　領域抽出部３０は、学習済みモデル記憶部２７に格納された学習済みのニューラルネットワークLMを読み出す。そして、領域抽出部３０は、変換部２８によって変換処理が行われた変換済データを学習済みのニューラルネットワークLMへ入力して、大脳領域を抽出する。これにより、造影剤を投与せずに撮像されたT1強調画像から、大脳領域が自動的に抽出されたことになる。
　オブジェクト生成部３２は、領域抽出部３０によって抽出された大脳領域に基づいて、患者の対象部位の３次元オブジェクトを生成する。なお、学習済みのニューラルネットワークLMから出力される画像は、大脳領域が「１」で表現され、大脳以外の領域が「０」で表現されている２値化画像である。本実施形態では、大脳の３次元オブジェクトを描画する際に既知の技術であるボリュームレンダリングを用いるため、グレースケール画像が必要となる。
　そこで、オブジェクト生成部３２は、２値化画像うち「１」で表現されている大脳領域に基づいて、変換前の元の３次元医用画像データであるT1強調画像から大脳領域を抽出する。
　具体的には、オブジェクト生成部３２は、領域抽出部３０によって得られた大脳領域に対し、変換部２８によって実施された、大きさ、向き、及び位置を合わせる変換処理に応じた逆変換処理を行う。
　例えば、図７(C)に示されるように、ある患者P2の頭部の３次元オブジェクトH2が、変換部２８によるアフィン変換処理によって変換済データH2となった場合、その変換済データH2を学習済みのニューラルネットワークLMへ入力して、大脳領域B2が得られる。なお、大脳領域B2はボリュームデータである。
　オブジェクト生成部３２は、大脳領域B2に対し、変換部２８によって実施されたアフィン変換処理に応じた逆変換処理INVTを行い、変換前のT1強調画像と逆変換処理がなされた大脳領域B2との対応付けにより、T1強調画像から大脳領域を抽出する。具体的には、オブジェクト生成部３２は、逆変換処理がなされた大脳領域B2と元の３次元医用画像データであるT1強調画像との間のアダマール積をとることにより、T1強調画像から大脳領域を抽出する。これにより、グレースケールの大脳領域が抽出される。
　そして、オブジェクト生成部３２は、変換前の元のT1強調画像から抽出された大脳領域に基づいて、既知の技術であるボリュームレンダリングを用いて、患者の脳の３次元オブジェクトを表示する。具体的には、オブジェクト生成部３２は、患者の脳のボリュームデータから生成された患者の脳の３次元オブジェクトを出力装置４０へ出力する。
　出力装置４０は、オブジェクト生成部３２から出力された３次元オブジェクトを結果として出力する。出力装置４０は、例えばディスプレイ等によって構成される。出力装置４０からは、例えば、図４に示されるような、大脳の３次元オブジェクトBRが表示される。
　画像処理装置２０は、例えば、図９に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、外部装置１０及び出力装置４０等が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
　記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。
＜医用画像処理システム１００の作用＞
　次に、図１０～図１２を参照して、本実施形態の医用画像処理システム１００の作用について説明する。医用画像処理システム１００が稼動し、外部装置１０から、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータが入力されると、取得部２１は、そのデータの各々を医用画像記憶部２２へ格納する。そして、平均データ生成の指示信号を画像処理装置２０が受け付けると、画像処理装置２０は、図１０に示す平均データ生成処理ルーチンを実行する。
＜平均データ生成処理ルーチン＞
　ステップＳ５０において、平均データ生成部２３は、例えば、医用画像記憶部２２に格納された１０件のT1強調画像を読み出す。
　ステップＳ５２において、平均データ生成部２３は、上記ステップＳ５０で読み出された複数の患者のT1強調画像から、１つの基準データを選択する。
　ステップＳ５４において、平均データ生成部２３は、上記ステップＳ５２で選択された基準データとは異なる９件のT1強調画像の各々について、上記ステップＳ５２で選択された基準データとT1強調画像との間の大きさ、向き、及び位置の少なくとも１つを揃えるように、アフィン変換を行う。
　ステップＳ５６において、平均データ生成部２３は、上記ステップＳ５２で選択された基準データに対応するT1強調画像と、上記ステップＳ５４でアフィン変換が行われたT1強調画像とを加算平均して、平均データを生成する。
　ステップＳ５８において、平均データ生成部２３は、上記ステップＳ５６で生成された平均データを、平均データ記憶部２３Ａへ格納する。
＜学習用データ生成処理ルーチン＞
　次に、学習用データ生成の指示信号を画像処理装置２０が受け付けると、画像処理装置２０は、図１１に示す学習用データ生成処理ルーチンを実行する。
　ステップＳ７０において、学習用データ生成部２４は、医用画像記憶部２２へ格納された、複数の患者の各々についてのT1強調画像とCEFIESTA画像とが対応付けられたデータから、１つのデータを読み出す。
　ステップＳ７２において、学習用データ生成部２４は、平均データ記憶部２３Ａに格納されている平均データを読み出す。
　ステップＳ７４において、学習用データ生成部２４は、上記ステップＳ７０で読み出されたデータのうちのT1強調画像と上記ステップＳ７２で読み出された平均データとの間の大きさ、向き、及び位置の少なくとも１つを揃えるように、T1強調画像に対してアフィン変換を行う。このとき、アフィン変換行列が得られる。
　ステップＳ７６において、学習用データ生成部２４は、上記ステップＳ７０で読み出されたデータのうちのCEFIESTA画像を、上記ステップＳ７２で読み出された平均データと揃えるように、上記ステップＳ７４で得られたアフィン変換行列を用いて、アフィン変換を行う。
　ステップＳ７８において、学習用データ生成部２４は、上記ステップＳ７４で変換処理がなされたT1強調画像と、上記ステップＳ７６で変換処理がなされたCEFIESTA画像とを対応付けて、学習用データ記憶部２５へ１つの学習用データとして格納する。
　ステップＳ８０において、学習用データ生成部２４は、医用画像記憶部２２に格納されている全てのデータについて、上記ステップＳ７０～ステップＳ７８の処理が実行されたか否かを判定する。全てのデータについて、上記ステップＳ７０～ステップＳ７８の処理が実行されている場合には、学習用データ生成処理ルーチンを終了する。一方、上記ステップＳ７０～ステップＳ７８の処理が実行されていないデータが存在する場合には、ステップＳ７０へ戻る。なお、医用画像記憶部２２に格納された複数のデータのうちの平均データを生成する際に用いられたデータについては、学習用データの生成から除外するようにしてもよい。
＜学習処理ルーチン＞
　上記学習用データ生成処理ルーチンによって、複数の患者の各々についての学習用データが生成され、学習用データ記憶部２５に学習用データが格納されると、ニューラルネットワークMに対する機械学習処理の実行が可能となる。このため、学習処理の指示信号を画像処理装置２０が受け付けると、画像処理装置２０は、図１２に示す学習処理ルーチンを実行する。
　ステップＳ１００において、学習部２６は、学習用データ記憶部２５に格納された複数の学習用データを取得する。
　ステップＳ１０２において、学習部２６は、上記ステップＳ１００で取得された複数の学習用データに基づいて、T1強調画像から大脳領域を抽出するための学習済みニューラルネットワークLMを機械学習によって生成する。
　ステップＳ１０４において、学習部２６は、上記ステップＳ１０２で生成された学習済みニューラルネットワークLMを、学習済みモデル記憶部２７へ格納して、学習処理ルーチンを終了する。
＜画像処理ルーチン＞
　上記学習処理ルーチンによって、学習済みのニューラルネットワークLMが、学習済みモデル記憶部２７に格納されると、学習済みのニューラルネットワークLMを用いての大脳領域の抽出が可能となる。このため、外部装置１０から、大脳領域抽出対象のT1強調画像が画像処理装置２０へ入力されると、画像処理装置２０は、図１３に示す画像処理ルーチンを実行する。
　ステップＳ２００において、取得部２１は、大脳領域抽出対象のT1強調画像を取得する。
　ステップＳ２０１において、変換部２８は、上記ステップＳ２００で取得された大脳領域抽出対象のT1強調画像に対し、当該T1強調画像と平均データ記憶部２３Ａに格納された頭部の平均データとの間の一致度が大きくなるようにアフィン変換処理を行い、変換済データを生成する。
　ステップＳ２０２において、領域抽出部３０は、学習済みモデル記憶部２７に格納された学習済みのニューラルネットワークLMを読み出す。
　ステップＳ２０４において、領域抽出部３０は、上記ステップＳ２０１で生成された変換済データを、上記ステップＳ２０２で読み出された学習済みのニューラルネットワークLMへ入力して、大脳領域のボリュームデータを抽出する。
　ステップＳ２０６において、オブジェクト生成部３２は、上記ステップＳ２０４で抽出された大脳領域のボリュームデータに対し、上記ステップＳ２０１で実施されたアフィン変換処理に応じた逆変換処理を行う。そして、オブジェクト生成部３２は、アフィン変換前のT1強調画像のボリュームデータと逆変換処理がなされた大脳領域のボリュームデータとのアダマール積により、元のT1強調画像から大脳領域を抽出する。これにより、グレースケールの大脳領域が抽出される。
　ステップＳ２０８において、オブジェクト生成部３２は、上記ステップＳ２０６で得られたグレースケールの大脳領域のボリュームデータに基づいて、既知の技術であるボリュームレンダリングを用いて、患者の脳の３次元オブジェクトを生成する。
　ステップＳ２１０において、オブジェクト生成部３２は、患者の脳の３次元オブジェクトを出力装置４０へ出力して、画像処理ルーチンを終了する。
　出力装置４０は、オブジェクト生成部３２から出力された患者の脳の３次元オブジェクトを結果として出力する。
　以上説明したように、第１実施形態に係る画像処理装置２０は、関心領域抽出対象の３次元医用画像データである対象データと、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元医用画像データである平均データとの間の一致度が大きくなるように、対象データの大きさ、向き、及び位置の少なくとも１つを平均データと揃えるように変換処理を行う。そして、画像処理装置２０は、対象データに対して変換処理がされた３次元医用画像データである変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、学習済みモデルによる演算によって変換済データに含まれる関心領域を抽出する。これにより、医用画像から関心領域を精度良く抽出することができる。また、患者から得られる医用画像のばらつきを低減させた学習用データから生成された学習済みモデルによって、医用画像から精度良く関心領域を抽出することができる。
　また、本実施形態によれば、医用画像毎のばらつきが低減された学習用データを生成することができるため、少ない学習データで精度の良い学習済みモデルを得ることができる。
　また、本実施形態によれば、１人の患者の各断面を表す複数の医用画像の組み合わせを１つの学習用データとして取り扱うことにより、学習用データに、高さ方向の情報が反映される。このため、その学習用データが学習済みモデルへ反映され、患者の３次元オブジェクトを精度良く生成することができる。
　また、本実施形態によれは、患者への造影剤の投与が不要であるT1強調画像から、患者へ造影剤を投与して撮像されるCEFIESTA画像から関心領域を抽出した結果と同等に関心領域を抽出することができる。このため、患者の負担を低減させ、かつ精度良く関心領域が抽出されたデータを得ることができる。
　また、そのようにして得られた関心領域抽出画像から、患者の対象部位の３次元オブジェクトを精度良く生成することができる。特に、本実施形態によれば、学習済みモデルを用いて、T1強調画像の関心領域を抽出する。そして、本実施形態によれば、その関心領域が抽出されたT1強調画像に基づいて、ボリュームレンダリングにより、患者の対象部位の３次元オブジェクトを精度良く表示すことができる。
＜第２実施形態に係る医用画像処理システム＞
　次に、第２実施形態について説明する。なお、第２実施形態に係る医用画像処理システムの構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。第２実施形態では、FIESTA画像から大脳領域を抽出する点が、第１実施形態と異なる。第２実施形態においては、FIESTA強調画像は第１種類の医用画像の一例であり、CEFIESTA画像は第２種類の医用画像の一例である。
　上述したように、FIESTA画像は、GE(General Electric)社によるFast Imaging Employing Steady state Acquisitionと称される撮像方式によって撮像される医用画像である。しかし、「CE」が付与されていないFIESTA画像は、患者に対して造影剤を投与しない場合に撮像される医用画像の一例である。第２実施形態によれば、患者へ造影剤を投与して撮像されるCEFIESTA画像から大脳領域を抽出することと同程度に、患者への造影剤の投与が不要であるFIESTA画像から大脳領域を精度良く抽出することができる。このため、第１実施形態と同様に、患者の負担を低減させて大脳領域を精度良く抽出することができる。
　第２実施形態の医用画像記憶部２２には、第１実施形態でのT1強調画像とCEFIESTA画像とが対応付けられたデータに替えて、FIESTA画像とCEFIESTA画像とが対応付けられたデータが格納される。
　また、第２実施形態の学習用データ記憶部２５には、第１実施形態での複数の患者の各々についての、大きさ、向き、及び位置が揃えられたT1強調画像を表す３次元医用画像データと、大きさ、向き、及び位置が揃えられたCEFIESTA画像を表す３次元医用画像データとが対応付けられた学習用データに替えて、複数の患者の各々についての、大きさ、向き、及び位置が揃えられたFIESTA画像を表す３次元医用画像データと、大きさ、向き、及び位置が揃えられたCEFIESTA画像を表す３次元医用画像データとが対応付けられた学習用データが格納される。
　また、第２実施形態の領域抽出部３０は、関心領域抽出対象の３次元医用画像データであるFIESTA画像を、第２実施形態の学習済みのニューラルネットワークへ入力して、FIESTA画像から大脳領域を抽出する。これにより、大脳領域が精度良く抽出される。
　第２実施形態のオブジェクト生成部３２は、領域抽出部３０によって抽出された大脳領域の情報に基づいて、アダマール積を行わずに、領域抽出部３０から出力された「０」、「１」の２値化画像をマーチングキューブ法でサーフェスレンダリングすることにより、大脳領域の３次元オブジェクトを表示する。
　なお、第２実施形態に係る医用画像処理システムの他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
　以上説明したように、第２実施形態に係る画像処理装置によれば、関心領域抽出対象の３次元医用画像データである対象データとは異なる種類の医用画像により予め学習された学習済みモデルを用いて、対象データから関心領域を抽出することができる。
＜第３実施形態に係る医用画像処理システム＞
　次に、第３実施形態について説明する。なお、第３実施形態に係る医用画像処理システムの構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。第３実施形態では、学習用データとして、CEFIESTA画像とCEFIESTA画像との組み合わせを用いる点が、第１実施形態及び第２実施形態と異なる。第３実施形態においては、CEFIESTA画像は第１種類の医用画像及び第２種類の医用画像の一例である。なお、CEFIESTA画像は、患者に対して造影剤を投与した場合に撮像される医用画像である。
　第３実施形態の医用画像記憶部２２には、第１実施形態でのT1強調画像とCEFIESTA画像とが対応付けられたデータに替えて、大脳領域が抽出されていないCEFIESTA画像と大脳領域が抽出されているCEFIESTA画像とが対応付けられたデータが格納される。
　また、第３実施形態の領域抽出部３０は、関心領域抽出対象の３次元医用画像データであるCEFIESTA画像を、第３実施形態の学習済みのニューラルネットワークへ入力して、CEFIESTA画像から大脳領域を抽出する。これにより、大脳領域が精度良く抽出される。
　第３実施形態のオブジェクト生成部３２は、領域抽出部３０によって抽出された大脳領域の情報に基づいて、アダマール積を行わずに、領域抽出部３０から出力された「０」、「１」の２値化画像をマーチングキューブ法でサーフェスレンダリングすることにより、大脳領域の３次元オブジェクトを表示する。
　なお、第３実施形態に係る医用画像処理システムの他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
　以上説明したように、第３実施形態に係る画像処理装置によれば、関心領域抽出対象の３次元医用画像データである対象データとは異なる種類の医用画像により予め学習された学習済みモデルを用いて、対象データから関心領域を抽出することができる。
　次に、実施例を説明する。図１４は、本実施形態の画像処理装置２０によって生成された大脳の３次元オブジェクトである。図１４に示されるように、大脳領域が精度良く抽出されていることがわかる。特に、脳溝及び脳回に関して精度良く抽出されていることがわかる。
　また、本実施形態によって生成された患者の大脳のボリュームデータと、医師によるCEFIESTA画像に対するラベル付け結果から生成された大脳のボリュームデータとの間の一致度（ダイス係数）を、以下の表に示す。以下の表に示されている結果は、大脳領域が抽出されていないCEFIESTA画像と大脳領域が抽出されているCEFIESTA画像とが対応付けられた学習用データに基づき学習済みモデルを生成し、未知のCEFIESTA画像に対して大脳領域を抽出した結果である。
Figure JPOXMLDOC01-appb-T000001
 
上記表に示されるように、複数の患者の各々についてのダイス係数は、何れも0.9以上の値となっている。この結果は、従来よりも高精度に大脳の３次元オブジェクトが生成されていることを示している。このため、医用画像から大脳領域が精度良く生成され、大脳の３次元オブジェクトが高精度に生成されているといえる。
　なお、開示の技術は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上記第１実施形態では、第１種類の医用画像がT1強調画像であり、第２種類の医用画像がCEFIESTA画像である場合を例に説明した。また、上記第２実施形態では、第１種類の医用画像がFIESTA画像であり、第２種類の医用画像がCEFIESTA画像である場合を例に説明した。また、上記第３実施形態では、第１種類の医用画像がCEFIESTA画像であり、第２種類の医用画像もCEFIESTA画像である場合を例に説明した。
　しかし、第１種類の医用画像及び第２種類の医用画像の組み合わせは、これに限定されるものではなく、脳領域を医師の手で抽出することが出来得る医用画像であればどのような組み合わせであってもよい。例えば、第１種類の医用画像及び第２種類の医用画像としては、T2強調画像及びCT画像等、医用画像であればどのようなものであってもよい。また、本実施形態では、CEFIESTA画像の２値化画像を用いる場合を例に説明したが、これに限定されるものではなく、グレースケール画像等を用いるようにしてもよい。
　また、図１５に示されるように、複数種類の医用画像Im1,Im2,Im3,Im4を用いて学習済みモデルを生成し、任意の種類の医用画像から異なる種類の医用画像を生成する、又は、医用画像から対象の領域を抽出して、対象部位の３次元オブジェクトBRを生成するようにしてもよい。
　また、本実施形態においては、患者の対象部位の一例として脳を用いる場合を例に説明したが、これに限定されるものではなく、他の部位であってもよい。例えば、動脈の３次元オブジェクトを生成する際に、本実施形態を用いるようにしてもよい。
　また、本実施形態では、異方性スケーリングの一例としてアフィン変換を用いる場合を例に説明したが、これに限定されるものではなく、他の手法を用いて変換処理を行っても良い。
　また、上記実施形態では、平均データ生成処理ルーチンと、学習用データ生成処理ルーチンと、学習処理ルーチンと、画像処理ルーチンとが同一の画像処理装置２０内で実行される場合を例に説明したが、これに限定されるものではない。例えば、平均データ生成処理ルーチンを実行する平均データ生成装置、学習用データ生成処理ルーチンを実行する学習用データ生成装置、学習処理ルーチンを実行する画像処理モデル生成装置、及び画像処理ルーチンのみを実行する画像処理装置のように、別々の装置として構成するようにしてもよい。
　例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。
　また、本実施形態では、第１種類の医用画像と第２種類の医用画像とを用いて学習済みモデルを生成し、関心領域抽出対象の３次元医用画像データである対象データを学習済みモデルへ入力して、関心領域を抽出する場合を例に説明したが、これに限定されるものではなく、対象データに対して所定の変換処理を施してもよい。
　例えば、関心領域抽出対象の３次元医用画像データがT2強調画像であり、第３実施形態の画像処理装置２０を用いてT2強調画像から関心領域を抽出する場合を例に考える。この場合、T2強調画像はCEFIESTA画像とは異なる種類の医用画像であるものの、T2強調画像の撮像方式はCEFIESTA画像の撮像方式と似ている。このため、T2強調画像に何らかの変換処理を施し、CEFIESTA画像に似させたうえで、CEFIESTA画像によって予め学習された学習済みモデルへ入力することにより、T2強調画像から関心領域を抽出することができる。このため、この場合には、変換部２８は、対象データであるT2強調画像に対して平均データと揃える変換処理を行った後に、T2強調画像の輝度値の階調を補正する変換処理を行うことにより変換済データを生成する。例えば、変換部２８は、T2強調画像に対してγ補正処理を施すことにより、CEFIESTA画像に似させたうえで、γ補正処理がなされたT2強調画像を学習済みモデルへ入力して関心領域を抽出することもできる。なお、変換部２８は、T2強調画像の輝度値の階調を補正する変換処理を行った後に、T2強調画像に対して平均データと揃える変換処理を行ってもよい。
　また、関心領域抽出対象の３次元医用画像データである対象データの一部が欠落していている場合には、その部分を補完して学習済みモデルへ入力するようにしてもよい。
　例えば、医療現場においては、患者の頭部全体ではなく、患部付近のみを撮像する場合がある。この場合、そのような患部のみが写った３次元医用画像データである対象データを、頭部全体が写った３次元医用画像データの学習用データから生成された学習済みモデルへ入力したとしても、対象データの患部以外の欠落している部分が原因となり、関心領域の抽出に失敗する場合がある。
　このため、対象データの一部が欠落していている場合には、その部分を平均データから補完するようにしてもよい。具体的には、この場合、変換部２８は、対象データを平均データと揃えるように変換処理を行う際に、対象データと一致した平均データの領域とは異なる領域を、対象データへ統合することにより、対象データを補完して、変換済データを生成する。なお、この場合、変換部２８は、平均データの輝度値の平均又は分散と、対象データの輝度値の平均又は分散とが近づくような補正処理を平均データに対して行って統合をすることにより、変換済データを生成するようにしてもよい。そして、領域抽出部３０は、補完された対象データを学習済みモデルへ入力して関心領域を抽出する。なお、この場合、領域抽出部３０は、抽出された関心領域から、対象データに対応する患部の箇所のみ抽出結果とする。
　また、上記実施形態では、標準を表す３次元画像データとして平均データを用いる場合を例に説明したが、これに限定されるものではない。
　例えば、複数の３次元医用画像データから予め選定された３次元医用画像データを標準データとしてもよい。この場合には、例えば、標準的な頭部を有している患者の３次元医用画像データが、標準データとして予め設定される。
　または、例えば、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データを標準データとしてもよい。この場合には、例えば、複数の３次元医用画像データに対して統計的処理の一例である主成分分析を実施し、それにより得られた第１主成分等に相当する３次元画像データを標準データとすることができる。
　また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
　２０２０年３月４日に出願された日本国特許出願２０２０－０３７１３５号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (26)

  1. 　関心領域抽出対象の３次元医用画像データである対象データを取得する取得部と、
    　前記取得部により取得された前記対象データと、標準を表す３次元画像データである標準データとの間の一致度が大きくなるように、前記対象データの大きさ、向き、及び位置の少なくとも１つを前記標準データと揃えるように変換処理を行い、前記対象データに対して前記変換処理がされた３次元医用画像データである変換済データを生成する変換部と、
    　前記変換部によって得られた前記変換済データを、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための予め学習された学習済みモデルへ入力して、前記学習済みモデルによる演算によって前記変換済データに含まれる関心領域を抽出する領域抽出部と、
    　を含む画像処理装置。
  2. 　前記標準データは、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元画像データである、
    　請求項１に記載の画像処理装置。
  3. 　前記標準データは、複数の３次元医用画像データから予め選定された３次元医用画像データである、
    　請求項１に記載の画像処理装置。
  4. 　前記標準データは、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データである、
    　請求項１に記載の画像処理装置。
  5. 　前記学習済みモデルは、学習用の３次元医用画像データと該学習用の３次元医用画像データに含まれる関心領域との組み合わせである学習用データに基づいて、予め学習されたモデルである、
    　請求項１～請求項４の何れか１項に記載の画像処理装置。
  6. 　前記学習用データは、
    　前記標準データとの一致度が大きくなるように前記変換処理がなされた前記学習用の３次元医用画像データと、該学習用の３次元医用画像データのうちの関心領域と、が対応付けられたデータである、
    　請求項５に記載の画像処理装置。
  7. 　前記学習用データのうちの前記学習用の３次元医用画像データは、第１種類の医用画像であり、
    　前記学習用データのうちの前記関心領域は、第２種類の医用画像から抽出された関心領域である、
    　請求項５又は請求項６に記載の画像処理装置。
  8. 　第１種類の医用画像は、患者に対して造影剤を投与しない場合に撮像された医用画像であり、
    　第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像である、
    　請求項７に記載の画像処理装置。
  9. 　第１種類の医用画像及び第２種類の医用画像は、患者に対して造影剤を投与した場合に撮像された医用画像である、
    　請求項７に記載の画像処理装置。
  10. 　前記対象データは、第１種類の医用画像及び第２種類の医用画像とは異なる種類の医用画像であり、
    　前記変換部は、前記対象データの輝度値の階調を補正する変換処理を行うと共に、前記対象データに対して前記変換処理を行うことにより、前記変換済データを生成する、
    　請求項９に記載の画像処理装置。
  11. 　前記対象データの輝度値の階調を補正する変換処理は、γ補正処理である、
    　請求項１０に記載の画像処理装置。
  12. 　前記領域抽出部によって得られた前記関心領域に対し、前記対象データに対する前記変換処理に応じた逆変換処理を行い、変換前の前記対象データと前記逆変換処理がなされた前記関心領域との対応付けにより、前記対象データから関心領域を抽出し、該関心領域に基づいて、前記関心領域の３次元オブジェクトを生成する３次元オブジェクト生成部を更に含む、
    　請求項１～請求項１１の何れか１項に記載の画像処理装置。
  13. 　前記３次元オブジェクト生成部は、前記変換前の前記対象データと前記逆変換処理がなされた前記関心領域とのアダマール積によって、前記変換前の前記対象データと前記関心領域との対応付けを行うことにより、前記対象データから関心領域を抽出し、該関心領域に基づくボリュームレンダリングにより、前記関心領域の３次元オブジェクトを表示する、
    　請求項１２に記載の画像処理装置。
  14. 　前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を、前記対象データへ統合することにより、前記対象データを補完して、前記変換済データを生成する、
    　請求項１～請求項１３の何れか１項に記載の画像処理装置。
  15. 　前記変換部は、前記対象データと一致した前記標準データの領域とは異なる領域を前記対象データへ統合する際に、前記標準データの輝度値の平均又は分散と、前記対象データの輝度値の平均又は分散とが近づくような補正処理を前記標準データに対して行って、前記統合をすることにより、前記変換済データを生成する、
    　請求項１４に記載の画像処理装置。
  16. 　標準を表す３次元画像データである標準データを設定するデータ設定部と、
    　複数の学習用の３次元医用画像データの各々について、前記データ設定部により生成された前記標準データとの間の一致度が大きくなるように、
    　複数の学習用の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行うと共に、該学習用の３次元医用画像データの関心領域に対して前記変換処理を行い、変換された前記学習用の３次元医用画像データと変換された前記関心領域とを対応付けて学習用データを生成する学習用データ生成部と、
    　前記学習用データ生成部によって生成された前記学習用データに基づいて、３次元医用画像データから該３次元医用画像データに含まれる関心領域を抽出するための学習済みモデルを生成する学習部と、
    　を含む画像処理モデル生成装置。
  17. 　前記標準データは、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元画像データである、
    　請求項１６に記載の画像処理モデル生成装置。
  18. 　前記標準データは、複数の３次元医用画像データから予め選定された３次元医用画像データである、
    　請求項１６に記載の画像処理モデル生成装置。
  19. 　前記標準データは、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データである、
    　請求項１６に記載の画像処理モデル生成装置。
  20. 　複数の学習用の３次元医用画像データの各々について、標準を表す３次元画像データである標準データと前記学習用の３次元医用画像データとの間の一致度が大きくなるように、前記学習用の３次元医用画像データの大きさ、向き、及び位置の少なくとも１つを揃えるように変換処理を行うと共に、該学習用の３次元医用画像データの関心領域に対して前記変換処理を行い、変換された前記学習用の３次元医用画像データと変換された前記関心領域とを対応付けて学習用データを生成する学習用データ生成部
    　を含む学習用データ生成装置。
  21. 　前記標準データは、複数の３次元医用画像データの各々の大きさ、向き、及び位置の少なくとも１つを揃えた後に平均することにより生成された３次元画像データである、
    　請求項２０に記載の学習用データ生成装置。
  22. 　前記標準データは、複数の３次元医用画像データから予め選定された３次元医用画像データである、
    　請求項２０に記載の学習用データ生成装置。
  23. 　前記標準データは、複数の３次元医用画像データに対して統計的処理を行うことにより予め生成された３次元画像データである、
    　請求項２０に記載の学習用データ生成装置。
  24. 　コンピュータを、請求項１～請求項１５の何れか１項に記載の画像処理装置の各部として機能させるためのプログラム。
  25. 　コンピュータを、請求項１６～請求項１９の何れか１項に記載の画像処理モデル生成装置の各部として機能させるためのプログラム。
  26. 　コンピュータを、請求項２０～請求項２３の何れか１項に記載の学習用データ生成装置の各部として機能させるためのプログラム。
PCT/JP2021/008263 2020-03-04 2021-03-03 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム WO2021177374A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022504437A JP7323885B2 (ja) 2020-03-04 2021-03-03 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-037135 2020-03-04
JP2020037135 2020-03-04

Publications (1)

Publication Number Publication Date
WO2021177374A1 true WO2021177374A1 (ja) 2021-09-10

Family

ID=77613434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008263 WO2021177374A1 (ja) 2020-03-04 2021-03-03 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP7323885B2 (ja)
WO (1) WO2021177374A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
WO2019044078A1 (ja) * 2017-08-28 2019-03-07 富士フイルム株式会社 脳画像正規化装置、方法およびプログラム
JP2019525786A (ja) * 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
JP2019531783A (ja) * 2016-08-26 2019-11-07 エレクタ、インク.Elekta, Inc. 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
WO2019216125A1 (ja) * 2018-05-09 2019-11-14 富士フイルム株式会社 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
JP2019534763A (ja) * 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
CN110766652A (zh) * 2019-09-06 2020-02-07 上海联影智能医疗科技有限公司 网络训练方法、装置、分割方法、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019525786A (ja) * 2016-07-08 2019-09-12 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
JP2019531783A (ja) * 2016-08-26 2019-11-07 エレクタ、インク.Elekta, Inc. 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
JP2019534763A (ja) * 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
WO2019044078A1 (ja) * 2017-08-28 2019-03-07 富士フイルム株式会社 脳画像正規化装置、方法およびプログラム
WO2019216125A1 (ja) * 2018-05-09 2019-11-14 富士フイルム株式会社 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
CN110766652A (zh) * 2019-09-06 2020-02-07 上海联影智能医疗科技有限公司 网络训练方法、装置、分割方法、计算机设备和存储介质

Also Published As

Publication number Publication date
JPWO2021177374A1 (ja) 2021-09-10
JP7323885B2 (ja) 2023-08-09

Similar Documents

Publication Publication Date Title
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
Liu et al. Learning disentangled representations in the imaging domain
US11423603B2 (en) Apparatus and method for producing three-dimensional models from magnetic resonance imaging
US11610313B2 (en) Systems and methods for generating normative imaging data for medical image processing using deep learning
US10692198B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images
US20140126789A1 (en) Image diagnosis assisting apparatus, and method
Paysan et al. Face reconstruction from skull shapes and physical attributes
WO2021015231A1 (ja) 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
Zhang et al. PTNet3D: A 3D high-resolution longitudinal infant brain MRI synthesizer based on transformers
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
Chen et al. Harmonized neonatal brain MR image segmentation model for cross-site datasets
Lu et al. Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images
WO2021177374A1 (ja) 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
KR101801376B1 (ko) 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법
WO2015175852A1 (en) System and method for ct image synthesis from mri using generative sub-image synthesis
US11880987B2 (en) Image processing apparatus, image processing method, and storage medium
US11138736B2 (en) Information processing apparatus and information processing method
JP2021179995A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
Zang et al. Enhanced brain parcellation via abnormality inpainting for neuroimage-based consciousness evaluation of hydrocephalus patients by lumbar drainage
Torbati et al. MISPEL: A supervised deep learning harmonization method for multi-scanner neuroimaging data
CN116368516A (zh) 使用联合合成、分割和配准的多模态临床图像对齐方法和设备
Denisova Evaluation of deepmedic neural network for a region of interest eextraction in medical image watermarking
Che Azemin et al. Assessing the Efficacy of StyleGAN 3 in Generating Realistic Medical Images with Limited Data Availability

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21763534

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022504437

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21763534

Country of ref document: EP

Kind code of ref document: A1