WO2021193015A1 - プログラム、情報処理方法、情報処理装置及びモデル生成方法 - Google Patents
プログラム、情報処理方法、情報処理装置及びモデル生成方法 Download PDFInfo
- Publication number
- WO2021193015A1 WO2021193015A1 PCT/JP2021/009280 JP2021009280W WO2021193015A1 WO 2021193015 A1 WO2021193015 A1 WO 2021193015A1 JP 2021009280 W JP2021009280 W JP 2021009280W WO 2021193015 A1 WO2021193015 A1 WO 2021193015A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- complications
- image
- complication
- information
- medical image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000010365 information processing Effects 0.000 title claims description 14
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000011282 treatment Methods 0.000 claims abstract description 26
- 210000000056 organ Anatomy 0.000 claims abstract description 13
- 210000004204 blood vessel Anatomy 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 20
- 230000001225 therapeutic effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 19
- 238000002059 diagnostic imaging Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012276 Endovascular treatment Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012014 optical coherence tomography Methods 0.000 description 3
- 238000013146 percutaneous coronary intervention Methods 0.000 description 3
- 206010061340 Peripheral embolism Diseases 0.000 description 2
- 208000007536 Thrombosis Diseases 0.000 description 2
- 210000001765 aortic valve Anatomy 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000002008 hemorrhagic effect Effects 0.000 description 2
- 238000002608 intravascular ultrasound Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 210000004969 inflammatory cell Anatomy 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000277 pancreatic duct Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000024883 vasodilation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
- A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
- A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Definitions
- the present invention relates to a program, an information processing method, an information processing device, and a model generation method.
- Patent Document 1 a model image of an artificial valve that detects a region of peripheral tissue existing around the aortic valve of the heart from a medical image taken by an X-ray CT (Computed Tomography) device and replaces the aortic valve is used for medical purposes.
- a medical image processing apparatus or the like that is arranged in an image and evaluates the risk of complications from the distance between the area of the surrounding tissue and the model image of the artificial valve is disclosed.
- Patent Document 1 evaluates the risk of complications by simple pattern matching based on the distance in the image, and cannot always be said to be accurate.
- the purpose is to provide a program that can appropriately evaluate the risk of complications.
- a program relating to one aspect learns to acquire a medical image of the patient's luminal organs before treatment and to output complication information regarding complications that may occur after treatment when the medical image is input.
- a computer is made to execute a process of inputting the acquired medical image into the completed model and outputting the complication information.
- FIG. 1 is an explanatory diagram showing a configuration example of a treatment support system.
- a treatment support system that outputs complication information regarding complications that may occur after the treatment will be described based on a medical image that images the blood vessels of a patient who performs endovascular treatment.
- the treatment support system includes an information processing device 1 and a diagnostic imaging system 2.
- the information processing device 1 and the diagnostic imaging system 2 are communication-connected to a network N such as a LAN (Local Area Network) or the Internet.
- a network N such as a LAN (Local Area Network) or the Internet.
- the target luminal organ is not limited to blood vessels, and may be other luminal organs such as bile duct, pancreatic duct, bronchus, and intestine. ..
- the diagnostic imaging system 2 includes an intravascular diagnostic imaging device 21, a fluoroscopic imaging device 22, and a display device 23.
- the intravascular image diagnostic device 21 is a device for imaging an intravascular tomographic image of a patient, for example, an IVUS (Intravascular Ultrasound) device that performs an ultrasonic examination using a catheter 211.
- Catheter 211 is a medical device that is inserted into a patient's blood vessel and comprises an imaging core that transmits ultrasonic waves and receives reflected waves from within the blood vessel.
- the intravascular diagnostic imaging apparatus 21 generates an ultrasonic tomographic image (transverse layer image) based on the signal of the reflected wave received by the catheter 211 and displays it on the display apparatus 23.
- the intravascular diagnostic imaging apparatus 21 generates an ultrasonic tomographic image.
- an optical coherence tomography by an optical method such as OCT (Optical Coherence Tomography) or OFDI (Optical Frequency Domain Imaging).
- OCT Optical Coherence Tomography
- OFDI Optical Frequency Domain Imaging
- the fluoroscopic image capturing device 22 is a device unit for capturing a fluoroscopic image that sees through the inside of a patient, and is, for example, an angiography device that performs angiography examination.
- the fluoroscopic image capturing device 22 includes an X-ray source 221 and an X-ray sensor 222, and generates an X-ray fluoroscopic image when the X-ray sensor 222 receives the X-rays emitted from the X-ray source 221.
- an X-ray opaque marker is attached to the tip of the catheter 211, and it is possible to align with the tomographic image generated by the intravascular diagnostic imaging apparatus 21.
- ultrasonic tomography optical interference tomography
- angiography are given as examples of medical images, but medical images are computed tomography (CT) images, magnetic resonance imaging (MRI), and the like. There may be.
- CT computed tomography
- MRI magnetic resonance imaging
- the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, such as a server computer and a personal computer.
- the information processing device 1 is a server computer, and in the following, it will be read as server 1 for the sake of brevity.
- the server 1 may be a local server installed in the same facility (hospital or the like) as the diagnostic imaging system 2, or may be a cloud server communicated and connected via the Internet or the like.
- the server 1 functions as a treatment support device that outputs complication information regarding complications that may occur after treatment based on medical images (tomographic images and fluoroscopic images) of a patient performing endovascular treatment.
- the server 1 prepares in advance a learning model 50 (see FIG. 4) that performs machine learning to learn predetermined training data, inputs medical images, and outputs complication information. be.
- the server 1 inputs a medical image of the patient to be treated into the learning model 50, and acquires complication information from the learning model 50.
- the server 1 outputs the complication information acquired from the learning model 50 to the diagnostic imaging system 2 and displays it on the display device 23.
- Complication information is a prediction result regarding complications that may occur due to endovascular treatment, and is information for assisting a user (medical worker) who treats a patient from the viewpoint of preventing complications.
- endovascular treatment is taken as an example, and the prediction result of complications that may occur due to PCI (Percutaneous Coronary Intervention) using the catheter 211 is output as complication information.
- complication information includes prediction results of complication occurrence conditions such as therapeutic devices that can cause complications and their usage conditions, in addition to the types of complications that are likely to occur and their probability values.
- the therapeutic device is, for example, a stent placed in a blood vessel, a balloon used for vasodilation, or the like, and is a device inserted into a patient's blood vessel.
- the server 1 detects a dangerous area where complications may occur from the medical image, generates a second medical image showing the detected dangerous area, and displays it on the display device 23.
- Hazardous areas are relevant areas of blood vessels where complications are likely to occur, and are specific image areas within medical images.
- the server 1 detects a dangerous area from the medical image using the learning model 50, generates a second medical image in which the dangerous area can be identified by means such as color display, and displays it on the display device 23.
- the processing using the learning model 50 is performed on the server 1, but the learning model 50 constructed by the server 1 may be installed in the diagnostic imaging system 2 and the processing may be executed locally. ..
- FIG. 2 is a block diagram showing a configuration example of the server 1.
- the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
- the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
- the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
- the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
- the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores a program P and other data necessary for the control unit 11 to execute processing. Further, the auxiliary storage unit 14 stores the learning model 50 and the countermeasure information DB 141.
- the learning model 50 is a machine learning model in which training data has been learned as described above, and is a model that outputs complication information regarding complications that may occur after treatment by inputting a medical image.
- the learning model 50 is expected to be used as a program module constituting artificial intelligence software.
- the countermeasure information DB 141 is a database that stores countermeasure information for complications. In the present embodiment, the server 1 predicts complications using the learning model 50, and presents to the user information on countermeasures against complications that are likely to occur.
- the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
- the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 is provided with a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory, and reads a program P from the portable storage medium 1a. You may try to execute it. Alternatively, the server 1 may read the program P from the semiconductor memory 1b.
- a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory
- FIG. 3 is an explanatory diagram showing an example of the record layout of the countermeasure information DB 141.
- the countermeasure information DB 141 includes a complication ID column, a complication name column, a category column, and a countermeasure information column.
- the complication ID stores a complication ID for identifying each complication that may occur due to endovascular treatment.
- Each of the complication name column, category column, and countermeasure information column stores the complication name, category, and countermeasure information in association with the complication ID.
- FIG. 4 is an explanatory diagram showing an outline of the learning model 50.
- the learning model 50 is a machine learning model that inputs medical images imaged by the diagnostic imaging system 2 and outputs information on complications that may occur after treatment.
- the server 1 performs machine learning to learn predetermined training data and generates a learning model 50 in advance. Then, the server 1 inputs the medical image acquired from the diagnostic imaging system 2 into the learning model 50, and outputs the complication information.
- the learning model 50 captures an ultrasonic tomographic image (transverse layer image) imaged by the intravascular image diagnostic device 21 and a fluoroscopic image taken by the fluoroscopic image capturing device 22. Input. Then, the learning model 50 outputs the estimation results estimated for each item shown in the upper right of FIG. 4 as complication information.
- the learning model 50 outputs the probability value of each of a plurality of types of complications as one of the estimation items.
- the server 1 performs learning using case data of a plurality of types of complications as training data, and prepares a learning model 50 that estimates a probability value representing the probability that each type of complication will occur.
- the complications to be estimated are not particularly limited, but typical examples of complications associated with PCI include hemorrhagic complications, lateral branch obstruction, and peripheral embolism.
- Hemorrhagic complications include rupture of blood vessels, dissection of blood vessel walls, and the like. For example, rupture of blood vessels may occur when the balloon is dilated at a lesion with unevenly distributed calcified tissue.
- the edge of the stent may cause dissection of the blood vessel wall or rupture of the plaque.
- Side branch obstruction is a complication that obstructs the side branch blood vessels by treating the main trunk (main branch).
- main trunk main branch
- the entrance portion of the side branch may be compressed and blocked.
- Peripheral embolism is a complication that embolizes the peripheral artery due to thrombus and the like caused by mechanical stimulation of endovascular treatment.
- vulnerable plaque plaque containing lipid components and inflammatory cells
- the contents of the plaque may flow out due to mechanical stimulation, resulting in thrombus.
- the learning model 50 estimates a probability value indicating the probability that each type of complication will occur from a medical image and outputs it as complication information.
- the above complications are examples, and the complications to be estimated are not limited to these.
- the complication information includes the estimation results regarding the conditions for the occurrence of complications.
- the learning model 50 estimates a therapeutic device that can cause complications, or the conditions of use of the therapeutic device.
- the therapeutic device is, for example, a balloon for dilating a blood vessel, a stent to be placed in the blood vessel, or the like, and is a device to be inserted into the blood vessel.
- the therapeutic device is not limited to a balloon and a stent, and may be, for example, a rotablator for excision of a lesion.
- the learning model 50 estimates the expansion diameter, expansion pressure, expansion time, etc. of a balloon that is likely to cause complications, as shown in the upper right of FIG.
- the learning model 50 may estimate information on the therapeutic device itself (for example, stent diameter, length, balloon type, length, etc.) that is likely to cause complications. good.
- the learning model 50 outputs the probability value of each type of complication, the occurrence condition, etc. as complication information, and also outputs a second medical image obtained by processing a risk area where complications may occur with respect to the input medical image. Generate and output as one of complication information.
- the second medical image is a medical image showing an image area where there is a high risk of complications, and as shown by hatching on the right side of FIG. 4, the dangerous area is displayed in a display mode different from other image areas. ..
- the learning model 50 generates a tomographic image and a fluoroscopic image in which a translucent mask of a display color other than black and white is superimposed on the tomographic image and the fluoroscopic image represented in black and white, and displays the tomographic image and the fluoroscopic image on the display device 23.
- the learning model 50 changes the display mode (display color) of the dangerous area according to the type of complications corresponding to the dangerous area. As a result, the user can easily grasp which complication the dangerous area presented in the second medical image corresponds to.
- FIG. 5 is an explanatory diagram showing the details of the learning model 50.
- FIG. 5 illustrates an example of the network configuration of the learning model 50.
- the learning model 50 is a neural network generated by deep learning, and is a CNN (Convolutional Neural Network) that extracts features of an input image from a large number of convolutional layers.
- the learning model 50 includes an intermediate layer (hidden layer) in which a convolution layer for convolving the pixel information of the input image and a pooling layer for mapping the convoluted pixel information are alternately connected, and a feature amount (feature amount) of the input image is provided. Map) is extracted.
- the learning model 50 outputs complication information based on the extracted features.
- the learning model 50 is described as being a CNN, but for example, another neural network such as an RNN (Recurrent Neural Network), or a GAN (Generative Adversarial Network) or SVM (Support Vector Machine) is determined. It may be another machine learning model such as a tree.
- RNN Recurrent Neural Network
- GAN Geneative Adversarial Network
- SVM Serial Vector Machine
- the learning model 50 includes a first encoder 51, a second encoder 52, a classifier 53, a first decoder 54, and a second decoder 55.
- the first encoder 51 and the second encoder 52 are encoders that receive input of a tomographic image acquired from the intravascular image diagnostic apparatus 21 and a fluoroscopic image acquired from the fluoroscopic image capturing apparatus 22, respectively, and are input images by a large number of convolution layers. It is an extractor that extracts the feature amount of.
- the first encoder 51 and the second encoder 52 convolve the tomographic image and the fluoroscopic image, respectively, and extract the feature amount of each image.
- the classifier 53 is a classifier that classifies classes based on the features extracted by the first encoder 51 and the second encoder 52, and complications other than the second medical image such as the probability value of complications and the conditions of occurrence. It is an estimator that estimates information. For example, the server 1 synthesizes the feature amounts of the images extracted by the first encoder 51 and the second encoder 52 and inputs them to the classifier 53 to estimate the probability value of each type of complication.
- the first decoder 54 and the second decoder 55 are detectors for detecting a dangerous area from a tomographic image and a fluoroscopic image, respectively, and are, for example, decoders related to semantic segmentation (U-net or the like).
- the first decoder 54 and the second decoder 55 detect a dangerous region on a pixel-by-pixel basis from a tomographic image and a fluoroscopic image based on the feature quantities extracted by the first encoder 51 and the second encoder 52.
- Semantic segmentation is a type of CNN, and is a type of encoder-decoder model that generates output data from input data.
- the semantic segmentation includes a deconvolution layer (Deconvolution Layer) that maps (enlarges) the features obtained by compression to the original image size, in addition to the convolution layer that compresses the data of the input image.
- Deconvolution Layer maps (enlarges) the features obtained by compression to the original image size, in addition to the convolution layer that compresses the data of the input image.
- the deconvolution layer based on the feature amount extracted by the convolution layer, which object exists in which position in the image is identified for each pixel, and the label image in which each pixel corresponds to which object is binarized. To generate.
- the first decoder 54 and the second decoder 55 each have a large number of deconvolution layers, and generate a label image in which the danger region is binarized for each of the tomographic image and the fluoroscopic image.
- the server 1 synthesizes the feature quantities of the tomographic image and the fluoroscopic image extracted by the first encoder 51 and the second encoder 52 and inputs them to the first decoder 54 and the second decoder 55 to generate a label image.
- semantic segmentation is used to detect the dangerous area, but other object detection models such as R-CNN (Region CNN) and YOLO (You Look Only Once) may be used.
- R-CNN Region CNN
- YOLO You Look Only Once
- the configuration of the learning model 50 illustrated in FIG. 5 is an example, and the present embodiment is not limited to this.
- the server 1 may separately prepare a model for estimating the probability value of complications and the like and a model for detecting a dangerous area.
- a model for detecting dangerous areas semantic segmentation
- a model for estimating probability values etc.
- the region detection result may be used to estimate the probability value of complications and the like. In this way, the configuration of the learning model 50 can be changed as appropriate.
- the server 1 learns from the medical image for training by using the training data in which the correct complication information is added as label data (metadata). For example, the server 1 uses data of a plurality of patients who have complications after treatment as training data. In the training data, for intravascular tomographic images and fluoroscopic images of patients with complications, the type of complications that occurred and the conditions under which the complications occurred (balloon expansion diameter, expansion pressure, expansion time, etc.) ), And label data indicating the area (dangerous area) in the medical image where the complication has occurred are attached.
- training data may include not only data of patients with complications but also data of patients without complications. Further, the training data is not limited to the actual patient data, and may be virtual data inflated by a data generation means such as GAN.
- the server 1 inputs the tomographic image and the fluoroscopic image for training into the first encoder 51 and the second encoder 52 to extract the feature amount, and the extracted feature amount is used as the classifier 53, the first decoder 54, and the second decoder. Input to each of 55 and output complication information.
- the server 1 compares the output complication information with the correct complication information, and optimizes parameters such as weights between neurons so that the two can be approximated. As a result, the server 1 generates the learning model 50.
- the server 1 When actually outputting the complication information for the patient to be treated, the server 1 acquires the medical image of the patient to be treated from the diagnostic imaging system 2 and inputs it to the learning model 50 to output the complication information. Specifically, as shown in FIG. 4, the server 1 acquires a tomographic image of a plurality of frames continuous along the longitudinal direction of the blood vessel from the intravascular diagnostic imaging apparatus 21 according to the scanning of the catheter 211, and the tomographic image. The fluoroscopic image taken at the time of generation is acquired from the fluoroscopic image capturing apparatus 22. The server 1 inputs a tomographic image of a plurality of frames to the first encoder 51, inputs a fluoroscopic image to the second encoder 52, and outputs complication information to the display device 23.
- the server 1 may input the tomographic images of a plurality of frames into the learning model 50 one by one and process them, but the tomographic images of a plurality of consecutive frames are collectively input and complications are obtained from the tomographic images of the plurality of frames. It is preferable that the information can be estimated.
- the learning model 50 is configured as a 3D-CNN (for example, 3D U-net)
- the tomographic image of a plurality of frames is set to two axes with the coordinates of the two-dimensional tomographic image as two axes, and the tomographic image of each frame is acquired. It is treated as three-dimensional data with (at the time of generation) as one axis.
- the server 1 inputs a tomographic image (for example, 16 frames) for a predetermined unit time into the learning model 50 as a set, and predicts complication information from the tomographic images of a plurality of frames.
- the server 1 uses the learning model 50 as a model in which CNN and RNN are combined, and inserts an LSTM (Long-Short Term Memory) layer that stores the feature amount of the tomographic image of each frame behind the encoder.
- Complication information may be predictable from the features of the tomographic image of the frame.
- FIG. 6 is an explanatory diagram showing an example of a display screen for complication information.
- FIG. 6 illustrates an example of a display screen of complication information output from the server 1.
- the screen includes a list of complications 61, a list of occurrence conditions 62, a countermeasure information column 63, a tomographic image 64, and a fluoroscopic image 65.
- the complication list 61 is a list showing the probability values of each type of complications output from the classifier 53. For example, the server 1 determines whether or not the probability value of each type of complication output from the classifier 53 is equal to or greater than a predetermined threshold value. The server 1 outputs the name (type) of complications determined to be equal to or higher than the threshold value and the probability value of each complication as a complication list 61.
- the occurrence condition list 62 is a list showing the occurrence conditions of complications output from the classifier 53.
- the display device 23 accepts a designated input for designating the name (type) of complications for displaying the occurrence conditions for the complication list 61. Then, the display device 23 displays the estimated value of the occurrence condition of the designated complication in the occurrence condition list 62. Specifically, the display device 23 displays the expansion diameter, expansion pressure, expansion time, etc. of the balloon, which is likely to cause complications.
- the countermeasure information column 63 is a display column for displaying countermeasure information for complications. For example, similarly to the occurrence condition list 62, when the display device 23 accepts the designated input of the name of the complication in the complication list 61, the display device 23 displays the countermeasure information of the designated complication in the countermeasure information column 63.
- the countermeasure information is information indicating a method for preventing complications, for example, a therapeutic device effective in preventing complications, or information indicating how to use the therapeutic device.
- the server 1 reads the countermeasure information for complications having a high probability value from the countermeasure information DB 141 according to the complication information output from the classifier 53, and outputs the countermeasure information to the display device 23.
- the server 1 outputs countermeasure information indicating another therapeutic device effective in preventing complications, and proposes to the user the combined use or substitution of the device.
- the countermeasure information may be not only a preventive method for complications but also an ex post facto treatment method that can be taken after the complications occur.
- the display device 23 displays the tomographic image 64 generated by the intravascular image diagnostic device 21 and the fluoroscopic image 65 taken by the fluoroscopic image capturing device 22.
- the display device 23 displays the second medical image obtained by processing the dangerous area of the original medical image as the tomographic image 64 and the fluoroscopic image 65.
- the display device 23 superimposes a semi-transparent mask on the dangerous area to display a second medical image showing the dangerous area in a display mode different from that of other image areas.
- FIG. 6 shows a two-dimensional tomographic image and a perspective image as the second medical image
- the server 1 reconstructs the two-dimensional tomographic image and the perspective image to generate a three-dimensional blood vessel image. It may be displayed on the display device 23.
- the server 1 sequentially inputs a plurality of tomographic images (transverse layer images) sequentially acquired from the intravascular diagnostic imaging apparatus 21 and a fluoroscopic image into the learning model 50 to process a dangerous area.
- a plurality of tomographic images and a fluoroscopic image are generated as a second medical image.
- the server 1 aligns each tomographic image with the fluoroscopic image according to the position of the catheter 211 detected by a means such as an X-ray opaque marker, and generates a three-dimensional blood vessel image. This makes it possible to represent the dangerous area where complications may occur in the blood vessel in three dimensions and present it to the user.
- FIG. 7 is a flowchart showing the procedure of the generation process of the learning model 50. Based on FIG. 7, the processing content when the learning model 50 is generated by machine learning will be described.
- the control unit 11 of the server 1 acquires training data including a medical image for training and information on complications of correct answers (step S11). For example, the control unit 11 has label data indicating the type of complications that have occurred, the conditions under which the complications have occurred, the area (dangerous area) in the medical image in which the complications have occurred, and the like with respect to the medical image of the patient who has complications after treatment. Acquire the given training data.
- the control unit 11 Based on the training data, the control unit 11 generates a learning model 50 that outputs complication information regarding complications that may occur after treatment when a medical image is input (step S12). For example, the control unit 11 generates a neural network related to CNN as a learning model 50 as described above. The control unit 11 inputs a medical image for training into the learning model 50, and acquires complication information as an output. The control unit 11 compares the output complication information with the correct complication information, optimizes parameters such as weights between neurons so that the two are close to each other, and generates a learning model 50. The control unit 11 ends a series of processes.
- FIG. 8 is a flowchart showing a procedure for outputting complication information. Based on FIG. 8, the processing content when outputting the complication information of the patient to be treated using the learning model 50 will be described.
- the control unit 11 of the server 1 acquires a medical image of the blood vessel of the patient to be treated from the diagnostic imaging system 2 (step S31).
- the control unit 11 inputs the acquired medical image into the learning model 50 and estimates the probability value and the occurrence condition of each of the plurality of possible complications (step S32).
- control unit 11 detects a dangerous area where complications may occur from the medical image acquired in step S11 (step S33).
- the control unit 11 displays a second medical image showing the danger region detected in step S33, in addition to the probability value of each complication estimated in step S32, the occurrence condition, the countermeasure information of the complication whose probability value is equal to or higher than the threshold value, and the like. It is generated, output to the display device 23, and displayed (step S34).
- the control unit 11 ends a series of processes.
- the server 1 may use information (stent diameter, length, balloon type, length, etc.) of a therapeutic device such as a balloon or a stent for input in addition to the medical image. Thereby, from the information of the therapeutic device itself, it is possible to preferably estimate the usage conditions in which complications are likely to occur when the device is used.
- the server 1 may use medical information (for example, age, gender, medical history, etc.) of the patient to be treated for input.
- the input to the learning model 50 is not limited to the image only.
- the risk of complications can be suitably evaluated by using the learning model 50 in which the training data has been learned.
- the prevention of complications is more preferably supported by outputting the conditions for the occurrence of complications such as the therapeutic device that may cause complications and the conditions of use (extended conditions) thereof. can do.
- FIG. 9 is an explanatory diagram showing an outline of the learning model 50 according to the second embodiment.
- the learning model 50 uses only the tomographic image acquired from the intravascular image diagnostic apparatus 21 as a medical image as an input. Specifically, the learning model 50 inputs a tomographic image of a plurality of frames continuous along the longitudinal direction of the blood vessel, estimates the probability value of complications, and the detection result of a dangerous region in the tomographic image of each frame. And is the output.
- the learning model 50 removes the second encoder 52 and the second decoder 55 from the network structure illustrated in FIG. 5, and uses only the first encoder 51, the classifier 53, and the first decoder 54.
- the learning model 50 outputs the prediction results of the classifier 53 and the first decoder 54 as complication information.
- FIG. 10 is an explanatory diagram showing an example of a display screen of complication information according to the second embodiment.
- the display device 23 displays the complication list 61, the occurrence condition list 62, the countermeasure information column 63, and the tomographic image 64, as in the first embodiment.
- the display device 23 further displays the vertical tomographic image 66.
- the vertical tomographic image 66 is an image of an image of a cross section of a blood vessel parallel to the longitudinal direction, and is a tomographic image in which the direction of the cross section is orthogonal to the transverse layer image.
- the server 1 reconstructs a cross-layer image of a plurality of frames generated by the intravascular diagnostic imaging apparatus 21, generates a longitudinal tomographic image 66 along the longitudinal direction of the blood vessel, and displays it on the display device 23.
- the server 1 generates a vertical tomographic image 66 that can identify the dangerous area and displays it on the display device 23, similarly to the tomographic image 64 (cross-layer image). For example, as shown by hatching in FIG. 10, the server 1 generates a vertical tomographic image 66 in which a translucent mask is superimposed on a portion corresponding to a dangerous area, and displays the vertical tom image 66 on the display device 23.
- the server 1 identifies the dangerous area in the vertical tomographic image 66 based on the detection result of the dangerous area in each of the plurality of cross-layer images that are the source of the vertical tomographic image 66. That is, when a dangerous area is detected from a plurality of continuous cross-layer images, the server 1 identifies the area of the vertical tomographic image 66 corresponding to each cross-layer image as the dangerous area and superimposes the translucent mask. The server 1 outputs the vertical tomographic image 66 processed so that the dangerous area can be identified to the display device 23 and displays it.
- FIG. 11 is a flowchart showing a procedure for outputting complication information according to the third embodiment.
- the server 1 executes the following processing.
- the control unit 11 of the server 1 receives the correction input of the complication information output to the display device 23 from the user (step S301).
- the control unit 11 receives a correction input for correcting the information of each item displayed in the complication list 61 and the occurrence condition list 62 on the display screen illustrated in FIG.
- the server 1 accepts a designated input for designating the correct coordinate range when the coordinate range of the dangerous area is different from the actual coordinate range of the second medical image displayed as the tomographic image 64 and the fluoroscopic image 65.
- the control unit 11 When the correction input of the complication information is received, the control unit 11 performs re-learning using the medical image input to the learning model 50 and the corrected complication information as training data, and updates the learning model 50 ( Step S302). That is, the control unit 11 updates parameters such as weights between neurons so that the complication information output from the learning model 50 approximates the corrected complication information.
- the control unit 11 ends a series of processes.
- the learning model 50 can be updated through the operation of this system, and the estimation accuracy of complication information can be improved.
- 1 Server (information processing device) 1a Portable storage medium 1b Semiconductor memory 11 Control unit 12 Main storage unit 13 Communication unit 14 Auxiliary storage unit 50 Learning model 51 1st encoder 52 2nd encoder 53 Classifier 54 1st decoder 55 2nd decoder P program 2 Image diagnostic system 21 Intravascular image diagnostic device 211 Catheter 22 Fluoroscopic imaging device 23 Display device 221 X-ray source 222 X-ray sensor 61 Complication list 62 Occurrence condition list 63 Countermeasure information column 64 Fault image 65 Fluoroscopic image 66 Vertical tomographic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
プログラムは、治療前の患者の管腔器官をイメージングした医用画像を取得し、前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する処理をコンピュータに実行させる。好適には、発生し得る前記合併症の種類と、該種類の合併症が発生する確からしさを表す確率値とを含む前記合併症情報を出力する。
Description
本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。
医療分野において、手術、検査等の医療行為に起因して発生する合併症が問題になる。これに伴い、合併症の防止を支援するための種々のシステムが提案されている。
例えば特許文献1では、X線CT(Computed Tomography)装置で撮影された医用画像から心臓の大動脈弁の周囲に存在する周辺組織の領域を検出し、大動脈弁と置換する人工弁のモデルイメージを医用画像内に配置して、周辺組織の領域と人工弁のモデルイメージとの距離から合併症のリスクを評価する医用画像処理装置等が開示されている。
しかしながら、特許文献1に係る発明は、画像内の距離に基づく単純なパターンマッチングで合併症のリスクを評価しており、必ずしも精度が良いものとは言えない。
一つの側面では、合併症のリスクを好適に評価することができるプログラム等を提供することを目的とする。
一つの側面に係るプログラムは、治療前の患者の管腔器官をイメージングした医用画像を取得し、前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する処理をコンピュータに実行させる。
一つの側面では、合併症のリスクを好適に評価することができる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、治療支援システムの構成例を示す説明図である。実施の形態では、血管内治療を実施する患者の血管をイメージングした医用画像に基づき、治療後に発生し得る合併症に関する合併症情報を出力する治療支援システムについて説明する。治療支援システムは、情報処理装置1、画像診断システム2を有する。情報処理装置1及び画像診断システム2は、LAN(Local Area Network)、インターネット等のネットワークNに通信接続されている。
(実施の形態1)
図1は、治療支援システムの構成例を示す説明図である。実施の形態では、血管内治療を実施する患者の血管をイメージングした医用画像に基づき、治療後に発生し得る合併症に関する合併症情報を出力する治療支援システムについて説明する。治療支援システムは、情報処理装置1、画像診断システム2を有する。情報処理装置1及び画像診断システム2は、LAN(Local Area Network)、インターネット等のネットワークNに通信接続されている。
なお、本実施の形態では血管内治療を一例に説明するが、対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸などのその他の管腔器官であってもよい。
画像診断システム2は、血管内画像診断装置21、透視画像撮影装置22、表示装置23を有する。血管内画像診断装置21は、患者の血管内断層像をイメージングするための装置であり、例えばカテーテル211を用いた超音波検査を行うIVUS(Intravascular Ultrasound)装置である。カテーテル211は患者の血管内に挿入される医用器具であり、超音波を送信すると共に血管内からの反射波を受信するイメージングコアを備える。血管内画像診断装置21は、カテーテル211で受信した反射波の信号に基づいて超音波断層像(横断層像)を生成し、表示装置23に表示させる。
なお、本実施の形態では血管内画像診断装置21が超音波断層像を生成するものとするが、例えばOCT(Optical Coherence Tomography)、OFDI(Optical Frequency Domain Imaging)等の光学的手法による光干渉断層像を生成してもよい。
透視画像撮影装置22は、患者体内を透視した透視画像を撮影するための装置ユニットであり、例えば血管造影検査を行うアンギオグラフィ装置である。透視画像撮影装置22は、X線源221、X線センサ222を備え、X線源221から照射されたX線をX線センサ222が受信することにより、X線透視画像を生成する。例えばカテーテル211の先端にはX線不透過マーカが装着されており、血管内画像診断装置21で生成される断層像との位置合わせが可能となっている。
なお、上記では医用画像の一例として超音波断層像、光干渉断層像、アンギオグラフィ画像を挙げたが、医用画像はコンピュータ断層撮影(CT)画像、磁気共鳴画像(MRI;Magnetic Resonance Imaging)などであってもよい。
情報処理装置1は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置1がサーバコンピュータであるものとし、以下では簡潔のためサーバ1と読み替える。なお、サーバ1は画像診断システム2と同じ施設(病院等)に設置されたローカルサーバであってもよく、インターネット等を介して通信接続されたクラウドサーバであってもよい。サーバ1は、血管内治療を実施する患者の医用画像(断層像及び透視画像)に基づき、治療後に発生し得る合併症に関する合併症情報を出力する治療支援装置として機能する。具体的には後述のように、サーバ1は、所定の訓練データを学習する機械学習を行い、医用画像を入力として、合併症情報を出力する学習モデル50(図4参照)を予め用意してある。サーバ1は、治療対象の患者の医用画像を学習モデル50に入力し、合併症情報を学習モデル50から取得する。サーバ1は、学習モデル50から取得した合併症情報を画像診断システム2に出力し、表示装置23に表示させる。
合併症情報は、血管内治療に起因して発生し得る合併症に関する予測結果であり、合併症防止の観点から、患者を治療するユーザ(医療従事者)を補助するための情報である。本実施の形態では血管内治療を一例にして、カテーテル211を用いたPCI(Percutaneous Coronary Intervention;経皮的冠動脈形成術)に起因して発生し得る合併症の予測結果を合併症情報として出力する。例えば合併症情報は、発生する可能性が高い合併症の種類やその確率値のほかに、合併症発生の要因となり得る治療用デバイスやその使用条件など、合併症の発生条件の予測結果を含む。治療用デバイスは、例えば血管内に留置するステント、あるいは血管の拡張に用いられるバルーンなどであり、患者の血管内に挿入するデバイスである。
また、サーバ1は、合併症が発生し得る危険領域を医用画像から検出し、検出した危険領域を示す第2医用画像を生成して表示装置23に表示させる。危険領域は、合併症が発生する可能性が高い血管の該当箇所であり、医用画像内の特定の画像領域である。サーバ1は、学習モデル50を用いて医用画像から危険領域を検出し、カラー表示等の手段で危険領域を識別可能とした第2医用画像を生成し、表示装置23に表示させる。
なお、本実施の形態ではサーバ1において学習モデル50を用いた処理を行うものとするが、サーバ1が構築した学習モデル50を画像診断システム2にインストールし、ローカルで処理を実行してもよい。
図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムPを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムPを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP、その他のデータを記憶している。また、補助記憶部14は、学習モデル50、対策情報DB141を記憶している。学習モデル50は、上述の如く訓練データを学習済みの機械学習モデルであり、医用画像を入力として、治療後に発生し得る合併症に関する合併症情報を出力するモデルである。学習モデル50は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。対策情報DB141は、合併症への対策情報を格納するデータベースである。本実施の形態でサーバ1は、学習モデル50を用いて合併症の予測を行うと共に、発生する可能性が高い合併症への対策情報をユーザに提示する。
なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
また、本実施の形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ1は、CD(Compact Disk)、DVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ等の可搬型記憶媒体1aを読み取る読取部を備え、可搬型記憶媒体1aからプログラムPを読み取って実行するようにしても良い。あるいはサーバ1は、半導体メモリ1bからプログラムPを読み込んでも良い。
図3は、対策情報DB141のレコードレイアウトの一例を示す説明図である。対策情報DB141は、合併症ID列、合併症名列、カテゴリ列、対策情報列を含む。合併症IDは、血管内治療に起因して発生し得る各合併症を識別するための合併症IDを記憶している。合併症名列、カテゴリ列、対策情報列はそれぞれ、合併症IDと対応付けて、合併症の名称、カテゴリ、及び対策情報を記憶している。
図4は、学習モデル50の概要を示す説明図である。学習モデル50は、画像診断システム2においてイメージングされた医用画像を入力として、治療後に発生し得る合併症情報を出力する機械学習モデルである。サーバ1は、所定の訓練データを学習する機械学習を行って学習モデル50を事前に生成しておく。そしてサーバ1は、画像診断システム2から取得した医用画像を学習モデル50に入力し、合併症情報を出力する。
具体的には図4に示すように、学習モデル50は、血管内画像診断装置21でイメージングされた超音波断層像(横断層像)と、透視画像撮影装置22で撮影された透視画像とを入力とする。そして学習モデル50は、図4右上に示す各項目について推定した推定結果を合併症情報として出力する。
例えば学習モデル50は、推定項目の一つとして、複数種類の合併症それぞれの確率値を出力する。サーバ1は、複数種類の合併症の症例データを訓練データとする学習を行い、各種類の合併症が発生する確からしさを表す確率値を推定する学習モデル50を用意しておく。
推定対象とする合併症は特に限定されないが、PCIに伴う合併症の代表例として、出血性合併症、側枝閉塞、及び末梢塞栓がある。出血性合併症は、血管の破裂、血管壁の解離などが含まれる。例えば、偏在性の石灰化組織がある病変部でバルーンを拡張した場合に、血管の断裂が起きる場合がある。また、プラークがある部分でステントを拡張した場合に、ステントのエッジにより血管壁の解離やプラークの破裂が起きる場合がある。
側枝閉塞は、本幹(主枝)を治療することで側枝血管を閉塞させてしまう合併症である。本幹及び側枝が分かれる分岐部でバルーンの拡張やステントの留置を行った場合に、側枝の入口部分が圧迫されて閉塞してしまう場合がある。
末梢塞栓は、血管内治療の機械的刺激により血栓等が生じ、抹消動脈を塞栓する合併症である。例えば不安定プラーク(脂質成分や炎症細胞を含むプラーク)に対してバルーンの拡張やステントの留置を行った場合、機械的刺激によりプラークの内容物が流出して血栓が生じる場合がある。
学習モデル50は、医用画像から各種類の合併症が発生する確からしさを示す確率値を推定し、合併症情報として出力する。なお、上記の合併症は一例であり、推定対象とする合併症はこれらに限定されない。
また、合併症情報は、合併症の発生条件に関する推定結果を含む。具体的には、学習モデル50は、合併症の発生要因となり得る治療用デバイス、又はその治療用デバイスの使用条件を推定する。上述の如く、治療用デバイスは、例えば血管を拡張するためのバルーン、血管内に留置するステント等であり、血管内に挿入するデバイスである。なお、治療用デバイスはバルーン及びステントに限定されず、例えば病変部切除のためのロータブレータ等であってもよい。
例えば学習モデル50は、図4右上に示すように、合併症が発生する可能性が高いバルーンの拡張径、拡張圧、拡張時間などを推定する。なお、学習モデル50は、使用条件以外にも、合併症が発生する可能性が高い治療用デバイス自体の情報(例えばステントの直径、長さ、バルーンの種類、長さ等)を推定してもよい。
学習モデル50は、各種類の合併症の確率値、発生条件等を合併症情報として出力するほか、入力された医用画像に対し、合併症が発生し得る危険領域を加工した第2医用画像を生成し、合併症情報の一つとして出力する。第2医用画像は、合併症が発生するリスクが高い画像領域を示す医用画像であり、図4右側にハッチングで示すように、危険領域をその他の画像領域と異なる表示態様で表示する画像である。例えば学習モデル50は、白黒で表現される断層像及び透視画像に対し、白黒以外の表示色の半透明マスクを重畳した断層像及び透視画像を生成し、表示装置23に表示させる。
なお、学習モデル50は、危険領域に対応する合併症の種類に応じて、当該危険領域の表示態様(表示色)を変更すると好適である。これにより、第2医用画像で提示される危険領域がいずれの合併症に対応するか、ユーザは容易に把握することができる。
図5は、学習モデル50の詳細を示す説明図である。図5では、学習モデル50のネットワーク構成の一例を図示している。
例えば学習モデル50は、深層学習によって生成されるニューラルネットワークであり、多数の畳み込み層で入力画像の特徴量を抽出するCNN(Convolutional Neural Network)である。学習モデル50は、入力画像の画素情報を畳み込む畳み込み層と、畳み込んだ画素情報をマッピングするプーリング層とが交互に連結された中間層(隠れ層)を備え、入力画像の特徴量(特徴量マップ)を抽出する。学習モデル50は、抽出した特徴量に基づいて合併症情報を出力する。
なお、本実施の形態では学習モデル50がCNNであるものとして説明するが、例えばRNN(Recurrent Neural Network)等の他のニューラルネットワーク、又はGAN(Generative Adversarial Network)、SVM(Support Vector Machine)、決定木等の他の機械学習モデルであってもよい。
本実施の形態に係る学習モデル50は、第1エンコーダ51、第2エンコーダ52、分類器53、第1デコーダ54、第2デコーダ55を備える。第1エンコーダ51及び第2エンコーダ52はそれぞれ、血管内画像診断装置21から取得する断層像、及び透視画像撮影装置22から取得する透視画像の入力を受け付けるエンコーダであり、多数の畳み込み層により入力画像の特徴量を抽出する抽出器である。第1エンコーダ51及び第2エンコーダ52はそれぞれ、断層像及び透視画像の畳み込みを行い、各画像の特徴量を抽出する。
分類器53は、第1エンコーダ51及び第2エンコーダ52で抽出された特徴量に基づいてクラス分類を行う分類器であり、合併症の確率値、発生条件など、第2医用画像以外の合併症情報を推定する推定器である。例えばサーバ1は、第1エンコーダ51及び第2エンコーダ52で抽出した各画像の特徴量を合成して分類器53に入力し、各種類の合併症の確率値等を推定させる。
第1デコーダ54及び第2デコーダ55はそれぞれ、断層像及び透視画像から危険領域を検出する検出器であり、例えばセマンティックセグメンテーション(U-net等)に係るデコーダである。第1デコーダ54及び第2デコーダ55は、第1エンコーダ51及び第2エンコーダ52で抽出された特徴量に基づき、断層像及び透視画像から危険領域を画素単位で検出する。
セマンティックセグメンテーションはCNNの一種であり、入力データから出力データを生成するエンコーダ-デコーダモデルの一種である。セマンティックセグメンテーションは、入力画像のデータを圧縮する畳み込み層以外に、圧縮して得た特徴量を元の画像サイズにマッピング(拡大)する逆畳み込み層(Deconvolution Layer)を備える。逆畳み込み層では、畳み込み層で抽出した特徴量に基づき、画像内にどの物体がどの位置に存在するかを画素単位で識別し、各画素がどの物体に対応するかを二値化したラベル画像を生成する。
第1デコーダ54及び第2デコーダ55はそれぞれ、多数の逆畳み込み層を備え、断層像及び透視画像それぞれについて危険領域を二値化したラベル画像を生成する。例えばサーバ1は、第1エンコーダ51及び第2エンコーダ52で抽出した断層像及び透視画像の特徴量を合成して第1デコーダ54及び第2デコーダ55それぞれに入力し、ラベル画像を生成させる。
なお、本実施の形態では危険領域の検出にセマンティックセグメンテーションを用いるが、例えばR-CNN(Region CNN)、YOLO(You Look Only Once)など、その他の物体検出モデルを用いてもよい。
また、図5で例示した学習モデル50の構成は一例であり、本実施の形態はこれに限定されるものではない。例えばサーバ1は、合併症の確率値等を推定するためのモデルと、危険領域を検出するためのモデルとを別々に用意してもよい。また、危険領域検出用のモデル(セマンティックセグメンテーション)と、確率値等の推定用のモデルとを直列に接続し、前者のモデルでの危険領域の検出結果を後者のモデルに入力することで、危険領域の検出結果を合併症の確率値等の推定に用いてもよい。このように、学習モデル50の構成は適宜変更され得る。
サーバ1は、訓練用の医用画像に対し、正解の合併症情報がラベルデータ(メタデータ)として付与された訓練データを用いて学習を行う。例えばサーバ1は、治療後に合併症が発生した複数の患者のデータを訓練データとして用いる。訓練データでは、合併症が発生した患者の血管内断層像及び透視画像に対し、発生した合併症の種類、その合併症が発生した際の発生条件(バルーンの拡張径、拡張圧、拡張時間など)、及び合併症が発生した医用画像内の領域(危険領域)を示すラベルデータが付与されている。
なお、訓練データは合併症が発生した患者のデータだけでなく、合併症が発生しなかった患者のデータを含めてもよい。また、訓練データは実際の患者のデータに限定されず、GAN等のデータ生成手段によって水増しされた仮想のデータであってもよい。
サーバ1は、訓練用の断層像及び透視画像を第1エンコーダ51及び第2エンコーダ52に入力して特徴量を抽出し、抽出した特徴量を分類器53、第1デコーダ54、及び第2デコーダ55それぞれに入力して合併症情報を出力する。サーバ1は、出力された合併症情報を正解の合併症情報と比較して、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。これによりサーバ1は、学習モデル50を生成する。
実際に治療対象の患者について合併症情報を出力する場合、サーバ1は、画像診断システム2から治療対象の患者の医用画像を取得し、学習モデル50に入力して合併症情報を出力する。具体的には、サーバ1は、図4に示すように、カテーテル211の走査に従い、血管の長手方向に沿って連続する複数フレームの断層像を血管内画像診断装置21から取得すると共に、断層像生成時に撮影された透視画像を透視画像撮影装置22から取得する。サーバ1は、複数フレームの断層像を第1エンコーダ51に入力すると共に、透視画像を第2エンコーダ52に入力して、表示装置23に合併症情報を出力する。
なお、サーバ1は、複数フレームの断層像を学習モデル50に一枚ずつ入力して処理してもよいが、連続する複数フレームの断層像をまとめて入力し、複数フレームの断層像から合併症情報を推定可能とすると好適である。この場合、例えば学習モデル50を3D-CNN(例えば3D U-net)として構成し、複数フレームの断層像を、2次元の断層像の座標を2軸とし、各フレームの断層像を取得した時点(生成時点)を1軸とする3次元データとして取り扱う。サーバ1は、所定の単位時間分の断層像(例えば16フレーム)を一セットとして学習モデル50に入力し、複数フレームの断層像から合併症情報を予測する。
あるいはサーバ1は、学習モデル50を、CNN及びRNNを組み合わせたモデルとし、各フレームの断層像の特徴量を記憶するLSTM(Long-Short Term Memory)層をエンコーダの後ろに挿入することで、複数フレームの断層像の特徴量から合併症情報を予測可能としてもよい。連続する複数フレームの断層像をまとめて処理することで、ある位置での断層像だけでなく、その前後の位置での断層像も考慮して予測精度を高めることができる。
図6は、合併症情報の表示画面例を示す説明図である。図6では、サーバ1から出力された合併症情報の表示画面例を図示している。当該画面は、合併症一覧61、発生条件一覧62、対策情報欄63、断層像64、透視画像65を含む。
合併症一覧61は、分類器53から出力された各種類の合併症の確率値を示す一覧表である。例えばサーバ1は、分類器53から出力された各種類の合併症の確率値が、所定の閾値以上であるか否かを判定する。サーバ1は、閾値以上であると判定された合併症の名称(種類)と、各合併症の確率値とを合併症一覧61として出力する。
発生条件一覧62は、分類器53から出力された合併症の発生条件を示す一覧表である。例えば表示装置23は、合併症一覧61に対し、発生条件を表示する合併症の名称(種類)を指定する指定入力を受け付ける。そして表示装置23は、指定された合併症の発生条件の推定値を発生条件一覧62に表示する。具体的には、表示装置23は、合併症が発生する可能性が高いバルーンの拡張径、拡張圧、拡張時間等を表示する。
対策情報欄63は、合併症への対策情報を表示する表示欄である。例えば表示装置23は、発生条件一覧62と同様に、合併症一覧61において合併症の名称の指定入力を受け付けた場合、指定された合併症の対策情報を対策情報欄63に表示する。
対策情報は、合併症の予防方法を示す情報であり、例えば合併症の防止に有効な治療用デバイス、又はその治療用デバイスの使用方法を示す情報である。サーバ1は、分類器53から出力された合併症情報に応じて、確率値が高い合併症の対策情報を対策情報DB141から読み出し、表示装置23に出力する。例えばサーバ1は、合併症の防止に有効な他の治療用デバイスを示す対策情報を出力し、当該デバイスの併用若しくは代用をユーザに提案する。
なお、対策情報は合併症の予防方法だけでなく、合併症が発生した後に取り得る事後的な処置方法であってもよい。
さらに表示装置23は、血管内画像診断装置21で生成された断層像64と、透視画像撮影装置22で撮影した透視画像65とを表示する。この場合に表示装置23は、元の医用画像の危険領域を加工した第2医用画像を断層像64及び透視画像65として表示する。具体的には上述の如く、表示装置23は、危険領域に半透明マスクを重畳することで、危険領域を他の画像領域と異なる表示態様で示す第2医用画像を表示する。
なお、図6では第2医用画像として2次元の断層像及び透視画像を図示しているが、サーバ1は2次元の断層像及び透視画像を再構成し、3次元の血管画像を生成して表示装置23に表示させてもよい。上記で説明したように、サーバ1は、血管内画像診断装置21から順次取得する複数の断層像(横断層像)と、透視画像とを学習モデル50に順次入力して、危険領域を加工した複数の断層像と、透視画像とを第2医用画像として生成する。サーバ1は、X線不透過マーカ等の手段で検出したカテーテル211の位置に応じて各断層像と透視画像との位置合わせを行い、3次元の血管画像を生成する。これにより、血管内において合併症が発生し得る危険領域を3次元で表現し、ユーザに提示することができる。
図7は、学習モデル50の生成処理の手順を示すフローチャートである。図7に基づき、機械学習により学習モデル50を生成する際の処理内容を説明する。
サーバ1の制御部11は、訓練用の医用画像と、正解の合併症情報とを含む訓練データを取得する(ステップS11)。例えば制御部11は、治療後に合併症が発生した患者の医用画像に対し、発生した合併症の種類、発生条件、合併症が発生した医用画像内の領域(危険領域)等を示すラベルデータが付与された訓練データを取得する。
サーバ1の制御部11は、訓練用の医用画像と、正解の合併症情報とを含む訓練データを取得する(ステップS11)。例えば制御部11は、治療後に合併症が発生した患者の医用画像に対し、発生した合併症の種類、発生条件、合併症が発生した医用画像内の領域(危険領域)等を示すラベルデータが付与された訓練データを取得する。
制御部11は訓練データに基づき、医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力する学習モデル50を生成する(ステップS12)。例えば制御部11は、上述の如く、CNNに係るニューラルネットワークを学習モデル50として生成する。制御部11は、訓練用の医用画像を学習モデル50に入力し、合併症情報を出力として取得する。制御部11は、出力された合併症情報を正解の合併症情報と比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化して学習モデル50を生成する。制御部11は一連の処理を終了する。
図8は、合併症情報の出力処理の手順を示すフローチャートである。図8に基づき、学習モデル50を用いて治療対象の患者の合併症情報を出力する際の処理内容を説明する。
サーバ1の制御部11は、治療対象の患者の血管をイメージングした医用画像を画像診断システム2から取得する(ステップS31)。制御部11は、取得した医用画像を学習モデル50に入力して、想定される複数種類の合併症それぞれの確率値及び発生条件を推定する(ステップS32)。
サーバ1の制御部11は、治療対象の患者の血管をイメージングした医用画像を画像診断システム2から取得する(ステップS31)。制御部11は、取得した医用画像を学習モデル50に入力して、想定される複数種類の合併症それぞれの確率値及び発生条件を推定する(ステップS32)。
また、制御部11は、ステップS11で取得した医用画像から、合併症が発生し得る危険領域を検出する(ステップS33)。制御部11は、ステップS32で推定した各合併症の確率値、発生条件、確率値が閾値以上の合併症の対策情報等のほかに、ステップS33で検出した危険領域を示す第2医用画像を生成して表示装置23に出力し、表示させる(ステップS34)。制御部11は一連の処理を終了する。
なお、上記では学習モデル50への入力として医用画像のみを用いたが、本実施の形態はこれに限定されるものではない。例えばサーバ1は、医用画像以外に、治療用デバイスであるバルーン、ステント等の情報(ステントの直径、長さ、バルーンの種類、長さ等)を入力に用いてもよい。これにより、治療用デバイス自体の情報から、当該デバイスを使用した際に合併症が発生し得る可能性が高い使用条件を好適に推定することができる。この他にも、例えばサーバ1は、治療対象の患者の診療情報(例えば年齢、性別、既往歴等)を入力に用いてもよい。このように、学習モデル50への入力は画像のみに限定されない。
以上より、本実施の形態1によれば、訓練データを学習済みの学習モデル50を用いることで、合併症のリスクを好適に評価することができる。
また、本実施の形態1によれば、発生し得る合併症の種類及び確率値を出力することで、発生する可能性が高い合併症をユーザに提示することができる。
また、本実施の形態1によれば、合併症への対策情報も出力することで、治療の実施をより好適に支援することができる。
また、本実施の形態1によれば、合併症の要因となり得る治療用デバイスやその使用条件(拡張条件)など、合併症の発生条件を出力することで、合併症の防止をより好適に支援することができる。
また、本実施の形態1によれば、合併症が発生し得る危険領域を示す第2医用画像を出力することで、合併症が起きやすい部分を好適に把握することができる。
(実施の形態2)
本実施の形態では、医用画像として血管内断層像のみを用いる形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
本実施の形態では、医用画像として血管内断層像のみを用いる形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図9は、実施の形態2に係る学習モデル50の概要を示す説明図である。図9に示すように、本実施の形態に係る学習モデル50は、医用画像として、血管内画像診断装置21から取得する断層像のみを入力として用いる。具体的には、学習モデル50は、血管の長手方向に沿って連続する複数フレームの断層像を入力として、合併症の確率値等の推定結果と、各フレームの断層像における危険領域の検出結果とを出力とする。例えば学習モデル50は、図5で例示したネットワーク構造から第2エンコーダ52及び第2デコーダ55を除去し、第1エンコーダ51、分類器53、及び第1デコーダ54のみを用いる。学習モデル50は、分類器53及び第1デコーダ54での予測結果を合併症情報として出力する。
図10は、実施の形態2に係る合併症情報の表示画面例を示す説明図である。本実施の形態において表示装置23は、実施の形態1と同様に、合併症一覧61、発生条件一覧62、対策情報欄63、及び断層像64を表示する。また、表示装置23はさらに、縦断層像66を表示する。
縦断層像66は、長手方向と平行な血管の断面をイメージングした画像であり、横断層像と断面の向きが直交する断層像である。サーバ1は、血管内画像診断装置21で生成された複数フレームの横断層像を再構成し、血管の長手方向に沿う縦断層像66を生成して表示装置23に表示させる。
この場合にサーバ1は、断層像64(横断層像)と同様に、危険領域を識別可能とした縦断層像66を生成して表示装置23に表示させる。例えばサーバ1は、図10にハッチングで図示するように、危険領域に対応する部分に半透明マスクを重畳した縦断層像66を生成し、表示装置23に表示させる。
例えばサーバ1は、縦断層像66の元となる複数の横断層像それぞれにおける危険領域の検出結果に基づき、縦断層像66における危険領域を識別する。すなわち、サーバ1は、連続する複数の横断層像から危険領域が検出された場合、各横断層像に対応する縦断層像66の領域を危険領域と識別し、半透明マスクを重畳する。サーバ1は、危険領域を識別可能に加工した縦断層像66を表示装置23に出力し、表示させる。
上記の点以外は実施の形態1と同様であるため、本実施の形態ではフローチャートその他の詳細な説明を省略する。
(実施の形態3)
本実施の形態では、学習モデル50から出力された合併症情報を修正する修正入力をユーザから受け付け、修正後の合併症情報に基づく再学習を行う形態について説明する。
本実施の形態では、学習モデル50から出力された合併症情報を修正する修正入力をユーザから受け付け、修正後の合併症情報に基づく再学習を行う形態について説明する。
図11は、実施の形態3に係る合併症情報の出力処理の手順を示すフローチャートである。合併症情報を出力した後(ステップS34)、サーバ1は以下の処理を実行する。
サーバ1の制御部11は、表示装置23に出力した合併症情報の修正入力をユーザから受け付ける(ステップS301)。例えば制御部11は、図6で例示した表示画面において、合併症一覧61、発生条件一覧62で表示した各項目の情報を修正する修正入力を受け付ける。また、サーバ1は、断層像64、透視画像65として表示した第2医用画像に対して、危険領域の座標範囲が実際と異なる場合は、正しい座標範囲を指定する指定入力を受け付ける。
サーバ1の制御部11は、表示装置23に出力した合併症情報の修正入力をユーザから受け付ける(ステップS301)。例えば制御部11は、図6で例示した表示画面において、合併症一覧61、発生条件一覧62で表示した各項目の情報を修正する修正入力を受け付ける。また、サーバ1は、断層像64、透視画像65として表示した第2医用画像に対して、危険領域の座標範囲が実際と異なる場合は、正しい座標範囲を指定する指定入力を受け付ける。
合併症情報の修正入力を受け付けた場合、制御部11は、学習モデル50に入力した医用画像と、修正後の合併症情報とを訓練データとする再学習を行い、学習モデル50を更新する(ステップS302)。すなわち制御部11は、学習モデル50から出力される合併症情報が修正後の合併症情報に近似するように、ニューロン間の重み等のパラメータを更新する。制御部11は一連の処理を終了する。
以上より、本実施の形態3によれば、本システムの運用を通じて学習モデル50を更新し、合併症情報の推定精度を高めることができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 サーバ(情報処理装置)
1a 可搬型記憶媒体
1b 半導体メモリ
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
50 学習モデル
51 第1エンコーダ
52 第2エンコーダ
53 分類器
54 第1デコーダ
55 第2デコーダ
P プログラム
2 画像診断システム
21 血管内画像診断装置
211 カテーテル
22 透視画像撮影装置
23 表示装置
221 X線源
222 X線センサ
61 合併症一覧
62 発生条件一覧
63 対策情報欄
64 断層像
65 透視画像
66 縦断層像
1a 可搬型記憶媒体
1b 半導体メモリ
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
50 学習モデル
51 第1エンコーダ
52 第2エンコーダ
53 分類器
54 第1デコーダ
55 第2デコーダ
P プログラム
2 画像診断システム
21 血管内画像診断装置
211 カテーテル
22 透視画像撮影装置
23 表示装置
221 X線源
222 X線センサ
61 合併症一覧
62 発生条件一覧
63 対策情報欄
64 断層像
65 透視画像
66 縦断層像
Claims (15)
- 治療前の患者の管腔器官をイメージングした医用画像を取得し、
前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する
処理をコンピュータに実行させるプログラム。 - 発生し得る前記合併症の種類と、該種類の合併症が発生する確からしさを表す確率値とを含む前記合併症情報を出力する
請求項1に記載のプログラム。 - 前記合併症情報に応じて、発生し得る前記合併症への対策を示す対策情報を出力する
請求項2に記載のプログラム。 - 前記合併症が発生し得る発生条件を示す前記合併症情報を出力する
請求項1~3のいずれか1項に記載のプログラム。 - 前記管腔器官に挿入する治療用デバイス、又は該治療用デバイスの使用条件を前記発生条件として出力する
請求項4に記載のプログラム。 - 前記管腔器官は血管であり、
前記治療用デバイスによる前記血管の拡張条件を前記発生条件として出力する
請求項5に記載のプログラム。 - 前記モデルを用いて、合併症が発生し得る危険領域を前記医用画像から検出し、
検出した前記危険領域を示す第2医用画像を出力する
請求項1~6のいずれか1項に記載のプログラム。 - 前記管腔器官内をイメージングした断層像と、前記患者の体内の透視画像とを取得し、
前記断層像及び透視画像を前記モデルに入力して前記合併症情報を出力する
請求項1~7のいずれか1項に記載のプログラム。 - 前記管腔器官の長手方向に沿って連続する複数の横断層像を取得し、
前記複数の横断層像を前記モデルに入力して前記合併症情報を出力する
請求項1~8のいずれか1項に記載のプログラム。 - 前記モデルを用いて、前記複数の横断層像夫々から合併症が発生し得る危険領域を検出し、
前記複数の横断層像夫々における前記危険領域の検出結果に基づき、該危険領域を示す縦断層像を生成する
請求項9に記載のプログラム。 - 出力した前記合併症情報の修正入力を受け付け、
前記医用画像と、修正後の前記合併症情報とに基づき、前記モデルを更新する
請求項1~10のいずれか1項に記載のプログラム。 - 前記医用画像は、前記管腔器官の超音波断層像、光干渉断層像、透視画像、及び磁気共鳴画像の少なくともいずれか一つを含む
請求項1~11のいずれか1項に記載のプログラム。 - 治療前の患者の管腔器官をイメージングした医用画像を取得し、
前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する
処理をコンピュータが実行する情報処理方法。 - 治療前の患者の管腔器官をイメージングした医用画像を取得する取得部と、
前記医用画像を入力した場合に、治療後に発生し得る合併症に関する合併症情報を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記合併症情報を出力する出力部と
を備える情報処理装置。 - 治療前の患者の管腔器官をイメージングした医用画像と、治療後に発生した合併症に関する合併症情報とを含む訓練データを取得し、
前記訓練データに基づき、前記医用画像を入力した場合に前記合併症情報を出力する学習済みモデルを生成する
処理をコンピュータが実行するモデル生成方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21774718.7A EP4129196A4 (en) | 2020-03-27 | 2021-03-09 | PROGRAM, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING DEVICE AND PATTERN GENERATION METHOD |
CN202180024597.1A CN115348840A (zh) | 2020-03-27 | 2021-03-09 | 程序、信息处理方法、信息处理装置及模型生成方法 |
JP2022509531A JP7490045B2 (ja) | 2020-03-27 | 2021-03-09 | プログラム、情報処理方法、情報処理装置及びモデル生成方法 |
US17/953,581 US20230012527A1 (en) | 2020-03-27 | 2022-09-27 | Program, information processing method, information processing apparatus, and model generation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-058997 | 2020-03-27 | ||
JP2020058997 | 2020-03-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/953,581 Continuation US20230012527A1 (en) | 2020-03-27 | 2022-09-27 | Program, information processing method, information processing apparatus, and model generation method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021193015A1 true WO2021193015A1 (ja) | 2021-09-30 |
Family
ID=77890169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/009280 WO2021193015A1 (ja) | 2020-03-27 | 2021-03-09 | プログラム、情報処理方法、情報処理装置及びモデル生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230012527A1 (ja) |
EP (1) | EP4129196A4 (ja) |
JP (1) | JP7490045B2 (ja) |
CN (1) | CN115348840A (ja) |
WO (1) | WO2021193015A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023215510A1 (en) * | 2022-05-06 | 2023-11-09 | Boston Scientific Scimed, Inc. | Predicting vessel compliance responsive to multiple potential treatments |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150087957A1 (en) * | 2013-09-25 | 2015-03-26 | Siemens Aktiengesellschaft | Early therapy response assessment of lesions |
US20190021677A1 (en) * | 2017-07-18 | 2019-01-24 | Siemens Healthcare Gmbh | Methods and systems for classification and assessment using machine learning |
US20190198169A1 (en) * | 2017-12-27 | 2019-06-27 | General Electric Company | Patient healthcare interaction device and methods for implementing the same |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102380008B1 (ko) * | 2013-07-30 | 2022-03-29 | 하트플로우, 인크. | 최적화된 진단적 성과를 위한 경계 조건에서 혈류를 모형화하기 위한 방법과 시스템 |
US9888968B2 (en) * | 2014-07-22 | 2018-02-13 | Siemens Healthcare Gmbh | Method and system for automated therapy planning for arterial stenosis |
US11094058B2 (en) * | 2015-08-14 | 2021-08-17 | Elucid Bioimaging Inc. | Systems and method for computer-aided phenotyping (CAP) using radiologic images |
US20180315507A1 (en) | 2017-04-27 | 2018-11-01 | Yale-New Haven Health Services Corporation | Prediction of adverse events in patients undergoing major cardiovascular procedures |
EP3716207B1 (en) * | 2019-03-26 | 2023-11-29 | Active Medical B.V. | Method and apparatus for diagnostic analysis of the function and morphology of microcirculation alterations |
-
2021
- 2021-03-09 WO PCT/JP2021/009280 patent/WO2021193015A1/ja unknown
- 2021-03-09 CN CN202180024597.1A patent/CN115348840A/zh active Pending
- 2021-03-09 EP EP21774718.7A patent/EP4129196A4/en active Pending
- 2021-03-09 JP JP2022509531A patent/JP7490045B2/ja active Active
-
2022
- 2022-09-27 US US17/953,581 patent/US20230012527A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150087957A1 (en) * | 2013-09-25 | 2015-03-26 | Siemens Aktiengesellschaft | Early therapy response assessment of lesions |
US20190021677A1 (en) * | 2017-07-18 | 2019-01-24 | Siemens Healthcare Gmbh | Methods and systems for classification and assessment using machine learning |
US20190198169A1 (en) * | 2017-12-27 | 2019-06-27 | General Electric Company | Patient healthcare interaction device and methods for implementing the same |
Non-Patent Citations (1)
Title |
---|
See also references of EP4129196A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023215510A1 (en) * | 2022-05-06 | 2023-11-09 | Boston Scientific Scimed, Inc. | Predicting vessel compliance responsive to multiple potential treatments |
Also Published As
Publication number | Publication date |
---|---|
US20230012527A1 (en) | 2023-01-19 |
JPWO2021193015A1 (ja) | 2021-09-30 |
CN115348840A (zh) | 2022-11-15 |
JP7490045B2 (ja) | 2024-05-24 |
EP4129196A1 (en) | 2023-02-08 |
EP4129196A4 (en) | 2023-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113705586A (zh) | 血管内图像中的多模态分割 | |
US20230076868A1 (en) | Systems and methods for utilizing synthetic medical images generated using a neural network | |
Torrents-Barrena et al. | TTTS-GPS: Patient-specific preoperative planning and simulation platform for twin-to-twin transfusion syndrome fetal surgery | |
CN116630334B (zh) | 用于多分段血管实时自动分割方法、装置、设备及介质 | |
US20230230244A1 (en) | Program, model generation method, information processing device, and information processing method | |
US20230245307A1 (en) | Information processing device, information processing method, and program | |
US20230230252A1 (en) | Information processing device, information processing method, program, and model generation method | |
WO2021193019A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
CN115334976A (zh) | 计算机程序、信息处理方法、信息处理装置以及模型生成方法 | |
WO2021193015A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
KR102398522B1 (ko) | 관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치 | |
US20240013385A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus | |
JP7489882B2 (ja) | コンピュータプログラム、画像処理方法及び画像処理装置 | |
US20230017227A1 (en) | Program, information processing method, information processing apparatus, and model generation method | |
WO2021193024A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
WO2022071208A1 (ja) | 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法 | |
WO2022071265A1 (ja) | プログラム、情報処理装置及び情報処理方法 | |
WO2021193018A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
Breininger | Machine learning and deformation modeling for workflow-compliant image fusion during endovascular aortic repair | |
WO2021193022A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240005459A1 (en) | Program, image processing method, and image processing device | |
WO2021199966A1 (ja) | プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム | |
WO2021199960A1 (ja) | プログラム、情報処理方法、および情報処理システム | |
WO2021199967A1 (ja) | プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム | |
US20240013386A1 (en) | Medical system, method for processing medical image, and medical image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21774718 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022509531 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2021774718 Country of ref document: EP Effective date: 20221025 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |