WO2019208130A1 - 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム - Google Patents
医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム Download PDFInfo
- Publication number
- WO2019208130A1 WO2019208130A1 PCT/JP2019/014707 JP2019014707W WO2019208130A1 WO 2019208130 A1 WO2019208130 A1 WO 2019208130A1 JP 2019014707 W JP2019014707 W JP 2019014707W WO 2019208130 A1 WO2019208130 A1 WO 2019208130A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- medical image
- feature information
- input
- medical
- output
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- the present disclosure relates to a medical document creation support apparatus, method and program, a learned model, and a learning apparatus, method and program that support creation of a medical document such as an interpretation report.
- CT Computer Tomography
- MRI Magnetic Resonance Imaging
- CAD Computer-Aided Diagnosis
- CAD Computer-Aided Diagnosis
- the analysis result generated by the analysis process is stored in the database in association with the examination information such as the patient name, sex, age, and modality obtained from the medical image, and is used for diagnosis.
- an engineer such as a radiology department who has acquired a medical image determines an interpreting doctor corresponding to the medical image, and informs the determined interpreting doctor that there is a medical image and an analysis result by CAD.
- the interpretation doctor interprets the medical image with reference to the distributed medical image and the analysis result at his / her interpretation terminal, and creates an interpretation report.
- interpretation doctors interpret a great number of medical images and create interpretation reports.
- it is necessary to refer to more medical images and interpretation reports. It is desired to reduce the burden on the interpretation doctor when describing the result of such comparative interpretation in the interpretation report.
- the present disclosure has been made in view of the above circumstances, and reduces the burden on an operator such as an interpretation doctor when creating a medical document such as an interpretation report on a medical image including a comparison result of a plurality of medical images. With the goal.
- the medical document creation support apparatus acquires the first feature information related to the first medical image, and the second feature information related to the second medical image having a shooting time different from the first medical image.
- a sentence creation unit that compares the first feature information and the second feature information and creates a sentence representing a change between the first medical image and the second medical image;
- the feature information acquisition unit acquires first text data representing at least one finding based on the first medical image as the first feature information
- the second feature information Second text data representing at least one finding based on the medical image may be acquired as the second feature information.
- the feature information acquisition unit analyzes at least one of the first medical image and the second medical image, and obtains the first text data and the second text data. You may acquire.
- the sentence creation unit is a learned model in which machine learning is performed so as to output a sentence representing a change based on the first text data and the second text data. It may have.
- the learned model includes a plurality of inputs in which at least one finding based on the first medical image and at least one finding based on the second medical image are input. At least one finding based on the first medical image and at least one based on the second medical image, and having a plurality of output layers to which the output from the input layer is input and outputs a sentence representing the change
- the weighting factors between the plurality of input layers and the plurality of output layers and the mutual relationship between the plurality of output layers so as to sequentially output the plurality of words constituting the sentence representing the change.
- It is composed of a neural network in which weighting factors are learned, and when first text data and second text data are input, a sentence representing a change is output.
- Computer may be one to function.
- the feature information acquisition unit acquires the feature amount of the first medical image as the first feature information, and uses the feature amount of the second medical image as the second feature. It may be acquired as information.
- the medical document creation support apparatus may further include a display control unit that displays a sentence representing a change on the display unit.
- the learned model according to the present disclosure includes a plurality of at least one finding based on a first medical image and at least one finding based on a second medical image having a photographing time different from the first medical image. And an output from the input layer, and a plurality of output layers for outputting sentences representing changes between the first medical image and the second medical image.
- the first medical image A plurality of input layers and a plurality of output layers so as to sequentially output a plurality of words constituting a sentence representing a change based on a correspondence relationship between the at least one finding based on the second medical image and the at least one finding based on the second medical image
- a finding based on the first medical image and a finding based on the second medical image are input, a sentence representing a change is formed. Causing the computer to function so as to force.
- the learning device includes a plurality of at least one finding based on a first medical image and at least one finding based on a second medical image having a photographing time different from the first medical image.
- a learned model by learning a neural network having an input layer and a plurality of output layers to which an output from the input layer is input and which outputs a sentence representing a change between the first medical image and the second medical image
- a learning device for generating When a finding based on the first medical image and a finding based on the second medical image are input, a correspondence relationship between at least one finding based on the first medical image and at least one finding based on the second medical image
- a learning unit for performing learning for setting weighting coefficients between a plurality of input layers and a plurality of output layers in a neural network so that a plurality of words constituting a sentence representing a change are sequentially output based on Prepare.
- the medical document creation support method acquires first feature information related to a first medical image, and second feature information related to a second medical image whose imaging time is different from the first medical image, The first feature information and the second feature information are compared to create a sentence representing a change between the first medical image and the second medical image.
- a plurality of at least one finding based on a first medical image and at least one finding based on a second medical image having a different imaging time from the first medical image are input.
- a learned model by learning a neural network having an input layer and a plurality of output layers to which an output from the input layer is input and which outputs a sentence representing a change between the first medical image and the second medical image
- a learning method for generating When a finding based on the first medical image and a finding based on the second medical image are input, a correspondence relationship between at least one finding based on the first medical image and at least one finding based on the second medical image Based on the above, learning for setting weighting coefficients between the plurality of input layers and the plurality of output layers in the neural network is performed so that a plurality of words constituting a sentence representing a change are sequentially output.
- the learning method according to the present disclosure may be provided as a program for causing a computer to execute the learning method.
- Another medical document creation support apparatus includes a memory for storing instructions for causing a computer to execute, A processor configured to execute stored instructions, the processor comprising: Obtaining first feature information relating to the first medical image, and second feature information relating to a second medical image having a photographing time different from the first medical image; The first feature information and the second feature information are compared, and a process for creating a sentence representing a change between the first medical image and the second medical image is executed.
- At least one finding based on a first medical image and at least one finding based on a second medical image having a different imaging time from the first medical image are input.
- Learning and learning a neural network having a plurality of input layers and a plurality of output layers to which outputs from the input layers are input and output sentences representing changes between the first medical image and the second medical image
- Learning device for generating a completed model,
- a memory for storing instructions to be executed by a computer;
- a processor configured to execute stored instructions, the processor comprising: When a finding based on the first medical image and a finding based on the second medical image are input, a correspondence relationship between at least one finding based on the first medical image and at least one finding based on the second medical image
- a learning process for setting weight coefficients between a plurality of input layers and a plurality of output layers in the neural network is executed so that a plurality of words constituting a sentence representing a change are sequentially output.
- the first feature information related to the first medical image and the second feature information related to the second medical image whose imaging time is different from the first medical image are acquired, and the first feature information and The second feature information is compared to create a sentence representing a change between the first medical image and the second medical image. Therefore, it is possible to reduce the burden of creating the medical document for the operator, particularly when performing comparative interpretation, and as a result, the operator can efficiently create the medical document.
- FIG. 1 is a diagram illustrating a schematic configuration of a medical information system to which a medical document creation support apparatus according to an embodiment of the present disclosure is applied.
- Figure showing an example of feature information A diagram showing a schematic configuration of a recurrent neural network
- the figure which shows the display screen of the text showing the change The flowchart which shows the process performed in 1st Embodiment.
- the figure for demonstrating acquisition of the 1st feature information from an interpretation report The figure which shows schematic structure of the medical document preparation assistance apparatus by 2nd Embodiment.
- FIG. 1 is a diagram illustrating a schematic configuration of a medical information system to which a medical document creation support device, a learned model, and a learning device according to an embodiment of the present disclosure are applied.
- the medical information system 1 shown in FIG. 1 is based on an examination order from a doctor in a medical department using a known ordering system, imaging of a region to be inspected of a subject, storage of a medical image obtained by imaging, and reading by a doctor
- This is a system for performing interpretation of medical images and creation of interpretation reports, and viewing of interpretation reports and detailed observation of interpretation-target medical images by doctors in the requesting department. As shown in FIG.
- a medical information system 1 includes a plurality of modalities (imaging devices) 2, a plurality of interpretation workstations (WS) 3, which are interpretation terminals, a clinical department workstation (WS) 4, an image server 5, an image A database 6, an interpretation report server 7, and an interpretation report database 8 are configured so as to be communicable with each other via a wired or wireless network 9.
- Each device is a computer in which an application program for causing it to function as a component of the medical information system 1 is installed.
- the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and installed on the computer from the recording medium.
- a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
- it is stored in a storage device of a server computer connected to the network 9 or a network storage in a state where it can be accessed from the outside, and is downloaded to a computer and installed on demand.
- Modality 2 is a device that generates a medical image representing a diagnosis target part by photographing a part of the subject to be diagnosed. Specifically, a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like. The medical image generated by the modality 2 is transmitted to the image server 5 and stored.
- the interpretation WS3 includes the medical document creation support device, the learned model, and the learning device according to the present embodiment.
- the configuration of the image interpretation WS3 will be described later.
- the medical department WS4 is a computer used by doctors in the medical department for detailed observation of images, reading of interpretation reports, creation of electronic medical records, and the like, and processing devices, display devices such as displays, and input devices such as keyboards and mice. Consists of.
- creation of a patient chart electronic chart
- a request to browse the image to the image server 5 display of an image received from the image server 5
- an interpretation report server 7 is performed by executing a software program for each process, such as a request for browsing the interpretation report for the image interpretation report 7 and display of the interpretation report received from the interpretation report server 7.
- the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed.
- the image server 5 includes a storage in which the image database 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 9. It may be.
- NAS Network Attached Storage
- SAN Storage Area Network
- the incidental information includes, for example, an image ID for identifying individual medical images, a patient ID (identification) for identifying a subject, an examination ID for identifying examinations, and a unique ID assigned to each medical image ( (UID: unique identification), examination date when the medical image was generated, examination time, type of modality used in the examination for obtaining the medical image, patient information such as patient name, age, gender, examination part (imaging part) ), Imaging information (imaging protocol, imaging sequence, imaging technique, imaging conditions, use of contrast agent, etc.), information such as series numbers or collection numbers when a plurality of medical images are acquired in one examination.
- the image server 5 when the image server 5 receives a browsing request from the image interpretation WS 3 via the network 9, the image server 5 retrieves the medical image registered in the image database 6 and transmits the retrieved medical image to the image interpretation WS 3 as the request source.
- the interpretation report server 7 incorporates a software program that provides a database management system function to a general-purpose computer.
- the interpretation report server 7 arranges the interpretation report in a database format and registers it in the interpretation report database 8.
- the interpretation report is searched from the interpretation report database 8.
- the interpretation report database 8 includes, for example, an image ID for identifying a medical image to be interpreted, an interpretation doctor ID for identifying an image diagnostician who has performed interpretation, a lesion name, lesion position information, findings, and belief in findings. An interpretation report in which information such as degree is recorded is registered.
- the network 9 is a wired or wireless local area network that connects various devices in the hospital.
- the network 9 may have a configuration in which local area networks of each hospital are connected to each other via the Internet or a dedicated line. In any case, it is preferable that the network 9 has a configuration capable of realizing high-speed transfer of medical images such as an optical network.
- Interpretation WS3 is a computer used by a medical image interpretation doctor to interpret a medical image and create an interpretation report, and includes a processing device, a display device such as a display, and input devices such as a keyboard and a mouse.
- a medical image browsing request to the image server 5 various image processing for the medical image received from the image server 5, display of the medical image, analysis processing for the medical image, enhancement display of the medical image based on the analysis result, analysis result
- Each process includes creation of an interpretation report based on the report, support for creating the interpretation report, a request for registering and viewing the interpretation report to the interpretation report server 7, and display of the interpretation report received from the interpretation report server 7.
- processes other than the processes performed by the medical document creation support apparatus, the learned model, and the learning apparatus of the present embodiment are performed by a well-known software program, and thus detailed description thereof is omitted here.
- processing other than the processing performed by the medical document creation support apparatus of the present embodiment is not performed in the interpretation WS3, and a computer that performs the processing is connected to the network 9 in response to a processing request from the interpretation WS3. You may make it perform the process requested
- the interpretation WS3 includes the medical document creation support device, the learned model, and the learning device according to the present embodiment. For this reason, the medical document creation support program, the learned model, and the learning program according to the present embodiment are installed in the interpretation WS3.
- the medical document creation support program, the learned model, and the learning program are recorded and distributed on a recording medium such as a DVD or a CD-ROM, and are installed in the interpretation WS 3 from the recording medium. Alternatively, it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed in the image interpretation WS 3 upon request.
- FIG. 2 is a diagram illustrating a schematic configuration of a medical document creation support apparatus according to the first embodiment of the present disclosure, which is realized by installing a medical document creation support program, a learned model, and a learning program.
- the medical document creation support apparatus includes a learned model and a learning apparatus.
- FIG. 2 shows only the medical document creation support apparatus.
- the medical document creation support apparatus 10 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard computer configuration.
- CPU Central Processing Unit
- a display device such as a liquid crystal display
- an input device 15 such as a keyboard and a mouse are connected to the medical document creation support apparatus 10.
- the storage 13 is a storage device such as a hard disk or SSD (Solid State Drive).
- the storage 13 stores various types of information including information necessary for processing of the medical image and the medical document creation support apparatus 10 acquired from the image server 5 via the network 9.
- the memory 12 stores a medical document creation support program, a learned model, and a learning program.
- the medical document creation support program executes, as processing to be executed by the CPU 11, image acquisition processing for acquiring a first medical image and a second medical image having different photographing times, first characteristic information about the first medical image, and first The first medical information is obtained by comparing the second feature information on the second medical image, the first feature information on the first medical image, and the second feature information on the second medical image.
- a sentence creation process for creating a sentence representing a change between the image and the second medical image, and a display process for displaying the sentence representing the change on the display unit 14 are defined.
- the learning program defines a learning process for learning a neural network as described later and generating a learned model provided in the sentence creation unit as a process to be executed by the CPU 11.
- the computer functions as an image acquisition unit 21, a feature information acquisition unit 22, a sentence creation unit 23, and a display control unit 24. Further, the computer functions as the learning unit 25 when the CPU 11 executes the learning process according to the learning program.
- the CPU 11 executes the function of each unit by the medical document creation support program and the learning program.
- a programmable logic device PLD that is a processor whose circuit configuration can be changed after manufacturing an FPGA (Field Programmable Gate Array) or the like can be used.
- the processing of each unit may be executed by a dedicated electric circuit or the like that is a processor having a circuit configuration designed exclusively for executing specific processing such as ASIC (Application Specific Specific Integrated Circuit).
- One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). It may be configured. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client and a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
- SoC system-on-chip
- IC integrated circuit
- circuitry circuitry in which circuit elements such as semiconductor elements are combined.
- the image acquisition unit 21 acquires, from the image storage server 3, the first first medical image G1 and the second medical image G2 that have different imaging times for the same subject.
- the first and second medical images G1 and G2 may be acquired from the storage 13.
- the first medical image G1 has an imaging time before the second medical image G2.
- the medical images G1 and G2 are CT images acquired by a CT apparatus, but are not limited to this, and may be MRI images or PET images.
- the feature information acquisition unit 22 acquires first feature information C1 related to the first medical image G1 and second feature information C2 related to the second medical image G2. First, the feature information acquisition unit 22 analyzes the first and second medical images G1 and G2, thereby acquiring analysis results regarding diseases and the like included in the first and second medical images G1 and G2. Therefore, the feature information acquisition unit 22 performs machine learning to determine whether each pixel (voxel) in the first and second medical images G1 and G2 represents a lesion, and the type of the lesion.
- the discriminator with In the present embodiment, the discriminator includes a neural network that is deep-learned (deep learning) so that a plurality of types of lesions included in the first and second medical images G1 and G2 can be classified.
- a plurality of discriminators in the feature information acquisition unit 22 are provided for each pixel (voxel) in the first and second medical images G1 and G2. Learning is performed to output the probability of being each of the lesions. Then, the discriminator obtains a lesion that exceeds a predetermined threshold value and has the maximum probability for a certain pixel, and discriminates that the pixel is a lesion pixel that has been obtained.
- the discriminator is, for example, a support vector machine (SVM (Support Vector Machine)), a convolutional neural network (CNN (Convolutional Neural Network)), and a recurrent neural network (RNN (Recurrent Neural Neural)). Network)) and the like.
- SVM Support Vector Machine
- CNN convolutional Neural Network
- RNN Recurrent Neural Neural
- the feature information acquisition unit 22 acquires the first feature information C1 related to the first medical image G1 and the second feature information C2 related to the second medical image G2 using the determination result by the discriminator.
- text data representing at least one of the findings of the first and second medical images G1, G2, that is, the type of lesion, the position of the lesion, the shape of the lesion, the size of the lesion, the state of the lesion, and the like.
- first and second feature information C1, C2 For example, when a medical image includes a lung field and a lesion is found in the lung field, the feature information acquisition unit 22 finds at least one of the position, type, size, and state of the lesion in the lung field as a finding. Is generated as first and second feature information C1, C2.
- FIG. 3 is a diagram showing an example of feature information.
- the first medical image G1 and the second medical image G2 are CT images of lung fields.
- text data representing a plurality of findings of “air space”, “1 cm”, “similar circle”, “unclear” and “nodule” is acquired as the first feature information C1.
- text data representing a plurality of findings of “air cavity”, “1 cm”, “similar circle”, “clear” and “nodule” is acquired as the second feature information C2 from the second medical image G2. ing.
- the text creation unit 23 compares the first feature information C1 and the second feature information C2 generated by the feature information acquisition unit 22, and determines between the first medical image G1 and the second medical image G2. Create sentences that show change. For this purpose, the sentence creation unit 23 outputs a sentence representing a change based on the first text data that is the first feature information C1 and the second text data that is the second feature information C2. It has a learned model 30 that has been machine-learned. Learning of the learned model 30 is performed by the learning unit 25.
- the learned model 30 is obtained by learning a recurrent neural network that has been trained to create a sentence that represents a change between two text data from two input text data. Generated.
- FIG. 4 is a diagram showing a schematic configuration of a recurrent neural network. As shown in FIG. 4, the recurrent neural network RNN has a plurality of input layers 31 and a plurality of output layers 32.
- each of the plurality of input layers 31 a finding represented by the first feature information C1 (that is, the first text data) and a finding represented by the second feature information C2 (that is, the second text data). Is entered.
- the output of the input layer 31 is input to the first layer, and the words constituting the sentence representing the change are sequentially output from each of the plurality of output layers 32.
- words constituting a sentence representing the change are sequentially output.
- the learning unit 25 learns the weighting coefficients between the plurality of input layers 31 and the plurality of output layers 32 and the mutual weighting coefficient between the plurality of output layers 32 in the recurrent neural network RNN. Thereby, the learned model 30 is generated.
- FIG. 5 is a diagram for explaining generation of a sentence representing a change by the learned model 30.
- the first feature information C ⁇ b> 1 is input to the input layer 31 of the learned model 30. Specifically, findings of “air space”, “1 cm”, “similar circle”, “unclear”, and “nodule” are input to different input layers 31.
- the second feature information C2 is also input to the input layer 31. Specifically, findings of “air space”, “1 cm”, “similar circle”, “clear” and “nodule” are input to different input layers 31.
- parentheses representing a delimiter of feature information are input to the input layers before and after the first and second feature information C1 and C2 to be input.
- the output from the input layer 31 is input to the first layer of the output layer 32, and words constituting the sentence representing the change between the first feature information C ⁇ b> 1 and the second feature information C ⁇ b> 2 are stored in the plurality of output layers 32.
- FIG. 6 is a diagram showing a display screen of a text representing a change.
- the display screen 40 includes an interpretation report 41 for the first medical image G1 and an interpretation report 42 for the second medical image G2.
- the interpretation report 41 for the first medical image G1 includes a sentence 43 “There is a nodule with an air space and a 1 cm-sized circular circle with unclear boundaries”.
- the interpretation report 42 for the second medical image G2 includes a sentence 44 “There is a nodule with a clear boundary with a 1 cm-like circular shape having an air space”.
- the sentences 43 and 44 are created by the operator referring to and inputting the first feature information C1 and the second feature information C2.
- the medical document creation support apparatus 10 is separately provided with a learning model for creating a sentence from the first and second feature information C1 and C2, and from such a learning model, the first and second features C1 and C2 are used. Sentences 43 and 44 may be created.
- the interpretation report 42 for the second medical image G2 includes a sentence 45 representing a change in “the ambiguity of the boundary has increased” created by the sentence creation unit 23.
- the image interpretation reports 41 and 42 are transmitted from the image interpretation WS 3 to the image interpretation report server 7 and registered in the image interpretation report database 8.
- FIG. 7 is a flowchart showing processing performed in the first embodiment.
- the processing is started, and the image acquisition unit 21 performs the first medical image G1 and the second medical image G2 having different imaging timings.
- the medical image G2 is acquired (step ST1).
- the feature information acquisition unit 22 acquires first feature information C1 related to the first medical image G1 and second feature information C2 related to the second medical image G2 (step ST2).
- the sentence creation unit 23 compares the first feature information C1 and the second feature information C2 generated by the feature information acquisition unit 22, and compares the first medical image G1 and the second medical image G2.
- a sentence representing a change between the two is created (step ST3).
- the display control part 24 displays the text showing a change on the display part 14 (step ST4), and complete
- C2 is acquired, and the first feature information C1 and the second feature information C2 are compared, and a sentence representing a change between the first medical image G1 and the second medical image G2 is created. Therefore, it is possible to reduce the burden of creating a medical document such as an interpretation report for an operator, particularly when comparative interpretation is performed. As a result, the operator can efficiently create a medical document.
- the feature information acquisition unit 22 analyzes the first medical image G1 and the second medical image G2, and obtains the first feature information C1 and the second feature information C2. Although acquired, it is not limited to this. For example, an interpretation report has already been created and registered in the interpretation report database 8 for the first medical image G1 whose imaging time is earlier than the second medical image G2. For this reason, the feature information acquisition unit 22 inquires of the interpretation report server 7 as to whether or not an interpretation report is registered in the interpretation report database 8 for the first medical image G1. An interpretation report of the first medical image G1 is acquired from the interpretation report database 8 via the report server 7.
- the feature information acquisition unit 22 includes a finding extraction discriminator that has been trained to extract findings from sentences, and the feature information acquisition unit 22 is located in the finding extraction discriminator and uses findings from the interpretation report sentences.
- FIG. 8 is a diagram for explaining acquisition of the first feature information C1 from the interpretation report. As shown in FIG. 8, it is assumed that the interpretation report is a sentence “There is a 1 cm-sized circular circle with an air space and an unclear boundary”. When this sentence is input, the feature extraction unit of the feature information acquisition unit 22 extracts the findings of “air space”, “1 cm”, “similar circle”, “unclear” and “nodule”, Text data representing these findings is acquired as first feature information C1.
- an interpretation report may also be registered in the interpretation report database 8 for the second medical image G2.
- the feature information acquisition unit 22 acquires an interpretation report for the second medical image G2 from the interpretation report database 8 via the interpretation report server 7, and obtains the second feature information C2 for the second medical image G2. Can be obtained from the interpretation report.
- the feature information acquisition unit 22 analyzes the first medical image G1 and the second medical image to acquire the first feature information C1 and the second feature information C2.
- the operator observes the first medical image G1 and the second medical image G2, and as a result, obtains the findings input from the input unit 15 as the first feature information C1 and the second feature information C2. You may make it do.
- the first feature information C1 and the second feature information C2 are text data representing findings.
- the first feature information C1 and the second feature information C2 may be feature amounts representing the features of the first medical image G1 and the second medical image G2.
- this will be described as a second embodiment.
- FIG. 9 is a diagram illustrating a schematic configuration of a medical document creation support apparatus according to the second embodiment of the present disclosure.
- the medical document creation support apparatus 10A according to the second embodiment replaces the feature information acquisition unit 22, the sentence creation unit 23, and the learning unit 25 in the first embodiment with a feature information acquisition unit 52, a sentence creation unit 53, and learning.
- the point provided with the part 55 differs from 1st Embodiment.
- the feature information acquisition unit 52 in the second embodiment acquires a feature amount representing the feature of the first medical image G1 as the first feature information C1 from the first medical image G1. Further, a feature amount representing the feature of the second medical image G2 is acquired as the second feature information C2 from the second medical image G2.
- the feature information acquisition unit 52 includes a discriminator that has been subjected to machine learning so as to extract feature amounts from the first and second medical images G1 and G2.
- the discriminator is a neural network that has been deep-learned (deep learning) so as to extract feature amounts from the first and second medical images G1 and G2.
- the entire region of the first and second medical images G1 and G2 may be input to the discriminator, but only the region including the subject in the first and second medical images G1 and G2, or the first Only specified areas in the first and second medical images G1 and G2 may be input.
- the discriminator included in the feature information acquisition unit 52 in the second embodiment is trained to output such information as a feature amount by inputting a medical image.
- the feature information acquisition unit 52 has only one discriminator, and sequentially acquires the first feature information C1 and the second feature information C2 from the first medical image G1 and the second medical image G2.
- the first feature information C1 and the second feature information C2 may be acquired in parallel from the first medical image G1 and the second medical image G2 with two discriminators. In the latter case, the calculation time for obtaining the first and second feature information C1 and C2 can be shortened.
- the discriminator may be composed of, for example, a support vector machine, a convolutional neural network, and a recurrent neural network in addition to the neural network that has been subjected to deep learning.
- the text creation unit 53 in the second embodiment compares the first feature information C1 and the second feature information C2 generated by the feature information acquisition unit 52, and compares the first medical image G1 with the second medical information.
- a sentence representing a change from the image G2 is created.
- the sentence creation unit 53 selects words constituting a sentence representing a change based on the first feature quantity that is the first feature information C1 and the second feature quantity that is the second feature information C2. It has a learned model 60 that has been machine-learned so as to output in order. Learning of the learned model 60 is performed by the learning unit 55.
- the learned model 60 is composed of a recurrent neural network that has been learned so as to create a sentence representing a change between the two feature values from the two input feature values.
- FIG. 10 is a diagram for explaining generation of a sentence representing a change by a learned model in the second embodiment.
- a learned model 60 that is a recurrent neural network has a plurality of input layers 61 and a plurality of output layers 62.
- Each of the plurality of input layers 61 receives information included in the feature quantity represented by the first feature information C1 and information contained in the feature quantity represented by the second feature information C2. .
- the output of the input layer 61 is input to the first layer, and the words constituting the sentence representing the change are sequentially output from each of the plurality of output layers 62.
- the second embodiment is a word constituting a sentence representing a change based on the correspondence between the feature quantity represented by the first feature information C1 and the feature quantity represented by the second feature information C2.
- the learning unit 55 learns the weighting factors between the plurality of input layers 61 and the plurality of output layers 62 and the mutual weighting factors between the plurality of output layers 62 in the recurrent neural network. . Thereby, a learned model 60 is generated.
- each of the first input layers 61 includes information T11 to T14 included in the feature amount represented by the first feature information C1 and feature amount represented by the second feature information C2.
- the output of the input layer 61 is input to the first layer of the output layer 62, and the words constituting the sentence representing the change between the first feature information C1 and the second feature information C2 are respectively included in the plurality of output layers 62.
- the first feature information C1 and the second feature information C2 are set as feature amounts representing the features of the first medical image G1 and the second medical image G2.
- a sentence representing a change between the first medical image G1 and the second medical image G2 can be created. Therefore, it is possible to reduce the burden of creating a medical document such as an interpretation report of an operator when performing comparative interpretation, and as a result, the operator can efficiently create a medical document.
- the sentence creation units 23 and 53 may create a sentence representing a change using a conditional expression.
- individual findings included in the input first feature information C1 are compared with individual findings included in the second feature information C2 corresponding to these individual findings. If the word is different, it is determined that there is a change between the first medical image G1 and the second medical image G2.
- Information representing a change may be generated. In this case, information representing the generated change may be inserted into a predetermined standard document to generate a sentence representing the change.
- the first feature information C1 is “air space”, “1 cm”, “similar circle”, “unclear”, and “nodule”, and the second feature information Assume that C2 is “air space”, “1 cm”, “similar circle”, “clear” and “nodule”. In this case, when the corresponding words are compared, “unclear” and “clear” are different. For this reason, the information indicating the change of the word is “clear”.
- the standard document is “XX is increasing”, if “clear” is inserted into “XX”, a sentence representing a change “increase in clarity” is created. For this reason, not only the learned model but also a sentence representing a change may be created using such a conditional expression.
- the medical document creation support devices 10 and 10A include the learning units 25 and 55, and the medical document creation support devices 10 and 10A learn the recurrent neural network, thereby writing the text creation units 23 and 53.
- the learned models 30 and 60 are generated in the above, the present invention is not limited to this.
- a learning device separate from the medical document creation support devices 10 and 10A is provided, and the learning models 30 and 60 are obtained by learning the recurrent neural network in the learning device provided separately. You may make it produce
- the learned models 30 and 60 may be generated by learning the recurrent neural network in an external analysis server or the like separate from the interpretation WS3.
- the medical document creation support apparatuses 10 and 10A are configured by installing the learned models 30 and 60.
- the learned models 30 and 60 are generated by learning a recurrent neural network.
- the present invention is not limited to this, for example, a support vector machine, a convolutional neural network, and the like.
- the learned models 30 and 60 may be generated by learning the neural network.
- the first and second feature information C1 and C2 are text data representing a plurality of findings.
- the present invention is not limited to this, and the text data representing one finding. It is good.
- the first feature information C1 may be text data representing one finding “unclear”
- the second feature information C2 may be text data representing one finding “clear”.
- the first and second feature information C1 and C2 are feature amounts composed of a plurality of pieces of information.
- the present invention is not limited to this, and the feature includes only one piece of information. It may be an amount.
- the feature information acquisition unit 22 of the medical document creation support apparatus 10 in the interpretation WS 3 analyzes the medical image.
- the medical image is analyzed by an external analysis server or the like.
- the first feature information C1 and the second feature information C2 may be acquired.
- the feature information acquisition unit 22 acquires the first feature information C1 and the second feature information C2 acquired outside.
- the present disclosure is applied when creating an interpretation report as a medical document.
- an interpretation report such as an electronic medical record and a diagnostic report
- the present disclosure is applied.
- the disclosure can be applied.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
特徴情報取得部22が、第1の医用画像G1に関する第1の特徴情報C1、および第1の医用画像G1とは撮影時期が異なる第2の医用画像G2に関する第2の特徴情報C2を取得する。文章作成部23が、特徴情報取得部22が生成した第1の特徴情報C1と第2の特徴情報C2とを比較して、第1の医用画像G1および第2の医用画像G2の間の変化を表す文章を作成する。表示制御部24が、変化を表す文章を表示部14に表示する。
Description
本開示は、読影レポート等の医療文書の作成を支援する医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラムに関する。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、CT画像およびMRI画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により学習がなされた判別器を用いたCAD(Computer-Aided Diagnosis)により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存されて、診断に供される。この際、医用画像を取得した放射線科等の技師が、医用画像に応じた読影医を決定し、医用画像およびCADによる解析結果が存在することを、決定した読影医に伝えるようにしている。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
読影レポート等の医療文書を作成する際には、対象となる医用画像を取得した被検体についての過去の医用画像および過去の読影レポートを参照して比較読影を行い、病変等の変化を読影レポートに記載することが多い。このため、現在の読影レポート(以下、現在レポートと称する)を作成する際に、過去の読影レポート(以下、過去レポートと称する)に記載された所見文等を参照する各種手法が提案されている。例えば、特開2009-70201号公報には、過去レポートに記載されたコメントをコピーして、過去画像に関連する情報から現在画像に関連する情報を作成し、現在レポート作成用のテンプレートを作成することにより、簡便に読影レポートを作成する手法が提案されている。
一方、読影医は非常に多くの医用画像の読影を行い、かつ読影レポートを作成する。とくに、比較読影を行う場合には、より多くの医用画像および読影レポートを参照する必要がある。このような比較読影の結果を読影レポートに記載する際の読影医の負担を軽減することが望まれている。
本開示は上記事情に鑑みなされたものであり、複数の医用画像の比較結果を含む、医用画像に関する読影レポート等の医療文書を作成する際の、読影医等の操作者の負担を軽減することを目的とする。
本開示による医療文書作成支援装置は、第1の医用画像に関する第1の特徴情報、および第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得する特徴情報取得部と、
第1の特徴情報および第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する文章作成部とを備える。
第1の特徴情報および第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する文章作成部とを備える。
なお、本開示による医療文書作成支援装置においては、特徴情報取得部は、第1の医用画像に基づく少なくとも1つの所見を表す第1のテキストデータを第1の特徴情報として取得し、第2の医用画像に基づく少なくとも1つの所見を表す第2のテキストデータを第2の特徴情報として取得するものであってもよい。
また、本開示による医療文書作成支援装置においては、特徴情報取得部は、第1の医用画像および第2の医用画像の少なくとも一方を解析して、第1のテキストデータおよび第2のテキストデータを取得するものであってもよい。
また、本開示による医療文書作成支援装置においては、文章作成部は、第1のテキストデータおよび第2のテキストデータに基づいて、変化を表す文章を出力するように機械学習がなされた学習済みモデルを有するものであってもよい。
また、本開示による医療文書作成支援装置においては、学習済みモデルは、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、変化を表す文章を出力する複数の出力層とを有し、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、複数の入力層と複数の出力層との間の重み係数および複数の出力層の間の相互の重み係数が学習されてなるニューラルネットワークにより構成され、第1のテキストデータおよび第2のテキストデータが入力されると、変化を表す文章を出力するようにコンピュータを機能させるものであってもよい。
また、本開示による医療文書作成支援装置においては、特徴情報取得部は、第1の医用画像の特徴量を第1の特徴情報として取得し、第2の医用画像の特徴量を第2の特徴情報として取得するものであってもよい。
また、本開示による医療文書作成支援装置においては、変化を表す文章を表示部に表示する表示制御部をさらに備えるものであってもよい。
本開示による学習済みモデルは、第1の医用画像に基づく少なくとも1つの所見、および第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第1の医用画像および第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有し、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、複数の入力層と複数の出力層との間の重み係数が学習されてなるニューラルネットワークにより構成され、第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、変化を表す文章を出力するようにコンピュータを機能させる。
本開示による学習装置は、第1の医用画像に基づく少なくとも1つの所見、および第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第1の医用画像および第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う学習部を備える。
第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う学習部を備える。
本開示による医療文書作成支援方法は、第1の医用画像に関する第1の特徴情報、および第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得し、
第1の特徴情報および第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する。
第1の特徴情報および第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する。
本開示による学習方法は、第1の医用画像に基づく少なくとも1つの所見、および第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第1の医用画像および第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習方法であって、
第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う。
第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う。
なお、本開示による医療文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
また、本開示による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の医療文書作成支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第1の医用画像に関する第1の特徴情報、および第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得し、
第1の特徴情報および第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する処理を実行する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第1の医用画像に関する第1の特徴情報、および第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得し、
第1の特徴情報および第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する処理を実行する。
本開示による他の学習装置は、第1の医用画像に基づく少なくとも1つの所見、および第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第1の医用画像および第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習処理を実行する。
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第1の医用画像に基づく所見、および第2の医用画像に基づく所見が入力されると、第1の医用画像に基づく少なくとも1つの所見および第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習処理を実行する。
本開示によれば、第1の医用画像に関する第1の特徴情報および第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報が取得され、第1の特徴情報および第2の特徴情報が比較されて、第1の医用画像および第2の医用画像の間の変化を表す文章が作成される。このため、とくに比較読影を行う場合における、操作者の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置を適用した医療情報システムの概略構成を示す図である。図1に示す医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図1に示すように、医療情報システム1は、複数のモダリティ(撮影装置)2、読影端末である複数の読影ワークステーション(WS)3、診療科ワークステーション(WS)4、画像サーバ5、画像データベース6、読影レポートサーバ7、および読影レポートデータベース8が、有線または無線のネットワーク9を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク9に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
モダリティ2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純X線撮影装置、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。モダリティ2により生成された医用画像は画像サーバ5に送信され、保存される。
読影WS3は、本実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置を内包する。読影WS3の構成については後述する。
診療科WS4は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科WS4では、患者のカルテ(電子カルテ)の作成、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ7に対する読影レポートの閲覧要求、および読影レポートサーバ7から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は画像データベース6が構成されるストレージを備えている。このストレージは、画像サーバ5とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク9に接続されているNAS(Network Attached Storage)およびSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、モダリティ2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース6に登録する。
画像データベース6には、モダリティ2において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID、被写体を識別するための患者ID(identification)、検査を識別するための検査ID、医用画像毎に割り振られるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等)、1回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ5は、読影WS3からの閲覧要求をネットワーク9経由で受信すると、画像データベース6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3に送信する。
読影レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース8に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース8から検索する。
読影レポートデータベース8には、例えば、読影対象の医用画像を識別する画像ID、読影を行った画像診断医を識別するための読影医ID、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
ネットワーク9は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク9は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク9は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
以下、本実施形態による読影WS3について詳細に説明する。読影WS3は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ7に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ7から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医療文書作成支援装置、学習済みモデルおよび学習装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医療文書作成支援装置が行う処理以外の処理を読影WS3において行わず、別途その処理を行うコンピュータをネットワーク9に接続しておき、読影WS3からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
読影WS3は、本実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置が内包されてなる。このため、読影WS3には、本実施形態による医療文書作成支援プログラム、学習済みモデルおよび学習プログラムがインストールされてなる。医療文書作成支援プログラム、学習済みモデルおよび学習プログラムは、DVDあるいはCD-ROM等の記録媒体に記録されて配布され、その記録媒体から読影WS3にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影WS3にダウンロードされ、インストールされる。
図2は、医療文書作成支援プログラム、学習済みモデルおよび学習プログラムをインストールすることにより実現される、本開示の第1の実施形態による医療文書作成支援装置の概略構成を示す図である。なお、第1の実施形態においては、医用文書作成支援装置が、学習済みモデルおよび学習装置を内包するものとする。このため、図2には医用文書作成支援装置のみを示す。図2に示すように、医療文書作成支援装置10は、標準的なコンピュータの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、医療文書作成支援装置10には、液晶ディスプレイ等の表示装置(以下表示部とする)14、並びにキーボードおよびマウス等の入力装置(以下、入力部とする)15が接続されている。
ストレージ13は、ハードディスクまたはSSD(Solid State Drive)等のストレージデバイスからなる。ストレージ13には、ネットワーク9を経由して画像サーバ5から取得した、医用画像および医療文書作成支援装置10の処理に必要な情報を含む各種情報が記憶されている。
また、メモリ12には、医療文書作成支援プログラム、学習済みモデルおよび学習プログラムが記憶されている。医療文書作成支援プログラムは、CPU11に実行させる処理として、撮影時期が異なる第1の医用画像および第2の医用画像を取得する画像取得処理、第1の医用画像に関する第1の特徴情報、および第2の医用画像に関する第2の特徴情報を取得する特徴情報取得処理、第1の医用画像に関する第1の特徴情報および第2の医用画像に関する第2の特徴情報を比較して、第1の医用画像および第2の医用画像の間の変化を表す文章を作成する文章作成処理、並びに変化を表す文章を表示部14に表示する表示処理を規定する。また、学習プログラムは、CPU11に実行させる処理として、後述するようにニューラルネットワークを学習して、文章作成部が備える学習済みモデルを生成する学習処理を規定する。
そして、CPU11が医療文書作成支援プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、特徴情報取得部22、文章作成部23および表示制御部24として機能する。また、CPU11が学習プログラムに従い学習処理を実行することで、コンピュータは、学習部25として機能する。なお、本実施形態においては、CPU11が医療文書作成支援プログラムおよび学習プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、CPU11の他、FPGA (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)を用いることができる。また、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、またはCPUとFPGAの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
画像取得部21は、同一被検体についての撮影時期が異なる第1の第1の医用画像G1および第2の医用画像G2を、それぞれ画像保管サーバ3から取得する。なお、第1および第2の医用画像G1,G2が既にストレージ13に記憶されている場合には、ストレージ13から第1および第2の医用画像G1,G2を取得するようにしてもよい。以降の説明において、第1の医用画像G1が第2の医用画像G2よりも撮影時期が前であるものとする。また、医用画像G1,G2としては、CT装置により取得されたCT画像とするが、これに限定されるものではなく、MRI画像またはPET画像等であってもよい。
特徴情報取得部22は、第1の医用画像G1に関する第1の特徴情報C1、および第2の医用画像G2に関する第2の特徴情報C2を取得する。まず、特徴情報取得部22は、第1および第2の医用画像G1,G2を解析することにより、第1および第2の医用画像G1,G2に含まれる疾病等に関する解析結果を取得する。このために、特徴情報取得部22は、第1および第2の医用画像G1,G2における各画素(ボクセル)が病変を表すものであるか否か、および病変の種類を判別するように機械学習がなされた判別器を備える。本実施形態においては、判別器は、第1および第2の医用画像G1,G2に含まれる複数種類の病変を分類できるようにディープラーニング(深層学習)がなされたニューラルネットワークからなる。特徴情報取得部22における判別器は、第1および第2の医用画像G1,G2が入力されると、第1および第2の医用画像G1,G2内の各画素(ボクセル)に対して、複数の病変のそれぞれであることの確率を出力するように学習がなされる。そして判別器は、ある画素について、あらかじめ定められたしきい値を超え、かつ最大の確率となった病変を求め、その画素を求めた病変の画素であると判別する。
なお、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、およびリカレントニューラルネットワーク(RNN(Recurrent Neural Network))等からなるものであってもよい。
また、特徴情報取得部22は、上記判別器による判別結果を用いて、第1の医用画像G1に関する第1の特徴情報C1および第2の医用画像G2に関する第2の特徴情報C2を取得する。具体的には、第1および第2の医用画像G1,G2の所見、すなわち、病変の種類、病変の位置、病変の形状、病変の大きさおよび病変の状態等の少なくとも1つを表すテキストデータを第1および第2の特徴情報C1,C2として生成する。例えば、医用画像が肺野を含む場合において、肺野内に病変が発見された場合、特徴情報取得部22は、所見として、肺野内における病変の位置、種類、大きさおよび状態等の少なくとも1つを含むテキストデータを第1および第2の特徴情報C1,C2として生成する。
図3は特徴情報の例を示す図である。図3に示すように第1の医用画像G1および第2の医用画像G2は、肺野のCT画像である。そして、第1の医用画像G1からは「気腔」、「1cm」、「類円形」、「不明瞭」および「結節」の複数の所見を表すテキストデータが、第1の特徴情報C1として取得されている。また、第2の医用画像G2からは「気腔」、「1cm」、「類円形」、「明瞭」および「結節」の複数の所見を表すテキストデータが、第2の特徴情報C2として取得されている。
文章作成部23は、特徴情報取得部22が生成した第1の特徴情報C1と第2の特徴情報C2とを比較して、第1の医用画像G1と第2の医用画像G2との間の変化を表す文章を作成する。このために、文章作成部23は、第1の特徴情報C1である第1のテキストデータおよび第2の特徴情報C2である第2のテキストデータに基づいて、変化を表す文章を出力するように機械学習がなされた学習済みモデル30を有する。学習済みモデル30の学習は学習部25により行われる。
第1の実施形態においては、学習済みモデル30は、入力された2つのテキストデータから2つのテキストデータの間の変化を表す文章を作成するように学習がなされたリカレントニューラルネットワークを学習することにより生成される。図4はリカレントニューラルネットワークの模式的な構成を示す図である。図4に示すようにリカレントニューラルネットワークRNNは、複数の入力層31および複数の出力層32を有する。
複数の入力層31のそれぞれには、第1の特徴情報C1(すなわち第1のテキストデータ)により表される所見、および第2の特徴情報C2(すなわち第2のテキストデータ)により表される所見が入力される。複数の出力層32には、第1層に入力層31の出力が入力され、複数の出力層32のそれぞれから、変化を表す文章を構成する単語が順に出力される。第1の実施形態においては、第1の特徴情報C1により表される所見および第2の特徴情報C2により表される所見の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークRNNにおける複数の入力層31および複数の出力層32の間の重み係数、および複数の出力層32の間の相互の重み係数が、学習部25により学習される。これにより、学習済みモデル30が生成される。
図5は学習済みモデル30による変化を表す文章の生成を説明するための図である。まず、学習済みモデル30の入力層31に、第1の特徴情報C1が入力される。具体的には、「気腔」、「1cm」、「類円形」、「不明瞭」および「結節」の所見が、それぞれ異なる入力層31に入力される。また、第2の特徴情報C2も入力層31に入力される。具体的には、「気腔」、「1cm」、「類円形」、「明瞭」および「結節」の所見が、それぞれ異なる入力層31に入力される。なお、入力される第1および第2の特徴情報C1,C2の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
出力層32の第1層には入力層31からの出力が入力され、第1の特徴情報C1と第2の特徴情報C2との変化を表す文章を構成する単語が、複数の出力層32のそれぞれから順に出力される。具体的には、複数の出力層32のそれぞれから、「境界」、「の」、「明瞭」、「さ」、「が」、「増し」、「て」、「い」、「ます」、「。」の文章を構成する単語が順に出力される。そして、単語を出力層32からの出力順に並べることにより、「境界の明瞭さが増しています。」という、変化を表す文章が作成される。
表示制御部24は、文章作成部23が作成した変化を表す文章を表示部14に表示する。図6は変化を表す文章の表示画面を示す図である。図6に示すように、表示画面40には、第1の医用画像G1についての読影レポート41および第2の医用画像G2についての読影レポート42が含まれる。第1の医用画像G1についての読影レポート41には、「気腔を有する、1cm大の類円形で境界不明瞭な結節があります。」の文章43が含まれる。第2の医用画像G2についての読影レポート42には、「気腔を有する、1cm大の類円形で境界明瞭な結節があります。」の文章44が含まれる。なお、文章43,44は、操作者が第1の特徴情報C1および第2の特徴情報C2を参照して入力することにより作成される。しかしながら、医療文書作成支援装置10に、第1および第2の特徴情報C1,C2から文章を作成する学習モデルを別途設け、このような学習モデルにより、第1および第2の特徴C1,C2から文章43,44を作成するようにしてもよい。
さらに、第2の医用画像G2についての読影レポート42には、文章作成部23が作成した「境界の不明瞭さが増しています。」の変化を表す文章45が含まれる。
なお、読影レポート41,42は、読影WS3から読影レポートサーバ7に送信され、読影レポートデータベース8に登録される。
次いで、第1の実施形態において行われる処理について説明する。図7は第1の実施形態において行われる処理を示すフローチャートである。読影WS3に読影対象となる医用画像が入力され、読影レポートの作成の指示が操作者により行われると処理が開始され、画像取得部21が、撮影時期が異なる第1の医用画像G1および第2の医用画像G2を取得する(ステップST1)。次いで、特徴情報取得部22が、第1の医用画像G1に関する第1の特徴情報C1、および第2の医用画像G2に関する第2の特徴情報C2を取得する(ステップST2)。続いて、文章作成部23が、特徴情報取得部22が生成した第1の特徴情報C1と第2の特徴情報C2とを比較して、第1の医用画像G1と第2の医用画像G2との間の変化を表す文章を作成する(ステップST3)。そして、表示制御部24が、変化を表す文章を表示部14に表示し(ステップST4)、処理を終了する。
このように、第1の実施形態においては、第1の医用画像G1に関する第1の特徴情報C1および第1の医用画像G1とは撮影時期が異なる第2の医用画像G2に関する第2の特徴情報C2を取得し、第1の特徴情報C1および第2の特徴情報C2を比較して、第1の医用画像G1および第2の医用画像G2の間の変化を表す文章を作成するようにした。このため、とくに比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
なお、上記第1の実施形態においては、特徴情報取得部22が、第1の医用画像G1および第2の医用画像G2を解析して、第1の特徴情報C1および第2の特徴情報C2を取得しているが、これに限定されるものではない。例えば、撮影時期が第2の医用画像G2よりも過去の第1の医用画像G1については、すでに読影レポートが作成され、読影レポートデータベース8に登録されている。このため、特徴情報取得部22は、読影レポートサーバ7に対して第1の医用画像G1について読影レポートが読影レポートデータベース8に登録されているか否かを問い合わせ、登録されている場合には、読影レポートサーバ7を介して読影レポートデータベース8から第1の医用画像G1の読影レポートを取得する。
この場合、特徴情報取得部22は、文章から所見を抽出するように学習がなされた所見抽出判別器を備えるものとし、特徴情報取得部22は、所見抽出判別器におり読影レポートの文章から所見を抽出して第1の特徴情報C1を取得する。図8は、読影レポートからの第1の特徴情報C1の取得を説明するための図である。図8に示すように、読影レポートが、「気腔を有する、1cm大の類円形で境界不明瞭な結節があります。」の文章であったとする。特徴情報取得部22の所見抽出判別器は、この文章が入力されると、「気腔」、「1cm」、「類円形」、「不明瞭」および「結節」の所見を抽出することにより、これらの所見を表すテキストデータを第1の特徴情報C1として取得する。
なお、第2の医用画像G2についても、読影レポートが読影レポートデータベース8に登録されている場合がある。この場合、特徴情報取得部22は、読影レポートサーバ7を介して読影レポートデータベース8から第2の医用画像G2についての読影レポートを取得し、第2の特徴情報C2を第2の医用画像G2についての読影レポートから取得すればよい。
また、上記第1の実施形態においては、特徴情報取得部22が、第1の医用画像G1および第2の医用画像を解析して第1の特徴情報C1および第2の特徴情報C2を取得しているが、これに限定されるものではない。例えば、操作者が第1の医用画像G1および第2の医用画像G2を観察し、その結果、入力部15から入力された所見を、第1の特徴情報C1および第2の特徴情報C2として取得するようにしてもよい。
また、上記第1の実施形態においては、第1の特徴情報C1および第2の特徴情報C2を、所見を表すテキストデータとしているが、これに限定されるものではない。第1の特徴情報C1および第2の特徴情報C2を、第1の医用画像G1および第2の医用画像G2の特徴を表す特徴量としてもよい。以下、これを第2の実施形態として説明する。
図9は、本開示の第2の実施形態による医療文書作成支援装置の概略構成を示す図である。なお、図9において図2と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第2の実施形態による医用文書作成支援装置10Aは、第1の実施形態における特徴情報取得部22、文章作成部23および学習部25に代えて、特徴情報取得部52、文章作成部53および学習部55を備えた点が第1の実施形態と異なる。
第2の実施形態における特徴情報取得部52は、第1の医用画像G1から第1の医用画像G1の特徴を表す特徴量を第1の特徴情報C1として取得する。また、第2の医用画像G2から第2の医用画像G2の特徴を表す特徴量を第2の特徴情報C2として取得する。このために、特徴情報取得部52は、第1および第2の医用画像G1,G2から特徴量を抽出するように機械学習がなされた判別器を備える。第2の実施形態においては、判別器は、第1および第2の医用画像G1,G2から特徴量を抽出するようにディープラーニング(深層学習)がなされたニューラルネットワークからなる。なお、判別器には、第1および第2の医用画像G1,G2の全領域を入力してもよいが、第1および第2の医用画像G1,G2における被写体が含まれる領域のみ、あるいは第1および第2の医用画像G1,G2における指定された領域のみを入力するようにしてもよい。
なお、特徴量としては、医用画像における病変の場所、病変のコントラスト、病変の濃度、および病変と他の領域との境界における微分値等の情報のうちの少なくとも1つを用いることができる。第2の実施形態における特徴情報取得部52が有する判別器は、医用画像の入力によりこれらの情報を特徴量として出力するように学習がなされる。
また、特徴情報取得部52は1つの判別器のみを有するものとして、第1の医用画像G1および第2の医用画像G2から順次第1の特徴情報C1および第2の特徴情報C2を取得してもよいが、2つの判別器を有するものとし、第1の医用画像G1および第2の医用画像G2から並列に第1の特徴情報C1および第2の特徴情報C2を取得してもよい。後者の場合、第1および第2の特徴情報C1,C2を取得するための演算時間を短縮することができる。
また、第2の実施形態においても、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等からなるものであってもよい。
第2の実施形態における文章作成部53は、特徴情報取得部52が生成した第1の特徴情報C1と第2の特徴情報C2とを比較して、第1の医用画像G1と第2の医用画像G2との間の変化を表す文章を作成する。このために、文章作成部53は、第1の特徴情報C1である第1の特徴量および第2の特徴情報C2である第2の特徴量に基づいて、変化を表す文章を構成する単語を順に出力するように機械学習がなされた学習済みモデル60を有する。学習済みモデル60の学習は学習部55により行われる。
第2の実施形態においては、学習済みモデル60は、入力された2つの特徴量から2つの特徴量の間の変化を表す文章を作成するように学習がなされたリカレントニューラルネットワークからなる。図10は第2の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図である。図10に示すようにリカレントニューラルネットワークである学習済みモデル60は、複数の入力層61および複数の出力層62を有する。
複数の入力層61のそれぞれには、第1の特徴情報C1により表される特徴量に含まれる情報、および第2の特徴情報C2により表される特徴量に含まれる情報のそれぞれが入力される。複数の出力層62には、第1層に入力層61の出力が入力され、複数の出力層62のそれぞれから、変化を表す文章を構成する単語が順に出力される。第2の実施形態においては、は、第1の特徴情報C1により表される特徴量および第2の特徴情報C2により表される特徴量の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークにおける複数の入力層61および複数の出力層62の間の重み係数、および複数の出力層62の間の相互の重み係数が、学習部55により学習される。これにより、学習済みモデル60が生成される。
第2の実施形態においては、第1の入力層61のそれぞれに、第1の特徴情報C1により表される特徴量に含まれる情報T11~T14および第2の特徴情報C2により表される特徴量に含まれる情報T21~T24がされる。なお、入力される特徴情報C1,C2の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
出力層62の第1層には入力層61の出力が入力され、第1の特徴情報C1と第2の特徴情報C2との変化を表す文章を構成する単語が、複数の出力層62のそれぞれから順に出力される。具体的には、複数の出力層62のそれぞれから、「境界」、「の」、「明瞭」、「さ」、「が」、「増し」、「て」、「い」、「ます」、「。」の文章を構成する単語が順に出力される。そして、単語を出力層62からの出力順に並べることにより、「境界の明瞭さが増しています。」という、変化を表す文章が作成される。
このように。第1の特徴情報C1および第2の特徴情報C2を、第1の医用画像G1および第2の医用画像G2の特徴を表す特徴量とすることによっても、第1の実施形態と同様に、第1の医用画像G1と第2の医用画像G2との変化を表す文章を作成することができる。したがって、比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
また、上記各実施形態においては、文章作成部23,53が学習済みモデル30,60を有し、学習済みモデル30,60により変化を表す文章を作成しているが、これに限定されるものではない。例えば、文章作成部23,53は、条件式を用いて変化を表す文章を作成するものであってもよい。例えば、第1の実施形態において、入力される第1の特徴情報C1に含まれる個々の所見と、これらの個々の所見と対応する第2の特徴情報C2に含まれる個々の所見とを比較して、単語が相違するという条件を満たすか否かを判断し、単語が相違していれば、第1の医用画像G1と第2の医用画像G2との間に変化があるものとして、単語の変化を表す情報を生成してもよい。この場合、生成した変化を表す情報を、予め定められた定型文書にはめ込んで、変化を表す文章を生成すればよい。
例えば、上記第1の実施形態のように、第1の特徴情報C1が、「気腔」、「1cm」、「類円形」、「不明瞭」および「結節」であり、第2の特徴情報C2が、「気腔」、「1cm」、「類円形」、「明瞭」および「結節」であったとする。この場合、対応する単語同士を比較すると、「不明瞭」と「明瞭」とが異なるものとなる。このため、単語の変化を表す情報は「明瞭」となる。ここで、定型文書を「XXさが増しています。」とすれば、「XX」に「明瞭」をはめ込めば、「明瞭さが増しています。」という変化を表す文章が作成される。このため、学習済みモデルのみならず、このような条件式を用いて、変化を表す文章を作成してもよい。
また、上記各実施形態においては、医用文書作成支援装置10,10Aが学習部25,55を備え、医用文書作成支援装置10,10Aにおいてリカレントニューラルネットワークの学習を行って、文章作成部23,53における学習済みモデル30,60を生成しているが、これに限定されるものではない。例えば、読影WS3において、医用文書作成支援装置10,10Aとは別個の学習装置を備えるものとし、別個に備えられた学習装置において、リカレントニューラルネットワークの学習を行って、学習済みモデル30,60を生成するようにしてもよい。また、読影WS3とは別個の外部の解析サーバ等において、リカレントニューラルネットワークの学習を行って、学習済みモデル30,60を生成するようにしてもよい。この場合、読影WS3においては、学習済みモデル30,60をインストールすることにより、医用文書作成支援装置10,10Aが構成されることとなる。
また、上記各実施形態においては、リカレントニューラルネットワークを学習することにより学習済みモデル30,60を生成しているが、これに限定されるものではない、例えば、サポートベクタマシン、および畳み込みニューラルネットワーク等のニューラルネットワークを学習することにより、学習済みモデル30,60を生成してもよい。
また、上記第1の実施形態においては、第1および第2の特徴情報C1,C2を複数の所見を表すテキストデータとしているが、これに限定されるものではなく、1つの所見を表すテキストデータとしてもよい。例えば、第1の特徴情報C1を「不明瞭」という1つの所見を表すテキストデータとし、第2の特徴情報C2を「明瞭」という1つの所見を表すテキストデータとしてもよい。
また、上記第2の実施形態においては、第1および第2の特徴情報C1,C2を複数の情報からなる特徴量としているが、これに限定されるものではなく、1つの情報のみを含む特徴量としてもよい。
また、上記第1の実施形態においては、読影WS3における医療文書作成支援装置10の特徴情報取得部22が医用画像を解析しているが、外部の解析サーバ等において、医用画像の解析を行って第1の特徴情報C1および第2の特徴情報C2を取得するようにしてもよい。この場合、特徴情報取得部22は、外部において取得された第1の特徴情報C1および第2の特徴情報C2を取得するものとなる。
また、上記各実施形態においては、医療文書として読影レポートを作成する際に、本開示を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示を適用できることはもちろんである。
1 医療情報システム
2 モダリティ
3 読影ワークステーション
4 診療科ワークステーション
5 画像サーバ
6 画像データベース
7 読影レポートサーバ
8 読影レポートデータベース
9 ネットワーク
10,10A 医療文書作成支援装置
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 特徴情報取得部
23,53 文章作成部
24 表示制御部
25,55 学習部
30,60 学習済みモデル
31,61 入力層
32,62 出力層
40 表示画面
41,42 読影レポート
43,44 読影レポートの文章
45 変化を表す文章
C1 第1の特徴情報
C2 第2の特徴情報
G1 第1の医用画像
G2 第2の医用画像
RNN リカレントニューラルネットワーク
T11~T14,T21~t24 情報
2 モダリティ
3 読影ワークステーション
4 診療科ワークステーション
5 画像サーバ
6 画像データベース
7 読影レポートサーバ
8 読影レポートデータベース
9 ネットワーク
10,10A 医療文書作成支援装置
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 特徴情報取得部
23,53 文章作成部
24 表示制御部
25,55 学習部
30,60 学習済みモデル
31,61 入力層
32,62 出力層
40 表示画面
41,42 読影レポート
43,44 読影レポートの文章
45 変化を表す文章
C1 第1の特徴情報
C2 第2の特徴情報
G1 第1の医用画像
G2 第2の医用画像
RNN リカレントニューラルネットワーク
T11~T14,T21~t24 情報
Claims (13)
- 第1の医用画像に関する第1の特徴情報、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得する特徴情報取得部と、
前記第1の特徴情報および前記第2の特徴情報を比較して、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を作成する文章作成部とを備えた医療文書作成支援装置。 - 前記特徴情報取得部は、前記第1の医用画像に基づく少なくとも1つの所見を表す第1のテキストデータを前記第1の特徴情報として取得し、前記第2の医用画像に基づく少なくとも1つの所見を表す第2のテキストデータを前記第2の特徴情報として取得する請求項1に記載の医療文書作成支援装置。
- 前記特徴情報取得部は、前記第1の医用画像および前記第2の医用画像の少なくとも一方を解析して、前記第1のテキストデータおよび前記第2のテキストデータを取得する請求項2に記載の医療文書作成支援装置。
- 前記文章作成部は、前記第1のテキストデータおよび前記第2のテキストデータに基づいて、前記変化を表す文章を出力するように機械学習がなされた学習済みモデルを有する請求項2または3に記載の医療文書作成支援装置。
- 前記学習済みモデルは、前記第1の医用画像に基づく少なくとも1つの所見および前記第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記変化を表す文章を出力する複数の出力層とを有し、前記第1の医用画像に基づく少なくとも1つの所見および前記第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記複数の入力層と前記複数の出力層との間の重み係数および前記複数の出力層の間の相互の重み係数が学習されてなるニューラルネットワークにより構成され、前記第1のテキストデータおよび前記第2のテキストデータが入力されると、前記変化を表す文章を出力するようにコンピュータを機能させる請求項4に記載の医療文書作成支援装置。
- 前記特徴情報取得部は、前記第1の医用画像の特徴量を前記第1の特徴情報として取得し、前記第2の医用画像の特徴量を前記第2の特徴情報として取得する請求項1に記載の医療文書作成支援装置。
- 前記変化を表す文章を表示部に表示する表示制御部をさらに備えた請求項1から6のいずれか1項に記載の医療文書作成支援装置。
- 第1の医用画像に基づく少なくとも1つの所見、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有し、前記第1の医用画像に基づく少なくとも1つの所見および前記第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記複数の入力層と前記複数の出力層との間の重み係数が学習されてなるニューラルネットワークにより構成され、前記第1の医用画像に基づく所見、および前記第2の医用画像に基づく所見が入力されると、前記変化を表す文章を出力するようにコンピュータを機能させる学習済みモデル。
- 第1の医用画像に基づく少なくとも1つの所見、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
前記第1の医用画像に基づく所見、および前記第2の医用画像に基づく所見が入力されると、前記第1の医用画像に基づく少なくとも1つの所見および前記第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習を行う学習部を備えた学習装置。 - 第1の医用画像に関する第1の特徴情報、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得し、
前記第1の特徴情報および前記第2の特徴情報を比較して、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を作成する医療文書作成支援方法。 - 第1の医用画像に基づく少なくとも1つの所見、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習方法であって、
前記第1の医用画像に基づく所見、および前記第2の医用画像に基づく所見が入力されると、前記第1の医用画像に基づく少なくとも1つの所見および前記第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習を行う学習方法。 - 第1の医用画像に関する第1の特徴情報、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に関する第2の特徴情報を取得する手順と、
前記第1の特徴情報および前記第2の特徴情報を比較して、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を作成する手順とをコンピュータに実行させる医療文書作成支援プログラム。 - 第1の医用画像に基づく少なくとも1つの所見、および前記第1の医用画像とは撮影時期が異なる第2の医用画像に基づく少なくとも1つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第1の医用画像および前記第2の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する処理をコンピュータに実行させる学習プログラムであって、
前記第1の医用画像に基づく所見、および前記第2の医用画像に基づく所見が入力されると、前記第1の医用画像に基づく少なくとも1つの所見および前記第2の医用画像に基づく少なくとも1つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習手順をコンピュータに実行させる学習プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020516163A JP7007469B2 (ja) | 2018-04-24 | 2019-04-02 | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム |
US17/074,543 US11923069B2 (en) | 2018-04-24 | 2020-10-19 | Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018083079 | 2018-04-24 | ||
JP2018-083079 | 2018-04-24 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/074,543 Continuation US11923069B2 (en) | 2018-04-24 | 2020-10-19 | Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019208130A1 true WO2019208130A1 (ja) | 2019-10-31 |
Family
ID=68294072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/014707 WO2019208130A1 (ja) | 2018-04-24 | 2019-04-02 | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11923069B2 (ja) |
JP (1) | JP7007469B2 (ja) |
WO (1) | WO2019208130A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021187483A1 (ja) * | 2020-03-17 | 2021-09-23 | ||
WO2022196106A1 (ja) | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 文書作成装置、方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005148990A (ja) * | 2003-11-13 | 2005-06-09 | Konica Minolta Medical & Graphic Inc | 医用画像読影システム及び読影レポート作成方法 |
JP2009082443A (ja) * | 2007-09-28 | 2009-04-23 | Canon Inc | 診断支援装置及びその制御方法 |
JP2016133821A (ja) * | 2015-01-15 | 2016-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20160350919A1 (en) * | 2015-06-01 | 2016-12-01 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
US20170293725A1 (en) * | 2016-04-07 | 2017-10-12 | Siemens Healthcare Gmbh | Image analytics question answering |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009070201A (ja) | 2007-09-14 | 2009-04-02 | Fujifilm Corp | 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法 |
US20190325300A1 (en) * | 2018-04-19 | 2019-10-24 | Siemens Healthcare Gmbh | Artificial intelligence querying for radiology reports in medical imaging |
-
2019
- 2019-04-02 WO PCT/JP2019/014707 patent/WO2019208130A1/ja active Application Filing
- 2019-04-02 JP JP2020516163A patent/JP7007469B2/ja active Active
-
2020
- 2020-10-19 US US17/074,543 patent/US11923069B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005148990A (ja) * | 2003-11-13 | 2005-06-09 | Konica Minolta Medical & Graphic Inc | 医用画像読影システム及び読影レポート作成方法 |
JP2009082443A (ja) * | 2007-09-28 | 2009-04-23 | Canon Inc | 診断支援装置及びその制御方法 |
JP2016133821A (ja) * | 2015-01-15 | 2016-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20160350919A1 (en) * | 2015-06-01 | 2016-12-01 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
US20170293725A1 (en) * | 2016-04-07 | 2017-10-12 | Siemens Healthcare Gmbh | Image analytics question answering |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021187483A1 (ja) * | 2020-03-17 | 2021-09-23 | ||
WO2021187483A1 (ja) * | 2020-03-17 | 2021-09-23 | 富士フイルム株式会社 | 文書作成支援装置、方法およびプログラム |
JP7431317B2 (ja) | 2020-03-17 | 2024-02-14 | 富士フイルム株式会社 | 文書作成支援装置、方法およびプログラム |
WO2022196106A1 (ja) | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 文書作成装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11923069B2 (en) | 2024-03-05 |
JP7007469B2 (ja) | 2022-01-24 |
US20210035676A1 (en) | 2021-02-04 |
JPWO2019208130A1 (ja) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019153250A (ja) | 医療文書作成支援装置、方法およびプログラム | |
US11139067B2 (en) | Medical image display device, method, and program | |
JP2019169049A (ja) | 医用画像特定装置、方法およびプログラム | |
US11093699B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
JP7102509B2 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
JP2019149005A (ja) | 医療文書作成支援装置、方法およびプログラム | |
WO2020209382A1 (ja) | 医療文書作成装置、方法およびプログラム | |
WO2020202822A1 (ja) | 医療文書作成支援装置、方法およびプログラム | |
JP2024009342A (ja) | 文書作成支援装置、方法およびプログラム | |
US11923069B2 (en) | Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program | |
WO2019193983A1 (ja) | 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム | |
US20230005580A1 (en) | Document creation support apparatus, method, and program | |
US20220415459A1 (en) | Information processing apparatus, information processing method, and information processing program | |
US20220392619A1 (en) | Information processing apparatus, method, and program | |
US20230054096A1 (en) | Learning device, learning method, learning program, information processing apparatus, information processing method, and information processing program | |
WO2021193548A1 (ja) | 文書作成支援装置、方法およびプログラム | |
JP7376715B2 (ja) | 経過予測装置、経過予測装置の作動方法および経過予測プログラム | |
WO2021172477A1 (ja) | 文書作成支援装置、方法およびプログラム | |
WO2020241857A1 (ja) | 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル | |
WO2023054646A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2021177312A1 (ja) | 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム | |
EP4310854A1 (en) | Document creation device, method, and program | |
JP7371220B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20230070906A1 (en) | Information processing apparatus, method, and program | |
WO2022215530A1 (ja) | 医用画像装置、医用画像方法、及び医用画像プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19793707 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020516163 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19793707 Country of ref document: EP Kind code of ref document: A1 |