WO2019208130A1 - 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム - Google Patents

医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム Download PDF

Info

Publication number
WO2019208130A1
WO2019208130A1 PCT/JP2019/014707 JP2019014707W WO2019208130A1 WO 2019208130 A1 WO2019208130 A1 WO 2019208130A1 JP 2019014707 W JP2019014707 W JP 2019014707W WO 2019208130 A1 WO2019208130 A1 WO 2019208130A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
feature information
input
medical
output
Prior art date
Application number
PCT/JP2019/014707
Other languages
English (en)
French (fr)
Inventor
佳児 中村
真之介 平川
陽平 桃木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020516163A priority Critical patent/JP7007469B2/ja
Publication of WO2019208130A1 publication Critical patent/WO2019208130A1/ja
Priority to US17/074,543 priority patent/US11923069B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a medical document creation support apparatus, method and program, a learned model, and a learning apparatus, method and program that support creation of a medical document such as an interpretation report.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • CAD Computer-Aided Diagnosis
  • CAD Computer-Aided Diagnosis
  • the analysis result generated by the analysis process is stored in the database in association with the examination information such as the patient name, sex, age, and modality obtained from the medical image, and is used for diagnosis.
  • an engineer such as a radiology department who has acquired a medical image determines an interpreting doctor corresponding to the medical image, and informs the determined interpreting doctor that there is a medical image and an analysis result by CAD.
  • the interpretation doctor interprets the medical image with reference to the distributed medical image and the analysis result at his / her interpretation terminal, and creates an interpretation report.
  • interpretation doctors interpret a great number of medical images and create interpretation reports.
  • it is necessary to refer to more medical images and interpretation reports. It is desired to reduce the burden on the interpretation doctor when describing the result of such comparative interpretation in the interpretation report.
  • the present disclosure has been made in view of the above circumstances, and reduces the burden on an operator such as an interpretation doctor when creating a medical document such as an interpretation report on a medical image including a comparison result of a plurality of medical images. With the goal.
  • the medical document creation support apparatus acquires the first feature information related to the first medical image, and the second feature information related to the second medical image having a shooting time different from the first medical image.
  • a sentence creation unit that compares the first feature information and the second feature information and creates a sentence representing a change between the first medical image and the second medical image;
  • the feature information acquisition unit acquires first text data representing at least one finding based on the first medical image as the first feature information
  • the second feature information Second text data representing at least one finding based on the medical image may be acquired as the second feature information.
  • the feature information acquisition unit analyzes at least one of the first medical image and the second medical image, and obtains the first text data and the second text data. You may acquire.
  • the sentence creation unit is a learned model in which machine learning is performed so as to output a sentence representing a change based on the first text data and the second text data. It may have.
  • the learned model includes a plurality of inputs in which at least one finding based on the first medical image and at least one finding based on the second medical image are input. At least one finding based on the first medical image and at least one based on the second medical image, and having a plurality of output layers to which the output from the input layer is input and outputs a sentence representing the change
  • the weighting factors between the plurality of input layers and the plurality of output layers and the mutual relationship between the plurality of output layers so as to sequentially output the plurality of words constituting the sentence representing the change.
  • It is composed of a neural network in which weighting factors are learned, and when first text data and second text data are input, a sentence representing a change is output.
  • Computer may be one to function.
  • the feature information acquisition unit acquires the feature amount of the first medical image as the first feature information, and uses the feature amount of the second medical image as the second feature. It may be acquired as information.
  • the medical document creation support apparatus may further include a display control unit that displays a sentence representing a change on the display unit.
  • the learned model according to the present disclosure includes a plurality of at least one finding based on a first medical image and at least one finding based on a second medical image having a photographing time different from the first medical image. And an output from the input layer, and a plurality of output layers for outputting sentences representing changes between the first medical image and the second medical image.
  • the first medical image A plurality of input layers and a plurality of output layers so as to sequentially output a plurality of words constituting a sentence representing a change based on a correspondence relationship between the at least one finding based on the second medical image and the at least one finding based on the second medical image
  • a finding based on the first medical image and a finding based on the second medical image are input, a sentence representing a change is formed. Causing the computer to function so as to force.
  • the learning device includes a plurality of at least one finding based on a first medical image and at least one finding based on a second medical image having a photographing time different from the first medical image.
  • a learned model by learning a neural network having an input layer and a plurality of output layers to which an output from the input layer is input and which outputs a sentence representing a change between the first medical image and the second medical image
  • a learning device for generating When a finding based on the first medical image and a finding based on the second medical image are input, a correspondence relationship between at least one finding based on the first medical image and at least one finding based on the second medical image
  • a learning unit for performing learning for setting weighting coefficients between a plurality of input layers and a plurality of output layers in a neural network so that a plurality of words constituting a sentence representing a change are sequentially output based on Prepare.
  • the medical document creation support method acquires first feature information related to a first medical image, and second feature information related to a second medical image whose imaging time is different from the first medical image, The first feature information and the second feature information are compared to create a sentence representing a change between the first medical image and the second medical image.
  • a plurality of at least one finding based on a first medical image and at least one finding based on a second medical image having a different imaging time from the first medical image are input.
  • a learned model by learning a neural network having an input layer and a plurality of output layers to which an output from the input layer is input and which outputs a sentence representing a change between the first medical image and the second medical image
  • a learning method for generating When a finding based on the first medical image and a finding based on the second medical image are input, a correspondence relationship between at least one finding based on the first medical image and at least one finding based on the second medical image Based on the above, learning for setting weighting coefficients between the plurality of input layers and the plurality of output layers in the neural network is performed so that a plurality of words constituting a sentence representing a change are sequentially output.
  • the learning method according to the present disclosure may be provided as a program for causing a computer to execute the learning method.
  • Another medical document creation support apparatus includes a memory for storing instructions for causing a computer to execute, A processor configured to execute stored instructions, the processor comprising: Obtaining first feature information relating to the first medical image, and second feature information relating to a second medical image having a photographing time different from the first medical image; The first feature information and the second feature information are compared, and a process for creating a sentence representing a change between the first medical image and the second medical image is executed.
  • At least one finding based on a first medical image and at least one finding based on a second medical image having a different imaging time from the first medical image are input.
  • Learning and learning a neural network having a plurality of input layers and a plurality of output layers to which outputs from the input layers are input and output sentences representing changes between the first medical image and the second medical image
  • Learning device for generating a completed model,
  • a memory for storing instructions to be executed by a computer;
  • a processor configured to execute stored instructions, the processor comprising: When a finding based on the first medical image and a finding based on the second medical image are input, a correspondence relationship between at least one finding based on the first medical image and at least one finding based on the second medical image
  • a learning process for setting weight coefficients between a plurality of input layers and a plurality of output layers in the neural network is executed so that a plurality of words constituting a sentence representing a change are sequentially output.
  • the first feature information related to the first medical image and the second feature information related to the second medical image whose imaging time is different from the first medical image are acquired, and the first feature information and The second feature information is compared to create a sentence representing a change between the first medical image and the second medical image. Therefore, it is possible to reduce the burden of creating the medical document for the operator, particularly when performing comparative interpretation, and as a result, the operator can efficiently create the medical document.
  • FIG. 1 is a diagram illustrating a schematic configuration of a medical information system to which a medical document creation support apparatus according to an embodiment of the present disclosure is applied.
  • Figure showing an example of feature information A diagram showing a schematic configuration of a recurrent neural network
  • the figure which shows the display screen of the text showing the change The flowchart which shows the process performed in 1st Embodiment.
  • the figure for demonstrating acquisition of the 1st feature information from an interpretation report The figure which shows schematic structure of the medical document preparation assistance apparatus by 2nd Embodiment.
  • FIG. 1 is a diagram illustrating a schematic configuration of a medical information system to which a medical document creation support device, a learned model, and a learning device according to an embodiment of the present disclosure are applied.
  • the medical information system 1 shown in FIG. 1 is based on an examination order from a doctor in a medical department using a known ordering system, imaging of a region to be inspected of a subject, storage of a medical image obtained by imaging, and reading by a doctor
  • This is a system for performing interpretation of medical images and creation of interpretation reports, and viewing of interpretation reports and detailed observation of interpretation-target medical images by doctors in the requesting department. As shown in FIG.
  • a medical information system 1 includes a plurality of modalities (imaging devices) 2, a plurality of interpretation workstations (WS) 3, which are interpretation terminals, a clinical department workstation (WS) 4, an image server 5, an image A database 6, an interpretation report server 7, and an interpretation report database 8 are configured so as to be communicable with each other via a wired or wireless network 9.
  • Each device is a computer in which an application program for causing it to function as a component of the medical information system 1 is installed.
  • the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and installed on the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to the network 9 or a network storage in a state where it can be accessed from the outside, and is downloaded to a computer and installed on demand.
  • Modality 2 is a device that generates a medical image representing a diagnosis target part by photographing a part of the subject to be diagnosed. Specifically, a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like. The medical image generated by the modality 2 is transmitted to the image server 5 and stored.
  • the interpretation WS3 includes the medical document creation support device, the learned model, and the learning device according to the present embodiment.
  • the configuration of the image interpretation WS3 will be described later.
  • the medical department WS4 is a computer used by doctors in the medical department for detailed observation of images, reading of interpretation reports, creation of electronic medical records, and the like, and processing devices, display devices such as displays, and input devices such as keyboards and mice. Consists of.
  • creation of a patient chart electronic chart
  • a request to browse the image to the image server 5 display of an image received from the image server 5
  • an interpretation report server 7 is performed by executing a software program for each process, such as a request for browsing the interpretation report for the image interpretation report 7 and display of the interpretation report received from the interpretation report server 7.
  • the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed.
  • the image server 5 includes a storage in which the image database 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 9. It may be.
  • NAS Network Attached Storage
  • SAN Storage Area Network
  • the incidental information includes, for example, an image ID for identifying individual medical images, a patient ID (identification) for identifying a subject, an examination ID for identifying examinations, and a unique ID assigned to each medical image ( (UID: unique identification), examination date when the medical image was generated, examination time, type of modality used in the examination for obtaining the medical image, patient information such as patient name, age, gender, examination part (imaging part) ), Imaging information (imaging protocol, imaging sequence, imaging technique, imaging conditions, use of contrast agent, etc.), information such as series numbers or collection numbers when a plurality of medical images are acquired in one examination.
  • the image server 5 when the image server 5 receives a browsing request from the image interpretation WS 3 via the network 9, the image server 5 retrieves the medical image registered in the image database 6 and transmits the retrieved medical image to the image interpretation WS 3 as the request source.
  • the interpretation report server 7 incorporates a software program that provides a database management system function to a general-purpose computer.
  • the interpretation report server 7 arranges the interpretation report in a database format and registers it in the interpretation report database 8.
  • the interpretation report is searched from the interpretation report database 8.
  • the interpretation report database 8 includes, for example, an image ID for identifying a medical image to be interpreted, an interpretation doctor ID for identifying an image diagnostician who has performed interpretation, a lesion name, lesion position information, findings, and belief in findings. An interpretation report in which information such as degree is recorded is registered.
  • the network 9 is a wired or wireless local area network that connects various devices in the hospital.
  • the network 9 may have a configuration in which local area networks of each hospital are connected to each other via the Internet or a dedicated line. In any case, it is preferable that the network 9 has a configuration capable of realizing high-speed transfer of medical images such as an optical network.
  • Interpretation WS3 is a computer used by a medical image interpretation doctor to interpret a medical image and create an interpretation report, and includes a processing device, a display device such as a display, and input devices such as a keyboard and a mouse.
  • a medical image browsing request to the image server 5 various image processing for the medical image received from the image server 5, display of the medical image, analysis processing for the medical image, enhancement display of the medical image based on the analysis result, analysis result
  • Each process includes creation of an interpretation report based on the report, support for creating the interpretation report, a request for registering and viewing the interpretation report to the interpretation report server 7, and display of the interpretation report received from the interpretation report server 7.
  • processes other than the processes performed by the medical document creation support apparatus, the learned model, and the learning apparatus of the present embodiment are performed by a well-known software program, and thus detailed description thereof is omitted here.
  • processing other than the processing performed by the medical document creation support apparatus of the present embodiment is not performed in the interpretation WS3, and a computer that performs the processing is connected to the network 9 in response to a processing request from the interpretation WS3. You may make it perform the process requested
  • the interpretation WS3 includes the medical document creation support device, the learned model, and the learning device according to the present embodiment. For this reason, the medical document creation support program, the learned model, and the learning program according to the present embodiment are installed in the interpretation WS3.
  • the medical document creation support program, the learned model, and the learning program are recorded and distributed on a recording medium such as a DVD or a CD-ROM, and are installed in the interpretation WS 3 from the recording medium. Alternatively, it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed in the image interpretation WS 3 upon request.
  • FIG. 2 is a diagram illustrating a schematic configuration of a medical document creation support apparatus according to the first embodiment of the present disclosure, which is realized by installing a medical document creation support program, a learned model, and a learning program.
  • the medical document creation support apparatus includes a learned model and a learning apparatus.
  • FIG. 2 shows only the medical document creation support apparatus.
  • the medical document creation support apparatus 10 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard computer configuration.
  • CPU Central Processing Unit
  • a display device such as a liquid crystal display
  • an input device 15 such as a keyboard and a mouse are connected to the medical document creation support apparatus 10.
  • the storage 13 is a storage device such as a hard disk or SSD (Solid State Drive).
  • the storage 13 stores various types of information including information necessary for processing of the medical image and the medical document creation support apparatus 10 acquired from the image server 5 via the network 9.
  • the memory 12 stores a medical document creation support program, a learned model, and a learning program.
  • the medical document creation support program executes, as processing to be executed by the CPU 11, image acquisition processing for acquiring a first medical image and a second medical image having different photographing times, first characteristic information about the first medical image, and first The first medical information is obtained by comparing the second feature information on the second medical image, the first feature information on the first medical image, and the second feature information on the second medical image.
  • a sentence creation process for creating a sentence representing a change between the image and the second medical image, and a display process for displaying the sentence representing the change on the display unit 14 are defined.
  • the learning program defines a learning process for learning a neural network as described later and generating a learned model provided in the sentence creation unit as a process to be executed by the CPU 11.
  • the computer functions as an image acquisition unit 21, a feature information acquisition unit 22, a sentence creation unit 23, and a display control unit 24. Further, the computer functions as the learning unit 25 when the CPU 11 executes the learning process according to the learning program.
  • the CPU 11 executes the function of each unit by the medical document creation support program and the learning program.
  • a programmable logic device PLD that is a processor whose circuit configuration can be changed after manufacturing an FPGA (Field Programmable Gate Array) or the like can be used.
  • the processing of each unit may be executed by a dedicated electric circuit or the like that is a processor having a circuit configuration designed exclusively for executing specific processing such as ASIC (Application Specific Specific Integrated Circuit).
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). It may be configured. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client and a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • IC integrated circuit
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • the image acquisition unit 21 acquires, from the image storage server 3, the first first medical image G1 and the second medical image G2 that have different imaging times for the same subject.
  • the first and second medical images G1 and G2 may be acquired from the storage 13.
  • the first medical image G1 has an imaging time before the second medical image G2.
  • the medical images G1 and G2 are CT images acquired by a CT apparatus, but are not limited to this, and may be MRI images or PET images.
  • the feature information acquisition unit 22 acquires first feature information C1 related to the first medical image G1 and second feature information C2 related to the second medical image G2. First, the feature information acquisition unit 22 analyzes the first and second medical images G1 and G2, thereby acquiring analysis results regarding diseases and the like included in the first and second medical images G1 and G2. Therefore, the feature information acquisition unit 22 performs machine learning to determine whether each pixel (voxel) in the first and second medical images G1 and G2 represents a lesion, and the type of the lesion.
  • the discriminator with In the present embodiment, the discriminator includes a neural network that is deep-learned (deep learning) so that a plurality of types of lesions included in the first and second medical images G1 and G2 can be classified.
  • a plurality of discriminators in the feature information acquisition unit 22 are provided for each pixel (voxel) in the first and second medical images G1 and G2. Learning is performed to output the probability of being each of the lesions. Then, the discriminator obtains a lesion that exceeds a predetermined threshold value and has the maximum probability for a certain pixel, and discriminates that the pixel is a lesion pixel that has been obtained.
  • the discriminator is, for example, a support vector machine (SVM (Support Vector Machine)), a convolutional neural network (CNN (Convolutional Neural Network)), and a recurrent neural network (RNN (Recurrent Neural Neural)). Network)) and the like.
  • SVM Support Vector Machine
  • CNN convolutional Neural Network
  • RNN Recurrent Neural Neural
  • the feature information acquisition unit 22 acquires the first feature information C1 related to the first medical image G1 and the second feature information C2 related to the second medical image G2 using the determination result by the discriminator.
  • text data representing at least one of the findings of the first and second medical images G1, G2, that is, the type of lesion, the position of the lesion, the shape of the lesion, the size of the lesion, the state of the lesion, and the like.
  • first and second feature information C1, C2 For example, when a medical image includes a lung field and a lesion is found in the lung field, the feature information acquisition unit 22 finds at least one of the position, type, size, and state of the lesion in the lung field as a finding. Is generated as first and second feature information C1, C2.
  • FIG. 3 is a diagram showing an example of feature information.
  • the first medical image G1 and the second medical image G2 are CT images of lung fields.
  • text data representing a plurality of findings of “air space”, “1 cm”, “similar circle”, “unclear” and “nodule” is acquired as the first feature information C1.
  • text data representing a plurality of findings of “air cavity”, “1 cm”, “similar circle”, “clear” and “nodule” is acquired as the second feature information C2 from the second medical image G2. ing.
  • the text creation unit 23 compares the first feature information C1 and the second feature information C2 generated by the feature information acquisition unit 22, and determines between the first medical image G1 and the second medical image G2. Create sentences that show change. For this purpose, the sentence creation unit 23 outputs a sentence representing a change based on the first text data that is the first feature information C1 and the second text data that is the second feature information C2. It has a learned model 30 that has been machine-learned. Learning of the learned model 30 is performed by the learning unit 25.
  • the learned model 30 is obtained by learning a recurrent neural network that has been trained to create a sentence that represents a change between two text data from two input text data. Generated.
  • FIG. 4 is a diagram showing a schematic configuration of a recurrent neural network. As shown in FIG. 4, the recurrent neural network RNN has a plurality of input layers 31 and a plurality of output layers 32.
  • each of the plurality of input layers 31 a finding represented by the first feature information C1 (that is, the first text data) and a finding represented by the second feature information C2 (that is, the second text data). Is entered.
  • the output of the input layer 31 is input to the first layer, and the words constituting the sentence representing the change are sequentially output from each of the plurality of output layers 32.
  • words constituting a sentence representing the change are sequentially output.
  • the learning unit 25 learns the weighting coefficients between the plurality of input layers 31 and the plurality of output layers 32 and the mutual weighting coefficient between the plurality of output layers 32 in the recurrent neural network RNN. Thereby, the learned model 30 is generated.
  • FIG. 5 is a diagram for explaining generation of a sentence representing a change by the learned model 30.
  • the first feature information C ⁇ b> 1 is input to the input layer 31 of the learned model 30. Specifically, findings of “air space”, “1 cm”, “similar circle”, “unclear”, and “nodule” are input to different input layers 31.
  • the second feature information C2 is also input to the input layer 31. Specifically, findings of “air space”, “1 cm”, “similar circle”, “clear” and “nodule” are input to different input layers 31.
  • parentheses representing a delimiter of feature information are input to the input layers before and after the first and second feature information C1 and C2 to be input.
  • the output from the input layer 31 is input to the first layer of the output layer 32, and words constituting the sentence representing the change between the first feature information C ⁇ b> 1 and the second feature information C ⁇ b> 2 are stored in the plurality of output layers 32.
  • FIG. 6 is a diagram showing a display screen of a text representing a change.
  • the display screen 40 includes an interpretation report 41 for the first medical image G1 and an interpretation report 42 for the second medical image G2.
  • the interpretation report 41 for the first medical image G1 includes a sentence 43 “There is a nodule with an air space and a 1 cm-sized circular circle with unclear boundaries”.
  • the interpretation report 42 for the second medical image G2 includes a sentence 44 “There is a nodule with a clear boundary with a 1 cm-like circular shape having an air space”.
  • the sentences 43 and 44 are created by the operator referring to and inputting the first feature information C1 and the second feature information C2.
  • the medical document creation support apparatus 10 is separately provided with a learning model for creating a sentence from the first and second feature information C1 and C2, and from such a learning model, the first and second features C1 and C2 are used. Sentences 43 and 44 may be created.
  • the interpretation report 42 for the second medical image G2 includes a sentence 45 representing a change in “the ambiguity of the boundary has increased” created by the sentence creation unit 23.
  • the image interpretation reports 41 and 42 are transmitted from the image interpretation WS 3 to the image interpretation report server 7 and registered in the image interpretation report database 8.
  • FIG. 7 is a flowchart showing processing performed in the first embodiment.
  • the processing is started, and the image acquisition unit 21 performs the first medical image G1 and the second medical image G2 having different imaging timings.
  • the medical image G2 is acquired (step ST1).
  • the feature information acquisition unit 22 acquires first feature information C1 related to the first medical image G1 and second feature information C2 related to the second medical image G2 (step ST2).
  • the sentence creation unit 23 compares the first feature information C1 and the second feature information C2 generated by the feature information acquisition unit 22, and compares the first medical image G1 and the second medical image G2.
  • a sentence representing a change between the two is created (step ST3).
  • the display control part 24 displays the text showing a change on the display part 14 (step ST4), and complete
  • C2 is acquired, and the first feature information C1 and the second feature information C2 are compared, and a sentence representing a change between the first medical image G1 and the second medical image G2 is created. Therefore, it is possible to reduce the burden of creating a medical document such as an interpretation report for an operator, particularly when comparative interpretation is performed. As a result, the operator can efficiently create a medical document.
  • the feature information acquisition unit 22 analyzes the first medical image G1 and the second medical image G2, and obtains the first feature information C1 and the second feature information C2. Although acquired, it is not limited to this. For example, an interpretation report has already been created and registered in the interpretation report database 8 for the first medical image G1 whose imaging time is earlier than the second medical image G2. For this reason, the feature information acquisition unit 22 inquires of the interpretation report server 7 as to whether or not an interpretation report is registered in the interpretation report database 8 for the first medical image G1. An interpretation report of the first medical image G1 is acquired from the interpretation report database 8 via the report server 7.
  • the feature information acquisition unit 22 includes a finding extraction discriminator that has been trained to extract findings from sentences, and the feature information acquisition unit 22 is located in the finding extraction discriminator and uses findings from the interpretation report sentences.
  • FIG. 8 is a diagram for explaining acquisition of the first feature information C1 from the interpretation report. As shown in FIG. 8, it is assumed that the interpretation report is a sentence “There is a 1 cm-sized circular circle with an air space and an unclear boundary”. When this sentence is input, the feature extraction unit of the feature information acquisition unit 22 extracts the findings of “air space”, “1 cm”, “similar circle”, “unclear” and “nodule”, Text data representing these findings is acquired as first feature information C1.
  • an interpretation report may also be registered in the interpretation report database 8 for the second medical image G2.
  • the feature information acquisition unit 22 acquires an interpretation report for the second medical image G2 from the interpretation report database 8 via the interpretation report server 7, and obtains the second feature information C2 for the second medical image G2. Can be obtained from the interpretation report.
  • the feature information acquisition unit 22 analyzes the first medical image G1 and the second medical image to acquire the first feature information C1 and the second feature information C2.
  • the operator observes the first medical image G1 and the second medical image G2, and as a result, obtains the findings input from the input unit 15 as the first feature information C1 and the second feature information C2. You may make it do.
  • the first feature information C1 and the second feature information C2 are text data representing findings.
  • the first feature information C1 and the second feature information C2 may be feature amounts representing the features of the first medical image G1 and the second medical image G2.
  • this will be described as a second embodiment.
  • FIG. 9 is a diagram illustrating a schematic configuration of a medical document creation support apparatus according to the second embodiment of the present disclosure.
  • the medical document creation support apparatus 10A according to the second embodiment replaces the feature information acquisition unit 22, the sentence creation unit 23, and the learning unit 25 in the first embodiment with a feature information acquisition unit 52, a sentence creation unit 53, and learning.
  • the point provided with the part 55 differs from 1st Embodiment.
  • the feature information acquisition unit 52 in the second embodiment acquires a feature amount representing the feature of the first medical image G1 as the first feature information C1 from the first medical image G1. Further, a feature amount representing the feature of the second medical image G2 is acquired as the second feature information C2 from the second medical image G2.
  • the feature information acquisition unit 52 includes a discriminator that has been subjected to machine learning so as to extract feature amounts from the first and second medical images G1 and G2.
  • the discriminator is a neural network that has been deep-learned (deep learning) so as to extract feature amounts from the first and second medical images G1 and G2.
  • the entire region of the first and second medical images G1 and G2 may be input to the discriminator, but only the region including the subject in the first and second medical images G1 and G2, or the first Only specified areas in the first and second medical images G1 and G2 may be input.
  • the discriminator included in the feature information acquisition unit 52 in the second embodiment is trained to output such information as a feature amount by inputting a medical image.
  • the feature information acquisition unit 52 has only one discriminator, and sequentially acquires the first feature information C1 and the second feature information C2 from the first medical image G1 and the second medical image G2.
  • the first feature information C1 and the second feature information C2 may be acquired in parallel from the first medical image G1 and the second medical image G2 with two discriminators. In the latter case, the calculation time for obtaining the first and second feature information C1 and C2 can be shortened.
  • the discriminator may be composed of, for example, a support vector machine, a convolutional neural network, and a recurrent neural network in addition to the neural network that has been subjected to deep learning.
  • the text creation unit 53 in the second embodiment compares the first feature information C1 and the second feature information C2 generated by the feature information acquisition unit 52, and compares the first medical image G1 with the second medical information.
  • a sentence representing a change from the image G2 is created.
  • the sentence creation unit 53 selects words constituting a sentence representing a change based on the first feature quantity that is the first feature information C1 and the second feature quantity that is the second feature information C2. It has a learned model 60 that has been machine-learned so as to output in order. Learning of the learned model 60 is performed by the learning unit 55.
  • the learned model 60 is composed of a recurrent neural network that has been learned so as to create a sentence representing a change between the two feature values from the two input feature values.
  • FIG. 10 is a diagram for explaining generation of a sentence representing a change by a learned model in the second embodiment.
  • a learned model 60 that is a recurrent neural network has a plurality of input layers 61 and a plurality of output layers 62.
  • Each of the plurality of input layers 61 receives information included in the feature quantity represented by the first feature information C1 and information contained in the feature quantity represented by the second feature information C2. .
  • the output of the input layer 61 is input to the first layer, and the words constituting the sentence representing the change are sequentially output from each of the plurality of output layers 62.
  • the second embodiment is a word constituting a sentence representing a change based on the correspondence between the feature quantity represented by the first feature information C1 and the feature quantity represented by the second feature information C2.
  • the learning unit 55 learns the weighting factors between the plurality of input layers 61 and the plurality of output layers 62 and the mutual weighting factors between the plurality of output layers 62 in the recurrent neural network. . Thereby, a learned model 60 is generated.
  • each of the first input layers 61 includes information T11 to T14 included in the feature amount represented by the first feature information C1 and feature amount represented by the second feature information C2.
  • the output of the input layer 61 is input to the first layer of the output layer 62, and the words constituting the sentence representing the change between the first feature information C1 and the second feature information C2 are respectively included in the plurality of output layers 62.
  • the first feature information C1 and the second feature information C2 are set as feature amounts representing the features of the first medical image G1 and the second medical image G2.
  • a sentence representing a change between the first medical image G1 and the second medical image G2 can be created. Therefore, it is possible to reduce the burden of creating a medical document such as an interpretation report of an operator when performing comparative interpretation, and as a result, the operator can efficiently create a medical document.
  • the sentence creation units 23 and 53 may create a sentence representing a change using a conditional expression.
  • individual findings included in the input first feature information C1 are compared with individual findings included in the second feature information C2 corresponding to these individual findings. If the word is different, it is determined that there is a change between the first medical image G1 and the second medical image G2.
  • Information representing a change may be generated. In this case, information representing the generated change may be inserted into a predetermined standard document to generate a sentence representing the change.
  • the first feature information C1 is “air space”, “1 cm”, “similar circle”, “unclear”, and “nodule”, and the second feature information Assume that C2 is “air space”, “1 cm”, “similar circle”, “clear” and “nodule”. In this case, when the corresponding words are compared, “unclear” and “clear” are different. For this reason, the information indicating the change of the word is “clear”.
  • the standard document is “XX is increasing”, if “clear” is inserted into “XX”, a sentence representing a change “increase in clarity” is created. For this reason, not only the learned model but also a sentence representing a change may be created using such a conditional expression.
  • the medical document creation support devices 10 and 10A include the learning units 25 and 55, and the medical document creation support devices 10 and 10A learn the recurrent neural network, thereby writing the text creation units 23 and 53.
  • the learned models 30 and 60 are generated in the above, the present invention is not limited to this.
  • a learning device separate from the medical document creation support devices 10 and 10A is provided, and the learning models 30 and 60 are obtained by learning the recurrent neural network in the learning device provided separately. You may make it produce
  • the learned models 30 and 60 may be generated by learning the recurrent neural network in an external analysis server or the like separate from the interpretation WS3.
  • the medical document creation support apparatuses 10 and 10A are configured by installing the learned models 30 and 60.
  • the learned models 30 and 60 are generated by learning a recurrent neural network.
  • the present invention is not limited to this, for example, a support vector machine, a convolutional neural network, and the like.
  • the learned models 30 and 60 may be generated by learning the neural network.
  • the first and second feature information C1 and C2 are text data representing a plurality of findings.
  • the present invention is not limited to this, and the text data representing one finding. It is good.
  • the first feature information C1 may be text data representing one finding “unclear”
  • the second feature information C2 may be text data representing one finding “clear”.
  • the first and second feature information C1 and C2 are feature amounts composed of a plurality of pieces of information.
  • the present invention is not limited to this, and the feature includes only one piece of information. It may be an amount.
  • the feature information acquisition unit 22 of the medical document creation support apparatus 10 in the interpretation WS 3 analyzes the medical image.
  • the medical image is analyzed by an external analysis server or the like.
  • the first feature information C1 and the second feature information C2 may be acquired.
  • the feature information acquisition unit 22 acquires the first feature information C1 and the second feature information C2 acquired outside.
  • the present disclosure is applied when creating an interpretation report as a medical document.
  • an interpretation report such as an electronic medical record and a diagnostic report
  • the present disclosure is applied.
  • the disclosure can be applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

特徴情報取得部２２が、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１、および第１の医用画像Ｇ１とは撮影時期が異なる第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する。文章作成部２３が、特徴情報取得部２２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１および第２の医用画像Ｇ２の間の変化を表す文章を作成する。表示制御部２４が、変化を表す文章を表示部１４に表示する。

Description

医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
　本開示は、読影レポート等の医療文書の作成を支援する医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
　また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存されて、診断に供される。この際、医用画像を取得した放射線科等の技師が、医用画像に応じた読影医を決定し、医用画像およびＣＡＤによる解析結果が存在することを、決定した読影医に伝えるようにしている。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　読影レポート等の医療文書を作成する際には、対象となる医用画像を取得した被検体についての過去の医用画像および過去の読影レポートを参照して比較読影を行い、病変等の変化を読影レポートに記載することが多い。このため、現在の読影レポート（以下、現在レポートと称する）を作成する際に、過去の読影レポート（以下、過去レポートと称する）に記載された所見文等を参照する各種手法が提案されている。例えば、特開２００９－７０２０１号公報には、過去レポートに記載されたコメントをコピーして、過去画像に関連する情報から現在画像に関連する情報を作成し、現在レポート作成用のテンプレートを作成することにより、簡便に読影レポートを作成する手法が提案されている。
　一方、読影医は非常に多くの医用画像の読影を行い、かつ読影レポートを作成する。とくに、比較読影を行う場合には、より多くの医用画像および読影レポートを参照する必要がある。このような比較読影の結果を読影レポートに記載する際の読影医の負担を軽減することが望まれている。
　本開示は上記事情に鑑みなされたものであり、複数の医用画像の比較結果を含む、医用画像に関する読影レポート等の医療文書を作成する際の、読影医等の操作者の負担を軽減することを目的とする。
　本開示による医療文書作成支援装置は、第１の医用画像に関する第１の特徴情報、および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得する特徴情報取得部と、
　第１の特徴情報および第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する文章作成部とを備える。
　なお、本開示による医療文書作成支援装置においては、特徴情報取得部は、第１の医用画像に基づく少なくとも１つの所見を表す第１のテキストデータを第１の特徴情報として取得し、第２の医用画像に基づく少なくとも１つの所見を表す第２のテキストデータを第２の特徴情報として取得するものであってもよい。
　また、本開示による医療文書作成支援装置においては、特徴情報取得部は、第１の医用画像および第２の医用画像の少なくとも一方を解析して、第１のテキストデータおよび第２のテキストデータを取得するものであってもよい。
　また、本開示による医療文書作成支援装置においては、文章作成部は、第１のテキストデータおよび第２のテキストデータに基づいて、変化を表す文章を出力するように機械学習がなされた学習済みモデルを有するものであってもよい。
　また、本開示による医療文書作成支援装置においては、学習済みモデルは、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、変化を表す文章を出力する複数の出力層とを有し、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、複数の入力層と複数の出力層との間の重み係数および複数の出力層の間の相互の重み係数が学習されてなるニューラルネットワークにより構成され、第１のテキストデータおよび第２のテキストデータが入力されると、変化を表す文章を出力するようにコンピュータを機能させるものであってもよい。
　また、本開示による医療文書作成支援装置においては、特徴情報取得部は、第１の医用画像の特徴量を第１の特徴情報として取得し、第２の医用画像の特徴量を第２の特徴情報として取得するものであってもよい。
　また、本開示による医療文書作成支援装置においては、変化を表す文章を表示部に表示する表示制御部をさらに備えるものであってもよい。
　本開示による学習済みモデルは、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有し、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、複数の入力層と複数の出力層との間の重み係数が学習されてなるニューラルネットワークにより構成され、第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、変化を表す文章を出力するようにコンピュータを機能させる。
　本開示による学習装置は、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
　第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う学習部を備える。
　本開示による医療文書作成支援方法は、第１の医用画像に関する第１の特徴情報、および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得し、
　第１の特徴情報および第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する。
　本開示による学習方法は、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習方法であって、
　第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う。
　なお、本開示による医療文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　また、本開示による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の医療文書作成支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　第１の医用画像に関する第１の特徴情報、および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得し、
　第１の特徴情報および第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する処理を実行する。
　本開示による他の学習装置は、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
　コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習処理を実行する。
　本開示によれば、第１の医用画像に関する第１の特徴情報および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報が取得され、第１の特徴情報および第２の特徴情報が比較されて、第１の医用画像および第２の医用画像の間の変化を表す文章が作成される。このため、とくに比較読影を行う場合における、操作者の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
本開示の実施形態による医療文書作成支援装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による医療文書作成支援装置の概略構成を示す図 特徴情報の例を示す図 リカレントニューラルネットワークの模式的な構成を示す図 第１の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図 変化を表す文章の表示画面を示す図 第１の実施形態において行われる処理を示すフローチャート 読影レポートからの第１の特徴情報の取得を説明するための図 第２の実施形態による医療文書作成支援装置の概略構成を示す図 第２の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図
　以下、図面を参照して本開示の実施形態について説明する。図１は本開示の実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク９を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク９に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
　モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。
　読影ＷＳ３は、本実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置を内包する。読影ＷＳ３の構成については後述する。
　診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。
　画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ(identification)、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
　読影レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。
　読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
　ネットワーク９は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
　以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医療文書作成支援装置、学習済みモデルおよび学習装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医療文書作成支援装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
　読影ＷＳ３は、本実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置が内包されてなる。このため、読影ＷＳ３には、本実施形態による医療文書作成支援プログラム、学習済みモデルおよび学習プログラムがインストールされてなる。医療文書作成支援プログラム、学習済みモデルおよび学習プログラムは、ＤＶＤあるいはＣＤ－ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。
　図２は、医療文書作成支援プログラム、学習済みモデルおよび学習プログラムをインストールすることにより実現される、本開示の第１の実施形態による医療文書作成支援装置の概略構成を示す図である。なお、第１の実施形態においては、医用文書作成支援装置が、学習済みモデルおよび学習装置を内包するものとする。このため、図２には医用文書作成支援装置のみを示す。図２に示すように、医療文書作成支援装置１０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医療文書作成支援装置１０には、液晶ディスプレイ等の表示装置（以下表示部とする）１４、並びにキーボードおよびマウス等の入力装置（以下、入力部とする）１５が接続されている。
　ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク９を経由して画像サーバ５から取得した、医用画像および医療文書作成支援装置１０の処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、医療文書作成支援プログラム、学習済みモデルおよび学習プログラムが記憶されている。医療文書作成支援プログラムは、ＣＰＵ１１に実行させる処理として、撮影時期が異なる第１の医用画像および第２の医用画像を取得する画像取得処理、第１の医用画像に関する第１の特徴情報、および第２の医用画像に関する第２の特徴情報を取得する特徴情報取得処理、第１の医用画像に関する第１の特徴情報および第２の医用画像に関する第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する文章作成処理、並びに変化を表す文章を表示部１４に表示する表示処理を規定する。また、学習プログラムは、ＣＰＵ１１に実行させる処理として、後述するようにニューラルネットワークを学習して、文章作成部が備える学習済みモデルを生成する学習処理を規定する。
　そして、ＣＰＵ１１が医療文書作成支援プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、特徴情報取得部２２、文章作成部２３および表示制御部２４として機能する。また、ＣＰＵ１１が学習プログラムに従い学習処理を実行することで、コンピュータは、学習部２５として機能する。なお、本実施形態においては、ＣＰＵ１１が医療文書作成支援プログラムおよび学習プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、ＣＰＵ１１の他、ＦＰＧＡ (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）を用いることができる。また、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　画像取得部２１は、同一被検体についての撮影時期が異なる第１の第１の医用画像Ｇ１および第２の医用画像Ｇ２を、それぞれ画像保管サーバ３から取得する。なお、第１および第２の医用画像Ｇ１，Ｇ２が既にストレージ１３に記憶されている場合には、ストレージ１３から第１および第２の医用画像Ｇ１，Ｇ２を取得するようにしてもよい。以降の説明において、第１の医用画像Ｇ１が第２の医用画像Ｇ２よりも撮影時期が前であるものとする。また、医用画像Ｇ１，Ｇ２としては、ＣＴ装置により取得されたＣＴ画像とするが、これに限定されるものではなく、ＭＲＩ画像またはＰＥＴ画像等であってもよい。
　特徴情報取得部２２は、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１、および第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する。まず、特徴情報取得部２２は、第１および第２の医用画像Ｇ１，Ｇ２を解析することにより、第１および第２の医用画像Ｇ１，Ｇ２に含まれる疾病等に関する解析結果を取得する。このために、特徴情報取得部２２は、第１および第２の医用画像Ｇ１，Ｇ２における各画素（ボクセル）が病変を表すものであるか否か、および病変の種類を判別するように機械学習がなされた判別器を備える。本実施形態においては、判別器は、第１および第２の医用画像Ｇ１，Ｇ２に含まれる複数種類の病変を分類できるようにディープラーニング（深層学習）がなされたニューラルネットワークからなる。特徴情報取得部２２における判別器は、第１および第２の医用画像Ｇ１，Ｇ２が入力されると、第１および第２の医用画像Ｇ１，Ｇ２内の各画素（ボクセル）に対して、複数の病変のそれぞれであることの確率を出力するように学習がなされる。そして判別器は、ある画素について、あらかじめ定められたしきい値を超え、かつ最大の確率となった病変を求め、その画素を求めた病変の画素であると判別する。
　なお、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。
　また、特徴情報取得部２２は、上記判別器による判別結果を用いて、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１および第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する。具体的には、第１および第２の医用画像Ｇ１，Ｇ２の所見、すなわち、病変の種類、病変の位置、病変の形状、病変の大きさおよび病変の状態等の少なくとも１つを表すテキストデータを第１および第２の特徴情報Ｃ１，Ｃ２として生成する。例えば、医用画像が肺野を含む場合において、肺野内に病変が発見された場合、特徴情報取得部２２は、所見として、肺野内における病変の位置、種類、大きさおよび状態等の少なくとも１つを含むテキストデータを第１および第２の特徴情報Ｃ１，Ｃ２として生成する。
　図３は特徴情報の例を示す図である。図３に示すように第１の医用画像Ｇ１および第２の医用画像Ｇ２は、肺野のＣＴ画像である。そして、第１の医用画像Ｇ１からは「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」の複数の所見を表すテキストデータが、第１の特徴情報Ｃ１として取得されている。また、第２の医用画像Ｇ２からは「気腔」、「１ｃｍ」、「類円形」、「明瞭」および「結節」の複数の所見を表すテキストデータが、第２の特徴情報Ｃ２として取得されている。
　文章作成部２３は、特徴情報取得部２２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間の変化を表す文章を作成する。このために、文章作成部２３は、第１の特徴情報Ｃ１である第１のテキストデータおよび第２の特徴情報Ｃ２である第２のテキストデータに基づいて、変化を表す文章を出力するように機械学習がなされた学習済みモデル３０を有する。学習済みモデル３０の学習は学習部２５により行われる。
　第１の実施形態においては、学習済みモデル３０は、入力された２つのテキストデータから２つのテキストデータの間の変化を表す文章を作成するように学習がなされたリカレントニューラルネットワークを学習することにより生成される。図４はリカレントニューラルネットワークの模式的な構成を示す図である。図４に示すようにリカレントニューラルネットワークＲＮＮは、複数の入力層３１および複数の出力層３２を有する。
　複数の入力層３１のそれぞれには、第１の特徴情報Ｃ１（すなわち第１のテキストデータ）により表される所見、および第２の特徴情報Ｃ２（すなわち第２のテキストデータ）により表される所見が入力される。複数の出力層３２には、第１層に入力層３１の出力が入力され、複数の出力層３２のそれぞれから、変化を表す文章を構成する単語が順に出力される。第１の実施形態においては、第１の特徴情報Ｃ１により表される所見および第２の特徴情報Ｃ２により表される所見の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークＲＮＮにおける複数の入力層３１および複数の出力層３２の間の重み係数、および複数の出力層３２の間の相互の重み係数が、学習部２５により学習される。これにより、学習済みモデル３０が生成される。
　図５は学習済みモデル３０による変化を表す文章の生成を説明するための図である。まず、学習済みモデル３０の入力層３１に、第１の特徴情報Ｃ１が入力される。具体的には、「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」の所見が、それぞれ異なる入力層３１に入力される。また、第２の特徴情報Ｃ２も入力層３１に入力される。具体的には、「気腔」、「１ｃｍ」、「類円形」、「明瞭」および「結節」の所見が、それぞれ異なる入力層３１に入力される。なお、入力される第１および第２の特徴情報Ｃ１，Ｃ２の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
　出力層３２の第１層には入力層３１からの出力が入力され、第１の特徴情報Ｃ１と第２の特徴情報Ｃ２との変化を表す文章を構成する単語が、複数の出力層３２のそれぞれから順に出力される。具体的には、複数の出力層３２のそれぞれから、「境界」、「の」、「明瞭」、「さ」、「が」、「増し」、「て」、「い」、「ます」、「。」の文章を構成する単語が順に出力される。そして、単語を出力層３２からの出力順に並べることにより、「境界の明瞭さが増しています。」という、変化を表す文章が作成される。
　表示制御部２４は、文章作成部２３が作成した変化を表す文章を表示部１４に表示する。図６は変化を表す文章の表示画面を示す図である。図６に示すように、表示画面４０には、第１の医用画像Ｇ１についての読影レポート４１および第２の医用画像Ｇ２についての読影レポート４２が含まれる。第１の医用画像Ｇ１についての読影レポート４１には、「気腔を有する、１ｃｍ大の類円形で境界不明瞭な結節があります。」の文章４３が含まれる。第２の医用画像Ｇ２についての読影レポート４２には、「気腔を有する、１ｃｍ大の類円形で境界明瞭な結節があります。」の文章４４が含まれる。なお、文章４３，４４は、操作者が第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を参照して入力することにより作成される。しかしながら、医療文書作成支援装置１０に、第１および第２の特徴情報Ｃ１，Ｃ２から文章を作成する学習モデルを別途設け、このような学習モデルにより、第１および第２の特徴Ｃ１，Ｃ２から文章４３，４４を作成するようにしてもよい。
　さらに、第２の医用画像Ｇ２についての読影レポート４２には、文章作成部２３が作成した「境界の不明瞭さが増しています。」の変化を表す文章４５が含まれる。
　なお、読影レポート４１，４２は、読影ＷＳ３から読影レポートサーバ７に送信され、読影レポートデータベース８に登録される。
　次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。読影ＷＳ３に読影対象となる医用画像が入力され、読影レポートの作成の指示が操作者により行われると処理が開始され、画像取得部２１が、撮影時期が異なる第１の医用画像Ｇ１および第２の医用画像Ｇ２を取得する（ステップＳＴ１）。次いで、特徴情報取得部２２が、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１、および第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する（ステップＳＴ２）。続いて、文章作成部２３が、特徴情報取得部２２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間の変化を表す文章を作成する（ステップＳＴ３）。そして、表示制御部２４が、変化を表す文章を表示部１４に表示し（ステップＳＴ４）、処理を終了する。
　このように、第１の実施形態においては、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１および第１の医用画像Ｇ１とは撮影時期が異なる第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得し、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を比較して、第１の医用画像Ｇ１および第２の医用画像Ｇ２の間の変化を表す文章を作成するようにした。このため、とくに比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
　なお、上記第１の実施形態においては、特徴情報取得部２２が、第１の医用画像Ｇ１および第２の医用画像Ｇ２を解析して、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得しているが、これに限定されるものではない。例えば、撮影時期が第２の医用画像Ｇ２よりも過去の第１の医用画像Ｇ１については、すでに読影レポートが作成され、読影レポートデータベース８に登録されている。このため、特徴情報取得部２２は、読影レポートサーバ７に対して第１の医用画像Ｇ１について読影レポートが読影レポートデータベース８に登録されているか否かを問い合わせ、登録されている場合には、読影レポートサーバ７を介して読影レポートデータベース８から第１の医用画像Ｇ１の読影レポートを取得する。
　この場合、特徴情報取得部２２は、文章から所見を抽出するように学習がなされた所見抽出判別器を備えるものとし、特徴情報取得部２２は、所見抽出判別器におり読影レポートの文章から所見を抽出して第１の特徴情報Ｃ１を取得する。図８は、読影レポートからの第１の特徴情報Ｃ１の取得を説明するための図である。図８に示すように、読影レポートが、「気腔を有する、１ｃｍ大の類円形で境界不明瞭な結節があります。」の文章であったとする。特徴情報取得部２２の所見抽出判別器は、この文章が入力されると、「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」の所見を抽出することにより、これらの所見を表すテキストデータを第１の特徴情報Ｃ１として取得する。
　なお、第２の医用画像Ｇ２についても、読影レポートが読影レポートデータベース８に登録されている場合がある。この場合、特徴情報取得部２２は、読影レポートサーバ７を介して読影レポートデータベース８から第２の医用画像Ｇ２についての読影レポートを取得し、第２の特徴情報Ｃ２を第２の医用画像Ｇ２についての読影レポートから取得すればよい。
　また、上記第１の実施形態においては、特徴情報取得部２２が、第１の医用画像Ｇ１および第２の医用画像を解析して第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得しているが、これに限定されるものではない。例えば、操作者が第１の医用画像Ｇ１および第２の医用画像Ｇ２を観察し、その結果、入力部１５から入力された所見を、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２として取得するようにしてもよい。
　また、上記第１の実施形態においては、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、所見を表すテキストデータとしているが、これに限定されるものではない。第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、第１の医用画像Ｇ１および第２の医用画像Ｇ２の特徴を表す特徴量としてもよい。以下、これを第２の実施形態として説明する。
　図９は、本開示の第２の実施形態による医療文書作成支援装置の概略構成を示す図である。なお、図９において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第２の実施形態による医用文書作成支援装置１０Ａは、第１の実施形態における特徴情報取得部２２、文章作成部２３および学習部２５に代えて、特徴情報取得部５２、文章作成部５３および学習部５５を備えた点が第１の実施形態と異なる。
　第２の実施形態における特徴情報取得部５２は、第１の医用画像Ｇ１から第１の医用画像Ｇ１の特徴を表す特徴量を第１の特徴情報Ｃ１として取得する。また、第２の医用画像Ｇ２から第２の医用画像Ｇ２の特徴を表す特徴量を第２の特徴情報Ｃ２として取得する。このために、特徴情報取得部５２は、第１および第２の医用画像Ｇ１，Ｇ２から特徴量を抽出するように機械学習がなされた判別器を備える。第２の実施形態においては、判別器は、第１および第２の医用画像Ｇ１，Ｇ２から特徴量を抽出するようにディープラーニング（深層学習）がなされたニューラルネットワークからなる。なお、判別器には、第１および第２の医用画像Ｇ１，Ｇ２の全領域を入力してもよいが、第１および第２の医用画像Ｇ１，Ｇ２における被写体が含まれる領域のみ、あるいは第１および第２の医用画像Ｇ１，Ｇ２における指定された領域のみを入力するようにしてもよい。
　なお、特徴量としては、医用画像における病変の場所、病変のコントラスト、病変の濃度、および病変と他の領域との境界における微分値等の情報のうちの少なくとも１つを用いることができる。第２の実施形態における特徴情報取得部５２が有する判別器は、医用画像の入力によりこれらの情報を特徴量として出力するように学習がなされる。
　また、特徴情報取得部５２は１つの判別器のみを有するものとして、第１の医用画像Ｇ１および第２の医用画像Ｇ２から順次第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得してもよいが、２つの判別器を有するものとし、第１の医用画像Ｇ１および第２の医用画像Ｇ２から並列に第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得してもよい。後者の場合、第１および第２の特徴情報Ｃ１，Ｃ２を取得するための演算時間を短縮することができる。
　また、第２の実施形態においても、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等からなるものであってもよい。
　第２の実施形態における文章作成部５３は、特徴情報取得部５２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間の変化を表す文章を作成する。このために、文章作成部５３は、第１の特徴情報Ｃ１である第１の特徴量および第２の特徴情報Ｃ２である第２の特徴量に基づいて、変化を表す文章を構成する単語を順に出力するように機械学習がなされた学習済みモデル６０を有する。学習済みモデル６０の学習は学習部５５により行われる。
　第２の実施形態においては、学習済みモデル６０は、入力された２つの特徴量から２つの特徴量の間の変化を表す文章を作成するように学習がなされたリカレントニューラルネットワークからなる。図１０は第２の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図である。図１０に示すようにリカレントニューラルネットワークである学習済みモデル６０は、複数の入力層６１および複数の出力層６２を有する。
　複数の入力層６１のそれぞれには、第１の特徴情報Ｃ１により表される特徴量に含まれる情報、および第２の特徴情報Ｃ２により表される特徴量に含まれる情報のそれぞれが入力される。複数の出力層６２には、第１層に入力層６１の出力が入力され、複数の出力層６２のそれぞれから、変化を表す文章を構成する単語が順に出力される。第２の実施形態においては、は、第１の特徴情報Ｃ１により表される特徴量および第２の特徴情報Ｃ２により表される特徴量の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークにおける複数の入力層６１および複数の出力層６２の間の重み係数、および複数の出力層６２の間の相互の重み係数が、学習部５５により学習される。これにより、学習済みモデル６０が生成される。
　第２の実施形態においては、第１の入力層６１のそれぞれに、第１の特徴情報Ｃ１により表される特徴量に含まれる情報Ｔ１１～Ｔ１４および第２の特徴情報Ｃ２により表される特徴量に含まれる情報Ｔ２１～Ｔ２４がされる。なお、入力される特徴情報Ｃ１，Ｃ２の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
　出力層６２の第１層には入力層６１の出力が入力され、第１の特徴情報Ｃ１と第２の特徴情報Ｃ２との変化を表す文章を構成する単語が、複数の出力層６２のそれぞれから順に出力される。具体的には、複数の出力層６２のそれぞれから、「境界」、「の」、「明瞭」、「さ」、「が」、「増し」、「て」、「い」、「ます」、「。」の文章を構成する単語が順に出力される。そして、単語を出力層６２からの出力順に並べることにより、「境界の明瞭さが増しています。」という、変化を表す文章が作成される。
　このように。第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、第１の医用画像Ｇ１および第２の医用画像Ｇ２の特徴を表す特徴量とすることによっても、第１の実施形態と同様に、第１の医用画像Ｇ１と第２の医用画像Ｇ２との変化を表す文章を作成することができる。したがって、比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
　また、上記各実施形態においては、文章作成部２３，５３が学習済みモデル３０，６０を有し、学習済みモデル３０，６０により変化を表す文章を作成しているが、これに限定されるものではない。例えば、文章作成部２３，５３は、条件式を用いて変化を表す文章を作成するものであってもよい。例えば、第１の実施形態において、入力される第１の特徴情報Ｃ１に含まれる個々の所見と、これらの個々の所見と対応する第２の特徴情報Ｃ２に含まれる個々の所見とを比較して、単語が相違するという条件を満たすか否かを判断し、単語が相違していれば、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間に変化があるものとして、単語の変化を表す情報を生成してもよい。この場合、生成した変化を表す情報を、予め定められた定型文書にはめ込んで、変化を表す文章を生成すればよい。
　例えば、上記第１の実施形態のように、第１の特徴情報Ｃ１が、「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」であり、第２の特徴情報Ｃ２が、「気腔」、「１ｃｍ」、「類円形」、「明瞭」および「結節」であったとする。この場合、対応する単語同士を比較すると、「不明瞭」と「明瞭」とが異なるものとなる。このため、単語の変化を表す情報は「明瞭」となる。ここで、定型文書を「ＸＸさが増しています。」とすれば、「ＸＸ」に「明瞭」をはめ込めば、「明瞭さが増しています。」という変化を表す文章が作成される。このため、学習済みモデルのみならず、このような条件式を用いて、変化を表す文章を作成してもよい。
　また、上記各実施形態においては、医用文書作成支援装置１０，１０Ａが学習部２５，５５を備え、医用文書作成支援装置１０，１０Ａにおいてリカレントニューラルネットワークの学習を行って、文章作成部２３，５３における学習済みモデル３０，６０を生成しているが、これに限定されるものではない。例えば、読影ＷＳ３において、医用文書作成支援装置１０，１０Ａとは別個の学習装置を備えるものとし、別個に備えられた学習装置において、リカレントニューラルネットワークの学習を行って、学習済みモデル３０，６０を生成するようにしてもよい。また、読影ＷＳ３とは別個の外部の解析サーバ等において、リカレントニューラルネットワークの学習を行って、学習済みモデル３０，６０を生成するようにしてもよい。この場合、読影ＷＳ３においては、学習済みモデル３０，６０をインストールすることにより、医用文書作成支援装置１０，１０Ａが構成されることとなる。
　また、上記各実施形態においては、リカレントニューラルネットワークを学習することにより学習済みモデル３０，６０を生成しているが、これに限定されるものではない、例えば、サポートベクタマシン、および畳み込みニューラルネットワーク等のニューラルネットワークを学習することにより、学習済みモデル３０，６０を生成してもよい。
　また、上記第１の実施形態においては、第１および第２の特徴情報Ｃ１，Ｃ２を複数の所見を表すテキストデータとしているが、これに限定されるものではなく、１つの所見を表すテキストデータとしてもよい。例えば、第１の特徴情報Ｃ１を「不明瞭」という１つの所見を表すテキストデータとし、第２の特徴情報Ｃ２を「明瞭」という１つの所見を表すテキストデータとしてもよい。
　また、上記第２の実施形態においては、第１および第２の特徴情報Ｃ１，Ｃ２を複数の情報からなる特徴量としているが、これに限定されるものではなく、１つの情報のみを含む特徴量としてもよい。
　また、上記第１の実施形態においては、読影ＷＳ３における医療文書作成支援装置１０の特徴情報取得部２２が医用画像を解析しているが、外部の解析サーバ等において、医用画像の解析を行って第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得するようにしてもよい。この場合、特徴情報取得部２２は、外部において取得された第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得するものとなる。
　また、上記各実施形態においては、医療文書として読影レポートを作成する際に、本開示を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示を適用できることはもちろんである。
　　　１　　医療情報システム
　　　２　　モダリティ
　　　３　　読影ワークステーション
　　　４　　診療科ワークステーション
　　　５　　画像サーバ
　　　６　　画像データベース
　　　７　　読影レポートサーバ
　　　８　　読影レポートデータベース
　　　９　　ネットワーク
　　　１０，１０Ａ　　医療文書作成支援装置
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　表示部
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　特徴情報取得部
　　　２３，５３　　文章作成部
　　　２４　　表示制御部
　　　２５，５５　　学習部
　　　３０，６０　　学習済みモデル
　　　３１，６１　　入力層
　　　３２，６２　　出力層
　　　４０　　表示画面
　　　４１，４２　　読影レポート
　　　４３，４４　　読影レポートの文章
　　　４５　　変化を表す文章
　　　Ｃ１　　第１の特徴情報
　　　Ｃ２　　第２の特徴情報
　　　Ｇ１　　第１の医用画像
　　　Ｇ２　　第２の医用画像
　　　ＲＮＮ　　リカレントニューラルネットワーク
　　　Ｔ１１～Ｔ１４，Ｔ２１～ｔ２４　　情報

Claims (13)

  1. 　第１の医用画像に関する第１の特徴情報、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得する特徴情報取得部と、
    　前記第１の特徴情報および前記第２の特徴情報を比較して、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を作成する文章作成部とを備えた医療文書作成支援装置。
  2. 　前記特徴情報取得部は、前記第１の医用画像に基づく少なくとも１つの所見を表す第１のテキストデータを前記第１の特徴情報として取得し、前記第２の医用画像に基づく少なくとも１つの所見を表す第２のテキストデータを前記第２の特徴情報として取得する請求項１に記載の医療文書作成支援装置。
  3. 　前記特徴情報取得部は、前記第１の医用画像および前記第２の医用画像の少なくとも一方を解析して、前記第１のテキストデータおよび前記第２のテキストデータを取得する請求項２に記載の医療文書作成支援装置。
  4. 　前記文章作成部は、前記第１のテキストデータおよび前記第２のテキストデータに基づいて、前記変化を表す文章を出力するように機械学習がなされた学習済みモデルを有する請求項２または３に記載の医療文書作成支援装置。
  5. 　前記学習済みモデルは、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記変化を表す文章を出力する複数の出力層とを有し、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記複数の入力層と前記複数の出力層との間の重み係数および前記複数の出力層の間の相互の重み係数が学習されてなるニューラルネットワークにより構成され、前記第１のテキストデータおよび前記第２のテキストデータが入力されると、前記変化を表す文章を出力するようにコンピュータを機能させる請求項４に記載の医療文書作成支援装置。
  6. 　前記特徴情報取得部は、前記第１の医用画像の特徴量を前記第１の特徴情報として取得し、前記第２の医用画像の特徴量を前記第２の特徴情報として取得する請求項１に記載の医療文書作成支援装置。
  7. 　前記変化を表す文章を表示部に表示する表示制御部をさらに備えた請求項１から６のいずれか１項に記載の医療文書作成支援装置。
  8. 　第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有し、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記複数の入力層と前記複数の出力層との間の重み係数が学習されてなるニューラルネットワークにより構成され、前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記変化を表す文章を出力するようにコンピュータを機能させる学習済みモデル。
  9. 　第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
    　前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習を行う学習部を備えた学習装置。
  10. 　第１の医用画像に関する第１の特徴情報、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得し、
    　前記第１の特徴情報および前記第２の特徴情報を比較して、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を作成する医療文書作成支援方法。
  11. 　第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習方法であって、
    　前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習を行う学習方法。
  12. 　第１の医用画像に関する第１の特徴情報、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得する手順と、
    　前記第１の特徴情報および前記第２の特徴情報を比較して、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を作成する手順とをコンピュータに実行させる医療文書作成支援プログラム。
  13. 　第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する処理をコンピュータに実行させる学習プログラムであって、
    　前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習手順をコンピュータに実行させる学習プログラム。
     
PCT/JP2019/014707 2018-04-24 2019-04-02 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム WO2019208130A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020516163A JP7007469B2 (ja) 2018-04-24 2019-04-02 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US17/074,543 US11923069B2 (en) 2018-04-24 2020-10-19 Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018083079 2018-04-24
JP2018-083079 2018-04-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/074,543 Continuation US11923069B2 (en) 2018-04-24 2020-10-19 Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program

Publications (1)

Publication Number Publication Date
WO2019208130A1 true WO2019208130A1 (ja) 2019-10-31

Family

ID=68294072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014707 WO2019208130A1 (ja) 2018-04-24 2019-04-02 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11923069B2 (ja)
JP (1) JP7007469B2 (ja)
WO (1) WO2019208130A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021187483A1 (ja) * 2020-03-17 2021-09-23
WO2022196106A1 (ja) 2021-03-19 2022-09-22 富士フイルム株式会社 文書作成装置、方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148990A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2016133821A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20160350919A1 (en) * 2015-06-01 2016-12-01 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20170293725A1 (en) * 2016-04-07 2017-10-12 Siemens Healthcare Gmbh Image analytics question answering

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070201A (ja) 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
US20190325300A1 (en) * 2018-04-19 2019-10-24 Siemens Healthcare Gmbh Artificial intelligence querying for radiology reports in medical imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148990A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2016133821A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20160350919A1 (en) * 2015-06-01 2016-12-01 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20170293725A1 (en) * 2016-04-07 2017-10-12 Siemens Healthcare Gmbh Image analytics question answering

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021187483A1 (ja) * 2020-03-17 2021-09-23
WO2021187483A1 (ja) * 2020-03-17 2021-09-23 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
JP7431317B2 (ja) 2020-03-17 2024-02-14 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2022196106A1 (ja) 2021-03-19 2022-09-22 富士フイルム株式会社 文書作成装置、方法およびプログラム

Also Published As

Publication number Publication date
US11923069B2 (en) 2024-03-05
JP7007469B2 (ja) 2022-01-24
US20210035676A1 (en) 2021-02-04
JPWO2019208130A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
US11139067B2 (en) Medical image display device, method, and program
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
JP2019149005A (ja) 医療文書作成支援装置、方法およびプログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
WO2020202822A1 (ja) 医療文書作成支援装置、方法およびプログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
US20220415459A1 (en) Information processing apparatus, information processing method, and information processing program
US20220392619A1 (en) Information processing apparatus, method, and program
US20230054096A1 (en) Learning device, learning method, learning program, information processing apparatus, information processing method, and information processing program
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021177312A1 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
EP4310854A1 (en) Document creation device, method, and program
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230070906A1 (en) Information processing apparatus, method, and program
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19793707

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020516163

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19793707

Country of ref document: EP

Kind code of ref document: A1