WO2021112141A1 - 文書作成支援装置、方法およびプログラム - Google Patents

文書作成支援装置、方法およびプログラム Download PDF

Info

Publication number
WO2021112141A1
WO2021112141A1 PCT/JP2020/044926 JP2020044926W WO2021112141A1 WO 2021112141 A1 WO2021112141 A1 WO 2021112141A1 JP 2020044926 W JP2020044926 W JP 2020044926W WO 2021112141 A1 WO2021112141 A1 WO 2021112141A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medical
sentence
property information
term
Prior art date
Application number
PCT/JP2020/044926
Other languages
English (en)
French (fr)
Inventor
佳児 中村
陽平 桃木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021562692A priority Critical patent/JP7374215B2/ja
Publication of WO2021112141A1 publication Critical patent/WO2021112141A1/ja
Priority to US17/739,158 priority patent/US11837346B2/en
Priority to JP2023182360A priority patent/JP2023175011A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • This disclosure relates to a document creation support device, method and program that support the creation of documents such as medical documents.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • medical images are analyzed by CAD (Computer-Aided Diagnosis) using a learning model that has been machine-learned by deep learning, etc., and the shape, density, and position of structures of interest such as abnormal shadow candidates included in the medical images. It is also practiced to discriminate properties such as size and size, and obtain these as analysis results.
  • the analysis result acquired by CAD is associated with the examination information such as the patient name, gender, age, and the modality from which the medical image was acquired, and is stored in the database.
  • the medical image and the analysis result are transmitted to the terminal of the image interpreting doctor who interprets the medical image.
  • the image interpreting doctor interprets the medical image by referring to the transmitted medical image and the analysis result on his / her terminal, and creates an image interpretation report.
  • Japanese Patent Application Laid-Open No. 2019-153250 provides an interpretation report based on information representing the properties of the structure of interest (hereinafter referred to as property information) included in the keyword input by the image interpreter and the analysis result of the medical image.
  • property information information representing the properties of the structure of interest
  • 2019-153250 has been proposed (see JP-A-2019-153250).
  • a learning model in which machine learning such as a recurrent neural network is trained so as to generate a sentence from characters representing input property information is used.
  • Medical texts (hereinafter referred to as medical texts) are created.
  • medical texts By automatically generating medical texts as in the method described in JP-A-2019-153250, it is possible to reduce the burden on the interpreter when creating a medical document such as an image interpretation report.
  • This disclosure has been made in view of the above circumstances, and an object of the present disclosure is to generate a sentence related to a structure of interest contained in an image from an image with high accuracy, as in the case of generating a medical sentence from a medical image.
  • the document creation support device includes at least one processor.
  • the processor is By analyzing the image, property information representing the properties of the structure of interest contained in the image can be derived.
  • the processor may be configured to further display a sentence on the display.
  • it may be configured to display the collation result on a display.
  • the processor may be configured to further display the collation result on the display.
  • the processor when the term and the property information are different in the text, the processor is configured to display the collation result by highlighting the difference. You may.
  • the processor may be configured to regenerate the sentence when the term and the property information are different in the sentence.
  • the processor may be configured to further accept corrections of sentences.
  • the processor generates a plurality of sentences related to the image based on the property information.
  • the property information and terms are collated. It may be configured to select at least one sentence from a plurality of sentences based on the result of collation.
  • the image may be a medical image
  • the text may be a medical text related to the structure of interest included in the medical image.
  • the document creation support method derives property information representing the properties of the structure of interest contained in the image by analyzing the image. Generate sentences related to images based on property information, By analyzing the text, we can identify the terms that describe the properties of the structure of interest contained in the text. Match property information with terms.
  • Diagram showing an example of teacher data for learning the first learning model The figure which shows the schematic structure of the recurrent neural network
  • the figure which shows the example of the teacher data for learning the 3rd learning model The figure which shows the example of the teacher data for learning the 4th learning model
  • Diagram showing an example of a medical text and collation result display screen Diagram showing an example of a medical text and collation result display screen Diagram showing an example of a medical text and collation result display screen Diagram showing an example of a medical text and collation result display screen
  • Flowchart showing processing performed in this embodiment Flowchart showing processing performed in other embodiments
  • FIG. 1 is a diagram showing a schematic configuration of a medical information system to which the document creation support device according to the embodiment of the present disclosure is applied.
  • the medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of a medical image acquired by the imaging, and an image interpreter. It is a system for interpreting medical images and creating an interpretation report, and for viewing the interpretation report by the doctor of the requesting clinical department and observing the details of the medical image to be interpreted. As shown in FIG.
  • the medical information system 1 includes a plurality of modalities (imaging devices) 2, a plurality of image interpretation workstations (WS) 3 which are image interpretation terminals, a clinical department workstation (WS) 4, an image server 5, and an image.
  • the database 6, the interpretation report server 7, and the interpretation report database 8 are connected and configured so as to be able to communicate with each other via a wired or wireless network 10.
  • Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is stored in the storage device of the server computer connected to the network 10 or in the network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request. Alternatively, it is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and installed on a computer from the recording medium.
  • Modality 2 is a device that generates a medical image showing the diagnosis target part by photographing the diagnosis target part of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the medical image generated by the modality 2 is transmitted to the image server 5 and stored.
  • Interpretation WS3 includes a document creation support device according to this embodiment. The configuration of the interpretation WS3 will be described later.
  • the clinical department WS4 is a computer used by doctors in the clinical department for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is composed of a processing device, a display, and input devices such as a keyboard and a mouse. ..
  • a patient's medical record electronic medical record
  • an image viewing request is made to the image server 5
  • an image received from the image server 5 is displayed
  • a lesion-like part in the image is automatically detected or highlighted
  • an image interpretation report server is used.
  • Each process such as the viewing request of the image interpretation report to the image interpretation report 7 and the display of the image interpretation report received from the image interpretation report server 7 is performed by executing the software program for each process.
  • the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes a storage in which the image database 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be.
  • NAS Network Attached Storage
  • SAN Storage Area Network
  • the image data and incidental information of the medical image acquired in the modality 2 are registered in the image database 6.
  • the incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of modality used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (contrast image site) ), Imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), including information such as a series number or collection number when a plurality of medical images are acquired in one examination.
  • the image server 5 When the image server 5 receives the viewing request from the image interpretation WS3 via the network 10, the image server 5 searches for the medical image registered in the image database 6 and transmits the searched medical image to the requester's image interpretation WS3.
  • the interpretation report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the image interpretation report server 7 receives the image interpretation report registration request from the image interpretation WS3, the image interpretation report server 7 prepares the image interpretation report in a database format and registers it in the image interpretation report database 8.
  • the image interpretation report is searched from the image interpretation report database 8.
  • the image interpretation report database 8 contains, for example, an image ID for identifying a medical image to be interpreted, an image radiologist ID for identifying an image diagnostician who has performed image interpretation, a lesion name, lesion location information, findings, and confidence in the findings. An interpretation report in which information such as the degree is recorded is registered.
  • the medical image is a three-dimensional CT image composed of a plurality of tomographic images with the diagnosis target as the lung, and by interpreting the CT image, an interpretation report on abnormal shadows contained in the lung is obtained. It shall be created as a medical document.
  • the medical image is not limited to the CT image, and any medical image such as an MRI image and a simple two-dimensional image acquired by a simple X-ray imaging device can be used.
  • Network 10 is a wired or wireless network that connects various devices in the hospital.
  • the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
  • the image interpretation WS3 is a computer used by a medical image interpretation doctor to interpret a medical image and create an image interpretation report, and is composed of a processing device, a display, and an input device such as a keyboard and a mouse.
  • the image server 5 is requested to view the medical image, various image processes for the medical image received from the image server 5, the display of the medical image, the analysis process for the medical image, the highlighting of the medical image based on the analysis result, and the analysis result.
  • Each process such as creating an image interpretation report based on the above, supporting the creation of an image interpretation report, requesting the image interpretation report server 7 to register and view the image interpretation report, and displaying the image interpretation report received from the image interpretation report server 7, is for each process. It is done by executing the software program of. Of these processes, processes other than those performed by the document creation support device of the present embodiment are performed by a well-known software program, and therefore detailed description thereof will be omitted here. Further, the image interpretation WS3 does not perform any process other than the process performed by the document creation support device of the present embodiment, and a computer that performs the process is connected to the network 10 separately, and the process is requested by the image interpretation WS3. The computer may perform the requested processing.
  • the interpretation WS3 includes a document creation support device according to the present embodiment. Therefore, the document creation support program according to the present embodiment is installed in the interpretation WS3.
  • the document creation support program is stored in the storage device of the server computer connected to the network or in the network storage in a state of being accessible from the outside, and is downloaded and installed in the interpretation WS3 as requested. Alternatively, it is recorded on a recording medium such as a DVD or a CD-ROM, distributed, and installed on the interpretation WS3 from the recording medium.
  • FIG. 2 is a diagram showing a schematic configuration of a document creation support device according to the present embodiment, which is realized by installing a document creation support program on the interpretation WS3.
  • the document creation support device 20 includes a CPU (Central Processing Unit) 11, a memory 12, a storage 13, and a communication I / F (interface) 14 as a standard computer configuration. Further, a display 15 such as a liquid crystal display and an input device 16 such as a keyboard and a mouse are connected to the document creation support device 20.
  • the CPU 11 corresponds to the processor.
  • the storage 13 is composed of a hard disk or a storage device such as an SSD (Solid State Drive).
  • the storage 13 stores various information including information necessary for processing the medical image and the document creation support device 20 acquired from the image server 5 via the network 10.
  • the communication I / F 14 is a network interface that controls the transmission of various information between the external device and the document creation support device 20 via the network 10.
  • the document creation support program is stored in the memory 12.
  • the document creation support program is an image acquisition process for acquiring a medical image and an image analysis process for deriving property information representing the properties of the structure of interest contained in the medical image by analyzing the medical image as a process to be executed by the CPU 11.
  • Sentence generation processing that generates medical sentences related to medical images based on property information
  • term identification processing that identifies terms that represent properties related to structures of interest contained in medical sentences by analyzing medical sentences
  • property information and terms A collation process for collating with and a medical sentence and a display control process for displaying the collation result on the display 15 are defined.
  • the computer becomes the image acquisition unit 21, the image analysis unit 22, the sentence generation unit 23, the term identification unit 24, the collation unit 25, and the display control unit 26. Function.
  • the image acquisition unit 21 is composed of an interface connected to the network 10, and acquires a medical image for creating an image interpretation report from the image server 5 according to an instruction from the input device 16 by the image interpretation doctor who is the operator.
  • the image analysis unit 22 analyzes the medical image to derive property information representing the properties of the structure of interest such as an abnormal shadow candidate included in the medical image.
  • the image analysis unit 22 has a first learning model 22A in which machine learning is performed so as to discriminate abnormal shadow candidates in a medical image and discriminate the properties of the discriminated abnormal shadow candidates.
  • the first learning model 22A determines whether or not each pixel (voxel) in the medical image represents an abnormal shadow candidate, and if it is an abnormal shadow candidate, the property thereof is determined. It consists of a convolutional neural network (CNN (Convolutional Neural Network)) in which deep learning is performed using teacher data so as to discriminate.
  • CNN Convolutional Neural Network
  • FIG. 3 is a diagram showing an example of teacher data for learning the first learning model.
  • the teacher data 30 includes a medical image 32 including the abnormal shadow 31 and property information 33 about the abnormal shadow.
  • the abnormal shadow 31 is a lung nodule
  • the property information 33 represents a plurality of properties of the lung nodule.
  • the property information 33 includes the location of the abnormal shadow, the size of the abnormal shadow, the shape of the boundary (clear and irregular), the type of absorption value (solid and suriglass type), the presence or absence of spicula, the mass or nodule, and the pleura.
  • the presence or absence of contact, the presence or absence of pleural invasion, the presence or absence of pleural infiltration, the presence or absence of cavities, the presence or absence of calcification, etc. are used.
  • the property information 33 shows that the location of the abnormal shadow is under the left pulmonary pleura, the size of the abnormal shadow is 4.2 cm in diameter, and the boundary is defined. Irregular shape, full absorption, with spicula, mass, with pleural contact, with pleural infiltration, no pleural infiltration, no cavities, and no calcification.
  • + is given when “yes” and ⁇ is given when there is no.
  • the first learning model 22A is constructed by learning a neural network using a large number of teacher data as shown in FIG. For example, by using the teacher data 30 shown in FIG. 3, the first learning model 22A determines the abnormal shadow 31 included in the medical image 32 when the medical image 32 shown in FIG. 3 is input, and determines the abnormal shadow 31. With respect to 31, learning is performed so as to output the property information 33 shown in FIG.
  • any learning model such as a support vector machine (SVM (Support Vector Machine)) can be used.
  • SVM Support Vector Machine
  • the learning model for detecting the abnormal shadow candidate from the medical image and the learning model for detecting the property information of the abnormal shadow candidate may be constructed separately.
  • the sentence generation unit 23 generates a medical sentence by using the property information derived by the image analysis unit 22.
  • the sentence generation unit 23 includes a second learning model 23A that has been trained to generate a sentence from the input information.
  • a recurrent neural network can be used as the second learning model 23A.
  • FIG. 4 is a diagram showing a schematic configuration of a recurrent neural network.
  • the recurrent neural network 40 includes an encoder 41 and a decoder 42.
  • the property information derived by the image analysis unit 22 is input to the encoder 41. For example, property information of "left pulmonary subpleural", "4.2 cm”, “Spicula +" and "mass" is input to the encoder 41.
  • the decoder 42 is learned so as to document the character information, and generates a sentence from the input property information. Specifically, from the above-mentioned property information of "left pulmonary subpleura”, “4.2 cm”, “spicula +” and “mass”, "a 4.2 cm diameter tumor having spicula under the left pulmonary pleura is recognized. Will be generated. " In FIG. 4, "EOS" indicates the end of the sentence (End Of Sentence).
  • the recurrent neural network 40 learns the encoder 41 and the decoder 42 using a large amount of teacher data composed of a combination of the property information and the medical text. Be built.
  • the recurrent neural network 40 it is possible to specify terms that should not be used in sentences and terms that should be used as parameters for sentence generation. This parameter is determined based on the collation result by the collation unit 25 described later.
  • the term identification unit 24 specifies a term representing a property included in the medical sentence generated by the sentence generation unit 23.
  • the term identification unit 24 has a third learning model 24A that has been machine-learned to identify terms that represent properties contained in the text.
  • the third learning model 24A is a convolutional neural network in which deep learning is performed using teacher data so that when a sentence is input, a term representing a property contained in the input sentence is discriminated. It consists of a network.
  • FIG. 5 is a diagram showing an example of teacher data for learning the third learning model.
  • the teacher data 50 includes the medical sentence 51 and the term 52 representing the property contained in the medical sentence 51.
  • the medical sentence 51 shown in FIG. 5 is "a solid mass with a clear boundary is found in the lower lobe S6 of the left lung", and the term 52 expressing the property is "under the left lung” included in the medical sentence 51. "Leaf S6", “clear border”, “solid” and “tumor”.
  • the third learning model 24A is constructed by learning a neural network using a large number of teacher data as shown in FIG. For example, by using the teacher data 50 shown in FIG. 5, the third learning model 24A is trained to output the term 52 shown in FIG. 5 when the medical sentence 51 shown in FIG. 5 is input. ..
  • any learning model such as a support vector machine and a recurrent neural network can be used.
  • the collation unit 25 collates the property information derived by the image analysis unit 22 with the terms representing the properties contained in the medical text specified by the term identification unit 24. Therefore, when the property information and the term representing the property are input, the collating unit 25 determines the difference between the term representing the property and the property information, and the property information and the property not included in the term representing the property. It has a fourth learning model 25A that has been machine-learned to discriminate terms that represent properties that are not included in the information. In the present embodiment, the fourth learning model 25A discriminates the difference between the term representing the property and the property information, and represents the property information not included in the term representing the property and the property not included in the property information. It consists of a convolutional neural network that has been deep-learned using teacher data to discriminate terms.
  • FIG. 6 is a diagram showing an example of teacher data for learning the fourth learning model.
  • FIG. 6 shows two types of teacher data 60 and 65.
  • the teacher data 60 includes the property information 61, the term 62 representing the property, and the excess / deficiency information 63 indicating the excess / deficiency of the property information.
  • the teacher data 65 includes the property information 66, the term 67 representing the property, and the excess / deficiency information 68 indicating the excess / deficiency of the property information.
  • the property information 61 is "left lower lobe S6", “boundary: clear”, “absorption value: solid”, “spicula +” and “tumor”.
  • Term 62 is "left lower lobe S6", “clear border”, “solid” and “mass”.
  • the excess / deficiency information 63 is “insufficient spicula”.
  • the property information 66 is the same as the property information 61, "left lower lung lower lobe S6", “boundary: clear”, “absorption value: solid type”, “spicula +” and “tumor”.
  • Term 67 is “left lower lobe S6", “clear border”, “solid”, “spicula”, “calcification” and “mass”.
  • the excess / deficiency information 68 is “excessive calcification”.
  • the fourth learning model is constructed by learning a neural network using a large amount of teacher data as shown in FIG.
  • the fourth learning model 25A outputs the excess / deficiency information 63 when the property information 61 and the term 62 representing the property shown in FIG. 6 are input. Learning is done. Further, learning is also made so that a parameter indicating that the term "spicula" is deficient is generated as a parameter based on the collation result based on the excess / deficiency information 63.
  • the fourth learning model 25A outputs the excess / deficiency information 68 when the property information 66 and the term 67 representing the property shown in FIG. 6 are input. Learning is done. Further, learning is also made so that a parameter indicating that the term "calcification" is excessive is generated as a parameter based on the collation result based on the excess / deficiency information 68.
  • any machine learning model such as a support vector machine and a recurrent neural network can be used.
  • FIG. 7 is a diagram showing an example of a display screen of medical texts and collation results.
  • the display screen 70 includes an image display area 71 and a text display area 72.
  • the slice image SL1 that is most likely to identify the abnormal shadow candidate detected by the image analysis unit 22 is displayed.
  • the slice image SL1 includes an abnormal shadow candidate 73, and the abnormal shadow candidate 73 is surrounded by a rectangular region 74.
  • the medical text 75 generated by the text generation unit 23 and the property information 76 derived by the image analysis unit 22 are displayed.
  • the property information 76 does not have to be displayed.
  • Medical text 75 is "A well-defined, solid mass in the lower lobe S6 of the left lung. Spicula and calcification are found.”
  • Property information 76 is "left lower lobe S6", “boundary: clear”, “absorption value: solid type”, “spicula: +” and “tumor”.
  • the term “calcification” contained in the medical sentence 75 is given a solid line frame 77 indicating the excess. As a result, "calcification” is highlighted and the collation result is displayed.
  • an automatic correction button 78A a manual correction button 78B, and a confirmation button 78C are displayed.
  • the image interpreting doctor interprets the slice image SL1 displayed in the image display area 71 and determines the suitability of the medical sentence 75 displayed in the sentence display area 72.
  • the interpreter can recognize that the term "calcification" contained in the medical text 75 is excessive by the solid line frame 77 given to "calcification”.
  • the sentence generation unit 23 regenerates the medical sentence using the property information derived by the image analysis unit 22.
  • a parameter based on the collation result that is, a parameter for avoiding the use of the term "calcification” is input to the second learning model 23A of the sentence generation unit 23.
  • the sentence generator 23 generates a medical sentence so as not to use the term "calcification”, and as a result, for example, "a well-defined and solid mass in the lower lobe S6 of the left lung is recognized. It is possible to generate a medical sentence of "I admit.” In this case, the collation result shown in FIG. 9, which will be described later, will be displayed.
  • the interpretation doctor can manually correct the medical text 75 displayed in the text display area 72 by inputting from the input device 16 by selecting the manual correction button 78B. Further, by selecting the confirmation button 78C, the medical sentence 75 displayed in the sentence display area 72 can be confirmed with the content thereof. As a result, the medical text 75 is transcribed into the interpretation report, and the interpretation report to which the medical text 75 is transcribed is transmitted to the interpretation report server 7 together with the slice image SL1 and stored.
  • FIG. 8 is a diagram showing another example of the display screen of the medical text and the collation result.
  • the same reference number is assigned to the same configuration as in FIG. 7, and detailed description thereof will be omitted.
  • the text display area 72 of the display screen 70A shown in FIG. 8 the medical text 75A of "a solid mass with a clear boundary is observed in the lower lobe S6 of the left lung" is displayed.
  • the property information 76 is "left lower lobe S6", “boundary: clear”, “absorption value: solid type”, “spicula: +” and “tumor”. Further, since the medical sentence 75A lacks the term “spicula”, the term “spicula” is displayed in the sentence display area 72, and a broken line frame 79 indicating that the term is deficient is added. As a result, the collation result is displayed by highlighting the term "spicula”.
  • the image interpreting doctor interprets the abnormal shadow candidate 73 in the slice image SL1 displayed in the image display area 71, and determines the suitability of the medical sentence 75A displayed in the sentence display area 72. Further, the interpreting doctor can recognize that the term "spicula" included in the medical sentence 75A is insufficient by the broken line frame 79 given to the "spicula". In addition, instead of or in addition to displaying the term "spicula" in the text display area 72 and adding a broken line frame 79 indicating that the text is insufficient, it is displayed in the property information 76. Marks such as arrows or frames may be added to indicate the lack of the term "spicula". FIG. 9 shows a state in which the arrow 81 indicating that the medical text 75A is insufficient is further added as a mark to the “spicula” displayed in the property information 76.
  • the sentence generation unit 23 regenerates the medical sentence using the property information derived by the image analysis unit 22.
  • a parameter based on the collation result that is, a parameter for using the term "spicula” is input to the learning model of the sentence generation unit 23.
  • the sentence generator 23 generates a medical sentence to use the term "spicula", and as a result, for example, "a well-defined and solid mass is found in the lower lobe S6 of the left lung. It is possible to generate a medical sentence of "I accept.” In this case, the collation result shown in FIG.
  • the OK mark 80 is displayed in the text display area 72, for example, as shown in the display screen 70B shown in FIG. To.
  • the image interpreter wrote the medical text 75B displayed in the text display area 72 by the OK mark 80, "A solid mass with a clear boundary is found in the lower lobe S6 of the left lung. Spicula is recognized.” , It can be recognized that the property information derived from the medical image is used in just proportion.
  • FIG. 10 is a flowchart showing the processing performed in the present embodiment. It is assumed that the medical image to be read is acquired from the image server 5 by the image acquisition unit 21 and stored in the storage 13. The process is started when the image interpretation doctor gives an instruction to create an image interpretation report, and the image analysis unit 22 analyzes the medical image to show the properties of the structure of interest such as an abnormal shadow candidate included in the medical image. Derivation of property information (step ST1). Next, the sentence generation unit 23 generates a medical sentence related to the medical image based on the property information (step ST2).
  • the term identification unit 24 analyzes the medical sentence generated by the sentence generation unit 23 to identify a term representing a property related to the structure of interest included in the medical sentence (step ST3). Further, the collating unit 25 collates the property information derived by the image analysis unit 22 with the term specified by the term specifying unit 24 (step ST4). Then, the display control unit 26 displays the medical text generated by the sentence generation unit 23 and the collation result by the collation unit 25 on the display 15 (step ST5).
  • step ST6 determines whether or not the automatic correction button 78A displayed on the collation result display screen is selected (step ST6).
  • step ST6 is affirmed, the process returns to step ST2, and the processes of steps ST2 to ST5 are repeated.
  • the sentence generation unit 23 regenerates the medical sentence according to the parameters based on the collation result.
  • the term identification unit 24 identifies terms in the regenerated medical text.
  • the collation unit 25 collates the property information with the re-identified term.
  • the display control unit 26 displays a display screen including the collation result again on the display 15.
  • step ST6 determines whether or not the manual correction button 78B displayed on the collation result display screen is selected (step ST7).
  • step ST7 is affirmed, the display control unit 26 accepts the correction of the medical text displayed in the text display area 72 using the input device 16 (step ST8).
  • step ST9 the display control unit 26 determines whether or not the confirmation button 78C is selected (step ST9). If step ST9 is denied, the process returns to step ST6. When step ST9 is affirmed, the display control unit 26 transfers the medical sentence to the image interpretation report, and transmits the image interpretation report to which the medical sentence is transcribed to the image interpretation report server 7 together with the slice image SL1 (interpretation report transmission: Step ST10), the process is terminated.
  • the medical image by analyzing the medical image, property information representing the properties of the structure of interest such as an abnormal shadow candidate included in the medical image is derived, and the medical image is related based on the property information. Medical text is generated.
  • terms representing properties related to the structure of interest contained in the medical text are identified, and the property information and the terms are collated. Therefore, by referring to the collation result, it is possible to easily confirm whether the medical text is generated using all the property information and whether the text contains excessive property information.
  • the medical text can be corrected or the medical text can be regenerated, and the accuracy of the generated medical text can be improved. Therefore, according to the present embodiment, it is possible to generate a medical sentence regarding the structure of interest included in the medical image from the medical image with high accuracy.
  • the configuration of the document creation support device according to the other embodiment is the same as the configuration of the document creation support device 20 shown in FIG. 2, and only the processing to be performed is different. Therefore, detailed description of the device is omitted here. ..
  • the document creation support device according to the other embodiment is different from the above embodiment in that the sentence generation unit 23 generates a plurality of medical sentences based on the property information.
  • FIG. 11 is a flowchart showing the processing performed in the other embodiment. In the other embodiment, the processing up to step ST5 shown in FIG. 10 is different from the above embodiment. Therefore, in FIG. 11, only the difference from the flowchart shown in FIG. 10 will be described.
  • the process is started when the image interpretation doctor gives an instruction to create an image interpretation report, and the image analysis unit 22 analyzes the medical image to show the properties of the structure of interest such as an abnormal shadow candidate included in the medical image. Derivation of property information (step ST21).
  • the sentence generation unit 23 generates a plurality of medical sentences related to the medical image based on the property information (step ST22).
  • the beam search method is a method of searching for a word that appears next to a certain word in consideration of the probability of occurrence of the word for a word that appears next to a certain word.
  • the sentence generation unit 23 applies the beam search method to the recurrent neural network 40 to generate a plurality of (for example, five) medical sentences having a high probability of word occurrence.
  • the term identification unit 24 analyzes each of the plurality of medical sentences generated by the sentence generation unit 23 to identify terms representing the properties of the structure of interest contained in each of the plurality of medical sentences (step). ST23). Further, the collation unit 25 collates the property information derived by the image analysis unit 22 with the term specified by the term identification unit 24 for each of the plurality of medical sentences (step ST24), and based on the collation result, the collation unit 25 collates the property information. Select one medical sentence from a plurality of medical sentences (step ST25). At this time, the collation unit 25 may select the medical sentence in which the property information and the term match best.
  • the collation unit 25 may select a medical sentence in which the order in which the property information is described in the sentence most closely matches the order of the property information derived by the image analysis unit 22. Then, the display control unit 26 displays the selected medical text and the collation result by the collation unit 25 on the display 15 (step ST26), and proceeds to the process of step ST6 shown in FIG.
  • a plurality of medical sentences are generated, and the medical sentence having the best match between the property information and the term is selected from the plurality of medical sentences. Therefore, it is possible to present a medical sentence in which there is little difference between the property information and the contained term to the image interpreter together with the collation result. Therefore, the frequency of correcting the medical text and regenerating the medical text can be reduced, and as a result, the burden on the interpreter who creates the interpretation report can be reduced.
  • one medical sentence is selected from a plurality of medical sentences, but two or more medical sentences may be selected. In this case, from among the plurality of medical sentences, it is sufficient to select a high-ranking predetermined number of medical sentences having a high degree of matching between the property information and the term. Further, when a plurality of medical sentences are selected, the collation results for each of the plurality of medical sentences and the plurality of medical sentences are displayed on the display 15 so that the image interpreter can select the desired medical sentences. Is preferable.
  • a solid line frame 77 is added to the excess term in the medical text 75 displayed in the text display area 72 of the display screen 70 shown in FIG. 7, and the text of the display screen 70A shown in FIG. 8 is provided.
  • the missing terms in the medical text 75A displayed in the display area 72 are displayed, and the missing terms are given a broken line frame 79, but the present invention is not limited to this. If it is possible to distinguish between excess terms and missing terms, it is possible to change the color of the characters, add different types of dashed lines, change the highlighting color, and so on. It is possible. In addition, the excess or deficiency of terms may be notified by voice.
  • the collation unit 25 is provided with the fourth learning model 25A, but the present invention is not limited to this. If it can be determined whether or not the property information derived by the image analysis unit 22 and the term representing the property contained in the medical sentence specified by the term identification unit 24 match, any method other than the learning model can be applied. It is possible.
  • the medical text 75 is recreated based on the selection of the automatic correction button 78A, but the present invention is not limited to this.
  • the sentence generation unit 23 selects the automatic correction button 78A.
  • the medical text 75 may be recreated based on the result of the collation without waiting for.
  • the display control unit 26 displays both the medical sentence generated by the sentence generation unit 23 and the collation result by the collation unit 25, but the present invention is not limited to this. Only medical texts may be displayed on the display screen 70 displayed on the display 15. In this case, for example, by instructing the display of the collation result from the input device 16, the excessive term or the missing term in the medical document is highlighted or the OK mark 80 is displayed as in each of the above embodiments. You may.
  • medical texts are generated using medical images whose diagnosis target is the lungs to support the creation of medical documents such as interpretation reports, but the diagnosis target is limited to the lungs. It is not something that is done.
  • diagnosis target is limited to the lungs. It is not something that is done.
  • any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
  • each learning model of the image analysis unit 22, the sentence generation unit 23, and the term identification unit 24 is prepared to perform analysis processing, sentence generation processing, and term identification processing according to the diagnosis target, and corresponds to the diagnosis target.
  • a learning model that performs analysis processing, sentence generation processing, and term identification processing is selected, and medical sentence generation processing is executed.
  • the technique of the present disclosure is applied when creating an interpretation report as a medical document, but it is also possible to create a medical document other than the interpretation report such as an electronic medical record and a diagnostic report.
  • a medical document other than the interpretation report such as an electronic medical record and a diagnostic report.
  • the technology of the present disclosure can be applied.
  • a processing unit that executes various processes such as an image acquisition unit 21, an image analysis unit 22, a sentence generation unit 23, a term identification unit 24, a collation unit 25, and a display control unit 26.
  • various processors Processors
  • the various processors include CPUs, which are general-purpose processors that execute software (programs) and function as various processing units, as well as circuits after manufacturing FPGAs (Field Programmable Gate Arrays) and the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

少なくとも１つのプロセッサを備え、プロセッサは、画像を解析することにより、画像に含まれる関心構造物の性状を表す性状情報を導出し、性状情報に基づいて、画像に関する文章を生成し、文章を解析することにより、文章に含まれる関心構造物に関する性状を表す用語を特定し、性状情報と用語とを照合するように構成される。

Description

文書作成支援装置、方法およびプログラム
　本開示は、医療文書等の文書の作成を支援する文書作成支援装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
　また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。ＣＡＤにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開２０１９－１５３２５０号公報には、読影医が入力したキーワードおよび医用画像の解析結果に含まれる、関心構造物の性状を表す情報（以下、性状情報とする）に基づいて、読影レポートに記載するための文章を生成する手法が提案されている（特開２０１９－１５３２５０号公報参照）。特開２０１９－１５３２５０号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章（以下、医療文章とする）が作成される。特開２０１９－１５３２５０号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
　一方、医用画像を解析することにより取得される性状情報のみを用いて、医療文章を生成する学習モデルを生成することが考えられる。しかしながら、学習モデルの学習に使用した教師データの内容に依存して、あるいは学習モデルの学習の限界に依存して、医用画像から取得したすべての性状情報が、生成された医療文章に含まれなくなる場合がある。また、医用画像から取得した性状情報以外の性状情報が、生成された医療文章に含まれてしまう場合もある。このような医療文章を読影レポートとして用いたのでは、読影レポートの精度が低下する。
　本開示は上記事情に鑑みなされたものであり、医用画像から医療文章を生成する場合のように、画像から画像に含まれる関心構造物に関する文章を高精度に生成することを目的とする。
　本開示による文書作成支援装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、
　画像を解析することにより、画像に含まれる関心構造物の性状を表す性状情報を導出し、
　性状情報に基づいて、画像に関する文章を生成し、
　文章を解析することにより、文章に含まれる関心構造物に関する性状を表す用語を特定し、
　性状情報と用語とを照合するように構成される。
　なお、本開示による文書作成支援装置においては、プロセッサは、さらに文章をディスプレイに表示するように構成されるものであってもよい。
く、さらに照合の結果をディスプレイに表示するように構成されるものであってもよい。
　この場合、プロセッサは、さらに照合の結果をディスプレイに表示するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、さらに文章において用語と性状情報とが相違する場合、相違箇所を強調表示することにより照合の結果を表示するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、さらに文章において用語と性状情報とが相違する場合、文章を再生成するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、さらに文章の修正を受け付けるように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、プロセッサは、性状情報に基づいて、画像に関する文章を複数生成し、
　複数の文章のそれぞれを解析することにより、複数の文章のそれぞれに含まれる関心構造物に関する性状を表す用語を特定し、
　複数の文章のそれぞれについて、性状情報と用語とを照合し、
　照合の結果に基づいて、複数の文章から少なくとも１つの文章を選択するように構成されるものであってもよい。
　また、本開示による文書作成支援装置においては、画像は医用画像であり、文章は、医用画像に含まれる関心構造物に関する医療文章であってもよい。
　本開示による文書作成支援方法は、画像を解析することにより、画像に含まれる関心構造物の性状を表す性状情報を導出し、
　性状情報に基づいて、画像に関する文章を生成し、
　文章を解析することにより、文章に含まれる関心構造物に関する性状を表す用語を特定し、
　性状情報と用語とを照合する。
　なお、本開示による文書支援作成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、画像から画像に含まれる関心構造物に関する文章を高精度に生成することができる。
本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図 本実施形態による文書作成支援装置の概略構成を示す図 第１の学習モデルを学習するための教師データの例を示す図 リカレントニューラルネットワークの模式的な構成を示す図 第３の学習モデルを学習するための教師データの例を示す図 第４の学習モデルを学習するための教師データの例を示す図 医療文章および照合結果の表示画面の例を示す図 医療文章および照合結果の表示画面の例を示す図 医療文章および照合結果の表示画面の例を示す図 本実施形態において行われる処理を示すフローチャート 他の実施形態において行われる処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
　モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。
　読影ＷＳ３は、本実施形態による文書作成支援装置を内包する。読影ＷＳ３の構成については後述する。
　診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ、並びにキーボードおよびマウス等の入力デバイスにより構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。
　画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件および造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク１０経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
　読影レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。
　読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
　なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、ＣＴ画像を読影することにより、肺に含まれる異常陰影についての読影レポートを医療文書として作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
　ネットワーク１０は、病院内の各種機器を接続する有線または無線のネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ、並びにキーボードおよびマウス等の入力デバイスにより構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の文書作成支援装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の文書作成支援装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク１０に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
　読影ＷＳ３は、本実施形態による文書作成支援装置が内包されている。このため、読影ＷＳ３には、本実施形態による文書作成支援プログラムがインストールされている。文書作成支援プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。または、ＤＶＤあるいはＣＤ－ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。
　図２は、文書作成支援プログラムを読影ＷＳ３にインストールすることにより実現される、本実施形態による文書作成支援装置の概略構成を示す図である。図２に示すように、文書作成支援装置２０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３および通信Ｉ／Ｆ（インターフェース）１４を備える。また、文書作成支援装置２０には、液晶ディスプレイ等のディスプレイ１５、並びにキーボードおよびマウス等の入力デバイス１６が接続されている。ＣＰＵ１１がプロセッサに相当する。
　ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク１０を経由して画像サーバ５から取得した、医用画像および文書作成支援装置２０の処理に必要な情報を含む各種情報が記憶されている。
　通信Ｉ／Ｆ１４は、ネットワーク１０を介した外部装置と文書作成支援装置２０との各種情報の伝送制御を行うネットワークインターフェースである。
　また、メモリ１２には、文書作成支援プログラムが記憶されている。文書作成支援プログラムは、ＣＰＵ１１に実行させる処理として、医用画像を取得する画像取得処理、医用画像を解析することにより、医用画像に含まれる関心構造物の性状を表す性状情報を導出する画像解析処理、性状情報に基づいて医用画像に関する医療文章を生成する文章生成処理、医療文章を解析することにより、医療文章に含まれる関心構造物に関する性状を表す用語を特定する用語特定処理、性状情報と用語とを照合する照合処理、並びに医療文章および照合結果をディスプレイ１５に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１が文書作成支援プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、画像解析部２２、文章生成部２３、用語特定部２４、照合部２５および表示制御部２６として機能する。
　画像取得部２１は、ネットワーク１０と接続されたインターフェースからなり、操作者である読影医による入力デバイス１６からの指示により、画像サーバ５から読影レポートを作成するための医用画像を取得する。
　画像解析部２２は、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する。このために、画像解析部２２は、医用画像における異常陰影候補を判別し、判別した異常陰影候補の性状を判別するように機械学習がなされた第１の学習モデル２２Ａを有する。本実施形態においては、第１の学習モデル２２Ａは、医用画像における各画素（ボクセル）が異常陰影候補を表すものであるか否かを判別し、異常陰影候補である場合には、その性状を判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。
　図３は第１の学習モデルを学習するための教師データの例を示す図である。図３に示すように、教師データ３０は、異常陰影３１が含まれる医用画像３２および異常陰影についての性状情報３３を含む。本実施形態においては、異常陰影３１は肺結節であり、性状情報３３は肺結節についての複数の性状を表すものとする。例えば、性状情報３３としては、異常陰影の場所、異常陰影のサイズ、境界の形状（明瞭および不整形）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が用いられる。図３に示す教師データ３０に含まれる異常陰影３１については、性状情報３３は、図３に示すように、異常陰影の場所は左肺胸膜下、異常陰影のサイズは直径４．２ｃｍ、境界の形状は不整形、吸収値は充実型、スピキュラは有、腫瘤、胸膜接触は有、胸膜陥入は有、胸膜浸潤は無、空洞は無、および石灰化は無となっている。なお、図３においては、「有り」の場合は＋、無しの場合は－を付与している。第１の学習モデル２２Ａは、図３に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図３に示す教師データ３０を用いることにより、第１の学習モデル２２Ａは、図３に示す医用画像３２が入力されると、医用画像３２に含まれる異常陰影３１を判別し、異常陰影３１に関して、図３に示す性状情報３３を出力するように学習がなされる。
　また、第１の学習モデル２２Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。
　なお、医用画像から異常陰影候補を検出する学習モデルと、異常陰影候補の性状情報を検出する学習モデルとを別々に構築するようにしてもよい。
　文章生成部２３は、画像解析部２２が導出した性状情報を用いて、医療文章を生成する。文章生成部２３は、入力された情報から文章を生成するように学習が行われた第２の学習モデル２３Ａからなる。第２の学習モデル２３Ａとしては、例えばリカレントニューラルネットワークを用いることができる。図４はリカレントニューラルネットワークの模式的な構成を示す図である。図４に示すように、リカレントニューラルネットワーク４０は、エンコーダ４１およびデコーダ４２からなる。エンコーダ４１には、画像解析部２２が導出した性状情報が入力される。例えば、エンコーダ４１には、「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報が入力される。デコーダ４２は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する４．２ｃｍ径の腫瘤が認められます。」の医療文章を生成する。なお、図４において「ＥＯＳ」は文章の終わりを示す（End Of Sentence）。
　このように、性状情報の入力によって医療文章を出力するために、リカレントニューラルネットワーク４０は、性状情報と医療文章との組み合わせからなる多数の教師データを用いてエンコーダ４１およびデコーダ４２を学習することにより構築されてなる。
　なお、リカレントニューラルネットワーク４０には、文章生成のパラメータとして、文章に使用すべきでない用語および使用すべき用語を指定することが可能となっている。このパラメータは、後述する照合部２５による照合結果に基づいて決定される。
　用語特定部２４は、文章生成部２３が生成した医療文章に含まれる性状を表す用語を特定する。このために、用語特定部２４は、文章に含まれる性状を表す用語を特定するように機械学習がなされた第３の学習モデル２４Ａを有する。本実施形態においては、第３の学習モデル２４Ａは、文章が入力されると、入力された文章に含まれる性状を表す用語を判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワークからなる。
　図５は第３の学習モデルを学習するための教師データの例を示す図である。図５に示すように、教師データ５０は、医療文章５１および医療文章５１に含まれる性状を表す用語５２を含む。図５に示す医療文章５１は、「左肺下葉Ｓ６に、境界が明瞭な充実型の腫瘤を認めます。」であり、性状を表す用語５２は、医療文章５１に含まれる「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」および「腫瘤」である。第３の学習モデル２４Ａは、図５に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図５に示す教師データ５０を用いることにより、第３の学習モデル２４Ａは、図５に示す医療文章５１が入力されると、図５に示す用語５２を出力するように学習がなされる。
　また、第３の学習モデル２４Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の学習モデルを用いることができる。
　照合部２５は、画像解析部２２が導出した性状情報と、用語特定部２４が特定した医療文章に含まれる性状を表す用語とを照合する。このために、照合部２５は、性状情報および性状を表す用語が入力されると、性状を表す用語と性状情報との相違を判別して、性状を表す用語に含まれない性状情報、および性状情報に含まれない性状を表す用語を判別するように機械学習がなされた第４の学習モデル２５Ａを有する。本実施形態においては、第４の学習モデル２５Ａは、性状を表す用語と性状情報との相違を判別して、性状を表す用語に含まれない性状情報、および性状情報に含まれない性状を表す用語を判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワークからなる。
　図６は第４の学習モデルを学習するための教師データの例を示す図である。図６には、２種類の教師データ６０，６５が示されている。図６に示すように、教師データ６０は、性状情報６１、性状を表す用語６２および性状情報の過不足を表す過不足情報６３を含む。また、教師データ６５は、性状情報６６、性状を表す用語６７および性状情報の過不足を表す過不足情報６８を含む。図６に示す教師データ６０に関して、性状情報６１は、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ＋」および「腫瘤」である。用語６２は、「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」および「腫瘤」である。過不足情報６３は「スピキュラが不足」である。
　図６に示す教師データ６５に関して、性状情報６６は性状情報６１と同様に、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ＋」および「腫瘤」である。用語６７は、「左肺下葉Ｓ６」、「境界が明瞭」、「充実型」、「スピキュラを認め」、「石灰化を認め」および「腫瘤」である。過不足情報６８は「石灰化が過剰」である。
　第４の学習モデルは、図６に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図６に示す教師データ６０を用いることにより、第４の学習モデル２５Ａは、図６に示す性状情報６１および性状を表す用語６２が入力されると、過不足情報６３を出力するように学習がなされる。また、過不足情報６３に基づいて、「スピキュラ」の用語が不足していることを表すパラメータを、照合結果に基づくパラメータとして生成するようにも学習がなされる。
　また、図６に示す教師データ６５を用いることにより、第４の学習モデル２５Ａは、図６に示す性状情報６６および性状を表す用語６７が入力されると、過不足情報６８を出力するように学習がなされる。また、過不足情報６８に基づいて、「石灰化」の用語が過剰であることを表すパラメータを照合結果に基づくパラメータとして生成するようにも学習がなされる。
　なお、第４の学習モデル２５Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の機械学習モデルを用いることができる。
　表示制御部２６は、文章生成部２３が生成した医療文章および照合部２５による照合結果をディスプレイ１５に表示する。図７は医療文章および照合結果の表示画面の例を示す図である。図７に示すように、表示画面７０は画像表示領域７１および文章表示領域７２を含む。画像表示領域７１には、画像解析部２２が検出した異常陰影候補を最も特定しやすいスライス画像ＳＬ１が表示される。スライス画像ＳＬ１には異常陰影候補７３が含まれ、異常陰影候補７３は矩形領域７４により囲まれている。
　文章表示領域７２には、文章生成部２３が生成した医療文章７５および画像解析部２２が導出した性状情報７６が表示されている。なお、性状情報７６は表示しなくてもよい。医療文章７５は、「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラおよび石灰化を認めます。」である。性状情報７６は、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ：＋」および「腫瘤」である。また、照合結果としては、医療文章７５に含まれる「石灰化」が過剰であるため、医療文章７５に含まれる「石灰化」の用語に、過剰であることを示す実線の枠７７が付与されることにより、「石灰化」が強調表示されることにより、照合結果が表示されている。
　文章表示領域７２の下方には、自動修正ボタン７８Ａ、手動修正ボタン７８Ｂおよび確定ボタン７８Ｃが表示されている。
　読影医は、画像表示領域７１に表示されたスライス画像ＳＬ１を読影し、文章表示領域７２に表示された医療文章７５の適否を判定する。また、読影医は、医療文章７５に含まれる「石灰化」の用語が過剰であることを、「石灰化」に付与された実線の枠７７により認識することができる。
　一方、読影医は医療文章７５の再作成を所望する場合、自動修正ボタン７８Ａを入力デバイス１６を用いて選択する。これにより、文章生成部２３が画像解析部２２が導出した性状情報を用いて医療文章を再度生成する。この際、文章生成部２３の第２の学習モデル２３Ａには、照合結果に基づくパラメータ、すなわち「石灰化」の用語を使用しないようにするためのパラメータが入力される。これにより、文章生成部２３は、「石灰化」の用語を使用しないように医療文章を生成し、その結果、例えば「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラを認めます。」の医療文章を生成することが可能となる。この場合、後述する図９に示す照合結果が表示されることとなる。
　一方、読影医は手動修正ボタン７８Ｂを選択することにより、文章表示領域７２に表示された医療文章７５を、入力デバイス１６からの入力により、手動で修正することが可能である。また、確定ボタン７８Ｃを選択することにより、文章表示領域７２に表示された医療文章７５をその内容で確定することができる。これにより、医療文章７５は読影レポートに転記され、医療文章７５が転記された読影レポートはスライス画像ＳＬ１と併せて読影レポートサーバ７に送信されて保管される。
　図８は医療文章および照合結果の表示画面の他の例を示す図である。なお、図８に示す表示画面において図７と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図８に示す表示画面７０Ａの文章表示領域７２には、「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。」の医療文章７５Ａが表示されている。
　ここで、性状情報７６は、「左肺下葉Ｓ６」、「境界：明瞭」、「吸収値：充実型」、「スピキュラ：＋」および「腫瘤」である。また、医療文章７５Ａには、「スピキュラ」の用語が不足しているため、文章表示領域７２には、「スピキュラ」の用語が表示され、不足していることを表す破線の枠７９が付与されることにより、「スピキュラ」の用語が強調表示されることにより、照合結果が表示されている。
　図８に示す表示画面７０Ａに関して、読影医は、画像表示領域７１に表示されたスライス画像ＳＬ１における異常陰影候補７３を読影し、文章表示領域７２に表示された医療文章７５Ａの適否を判定する。また、読影医は、医療文章７５Ａに含まれる「スピキュラ」の用語が不足していることを、「スピキュラ」に付与された破線の枠７９により認識することができる。なお、文章表示領域７２に「スピキュラ」の用語を表示し、さらに不足していることを表す破線の枠７９を付与することに代えて、またはこれに加えて、性状情報７６に表示されている「スピキュラ」の用語に不足していることを表す、矢印または枠等のマークを付与するようにしてもよい。図９においては、性状情報７６に表示されている「スピキュラ」に対して、医療文章７５Ａにおいて不足していることを表す矢印８１をマークとしてさらに付与した状態を示している。
　そして、読影医は医療文章７５Ａの再作成を所望する場合、自動修正ボタン７８Ａを入力デバイス１６を用いて選択する。これにより、文章生成部２３が画像解析部２２が導出した性状情報を用いて医療文章を再度生成する。この際、文章生成部２３の学習モデルには、照合結果に基づくパラメータ、すなわち「スピキュラ」の用語を使用するようにするためのパラメータが入力される。これにより、文章生成部２３は、「スピキュラ」の用語を使用するように医療文章を生成し、その結果、例えば「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラを認めます。」の医療文章を生成することが可能となる。この場合、後述する図９に示す照合結果が表示されることとなる。なお、この場合、すでに作成されている医療文章、すなわち「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。」に対して、「スピキュラを認めます。」の文章を追記することにより、医療文章が生成されることとなる。しかしながら、医療文章７５の全体を再度生成してもよい。
　なお、文章表示領域７２に表示された医療文章において、性状情報が過不足なく表示されている場合、例えば、図９に示す表示画面７０Ｂのように、文章表示領域７２にＯＫマーク８０が表示される。読影医は、ＯＫマーク８０により、文章表示領域７２に表示された医療文章７５Ｂである、「左肺下葉Ｓ６に境界が明瞭で充実型の腫瘤を認めます。スピキュラを認めます。」には、医用画像から導出された性状情報が過不足なく使用されていることを認識することができる。
　次いで、本実施形態において行われる処理について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、画像解析部２２が、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する（ステップＳＴ１）。次いで、文章生成部２３が、性状情報に基づいて医用画像に関する医療文章を生成する（ステップＳＴ２）。続いて、用語特定部２４が、文章生成部２３が生成した医療文章を解析することにより、医療文章に含まれる関心構造物に関する性状を表す用語を特定する（ステップＳＴ３）。さらに、照合部２５が、画像解析部２２が導出した性状情報と、用語特定部２４が特定した用語とを照合する（ステップＳＴ４）。そして、表示制御部２６が、文章生成部２３が生成した医療文章および照合部２５による照合結果をディスプレイ１５に表示する（ステップＳＴ５）。
　次いで、表示制御部２６は、照合結果の表示画面に表示された自動修正ボタン７８Ａが選択されたか否かを判定する（ステップＳＴ６）。ステップＳＴ６が肯定されると、ステップＳＴ２に戻り、ステップＳＴ２～ステップＳＴ５の処理が繰り返される。これにより、文章生成部２３は、照合結果に基づくパラメータにしたがって、医療文章を再生成する。用語特定部２４は、再生成された医療文章における用語を特定する。照合部２５は、性状情報と再度特定された用語とを照合する。表示制御部２６は、再度の照合結果を含む表示画面をディスプレイ１５に表示する。
　ステップＳＴ６が否定されると、表示制御部２６は、照合結果の表示画面に表示された手動修正ボタン７８Ｂが選択されたか否かを判定する（ステップＳＴ７）。ステップＳＴ７が肯定されると、表示制御部２６は、文章表示領域７２に表示された医療文章に対する、入力デバイス１６を用いての修正を受け付ける（ステップＳＴ８）。
　ステップＳＴ７が否定された場合、およびステップＳＴ８に続いて、表示制御部２６は、確定ボタン７８Ｃが選択されたか否かを判定する（ステップＳＴ９）。ステップＳＴ９が否定されると、ステップＳＴ６に戻る。ステップＳＴ９が肯定されると、表示制御部２６は、医療文章を読影レポートに転記し、医療文章が転記された読影レポートをスライス画像ＳＬ１と併せて読影レポートサーバ７に送信し（読影レポート送信：ステップＳＴ１０）、処理を終了する。
　このように、本実施形態においては、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報が導出され、性状情報に基づいて、医用画像に関する医療文章が生成される。また、医療文章を解析することにより、医療文章に含まれる関心構造物に関する性状を表す用語が特定され、性状情報と用語とが照合される。このため、照合結果を参照することにより、すべての性状情報を用いて医療文章が生成されているか、過剰な性状情報が文章に含まれていないかを、容易に確認することができる。これにより、照合結果を参照すれば、医療文章を修正したり、医療文章の生成をやり直したりして、生成される医療文章の精度を高めることができる。したがって、本実施形態によれば、医用画像から医用画像に含まれる関心構造物に関する医療文章を高精度に生成することができる。
　次いで、本開示の他の実施形態について説明する。なお、他の実施形態による文書作成支援装置の構成は、図２に示す文書作成支援装置２０の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。他の実施形態による文書作成支援装置は、文章生成部２３において、性状情報に基づいて複数の医療文章を生成するようにした点が、上記実施形態と異なる。図１１は、他の実施形態において行われる処理を示すフローチャートである。なお、他の実施形態においては、図１０に示すステップＳＴ５までの処理が上記実施形態と異なる。このため、図１１においては、図１０に示すフローチャートとの相違点についてのみ説明する。
　読影レポートの作成の指示が読影医により行われることにより処理が開始され、画像解析部２２が、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する（ステップＳＴ２１）。次いで、文章生成部２３が、性状情報に基づいて医用画像に関する複数の医療文章を生成する（ステップＳＴ２２）。
　複数の医療文章は、例えば、「https://geekyisawesome.blogspot.com/2016/10/using-beam-serach-to genrate-most.html」に記載された、ビームサーチの手法を、第２の学習モデル２３Ａを構成するリカレントニューラルネットワーク４０に適用することにより、生成することができる。ビームサーチの手法は、ある単語の次に出現する単語について、単語の出現確率を考慮して、ある単語の次に出現する単語を探索する手法である。他の実施形態においては、文章生成部２３は、ビームサーチの手法をリカレントニューラルネットワーク４０に適用して、単語の出現確率が高い複数（例えば５つ）の医療文章を生成する。
　続いて、用語特定部２４が、文章生成部２３が生成した複数の医療文章のそれぞれを解析することにより、複数の医療文章のそれぞれに含まれる関心構造物に関する性状を表す用語を特定する（ステップＳＴ２３）。さらに、照合部２５が、複数の医療文章のそれぞれについて、画像解析部２２が導出した性状情報と、用語特定部２４が特定した用語とを照合し（ステップＳＴ２４）、照合の結果に基づいて、複数の医療文章から１つの医療文章を選択する（ステップＳＴ２５）。この際、照合部２５は、性状情報と用語とが最も一致する医療文章を選択するようにすればよい。なお、照合部２５は、文章において性状情報が記述される順序が、画像解析部２２が導出した性状情報の順序と最も一致する医療文章を選択するものとしてもよい。そして、表示制御部２６が、選択した医療文章および照合部２５による照合結果をディスプレイ１５に表示し（ステップＳＴ２６）、図１０に示すステップＳＴ６の処理に進む。
　このように、他の実施形態においては、複数の医療文章を生成し、複数の医療文章から、性状情報と用語とが最も一致する医療文章を選択するようにした。このため、性状情報と含まれる用語との相違が少ない医療文章を照合結果と併せて読影医に提示することができる。このため、医療文章を修正したり、医療文章の生成をやり直する頻度を低減することができ、その結果、読影レポートを作成する読影医の負担を軽減することができる。
　なお、上記他の実施形態においては、複数の医療文章から１つの医療文章を選択しているが、２以上の医療文章を選択するようにしてもよい。この場合、複数の医療文章のうち、性状情報と用語とが一致する程度が高い上位予め定められた数の医療文章を選択するようにすればよい。また、複数の医療文章が選択された場合、複数の医療文章および複数の医療文章のそれぞれについての照合結果をディスプレイ１５に表示し、所望とされる医療文章を読影医に選択させるようにすることが好ましい。
　また、上記各実施形態においては、図７に示す表示画面７０の文章表示領域７２に表示された医療文章７５における過剰な用語に実線の枠７７を付与し、図８に示す表示画面７０Ａの文章表示領域７２に表示された医療文章７５Ａにおける不足している用語を表示し、かつ不足している用語に破線の枠７９を付与しているが、これに限定されるものではない。過剰な用語および不足している用語を区別して強調表示できれば、文字の色を変更したり、異なる種類の破線を付与したり、ハイライトさせる色を変更する等、任意の表示態様とすることが可能である。また、音声により用語の過不足を報知するようにしてもよい。
　また、上記各実施形態においては、照合部２５を第４の学習モデル２５Ａを備えたものとしているが、これに限定されるものではない。画像解析部２２が導出した性状情報と、用語特定部２４が特定した医療文章に含まれる性状を表す用語とが一致するか否かを判定できれば、学習モデル以外の任意の手法を適用することが可能である。
　また、上記各実施形態においては、自動修正ボタン７８Ａの選択に基づいて、医療文章７５を再作成しているが、これに限定されるものではない。照合部２５による照合の結果、画像解析部２２が導出した性状情報と、用語特定部２４が特定した医療文章に含まれる性状とが一致しない場合、文章生成部２３が、自動修正ボタン７８Ａの選択を待たずに、照合の結果に基づいて医療文章７５を再作成するようにしてもよい。
　また、上記各実施形態においては、表示制御部２６が、文章生成部２３が生成した医療文章および照合部２５による照合結果の双方を表示しているが，これに限定されるものではない。ディスプレイ１５に表示される表示画面７０には、医療文章のみを表示してもよい。この場合、例えば入力デバイス１６からの照合結果の表示の指示により、上記各実施形態と同様に医療文書における過剰な用語または不足している用語を強調表示したり、ＯＫマーク８０を表示したりしてもよい。
　また、上記各実施形態においては、診断対象を肺とした医用画像を用いて医療文章を生成することにより、読影レポート等の医療文書の作成支援処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。この場合、画像解析部２２、文章生成部２３および用語特定部２４の各学習モデルは、診断対象に応じた解析処理、文章生成処理および用語特定処理を行うものが用意され、診断対象に応じた、解析処理、文章生成処理および用語特定処理を行う学習モデルが選択され、医療文章の生成処理が実行される。
　また、上記各実施形態においては、医療文書として読影レポートを作成する際に、本開示の技術を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示の技術を適用できることはもちろんである。
　また、上記各実施形態においては、医用画像を用いて医療文章を生成しているが、これに限定されるものではない。医用画像以外の任意の画像を対象とした文章を生成する場合にも、本開示の技術を適用できることはもちろんである。
　また、上記各実施形態において、例えば、画像取得部２１、画像解析部２２、文章生成部２３、用語特定部２４、照合部２５および表示制御部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　医療情報システム
　　　２　　モダリティ
　　　３　　読影ワークステーション
　　　４　　診療科ワークステーション
　　　５　　画像サーバ
　　　６　　画像データベース
　　　７　　読影レポートサーバ
　　　８　　読影レポートデータベース
　　　１０　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　通信Ｉ／Ｆ
　　　１５　　ディスプレイ
　　　１６　　入力デバイス
　　　２０　　文書作成支援装置
　　　２１　　画像取得部
　　　２２　　画像解析部
　　　２２Ａ　　第１の学習モデル
　　　２３　　文章生成部
　　　２３Ａ　　第２の学習モデル
　　　２４　　用語特定部
　　　２４Ａ　　第３の学習モデル
　　　２５　　照合部
　　　２５Ａ　　第４の学習モデル
　　　２６　　表示制御部
　　　３０　　教師データ
　　　３１　　異常陰影
　　　３２　　医用画像
　　　３３　　性状情報
　　　４０　　リカレントニューラルネットワーク
　　　４１　　エンコーダ
　　　４２　　デコーダ
　　　５０　　教師データ
　　　５１　　医療文章
　　　５２　　性状を表す用語
　　　６０，６５　　教師データ
　　　６１，６６　　性状情報
　　　６２，６７　　性状を表す用語
　　　６３，６８　　過不足情報
　　　７０，７０Ａ，７０Ｂ　　表示画面
　　　７１　　画像表示領域
　　　７２　　文章表示領域
　　　７３　　異常陰影候補
　　　７４　　矩形領域
　　　７５，７５Ａ，７５Ｂ　　医療文章
　　　７６　　性状情報
　　　７７　　実線の枠
　　　７８Ａ　　自動修正ボタン
　　　７８Ｂ　　手動修正ボタン
　　　７８Ｃ　　確定ボタン
　　　７９　　破線の枠
　　　８０　　ＯＫマーク
　　　８１　　矢印
　　　ＳＬ１　　スライス画像

Claims (10)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　画像を解析することにより、該画像に含まれる関心構造物の性状を表す性状情報を導出し、
    　前記性状情報に基づいて、前記画像に関する文章を生成し、
    　前記文章を解析することにより、該文章に含まれる前記関心構造物に関する性状を表す用語を特定し、
    　前記性状情報と前記用語とを照合するように構成される文書作成支援装置。
  2. 　前記プロセッサは、さらに前記文章をディスプレイに表示するように構成される請求項１に記載の文書作成支援装置。
  3. 　前記プロセッサは、さらに前記照合の結果をディスプレイに表示するように構成される請求項２に記載の文書作成支援装置。
  4. 　前記プロセッサは、さらに前記文章において前記用語と前記性状情報とが相違する場合、相違箇所を強調表示することにより前記照合の結果を表示するように構成される請求項３に記載の文書作成支援装置。
  5. 　前記プロセッサは、さらに前記文章において前記用語と前記性状情報とが相違する場合、前記文章を再生成するように構成される請求項１から４のいずれか１項に記載の文書作成支援装置。
  6. 　前記プロセッサは、さらに前記文章の修正を受け付けるように構成される請求項１から５のいずれか１項に記載の文書作成支援装置。
  7. 　前記プロセッサは、前記性状情報に基づいて、前記画像に関する文章を複数生成し、
    　前記複数の文章のそれぞれを解析することにより、該複数の文章のそれぞれに含まれる前記関心構造物に関する性状を表す用語を特定し、
    　前記複数の文章のそれぞれについて、前記性状情報と前記用語とを照合し、
    　前記照合の結果に基づいて、前記複数の文章から少なくとも１つの文章を選択するように構成される請求項１から６のいずれか１項に記載の文書作成支援装置。
  8. 　前記画像は医用画像であり、前記文章は、前記医用画像に含まれる前記関心構造物に関する医療文章である請求項１から７のいずれか１項に記載の文書作成支援装置。
  9. 　画像を解析することにより、該画像に含まれる関心構造物の性状を表す性状情報を導出し、
    　前記性状情報に基づいて、前記画像に関する文章を生成し、
    　前記文章を解析することにより、該文章に含まれる前記関心構造物に関する性状を表す用語を特定し、
    　前記性状情報と前記用語とを照合する文書作成支援方法。
  10. 　画像を解析することにより、該画像に含まれる関心構造物の性状を表す性状情報を導出する手順と、
    　前記性状情報に基づいて、前記画像に関する文章を生成する手順と、
    　前記文章を解析することにより、該文章に含まれる前記関心構造物に関する性状を表す用語を特定する手順と、
    　前記性状情報と前記用語とを照合する手順とをコンピュータに実行させる文書作成支援プログラム。
PCT/JP2020/044926 2019-12-03 2020-12-02 文書作成支援装置、方法およびプログラム WO2021112141A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021562692A JP7374215B2 (ja) 2019-12-03 2020-12-02 文書作成支援装置、方法およびプログラム
US17/739,158 US11837346B2 (en) 2019-12-03 2022-05-08 Document creation support apparatus, method, and program
JP2023182360A JP2023175011A (ja) 2019-12-03 2023-10-24 文書作成支援装置、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-218588 2019-12-03
JP2019218588 2019-12-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/739,158 Continuation US11837346B2 (en) 2019-12-03 2022-05-08 Document creation support apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2021112141A1 true WO2021112141A1 (ja) 2021-06-10

Family

ID=76222414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044926 WO2021112141A1 (ja) 2019-12-03 2020-12-02 文書作成支援装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11837346B2 (ja)
JP (2) JP7374215B2 (ja)
WO (1) WO2021112141A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309289B (zh) * 2019-08-23 2019-12-06 深圳市优必选科技股份有限公司 一种句子生成方法、句子生成装置及智能设备
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2019149130A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287134A (ja) * 2006-03-20 2007-11-01 Ricoh Co Ltd 情報抽出装置、及び情報抽出方法
US9098489B2 (en) * 2006-10-10 2015-08-04 Abbyy Infopoisk Llc Method and system for semantic searching
US8239216B2 (en) * 2009-01-09 2012-08-07 Cerner Innovation, Inc. Searching an electronic medical record
US10176541B2 (en) * 2010-09-01 2019-01-08 Apixio, Inc. Medical information navigation engine (MINE) system
JP5870790B2 (ja) * 2012-03-19 2016-03-01 富士通株式会社 文章校正装置、及び文章校正方法
US20140310190A1 (en) * 2013-03-14 2014-10-16 Worldone, Inc. System and method for concept discovery with online information environments
WO2016147276A1 (ja) * 2015-03-13 2016-09-22 株式会社Ｕｂｉｃ データ分析システム及びデータ分析方法並びにデータ分析プログラム
US10891444B2 (en) * 2015-10-26 2021-01-12 The Johns Hopkins University Automated generation of sentence-based descriptors from imaging data
CN108604227B (zh) * 2016-01-26 2023-10-24 皇家飞利浦有限公司 用于神经临床释义生成的***和方法
US10740678B2 (en) * 2016-03-31 2020-08-11 International Business Machines Corporation Concept hierarchies
CN107704482A (zh) * 2016-08-09 2018-02-16 松下知识产权经营株式会社 方法、装置以及程序
US10152571B1 (en) * 2017-05-25 2018-12-11 Enlitic, Inc. Chest x-ray differential diagnosis system
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
US10891352B1 (en) * 2018-03-21 2021-01-12 Optum, Inc. Code vector embeddings for similarity metrics
JP2019169049A (ja) 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム
EP3706128A4 (en) * 2018-11-09 2021-05-12 Lunit Inc. ANNOTATION WORK MANAGEMENT PROCESS AND APPARATUS AND SYSTEM SUPPORTING IT
US11322256B2 (en) * 2018-11-30 2022-05-03 International Business Machines Corporation Automated labeling of images to train machine learning
WO2020170593A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 情報処理装置及び情報処理方法
US10910100B2 (en) * 2019-03-14 2021-02-02 Fuji Xerox Co., Ltd. System and method for generating descriptions of abnormalities in medical images
CN109948166B (zh) * 2019-03-25 2021-03-02 腾讯科技（深圳）有限公司 文本翻译方法、装置、存储介质和计算机设备
KR102140402B1 (ko) * 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
EP4055517A1 (en) * 2019-11-08 2022-09-14 Leica Instruments (Singapore) Pte Ltd System, microscope system, methods and computer programs for training or using a machine-learning model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2019149130A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Also Published As

Publication number Publication date
US20220262471A1 (en) 2022-08-18
JP7374215B2 (ja) 2023-11-06
JPWO2021112141A1 (ja) 2021-06-10
US11837346B2 (en) 2023-12-05
JP2023175011A (ja) 2023-12-08

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP2023175011A (ja) 文書作成支援装置、方法およびプログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
US20220366151A1 (en) Document creation support apparatus, method, and program
JPWO2020129385A1 (ja) 医療文書作成支援装置、方法およびプログラム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
WO2020202822A1 (ja) 医療文書作成支援装置、方法およびプログラム
JP2023504026A (ja) 医用イメージング・システムにおける自動式プロトコル指定
US20230005580A1 (en) Document creation support apparatus, method, and program
US20220392619A1 (en) Information processing apparatus, method, and program
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
JP7420914B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021177357A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021107098A1 (ja) 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
WO2021177312A1 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
US20230197253A1 (en) Medical image processing apparatus, method, and program
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
US20230281810A1 (en) Image display apparatus, method, and program
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897413

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562692

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20897413

Country of ref document: EP

Kind code of ref document: A1