WO2021157718A1 - 文書作成支援装置、文書作成支援方法及びプログラム - Google Patents
文書作成支援装置、文書作成支援方法及びプログラム Download PDFInfo
- Publication number
- WO2021157718A1 WO2021157718A1 PCT/JP2021/004410 JP2021004410W WO2021157718A1 WO 2021157718 A1 WO2021157718 A1 WO 2021157718A1 JP 2021004410 W JP2021004410 W JP 2021004410W WO 2021157718 A1 WO2021157718 A1 WO 2021157718A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- texts
- document creation
- classification
- support device
- text
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- Disclosure technology relates to document creation support devices, document creation support methods and programs.
- Japanese Patent Application Laid-Open No. 2019-153250 includes an input receiving unit that accepts input of a keyword representing a finding based on a displayed medical image, an analysis result acquisition unit that acquires an analysis result of a medical image, and a keyword and an analysis result.
- a medical document creation support device including a document creation unit for creating a medical document related to a medical image is described.
- a desired term is selected from a plurality of terms prepared in advance, and a fixed phrase generated according to a combination of the selected terms or an input candidate is used as a sentence.
- a registration means for selecting what to do, accepting corrections to the selected sentence, and registering the combination of terms selected by the operation input control means and the correction sentence in the dictionary as a correction sentence.
- the search means for searching the dictionary for the correction sentence in which the combination of the terms selected by the operation input control means and the combination of the terms associated with the registration means match, and the correction sentence searched by the search means are operated.
- a document creation support device including a display control means for displaying as an input candidate of a sentence selected by the input control means is described.
- the text that is automatically generated based on the medical image may lack important matters or contain non-important matters, and may not always generate text that meets the user's request. ..
- it is preferable that the description contents or expressions of the plurality of candidate texts are varied. As a result, there is a high possibility that a plurality of candidate texts that meet the user's request are included.
- the disclosed technology was made in view of the above points, and aims to generate a plurality of texts having a variety of description contents or expressions when automatically generating texts based on images.
- the document creation support device is a document creation support device including at least one processor, and the processor generates a plurality of texts including different descriptions for at least one feature portion included in the image. Then, control is performed to display each of the plurality of texts on the display unit.
- the processor may generate a plurality of different texts describing the properties of the feature portion.
- the processor identifies the properties of the feature portion for each of the plurality of predetermined property items, and at least one of the specified properties is described in each of the plurality of texts, and is described in each of the plurality of texts.
- a plurality of texts may be generated so that the combination of property items corresponding to the properties is different from each other among the plurality of texts.
- the processor may derive a property score indicating the prominence of the property for each of the plurality of property items, and determine a combination based on the property score.
- the processor may generate a plurality of texts so that each text contains a description of the same content whose expression is different from each other among the plurality of texts.
- the processor may generate a plurality of texts so that the description of the specified property has the same content having different expressions among the plurality of texts among the plurality of properties specified for the feature portion. ..
- the processor may generate a plurality of different texts describing the classification of the disease corresponding to the characteristic part.
- the processor may generate a plurality of texts such that the disease classifications described in each of the plurality of texts differ from each other.
- the processor may estimate the classification of the disease corresponding to the characteristic portion, or may control the display unit to arrange a plurality of texts in order according to the estimation result of the classification of the disease.
- the processor may generate multiple texts to include both a text indicating that the disease is benign and a text indicating that the disease is malignant.
- the processor may generate a plurality of texts such that the representation of the probability that the disease falls under the classification in the description of the classification of the disease differs among the texts.
- the processor may include in at least one of the plurality of texts a description of the relevant part related to the classification of the disease described in each of the plurality of texts for the feature portion.
- the processor may generate a plurality of texts so that the number or combination of related parts described in the plurality of texts differs from each other among the plurality of texts.
- the processor may include a description of the relevant part only in the text of the plurality of texts in which the disease classification described for the characteristic part is a specific classification.
- the processor may include a description of the relevant part only in the text of the plurality of texts in which the disease classification described for the characteristic part is malignant.
- the processor may accept the designation of the feature portion and control the display unit to display a plurality of texts related to the designated feature portion among the plurality of texts generated in advance.
- the processor may generate a plurality of texts so that the description regarding the size of the feature portion is different from each other among the plurality of texts.
- the processor may generate a plurality of texts so that the description regarding the number, the amount, the density, or the distribution state of the feature portions is different from each other among the plurality of texts.
- the document creation support method generates a plurality of different texts describing the properties of the feature parts for at least one feature part included in the image, and displays each of the plurality of texts on the display unit.
- the program according to the disclosed technology causes a computer to generate a plurality of different texts describing the properties of the feature portions for at least one feature portion included in the image, and display each of the plurality of texts on the display unit. It is a program to be executed.
- FIG. 1 is a diagram showing a schematic configuration of a medical information system 1 to which a document creation support device according to an embodiment of the disclosed technique is applied.
- the medical information system 1 is based on an examination order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of a medical image acquired by the photography, and interpretation of a medical image by an image interpreting doctor.
- This is a system for creating an interpretation report, viewing the interpretation report by the doctor of the requesting clinical department, and observing the details of the medical image to be interpreted.
- the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation workstations (WS) 3, a clinical department workstation (WS) 4, an image server 5, an image database 6, an image interpretation report server 7, and an image interpretation terminal.
- the report database 8 is configured to be connected to each other via a wired or wireless network 9 so as to be able to communicate with each other.
- Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
- the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed on the computer from the recording medium.
- a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
- it is stored in the storage device of the server computer connected to the network 9 or in the network storage in a state where it can be accessed from the outside, and is downloaded and installed in the computer upon request.
- the photographing device 2 is a device that generates a medical image representing the diagnosis target part by photographing the part to be diagnosed of the subject.
- the imaging device 2 may be, for example, a simple X-ray imaging device, a CT device, an MRI device, a PET (Positron Emission Tomography) device, or the like.
- the medical image generated by the imaging device 2 is transmitted to the image server 5 and stored.
- the clinical department WS4 is a computer used by clinical department doctors for detailed observation of medical images, viewing of interpretation reports, creation of electronic medical records, etc., and is used for processing devices, display devices such as displays, and input of keyboards and mice. It is composed of devices.
- a patient's medical record electronic medical record
- an image viewing request is made to the image server 5
- a medical image received from the image server 5 is displayed, and an area suspected of having a disease in the medical image is automatically detected or highlighted.
- Each process such as a request for viewing the image interpretation report to the image interpretation report server 7 and a display of the image interpretation report received from the image interpretation report server 7 is performed by executing a software program for each process.
- the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes an image database 6 including storage.
- the image database 6 may be a hard disk device connected to the image server 5 by a data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to network 9. It may be.
- NAS Network Attached Storage
- SAN Storage Area Network
- the image data of the medical image acquired by the imaging device 2 and the incidental information incidental to the image data are registered in the image database 6.
- the incidental information is assigned to, for example, an image ID for identifying each medical image, a patient ID (identification) for identifying the patient who is the subject, an examination ID for identifying the examination content, and each medical image.
- Unique ID UID: unique identification
- examination date when the medical image was generated examination time
- type of imaging device used in the examination to acquire the medical image patient information such as patient name, age, gender, etc.
- Examination site imaging site
- imaging information imaging protocol, imaging sequence, imaging method, imaging conditions, presence / absence of contrast medium, etc. Series number or collection number when multiple medical images are acquired in one examination, etc. Information is included.
- the image server 5 receives the viewing request from the image interpretation WS3 via the network 9, the image server 5 searches for the medical image registered in the image database 6 and transmits the searched medical image to the requester's image interpretation WS3.
- the interpretation report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
- the image interpretation report server 7 receives the image interpretation report registration request from the image interpretation WS3, the image interpretation report server 7 prepares the image interpretation report in a database format and registers it in the image interpretation report database 8. Further, when the search request for the interpretation report is received, the interpretation report is searched from the interpretation report database 8.
- an image ID for identifying a medical image to be interpreted for example, an image ID for identifying a medical image to be interpreted, an image radiologist ID for identifying an image diagnostician who performed image interpretation, a lesion name, lesion position information, findings, and conviction of findings are stored in the image interpretation report database 8.
- An interpretation report in which information such as the degree is recorded is registered.
- Network 9 is a wired or wireless local area network that connects various devices in the hospital.
- the network 9 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line. In any case, it is preferable that the network 9 has a configuration capable of realizing high-speed transfer of medical images such as an optical network.
- the interpretation WS3 requests the image server 5 to browse the medical image, various image processes for the medical image received from the image server 5, display of the medical image, analysis process for the medical image, highlighting of the medical image based on the analysis result, and analysis result. For each process, such as creating an image interpretation report based on the above, supporting the creation of an image interpretation report, requesting the image interpretation report server 7 to register and view the image interpretation report, and displaying the image interpretation report received from the image interpretation report server 7. This is done by executing the software program of.
- the interpretation WS3 includes the document creation support device 10 described later, and among the above-mentioned processes, the processes other than the processes performed by the document creation support device 10 are performed by a well-known software program. The description is omitted.
- the image interpretation WS3 does not perform any processing other than the processing performed by the document creation support device 10, and a computer that performs the processing is separately connected to the network 9, and the computer requests the processing in response to the processing request from the interpretation WS3.
- the processed processing may be performed.
- the document creation support device 10 included in the interpretation WS3 will be described in detail.
- FIG. 2 is a diagram showing an example of the hardware configuration of the document creation support device 10.
- the document creation support device 10 includes a CPU (Central Processing Unit) 101, a memory 102, a storage unit 103, a display unit 104 such as a liquid crystal display, an input unit 105 such as a keyboard and a mouse, and an external I / F (InterFace) 106. ..
- the input unit 105 may be provided with a microphone that accepts voice input.
- the CPU 101, the memory 102, the storage unit 103, the display unit 104, the input unit 105, and the external I / F 106 are connected to the bus 107.
- the document creation support device 10 is connected to the network 9 of the medical information system 1 via the external I / F 106.
- the CPU 101 is an example of a processor in the disclosed technology.
- the storage unit 103 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
- the document creation support program 108 is stored in the storage unit 103.
- the document creation support program 108 is recorded and distributed on a recording medium such as a DVD or a CD-ROM, and is installed in the document creation support device 10 from the recording medium.
- it is stored in the storage device of the server computer connected to the network or the network storage in a state of being accessible from the outside, and is downloaded and installed in the document creation support device 10 as requested.
- the CPU 101 reads the document creation support program 108 from the storage unit 103, expands it into the memory 102, and executes the expanded document creation support program 108.
- FIG. 3 is a functional block diagram showing an example of the functional configuration of the document creation support device 10.
- the document creation support device 10 includes an image acquisition unit 11, a feature extraction unit 12, an analysis unit 13, a text generation unit 14, and a display control unit 15.
- the document creation support device 10 functions as an image acquisition unit 11, a feature extraction unit 12, an analysis unit 13, a text generation unit 14, and a display control unit 15 when the CPU 101 executes the document creation support program 108.
- the image acquisition unit 11 acquires a medical image to be diagnosed (hereinafter referred to as a diagnosis target image).
- the image to be diagnosed is stored in the image database 6, is transmitted from the image database 6 to the document creation support device 10 in response to a request from the document creation support device 10 (interpretation workstation 3), and is stored in the storage unit 103.
- NS The image acquisition unit 11 acquires a diagnosis target image stored in the storage unit 103.
- the image acquisition unit 11 may directly acquire the image to be diagnosed stored in the image database 6 from the image database 6. In the following, a case where the image to be diagnosed is a chest CT image will be described as an example.
- the feature extraction unit 12 extracts a shadow (hereinafter referred to as an abnormal shadow) suspected of having a disease such as a nodule or a mass from the image to be diagnosed acquired by the image acquisition unit 11 as a feature portion.
- the feature extraction unit 12 may extract an abnormal shadow using, for example, a learned model learned by machine learning such as deep learning.
- the trained model is learned by machine learning using, for example, a plurality of combinations of a medical image including an abnormal shadow and information specifying a region in an image in which the abnormal shadow exists as training data.
- the trained model described above takes a medical image as an input and outputs a result of identifying an abnormal shadow region in the medical image.
- FIG. 4 shows an example in which an abnormal shadow SH is extracted from the image to be diagnosed 200.
- the analysis unit 13 analyzes the abnormal shadows extracted by the feature extraction unit 12 to specify the properties of the abnormal shadows for each of a plurality of predetermined property items.
- the property items specified for the abnormal shadow include the position, size, presence / absence of spicula, presence / absence of marginal irregularity, presence / absence of pleural invagination, type of disease, etc. in the abnormal shadow.
- the analysis unit 13 may identify the nature of the abnormal shadow using, for example, a learned model learned by machine learning such as deep learning.
- the trained model is learned by machine learning using, for example, a plurality of combinations of a medical image including an abnormal shadow and a property label representing the property of the abnormal shadow as training data.
- the trained model described above takes a medical image as an input, and outputs a property score derived for each property item in the abnormal shadow included in the medical image.
- the property score is a score indicating the prominence of the property for the property item.
- the property score takes, for example, a value of 0 or more and 1 or less, and the larger the value of the property score, the more remarkable the property.
- the property score for "presence or absence of spicula" which is one of the property items of the abnormal shadow
- the property for "presence or absence of spicula" of the abnormal shadow is “spicula”. If it is identified as “yes (positive)" and the property score for "presence or absence of spicula” is, for example, less than 0.5, the property for the presence or absence of spicula in the abnormal shadow is "no spicula (negative)”. Identify that.
- the threshold value 0.5 used for the property determination is merely an example, and is set to an appropriate value for each property item.
- the properties of the abnormal shadow SH extracted from the image to be diagnosed 200 are shown in "upper left lobe”, “pleural invagination +", “irregular margin +", “spicula +”, and “4".
- An example is shown in which ".2 cm” and “mass” were identified. The "+” notation in the specified property indicates that the property is positive.
- the text generation unit 14 generates a plurality of different texts describing the properties of the abnormal shadow as candidate text for the abnormal shadow extracted by the feature extraction unit 12.
- the text generation unit 14 generates a plurality of texts so that at least one property for each of the plurality of property items specified by the analysis unit 13 is described in each text. Further, the text generation unit 14 generates a plurality of texts so that the combination of the property items corresponding to the properties described in each of the plurality of texts is different from each other among the plurality of texts.
- FIG. 4 shows an example in which the text generation unit 14 generates four different texts that describe the properties of the abnormal shadow SH.
- the text generator 14 is the first among the properties specified for each of the plurality of property items, including the description "a mass is found in the upper left lobe” based on, for example, “upper left lobe” and “mass”. Generate text T1.
- the text generation unit 14 has the "upper left lobe” based on, for example, “upper left lobe”, “pleural invagination +", “4.2 cm”, and "mass" among the properties specified for each of the plurality of property items.
- the text generation unit 14 at least one of the properties specified for each of the plurality of predetermined property items is described in each of the plurality of texts, and the property is described in each of the plurality of texts. Generate multiple texts so that the combination of corresponding property items is different from each other among the texts.
- the number of texts generated by the text generation unit 14 may be 3 or less, or 5 or more.
- the text generation unit 14 may generate text for all combinations in which M (M ⁇ N) or more property items are selected from N property items. Further, the number of property items included in each text may be different from each other or may be the same among a plurality of texts.
- the user may specify essential property items that must be included in each of the plurality of texts. In this case, the text generation unit 14 may generate a plurality of texts including the description regarding the essential property items and having different combinations of property items other than the essential property items.
- the text generation unit 14 includes a recurrent neural network that has been trained to create text from input words.
- FIG. 5 is a diagram showing a schematic configuration of a recurrent neural network.
- the recurrent neural network 20 includes an encoder 21 and a decoder 22. Characters corresponding to the properties specified by the analysis unit 13 are input to the encoder 21.
- the encoder 21 has the “upper left lobe”, the “pleural invagination”, and the “upper left lobe” in which the properties specified by the analysis unit 13 are transcribed. "Irregular margin”, “Spicula”, “4.2 cm”, and “mass" are input.
- the decoder 22 has been learned to document the words input to the encoder 21. From the above input words, the decoder 22 has a size of 4.2 cm having a spicula with an irregular margin and pleural invagination in the upper left lobe. Generate a fourth text T4 that says "A mass is found.” In FIG. 5, "EOS" indicates the end of the sentence (End Of Sentence).
- the display control unit 15 controls the display unit 104 to display a plurality of texts generated by the text generation unit 14.
- FIG. 6 is a diagram showing an example of a display mode of information displayed on the display screen 300 of the display unit 104 under the control of the display control unit 15.
- the first to fourth texts T1 to T4 generated by the text generation unit 14 are displayed on the display screen 300.
- the diagnosis target image 200 including the abnormal shadow SH corresponding to the first to fourth texts T1 to T4 is displayed on the display screen 300.
- the diagnosis target image 200 may be given a mark 201 indicating the position of the abnormal shadow SH.
- a property label 202 indicating the property for each property item, which is specified for the abnormal shadow SH, is displayed.
- a property label 203 indicating the property described in the text is displayed.
- the user can select any one of the plurality of texts displayed on the display screen 300 and use the selected text as a part or all of the document (interpretation report) created by the user. ..
- the text can be selected, for example, by clicking the display area of the text to be selected with the pointer.
- FIG. 7 is a flowchart showing an example of the flow of the document creation support process executed by the CPU 101 executing the document creation support program 108.
- the document creation support program 108 is executed, for example, when an instruction to start execution is input by the user via the input unit 105. It is assumed that the image to be diagnosed is downloaded from the image server 5 to the document creation support device 10 (interpretation workstation 3) and stored in the storage unit 103.
- step ST1 the image acquisition unit 11 acquires the image to be diagnosed stored in the storage unit 103.
- step ST2 the feature extraction unit 12 extracts an abnormal shadow as a feature portion from the diagnosis target image acquired by the image acquisition unit 11.
- step ST3 the analysis unit 13 analyzes the abnormal shadow extracted from the image to be diagnosed, and identifies the property of the abnormal shadow for each of the plurality of predetermined property items.
- step ST4 the text generation unit 14 generates a plurality of different texts describing the properties specified in step ST3.
- the text generation unit 14 at least one of the properties for each of the plurality of predetermined property items is described in each of the plurality of texts, and the combination of the property items corresponding to the properties described in each of the plurality of texts. Generates multiple texts so that they differ from each other.
- step ST5 the display control unit 15 controls to display a plurality of texts generated by the text generation unit 14 on the display screen of the display unit 104.
- the user can select any one of the plurality of texts displayed on the display unit 104 and use the selected text as a part or all of the document (interpretation report) created by the user. ..
- a plurality of different texts describing the properties of the abnormal shadow extracted from the image to be diagnosed are generated as candidate documents.
- the combination of property items corresponding to the properties described in each text is different from each other. This makes it possible to create a plurality of texts whose description contents are varied. As a result, there is a high possibility that a plurality of texts that meet the user's request are included, and it becomes possible to effectively support the user in creating a document (interpretation report).
- FIG. 8 is a diagram showing an example of the property score derived by the analysis unit 13.
- the analysis unit 13 analyzes the abnormal shadow extracted by the feature extraction unit 12 to derive a property score indicating the prominence of the property for each property item.
- the property score takes a value of 0 or more and 1 or less. The larger the property score, the more prominent the property.
- the range of the property score is not limited to 0 or more and 1 or less, and can be appropriately determined.
- the text generation unit 14 Similar to the first embodiment, the text generation unit 14 generates a plurality of texts so that the combination of the property items described in each of the plurality of texts is different from each other among the plurality of texts. In the present embodiment, the text generation unit 14 determines a combination of property items described in each of the plurality of texts based on the property score derived by the analysis unit 13. The text generation unit 14 generates, for example, a text describing only properties having a property score of, for example, 0.9 or more as the first text, and a second text describing only properties having a property score of, for example, 0.7 or more. A text describing only properties having a property score of, for example, 0.5 or more is generated as a third text.
- the threshold value of the property score is not limited to 0.9, 0.7, and 0.5 described above, and can be appropriately set.
- the text generation unit 14 determines that “a mass is formed in the upper left lobe” based on the properties “upper left lobe” and “mass” having a property score of 0.9 or more. Generate a first text that contains the statement “Accepted.” In addition, the text generation unit 14 is accompanied by "pleural invagination in the upper left lobe” based on the properties "upper left lobe", “pleural invagination +", “4.2 cm” and “mass” having a property score of 0.7 or more.
- a second text containing the statement "A mass 4.2 cm in size is found.”
- the text generation unit 14 has properties with a property score of 0.5 or more, “upper left lobe”, “marginal irregularity +”, “pleural invagination +”, “spicula +”, “4.2 cm”, and “mass”.
- the document creation support device it is possible to create a plurality of texts having various description contents as in the first embodiment. Further, by determining the combination of the property items described in the text according to the property score, it is possible to generate a plurality of texts having different accuracy of the description contents. For example, multiple texts including a first text containing a description of a high-accuracy property item, a second text containing a description of a medium-accuracy property item, and a third text containing a description of a low-accuracy property item. Can be generated.
- the text generation unit 14 according to the first and second embodiments described above generates a plurality of texts so that the combination of the property items described in each of the plurality of texts is different from each other among the plurality of texts. Met.
- the text generation unit 14 according to the third embodiment of the disclosed technique generates a plurality of texts so that each text includes a description having the same content having different expressions among the plurality of texts.
- FIG. 9 is a diagram showing an example of a display mode of information displayed on the display screen 300 according to the third embodiment of the disclosed technology.
- FIG. 9 shows an example in which the analysis unit 13 has identified the “upper left lobe”, “partially solid type”, and “mass” as the properties of the abnormal shadow SH extracted from the image to be diagnosed 200.
- a property label 202 indicating each of the above-mentioned properties specified for the abnormal shadow SH is displayed.
- the text generation unit 14 found a "partially solid mass in the upper left lobe” based on the properties identified for the abnormal shadow SH, “upper left lobe”, “partially solid”, and “mass”. Generate the first text T1 containing the description "Masu.” In addition, the text generation unit 14 is based on the properties identified for the abnormal shadow SH, that is, “upper left lobe”, “partially solid type”, and “mass”, and "the center is solid in the upper left lobe and the periphery is frosted glass".
- the expressions of "partially enriched type" described in the first text T1 and "the center is solid and the periphery is frosted glass” described in the second text T2 are different, these The meaning is the same.
- the text generation unit 14 according to the third embodiment of the disclosed technique generates a plurality of texts so as to include descriptions having the same contents whose expressions are different from each other among the plurality of texts.
- the text generation unit 14 according to the present embodiment can be realized by using a trained model trained to create a plurality of texts having the same content with different expressions from the input words.
- the document creation support device According to the document creation support device according to the third embodiment of the disclosed technology, it is possible to create a plurality of texts having various description contents as in the first embodiment. In addition, since multiple texts include descriptions of the same content that are expressed differently from each other, there is a high possibility that multiple texts that meet the user's request are included, and the document (interpretation report) by the user. It becomes possible to effectively support the creation of.
- the text generation unit 14 generates a plurality of texts so that the description of the specified property has the same content with different expressions among the plurality of properties among the plurality of properties specified for the abnormal shadow. May be good.
- the document creation support device generates a plurality of different texts describing the properties of the feature portions.
- the document creation support device according to the fourth embodiment of the disclosed technique generates a plurality of different texts describing the classification of the disease corresponding to the feature portion.
- the disease classification includes, for example, disease names and diagnosis names such as nodules, hemangiomas, cysts, lymphadenopathy, pleural effusion, and hamartoma, and the disease is benign or malignant (cancer). Also includes the classification.
- the analysis unit 13 analyzes the abnormal shadow extracted from the image to be diagnosed and estimates the classification of the disease corresponding to the abnormal shadow.
- the analysis unit 13 may estimate the classification of the disease using, for example, a learned model learned by machine learning such as deep learning.
- the trained model is learned by machine learning using, for example, learning data in which a medical image containing an abnormal shadow is given a classification of a disease corresponding to the abnormal shadow as a correct answer label.
- the analysis unit 13 derives a classification determination score indicating the probability that the disease falls under the classification for each candidate for the classification of the disease corresponding to the abnormal shadow.
- the text generation unit 14 generates a plurality of different texts that describe the classification of the disease corresponding to the abnormal shadow extracted from the image to be diagnosed. More specifically, the text generation unit 14 generates a plurality of texts so that the classification of the disease described in each of the plurality of texts is different from each other among the plurality of texts. For example, the text generation unit 14 may use all or part of the disease classification candidates for which the classification determination score is derived in the analysis unit 13 as the classification of the description target.
- FIG. 10 shows an example in which the text generation unit 14 generates three texts describing the classifications of different diseases corresponding to the abnormal shadows extracted from the image to be diagnosed.
- the text generation unit 14 generates a first text T1 including the description "nodules are recognized” as a description regarding the classification of the disease corresponding to the abnormal shadow.
- the text generation unit 14 generates a second text T2 including a description of "recognizing hemangiomas” as a description regarding the classification of diseases corresponding to abnormal shadows.
- the text generation unit 14 generates a third text T3 including the description "a cyst is recognized” as a description regarding the classification of the disease corresponding to the abnormal shadow.
- the display control unit 15 controls the display unit 104 to arrange a plurality of texts generated by the text generation unit 14 in order according to the estimation result of the disease classification in the analysis unit 13. For example, when the classification judgment score of "nodule" is the highest among the classification judgment scores derived for each disease classification candidate by the analysis unit 13, the display control unit 15 describes that "nodule is recognized.”
- the first text T1 including the text T1 may be arranged and displayed above the display screen with respect to the other texts T2 and T3.
- FIG. 11 is a diagram showing another example of a plurality of texts generated by the text generation unit 14.
- the text generation unit 14 generates a first text T1 including the description "suspect primary lung cancer” as a description regarding the classification of diseases corresponding to abnormal shadows.
- the text generation unit 14 generates a second text T2 including the description "there is a high possibility of benign" as a description regarding the classification of the disease corresponding to the abnormal shadow.
- the classification of the disease may be the classification of whether the disease is benign or malignant
- the text generation unit 14 includes a text including a description that the disease is malignant and the disease. Both may be generated with text containing a statement that it is benign.
- each of the plurality of texts may include not only a description regarding the classification of the disease but also a description regarding the nature of the abnormal shadow.
- the document creation support device since the classification of the disease is described in each of the plurality of texts, it is effective to support the user in creating a document (interpretation report). It becomes possible to do.
- multiple texts are generated so that the classification of the disease described in each text is different from each other among the plurality of texts, the possibility that the multiple texts meet the user's request is increased. be able to.
- the display control unit 15 controls the display unit 104 to arrange the plurality of texts generated by the text generation unit 14 in the order according to the estimation result of the disease classification in the analysis unit 13, the text by the user. Can be facilitated.
- the text generation unit 14 Similar to the case of the fourth embodiment described above, the text generation unit 14 according to the fifth embodiment of the disclosed technique is different from each other and describes the classification of the disease corresponding to the abnormal shadow extracted from the image to be diagnosed. Generate text for. In the present embodiment, the text generation unit 14 generates a plurality of texts so that the expression indicating the probability that the disease corresponds to the classification differs among the plurality of texts in the description regarding the classification of the disease.
- FIG. 12 shows an example in which the text generation unit 14 generates three texts having different expressions indicating the probability that the disease corresponds to the classification (primary lung cancer).
- the text generation unit 14 generates a first text T1 including a description using the assertive expression "It is primary lung cancer" as a description regarding the classification of the disease. That is, the first text T1 includes an expression indicating that the disease is highly likely to correspond to primary lung cancer.
- the text generation unit 14 generates a second text T2 including a description using a speculative expression such as "I suspect primary lung cancer” as a description regarding the classification of the disease. That is, the second text T2 includes an expression indicating that the disease has a relatively high probability of being a primary lung cancer.
- the text generation unit 14 generates a third text T3 including a description using a description that is neither positive nor negative, such as "the possibility of primary lung cancer cannot be ruled out” as a description regarding the classification of the disease. .. That is, the third text T3 includes an expression indicating that the disease is relatively unlikely to correspond to primary lung cancer. As illustrated in FIG. 12, each of the plurality of texts may include not only a description regarding the classification of the disease but also a description regarding the nature of the abnormal shadow.
- the analysis unit 13 may analyze the abnormal shadow extracted from the image to be diagnosed and estimate the classification of the disease corresponding to the abnormal shadow. That is, the analysis unit 13 may derive a classification determination score indicating the probability that the disease corresponds to the classification for each candidate for the classification of the disease corresponding to the abnormal shadow.
- the text generation unit 14 may generate a plurality of texts having different expressions as described above for the classification of the disease having the highest classification determination score derived by the analysis unit 13. Further, the text generation unit 14 may generate a plurality of texts having different expressions as described above for each of the classifications of two or more diseases having relatively high scores derived by the analysis unit 13.
- the plurality of texts include a description regarding the classification of the disease, in which the expressions indicating the accuracy corresponding to the classification are different from each other.
- the text will meet the user's request, and it will be possible to effectively support the user in creating a document (interpretation report).
- FIG. 13 is a functional block diagram showing an example of the functional configuration of the document creation support device according to the sixth embodiment of the disclosed technology.
- the document creation support device 10 according to the present embodiment includes a feature partial analysis unit 13A and a related partial analysis unit 13B.
- the feature partial analysis unit 13A analyzes the abnormal shadow extracted from the image to be diagnosed and estimates the classification of the disease corresponding to the abnormal shadow. Specifically, the feature partial analysis unit 13A derives a classification determination score indicating the probability that the disease corresponds to the classification for each candidate for classification of the disease corresponding to the abnormal shadow. That is, the function of the feature partial analysis unit 13A is the same as that of the analysis unit 13 according to the fourth embodiment described above.
- the related part analysis unit 13B identifies the related part related to the classification of the disease having the highest classification judgment score derived by the feature part analysis unit 13A, and determines a predetermined judgment item for the specified related part.
- the related part is a part in the image to be diagnosed in which the classification of the disease corresponding to the abnormal shadow (characteristic part) and the classification of other diseases that are expected to occur can occur.
- FIG. 14 is an example of the table 30 referred to by the related partial analysis unit 13B.
- the table 30 is stored in the storage unit 103.
- "pulmonary nodules” are expected to develop with “pleural effusion” and “lymphadenopathy.” Therefore, in Table 30, “lung node” is associated with "between visceral pleura and parietal pleura” where "pleural effusion” can occur as the first related part, and “lymphadenopathy”. The “lymph nodes” where can develop are associated as the second relevant part. Further, in Table 30, “presence or absence of pleural effusion” is associated as a determination item for the first related portion, and “presence or absence of lymphadenopathy” is associated as a determination item for the second related portion. Has been done.
- the related part analysis unit 13B identifies "between the visceral pleura and the parietal pleura” as the first related part based on Table 30. , "Presence or absence of pleural effusion” is determined for the first related portion. Further, the related part analysis unit 13B identifies the "lymph node” as the second related part based on the table 30, and determines "presence or absence of lymphadenopathy” for the second related part.
- the text generation unit 14 generates a plurality of different texts describing the classification of the disease corresponding to the abnormal shadow extracted from the image to be diagnosed, as in the case of the fourth and fifth embodiments described above.
- the text generation unit 14 includes a description regarding the classification of the disease having the highest classification determination score derived by the feature partial analysis unit 13A in each of the plurality of texts.
- the text generation unit 14 includes, in each of the plurality of texts, a description relating to the relevant portion related to the classification of the disease corresponding to the abnormal shadow described in each of the plurality of texts.
- the text generation unit 14 generates a description regarding the related portion based on the determination result for the related portion derived by the related portion analysis unit 13B.
- the text generation unit 14 generates a plurality of texts so that the number or combination of related parts described in the plurality of texts is different from each other among the plurality of texts.
- FIG. 15 is a diagram showing an example of a plurality of texts generated by the text generation unit 14.
- the classification of the disease having the highest classification determination score derived by the feature partial analysis unit 13A is "solid nodule".
- the related part analysis unit 13B identified the area between the visceral pleura and the parietal pleura as the first related part, and derived "no pleural effusion" as the judgment result for the first related part. do. Further, it is assumed that the related part analysis unit 13B identifies the lymph node as the second related part and derives "no lymphadenopathy" as a judgment result for the second related part.
- the text generator 14 generates the first text T1 containing the description "A solid nodule with a major axis of 2.1 cm is observed in the upper left lobe. Pleural effusion is not observed.” That is, the first text T1 includes "solid nodules” as a description of the classification of diseases corresponding to abnormal shadows, and "no pleural effusion is observed” as a description of related parts.
- the text generator 14 generates a second text T2 containing the description "A solid nodule with a major axis of 2.1 cm is observed in the upper left lobe. No lymphadenopathy is observed.” That is, the second text T2 includes the description "solid nodule” as a description regarding the classification of the disease corresponding to the abnormal shadow, and the description "no lymphadenopathy is observed” as the description regarding the related part. ..
- the text generator 14 contains a third statement including the statement, "A solid nodule with a major axis of 2.1 cm is observed in the upper left lobe. Pleural effusion is not observed. Lymphadenopathy is not observed.”
- Generate text T3 includes the description of "solid nodule” as a description of the classification of the disease corresponding to the abnormal shadow, and the description of "no pleural effusion” and “lymphadenopathy” as the description of the related part. Large is not allowed.
- the text generation unit 14 may further generate a fourth text (not shown) that includes a description of the classification of the disease corresponding to the abnormal shadow and does not include a description of the related portion.
- the display control unit 15 controls the display unit 104 to display a plurality of texts generated by the text generation unit 14.
- FIG. 16 is a flowchart showing an example of the flow of the document creation support process implemented by the CPU 101 executing the document creation support program 108 according to the present embodiment.
- step ST11 the image acquisition unit 11 acquires the image to be diagnosed stored in the storage unit 103.
- step ST12 the feature extraction unit 12 extracts an abnormal shadow as a feature portion from the diagnosis target image acquired by the image acquisition unit 11.
- step ST13 the feature partial analysis unit 13A analyzes the abnormal shadow extracted from the image to be diagnosed, and classifies each candidate for the classification of the disease corresponding to the abnormal shadow to indicate the probability that the disease corresponds to the classification. Derive the judgment score.
- step S14 the related partial analysis unit 13B identifies the related portion related to the classification of the disease having the highest classification determination score derived by the characteristic partial analysis unit 13A in step ST13 based on the table 30.
- step ST15 the related part analysis unit 13B analyzes the related part specified in step ST14 and makes a determination about a predetermined determination item for the related part. The related partial analysis unit 13B identifies the determination item based on the table 30.
- step ST16 the text generation unit 14 describes the description related to the classification of the disease having the highest classification determination score derived by the feature partial analysis unit 13A in step ST13, and the related portion derived by the related partial analysis unit 13B in step ST15. Generate multiple texts, each containing a description of the determination result.
- step ST17 the display control unit 15 controls to display a plurality of texts generated by the text generation unit 14 in step ST16 on the display screen of the display unit 104.
- the user can select any one of the plurality of texts displayed on the display unit 104 and use the selected text as a part or all of the document (interpretation report) created by the user. ..
- each of the plurality of texts includes not only a description regarding the classification of the disease corresponding to the abnormal shadow but also a related part related to the classification of the disease. Since the description about is included, it is possible to effectively support the user in creating a document (interpretation report). In addition, since multiple texts are generated so that the number or combination of related parts described in each text is different between the plurality of texts, it is possible that the plurality of texts may include those that match the user's request. You can improve your sex.
- the text generation unit 14 includes the description regarding the classification of the disease having the highest classification determination score derived by the feature partial analysis unit 13A in each of the plurality of texts has been illustrated. Not limited to. As in the case of the fourth embodiment described above, the text generation unit 14 may generate a plurality of texts so that the classification of the disease described in each of the plurality of texts is different from each other among the plurality of texts. For example, the text generation unit 14 may use all or part of the disease classification candidates for which the classification determination score is derived in the feature partial analysis unit 13A as the classification of the description target.
- the related part analysis unit 13B identifies the related part for each of all or a part of the classification candidates of the disease for which the classification judgment score is derived, and determines a predetermined judgment about the specified related part. Judgment is made for the item.
- the text generation unit 14 generates a description regarding the related part corresponding to the classification of the disease described in each text based on the determination result of the related part derived by the related part analysis unit 13B, and generates the description corresponding to the related part. Include in. As shown in Table 30 (see FIG. 14), when there is no related part related to the classification of the disease corresponding to the abnormal shadow, the text describing the classification of such a disease describes the related part. Will not be included. That is, the text generation unit 14 includes the description regarding the relevant part only in the text in which the classification of the disease described for the abnormal shadow is a specific classification.
- FIG. 17 is a diagram showing other examples of a plurality of texts that can be generated by the text generation unit 14.
- the text generator 14 contains the first text T1 containing the statement, "A solid nodule with a major axis of 2.1 cm is found in the upper left lobe. No pleural effusion is found. No lymphadenopathy is found.” To generate. That is, the first text T1 includes "solid nodules” as a description of the classification of diseases corresponding to abnormal shadows, and "no pleural effusion” and “lymphadenopathy” as descriptions of related parts. It is not allowed. "
- the text generation unit 14 generates a second text T2 including the description "Atelectasis with a major axis of 2.1 cm is found in the upper left lobe.” That is, the second text T2 includes the description "atelectasis” as a description of the classification of the disease corresponding to the abnormal shadow, and does not include the description of the related part.
- the reason why the second text T2 does not include the description about the related part is that there is no related part related to "atelectasis" and there is no determination result about the related part.
- FIG. 18 is a diagram showing another example of a plurality of texts generated by the text generation unit 14.
- Text generator 14 states, "A solid nodule with a major axis of 2.1 cm is found in the upper left lobe. Primary lung cancer is suspected. Pleural effusion is not found. Lymphadenopathy is not found.” Generates a first text T1 containing. That is, the first text T1 includes a description of "solid nodule” and a description of "suspect primary lung cancer” as a description of the classification of diseases corresponding to abnormal shadows, and a description of "pleural effusion retention” as a related part. Includes the statement “No lymphadenopathy” and "No lymphadenopathy”.
- the text generation unit 14 generates a second text including the description "A solid nodule with a major axis of 2.1 cm is recognized in the upper left lobe. It is highly possible that it is benign." That is, the second text T2 includes the description of "solid nodule” and the description of "probably benign” as the description of the classification of the disease corresponding to the abnormal shadow, and does not include the description of the related part. ..
- the text generation unit 14 includes the description regarding the related part in the text in which the classification of the disease described for the abnormal shadow is malignant among the plurality of texts, while the classification of the disease described for the abnormal shadow is classified.
- the benign text does not have to include a description of the relevant part. This is because, for benign diseases, it is common that the relevant part does not exist, or even if it does exist, there is no interest in the relevant part.
- FIG. 19 is a functional block diagram showing an example of the functional configuration of the document creation support device according to the seventh embodiment of the disclosed technology.
- the document creation support device 10 according to the present embodiment is different from the document creation support device 10 (see FIG. 13) according to the sixth embodiment in that it has a designated reception unit 16 instead of the feature extraction unit 12.
- the designated reception unit 16 receives the designation of the abnormal shadow (feature portion) included in the image to be diagnosed.
- the abnormal shadow can be specified, for example, by the user clicking or dragging a partial area in the image to be diagnosed displayed on the display screen of the display unit 104 using an input device such as a mouse. ..
- the feature partial analysis unit 13A analyzes the abnormal shadow related to the designation received by the designated reception unit 16 and estimates the classification of the disease corresponding to the abnormal shadow. Specifically, the feature partial analysis unit 13A derives a classification determination score indicating the probability that the disease falls under the classification for each candidate for the classification of the disease corresponding to the designated abnormal shadow.
- the related part analysis unit 13B identifies the related part related to the classification of the disease having the highest classification judgment score derived by the feature part analysis unit 13A, and determines a predetermined judgment item for the specified related part.
- the text generation unit 14 generates a plurality of different texts that describe the classification of the disease corresponding to the abnormal shadow related to the designation received by the designated reception unit 16.
- the text generation unit 14 includes a description regarding the classification of the disease having the highest classification determination score derived by the feature partial analysis unit 13A in each of the plurality of texts.
- the text generation unit 14 includes, in each of the plurality of texts, a description relating to the relevant portion related to the classification of the disease corresponding to the abnormal shadow described in each of the plurality of texts.
- the text generation unit 14 generates a description of the related part based on the determination result of the related part derived by the related part analysis unit 13B.
- the text generation unit 14 generates a plurality of texts so that the number or combination of related parts described in the plurality of texts is different from each other among the plurality of texts.
- the display control unit 15 controls the display unit 104 to display a plurality of texts generated by the text generation unit 14.
- the document creation support device since a plurality of texts are generated for the abnormal shadow (feature portion) specified by the user, the user can support the creation of the document (interpretation report). It becomes possible to do it effectively.
- the text generation unit 14 includes the description regarding the classification of the disease having the highest classification determination score derived by the feature partial analysis unit 13A in each of the plurality of texts has been illustrated. Not limited to. As in the case of the fourth embodiment described above, the text generation unit 14 may generate a plurality of texts so that the classification of the disease described in each of the plurality of texts is different from each other among the plurality of texts. For example, the text generation unit 14 may use all or part of the disease classification candidates for which the classification determination score is derived in the feature partial analysis unit 13A as the classification of the description target.
- the related part analysis unit 13B identifies the related part for each of all or a part of the classification candidates of the disease for which the classification judgment score is derived, and determines a predetermined judgment about the specified related part. Judgment is made for the item.
- the text generation unit 14 generates a description regarding the related part corresponding to the classification of the disease described in each text based on the analysis result in the related part analysis unit 13B, and includes this in the corresponding text.
- the document management creation support device may generate and display a plurality of texts as follows. For example, before accepting the designation of the abnormal shadow (feature portion) by the user, a plurality of texts may be generated in advance for each of the plurality of abnormal shadows (feature portion). After that, when an abnormal shadow (feature part) is specified by the user, a plurality of texts related to the specified abnormal shadow (feature part) are selected from a plurality of pre-generated texts, and a plurality of selected texts are selected.
- the text may be controlled to be displayed on the display unit 104.
- the displayed text may or may not contain a description of the relevant part.
- the description regarding the property of the abnormal shadow (feature portion) included in each of the plurality of texts may be related to the size of the abnormal shadow (feature portion). That is, the text generation unit 14 may generate a plurality of texts so that the description regarding the size of the abnormal shadow (feature portion) differs between the plurality of texts. For example, the text generator 14 generates a first text containing the description "acknowledge cysts", a second text containing the description "acknowledge small cysts", and "microcysts". You may generate a third text containing the statement "I accept.”
- the description regarding the property of the abnormal shadow (characteristic part) included in each of the plurality of texts may be related to the number, the amount, the density, or the distribution state of the abnormal shadow (characteristic part). That is, the text generation unit 14 may generate a plurality of texts so that the description regarding the number, the amount, the density, or the distribution state of the abnormal shadows (characteristic portions) differs between the plurality of texts. For example, the text generator 14 generates a first text containing the description "I admit cysts" and a second text containing the description "Cysts are scattered.” A third text may be generated that includes the statement "I have a cyst.”
- the hardware structure of the processing unit that executes various processes such as each functional unit of the document creation support device 10 according to the first to seventh embodiments described above includes various processors shown below.
- the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and after manufacturing an FPGA (field-programmable gate array) or the like.
- Dedicated processor with a circuit configuration designed exclusively for executing specific processing such as programmable logic device (PLD) and ASIC (Application Specific Integrated Circuit), which are processors whose circuit configuration can be changed. Includes electrical circuits and the like.
- One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of a combination). Further, a plurality of processing units may be configured by one processor.
- one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
- the processor functions as a plurality of processing units.
- SoC System On Chip
- the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
- an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
テキスト生成部(14)が、画像に含まれる少なくとも1つの特徴部分について、特徴部分の性状を記述した互いに異なる複数のテキストを生成する。表示制御部(15)が複数のテキストの各々を表示部に表示させる制御を行う。
Description
開示の技術は、文書作成支援装置、文書作成支援方法及びプログラムに関する。
医用画像に基づいて読影レポート等の文書に適用し得るテキストを作成する文書作成支援装置に関する技術として、以下の技術が知られている。例えば、特開2019-153250号公報には、表示された医用画像に基づく所見を表すキーワードの入力を受け付ける入力受付部と、医用画像の解析結果を取得する解析結果取得部と、キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する文書作成部とを備えた医療文書作成支援装置が記載されている。
また、特開2009-259000号公報には、予め用意された複数の用語から所望の用語を選択させ、選択された用語の組み合わせに応じて生成された定型文、あるいは入力候補から、文として使用するものを選択させ、選択された文への修正加筆を受け付け修正文とする操作入力制御手段と、操作入力制御手段で選択された用語の組み合わせと修正文とを関連付けて辞書に登録する登録手段と、操作入力制御手段で選択された用語の組み合わせと、登録手段で関連付けられた用語の組み合わせが一致する修正文を、辞書から検索する検索手段と、検索手段で検索された修正文を、操作入力制御手段で選択される文の入力候補として表示させる表示制御手段とを備えた文書作成支援装置が記載されている。
医用画像に基づいて自動生成されるテキストには、重要事項が欠落していたり、重要でない事項が含まれていたりする場合があり、必ずしもユーザの要求に合致した内容のテキストが生成されない場合がある。これに対処するために、記載が互いに異なる複数の候補テキストを提示し、複数の候補テキストの中からユーザの要求に合致したテキストをユーザに選択させることが考えられる。この場合、複数の候補テキストは、記載内容または表現が変化に富んでいることが好ましい。これにより、複数の候補テキストの中にユーザの要求に合致したものが含まれる可能性が高くなる。
開示の技術は、上記の点に鑑みてなされたものであり、画像に基づいてテキストを自動生成する場合に、記載内容または表現が変化に富んだ複数のテキストを生成することを目的とする。
開示の技術に係る文書作成支援装置は、少なくとも1つのプロセッサを備えた文書作成支援装置であって、プロセッサが、画像に含まれる少なくとも1つの特徴部分について、互いに異なる記述を含む複数のテキストを生成し、複数のテキストの各々を表示部に表示させる制御を行う。
プロセッサは、特徴部分の性状を記述した互いに異なる複数のテキストを生成してもよい。
プロセッサは、特徴部分の性状を、予め定められた複数の性状項目の各々について特定し、特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。
プロセッサは、複数の性状項目の各々について当該性状の顕著性を示す性状スコアを導出し、性状スコアに基づいて、組み合わせを定めてもよい。
プロセッサは、複数のテキスト間で互いに表現が異なる同一内容の記述が各テキストに含まれるように複数のテキストを生成してもよい。この場合、プロセッサは、特徴部分について特定された複数の性状のうち、指定された性状についての記述が複数のテキスト間で互いに表現が異なる同一内容となるように複数のテキストを生成してもよい。
プロセッサは、特徴部分に対応する疾患の分類を記述した互いに異なる複数のテキストを生成してもよい。プロセッサは、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。プロセッサは、特徴部分に対応する疾患の分類を推定してもよく、複数のテキストを、疾患の分類の推定結果に応じた順に並べて表示部に表示させる制御を行ってもよい。プロセッサは、その疾患が良性であることを示すテキスト及びその疾患が悪性であることを示すテキストの両方を含むように複数のテキストを生成してもよい。プロセッサは、疾患の分類に関する記述における、その疾患がその分類に該当する確度を示す表現が、複数のテキスト間で異なるように複数のテキストを生成してもよい。
プロセッサは、特徴部分について複数のテキストの各々に記述される疾患の分類に関連する関連部分に関する記述を複数のテキストの少なくとも1つに含めてもよい。プロセッサは、複数のテキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。プロセッサは、複数のテキストのうち、特徴部分について記述される疾患の分類が特定の分類であるテキストにのみ関連部分に関する記述を含めてもよい。プロセッサは、複数のテキストのうち、特徴部分について記述される疾患の分類が悪性であるテキストにのみ関連部分に関する記述を含めてもよい。プロセッサは、特徴部分の指定を受付け、予め生成された複数のテキストのうち、指定された特徴部分に関する複数のテキストを表示部に表示させる制御を行ってもよい。プロセッサは、特徴部分のサイズに関する記述が、複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。プロセッサは、特徴部分の個数、多寡、密集度又は分布状態に関する記述が、複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。
開示の技術に係る文書作成支援方法は、画像に含まれる少なくとも1つの特徴部分について、特徴部分の性状を記述した互いに異なる複数のテキストを生成し、複数のテキストの各々を表示部に表示させる。
開示の技術に係るプログラムは、画像に含まれる少なくとも1つの特徴部分について、特徴部分の性状を記述した互いに異なる複数のテキストを生成し、複数のテキストの各々を表示部に表示させる処理をコンピュータに実行させるためのプログラムである。
開示の技術によれば、画像に基づいてテキストを自動生成する場合に、記載内容または表現が変化に富んだ複数のテキストを作成することが可能である。
以下、開示の技術の実施形態について図面を参照しつつ説明する。尚、各図面において、実質的に同一又は等価な構成要素又は部分には同一の参照符号を付している。
[第1の実施形態]
図1は開示の技術の実施形態に係る文書作成支援装置を適用した医療情報システム1の概略構成を示す図である。医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図1は開示の技術の実施形態に係る文書作成支援装置を適用した医療情報システム1の概略構成を示す図である。医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
医療情報システム1は、複数の撮影装置2、読影端末である複数の読影ワークステーション(WS)3、診療科ワークステーション(WS)4、画像サーバ5、画像データベース6、読影レポートサーバ7、及び読影レポートデータベース8が、有線または無線のネットワーク9を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク9に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
撮影装置2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。撮影装置2は、例えば、単純X線撮影装置、CT装置、MRI装置、及びPET(Positron Emission Tomography)装置等であってもよい。撮影装置2により生成された医用画像は画像サーバ5に送信され、保存される。
診療科WS4は、診療科の医師が医用画像の詳細観察、読影レポートの閲覧、及び電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置により構成される。診療科WS4では、患者のカルテ(電子カルテ)の作成、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した医用画像の表示、医用画像中の疾患を疑う領域の自動検出または強調表示、読影レポートサーバ7に対する読影レポートの閲覧要求、及び読影レポートサーバ7から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は、ストレージを含んで構成される画像データベース6を備えている。画像データベース6は、画像サーバ5とデータバスによって接続されたハードディスク装置であってもよいし、ネットワーク9に接続されているNAS(Network Attached Storage)及びSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース6に登録する。
画像データベース6には、撮影装置2において取得された医用画像の画像データと、画像データに付帯する付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID、被写体である患者を識別するための患者ID(identification)、検査内容を識別するための検査ID、医用画像毎に割り当てられるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用有無等)、1回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。また、画像サーバ5は、読影WS3からの閲覧要求をネットワーク9経由で受信すると、画像データベース6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3に送信する。
読影レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース8に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース8から検索する。
読影レポートデータベース8には、例えば、読影対象の医用画像を識別する画像ID、読影を行った画像診断医を識別するための読影医ID、病変名、病変の位置情報、所見、及び所見の確信度等の情報が記録された読影レポートが登録される。
ネットワーク9は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク9は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク9は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
読影WS3は、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ7に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ7から受信した読影レポートの表示等の各処理を、各処理のためのソフトウェアプログラムを実行することにより行う。読影WS3は、後述する文書作成支援装置10を内包しており、上記の各処理のうち、文書作成支援装置10が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、文書作成支援装置10が行う処理以外の処理を読影WS3において行わず、別途その処理を行うコンピュータをネットワーク9に接続しておき、読影WS3からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。以下、読影WS3に内包される文書作成支援装置10について詳細に説明する。
図2は、文書作成支援装置10のハードウェア構成の一例を示す図である。文書作成支援装置10は、CPU(Central Processing Unit)101、メモリ102、記憶部103、液晶ディスプレイ等の表示部104、キーボード及びマウス等の入力部105、及び外部I/F(InterFace)106を含む。なお、入力部105は音声による入力を受け付けるマイクロフォンを備えていてもよい。CPU101、メモリ102、記憶部103、表示部104、入力部105、及び外部I/F106は、バス107に接続される。文書作成支援装置10は、外部I/F106を介して、医療情報システム1のネットワーク9に接続される。なお、CPU101は、開示の技術におけるプロセッサの一例である。
記憶部103は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶部103には、文書作成支援プログラム108が記憶される。文書作成支援プログラム108は、DVDあるいはCD-ROM等の記録媒体に記録されて配布され、その記録媒体から文書作成支援装置10にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて文書作成支援装置10にダウンロードされ、インストールされる。CPU101は、記憶部103から文書作成支援プログラム108を読み出してからメモリ102に展開し、展開した文書作成支援プログラム108を実行する。
図3は、文書作成支援装置10の機能的な構成の一例を示す機能ブロック図である。文書作成支援装置10は、画像取得部11、特徴抽出部12、解析部13、テキスト生成部14及び表示制御部15を有する。文書作成支援装置10は、CPU101が文書作成支援プログラム108を実行することで、画像取得部11、特徴抽出部12、解析部13、テキスト生成部14及び表示制御部15として機能する。
画像取得部11は、診断対象となる医用画像(以下診断対象画像と称する)を取得する。診断対象画像は、画像データベース6に保存されており、文書作成支援装置10(読影ワークステーション3)からの要求に応じて画像データベース6から文書作成支援装置10に送信され、記憶部103に保存される。画像取得部11は、記憶部103に保存されている診断対象画像を取得する。なお、画像取得部11は、画像データベース6に保存されている診断対象画像を、画像データベース6から直接取得してもよい。なお、以下において、診断対象画像が、胸部CT画像である場合を例に説明する。
特徴抽出部12は、画像取得部11によって取得された診断対象画像から、結節や腫瘤等の疾患を疑う陰影(以下、異常陰影という)を、特徴部分として抽出する。特徴抽出部12は、例えば、ディープラーニング等の機械学習によって学習された学習済みモデルを用いて異常陰影を抽出してもよい。上記の学習済みモデルは、例えば、異常陰影を含む医用画像と、その異常陰影が存在する画像中の領域を特定した情報との複数の組み合わせを学習用データとして用いた機械学習によって学習される。上記の学習用済みモデルは、医用画像を入力とし、当該医用画像における異常陰影の領域を特定した結果を出力とする。図4には、診断対象画像200から異常陰影SHが抽出された例が示されている。
解析部13は、特徴抽出部12によって抽出された異常陰影について解析を行うことにより、異常陰影の性状を、予め定められた複数の性状項目の各々について特定する。異常陰影について特定される性状項目の例として、当該異常陰影における、位置、大きさ、スピキュラの有無、辺縁不整の有無、胸膜陥入の有無、疾患の種類などが挙げられる。
解析部13は、例えば、ディープラーニング等の機械学習によって学習された学習済みモデルを用いて異常陰影の性状を特定してもよい。上記の学習済みモデルは、例えば、異常陰影を含む医用画像と、当該異常陰影の性状を表す性状ラベルとの複数の組み合わせを学習用データとして用いた機械学習によって学習される。上記の学習用済みモデルは、医用画像を入力とし、当該医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力とする。性状スコアは、当該性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば0以上1以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。
解析部13は、例えば異常陰影の性状項目の1つである「スピキュラの有無」についての性状スコアが例えば0.5以上である場合、当該異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り(陽性)」であることを特定し、「スピキュラ有無」についての性状スコアが例えば0.5未満である場合、当該異常陰影のスピキュラの有無についての性状が「スピキュラ無し(陰性)」であることを特定する。なお、性状判定に用いる閾値0.5は、例示に過ぎず、性状項目毎に適切な値に設定される。
図4には、診断対象画像200から抽出された異常陰影SHの性状項目毎の性状として、「左上葉」、「胸膜陥入+」、「辺縁不整+」、「スピキュラ+」、「4.2cm」、「腫瘤」が特定された例が示されている。なお、特定された性状における「+」表記は、その性状が陽性であることを示している。
テキスト生成部14は、特徴抽出部12によって抽出された異常陰影について、当該異常陰影の性状を記述した互いに異なる複数のテキストを候補テキストとして生成する。テキスト生成部14は、解析部13によって特定された複数の性状項目の各々についての性状の少なくとも1つが各テキストに記述されるように複数のテキストを生成する。また、テキスト生成部14は、複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。
図4には、テキスト生成部14が、異常陰影SHの性状を記述した互いに異なる4つのテキストを生成した例が示されている。テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「腫瘤」に基づいて「左上葉に腫瘤が認められます。」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「胸膜陥入+」、「4.2cm」、「腫瘤」に基づいて「左上葉に胸膜陥入を伴う、4.2cm大の腫瘤が認められます。」という記述を含む第2のテキストT2を生成する。また、テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「胸膜陥入+」、「スピキュラ+」、「腫瘤」に基づいて「左上葉に胸膜陥入を伴うスピキュラを有する腫瘤が認められます。」という記述を含む第3のテキストT3を生成する。また、テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「胸膜陥入+」、「辺縁不整+」、「スピキュラ+」、「4.2cm」、「腫瘤」に基づいて「左上葉に辺縁不整で胸膜陥入を伴うスピキュラを有する4.2cm大の腫瘤が認められます。」という記述を含むテキスト第4のテキストT4を生成する。
このように、テキスト生成部14は、予め定められた複数の性状項目の各々について特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。なお、テキスト生成部14が生成するテキストの数は、3つ以下であってもよいし、5つ以上であってもよい。また、テキスト生成部14は、N個の性状項目の中から、M個(M<N)以上の性状項目を選択する組み合わせの全てについてテキストを生成してもよい。また、各テキストに含まれる性状項目の数は、複数のテキストの間で互いに異なっていてもよいし、同じであってもよい。また、複数のテキストの各々に必ず含めるべき必須の性状項目をユーザが指定してもよい。この場合、テキスト生成部14は、上記必須の性状項目に関する記述を含み且つ上記必須の性状項目以外の性状項目の組み合わせが互いに異なる複数のテキストを生成してもよい。
テキスト生成部14は、入力された単語からテキストを作成するように学習が行われたリカレントニューラルネットワークを含んで構成されている。図5はリカレントニューラルネットワークの模式的な構成を示す図である。図5に示すように、リカレントニューラルネットワーク20は、エンコーダ21及びデコーダ22を含んで構成される。エンコーダ21には、解析部13によって特定された性状に対応する文字が入力される。例えば、テキスト生成部14が図4に例示する第4のテキストT4を生成する場合、エンコーダ21には、解析部13によって特定された性状を文字化した「左上葉」、「胸膜陥入」、「辺縁不整」、「スピキュラ」、「4.2cm」、「腫瘤」、が入力される。デコーダ22は、エンコーダ21に入力された単語を文章化するように学習がなされており、上記の入力単語から、「左上葉に辺縁不整で胸膜陥入を伴うスピキュラを有する4.2cm大の腫瘤が認められます。」という第4のテキストT4を生成する。なお、図5において「EOS」は文章の終わりを示す(End Of Sentence)。
表示制御部15は、テキスト生成部14によって生成された複数のテキストを表示部104に表示させる制御を行う。図6は、表示制御部15による制御によって表示部104の表示画面300に表示される情報の表示態様の一例を示す図である。図6に示すように、テキスト生成部14によって生成された第1~第4のテキストT1~T4が表示画面300に表示される。また、第1~第4のテキストT1~T4に対応する、異常陰影SHを含む診断対象画像200が表示画面300に表示される。診断対象画像200には、異常陰影SHの位置を示すマーク201が付与されていてもよい。また、表示画面300には、異常陰影SHについて特定された、性状項目毎の性状を示す性状ラベル202が表示される。また、第1~第4のテキストT1~T4の各々の近傍には、当該テキストに記述されている性状を示す性状ラベル203が表示される。ユーザは、表示画面300に表示された複数のテキストの中から任意の1つを選択し、選択したテキストを自身が作成する文書(読影レポート)の一部または全部として利用することが可能である。テキストの選択は、例えば、選択したいテキストの表示領域をポインタでクリックすることにより行うことが可能である。
以下に、文書作成支援装置10の作用について説明する。図7は、CPU101が、文書作成支援プログラム108を実行することによって実施される文書作成支援処理の流れの一例を示すフローチャートである。文書作成支援プログラム108は、例えば、ユーザによって入力部105を介して実行開始の指示が入力された場合に実行される。なお、診断対象画像は、画像サーバ5から文書作成支援装置10(読影ワークステーション3)にダウンロードされ、記憶部103に保存されているものとする。
ステップST1において、画像取得部11は、記憶部103に保存されている診断対象画像を取得する。ステップST2において、特徴抽出部12は、画像取得部11によって取得された診断対象画像から、異常陰影を特徴部分として抽出する。ステップST3において、解析部13は、診断対象画像から抽出された異常陰影について解析を行い、予め定められた複数の性状項目の各々について、異常陰影の性状を特定する。
ステップST4において、テキスト生成部14は、ステップST3において特定された性状を記述した互いに異なる複数のテキストを生成する。テキスト生成部14は、予め定められた複数の性状項目の各々についての性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。
ステップST5において、表示制御部15は、テキスト生成部14によって生成された複数のテキストを表示部104の表示画面に表示させる制御を行う。ユーザは、表示部104に表示された複数のテキストの中から任意の1つを選択し、選択したテキストを自身が作成する文書(読影レポート)の一部または全部として利用することが可能である。
以上のように、開示の技術の実施形態に係る文書作成支援装置10によれば、診断対象画像から抽出された異常陰影の性状を記述した互いに異なる複数のテキストが候補文書として生成される。複数のテキストにおいて、各テキストに記述される性状に対応する性状項目の組み合わせが互いに異なる。これにより、記載内容が変化に富んだ複数のテキストを作成することが可能となる。これにより、複数のテキストの中にユーザの要求に合致したものが含まれる可能性が高くなり、ユーザによる文書(読影レポート)の作成を効果的に支援することが可能となる。
[第2の実施形態]
図8は、解析部13によって導出される性状スコアの一例を示す図である。上記したように、解析部13は、特徴抽出部12によって抽出された異常陰影を解析することによって当該異常陰影について、性状項目毎に、その性状の顕著性を示す性状スコアを導出する。本実施形態において、性状スコアは0以上1以下の値をとる。性状スコアが大きい程、その性状が顕著であることを示す。なお、性状スコアの範囲は、0以上1以下に限らず、適宜定めることが可能である。
図8は、解析部13によって導出される性状スコアの一例を示す図である。上記したように、解析部13は、特徴抽出部12によって抽出された異常陰影を解析することによって当該異常陰影について、性状項目毎に、その性状の顕著性を示す性状スコアを導出する。本実施形態において、性状スコアは0以上1以下の値をとる。性状スコアが大きい程、その性状が顕著であることを示す。なお、性状スコアの範囲は、0以上1以下に限らず、適宜定めることが可能である。
テキスト生成部14は、第1の実施形態と同様、複数のテキストの各々に記述される性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。本実施形態において、テキスト生成部14は、解析部13によって導出された性状スコアに基づいて、複数のテキストの各々に記述される性状項目の組み合わせを定める。テキスト生成部14は、例えば、性状スコアが例えば0.9以上の性状のみを記述したテキストを第1のテキストとして生成し、性状スコアが例えば0.7以上の性状のみを記述したテキストを第2のテキストとして生成し、性状スコアが例えば0.5以上の性状のみを記述したテキストを第3のテキストとして生成する。なお、性状スコアの閾値は、上記した0.9、0.7、0.5に限定されず、適宜定めることが可能である。
例えば、図8に示すような性状スコアが導出されている場合、テキスト生成部14は、性状スコアが0.9以上の性状「左上葉」及び「腫瘤」に基づいて「左上葉に、腫瘤が認められます。」という記述を含む第1のテキストを生成する。また、テキスト生成部14は、性状スコアが0.7以上の性状「左上葉」、「胸膜陥入+」、「4.2cm」及び「腫瘤」に基づいて「左上葉に胸膜陥入を伴う4.2cm大の腫瘤が認められます。」という記述を含む第2のテキストを生成する。また、テキスト生成部14は、性状スコアが0.5以上の性状「左上葉」、「辺縁不整+」、「胸膜陥入+」、「スピキュラ+」、「4.2cm」及び「腫瘤」に基づいて「左上葉に辺縁不整で胸膜陥入を伴うスピキュラを有する4.2cm大の腫瘤が認められます。」という記述を含む第3のテキストを生成する。
開示の技術の第2の実施形態に係る文書作成支援装置によれば、第1の実施形態と同様、記載内容が変化に富んだ複数のテキストを作成することが可能となる。また、性状スコアに応じてテキストに記述される性状項目の組み合わせを定めることで、記述内容の確度が互いに異なる複数のテキストを生成することが可能となる。例えば、確度が高い性状項目に関する記述を含む第1のテキスト、確度が中程度の性状項目に関する記述を含む第2のテキスト、確度が低い性状項目に関する記述を含む第3のテキストを含む複数のテキストを生成することが可能となる。
[第3の実施形態]
上記の第1及び第2の実施形態に係るテキスト生成部14は、複数のテキストの各々に記述される性状項目の組み合わせが、複数のテキスト間で互いに異なるように、複数のテキストを生成するものであった。開示の技術の第3の実施形態に係るテキスト生成部14は、複数のテキスト間で互いに表現が異なる同一内容の記述が各テキストに含まるように複数のテキストを生成する。
上記の第1及び第2の実施形態に係るテキスト生成部14は、複数のテキストの各々に記述される性状項目の組み合わせが、複数のテキスト間で互いに異なるように、複数のテキストを生成するものであった。開示の技術の第3の実施形態に係るテキスト生成部14は、複数のテキスト間で互いに表現が異なる同一内容の記述が各テキストに含まるように複数のテキストを生成する。
図9は、開示の技術の第3の実施形態に係る、表示画面300に表示される情報の表示態様の一例を示す図である。図9には、診断対象画像200から抽出された異常陰影SHの性状として、「左上葉」、「部分充実型」、「腫瘤」が解析部13によって特定された例が示されている。表示画面300には、異常陰影SHついて特定された上記の各性状を示す性状ラベル202が表示されている。
この例において、テキスト生成部14は、異常陰影SHについて特定された性状である「左上葉」、「部分充実型」、「腫瘤」に基づいて、「左上葉に部分充実型の腫瘤が認められます。」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、異常陰影SHについて特定された性状である「左上葉」、「部分充実型」、「腫瘤」に基づいて、「左上葉に中心が充実性であり、周囲がすりガラス状の腫瘤が認められます。」という記述を含む第2のテキストT2を生成する。ここで、第1のテキストT1に記述された「部分充実型」と、第2のテキストT2に記述された「中心が充実性であり、周囲がすりガラス状」は、表現が異なるものの、これらの意味内容は同じである。このように、開示の技術の第3の実施形態に係るテキスト生成部14は、複数のテキスト間で互いに表現が異なる同一内容の記述を含むように複数のテキストを生成する。本実施形態に係るテキスト生成部14は、入力された単語から、表現が異なる同一内容の複数のテキストを作成するように学習された学習済みモデルを用いることによって実現可能である。
開示の技術の第3の実施形態に係る文書作成支援装置によれば、第1の実施形態と同様、記載内容が変化に富んだ複数のテキストを作成することが可能となる。また、複数のテキストには、互いに表現が異なる同一内容の記述が含まれるので、複数のテキストの中にユーザの要求に合致したものが含まれる可能性が高くなり、ユーザによる文書(読影レポート)の作成を効果的に支援することが可能となる。
なお、テキスト生成部14は、異常陰影について特定された複数の性状のうち、指定された性状についての記述が複数のテキスト間で互いに表現が異なる同一内容となるように複数のテキストを生成してもよい。互いに異なる表現で記述すべき性状をユーザが指定できるようにすることで、ユーザの要求に合致した表現を用いたテキストが生成される可能性を更に高めることが可能となる。
[第4の実施形態]
上記の第1乃至第3の実施形態に係る文書作成支援装置は、特徴部分の性状を記述した互いに異なる複数のテキストを生成するものであった。開示の技術の第4の実施形態に係る文書作成支援装置は、特徴部分に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。なお、後述する第5乃至第7の実施形態に係る文書作成支援装置についても同様である。疾患の分類とは、例えば、結節、血管腫、嚢胞、リンパ節腫大、胸水貯留、過誤腫等の病名及び診断名を含み、また、その疾患が良性であるか悪性(がん)であるかの分類も含む。
上記の第1乃至第3の実施形態に係る文書作成支援装置は、特徴部分の性状を記述した互いに異なる複数のテキストを生成するものであった。開示の技術の第4の実施形態に係る文書作成支援装置は、特徴部分に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。なお、後述する第5乃至第7の実施形態に係る文書作成支援装置についても同様である。疾患の分類とは、例えば、結節、血管腫、嚢胞、リンパ節腫大、胸水貯留、過誤腫等の病名及び診断名を含み、また、その疾患が良性であるか悪性(がん)であるかの分類も含む。
本実施形態において、解析部13は、診断対象画像から抽出された異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定する。解析部13は、例えば、ディープラーニング等の機械学習によって学習された学習済みモデルを用いて疾患の分類を推定してもよい。上記の学習済みモデルは、例えば、異常陰影を含む医用画像に、当該異常陰影に対応する疾患の分類を正解ラベルとして付与した学習用データを用いた機械学習によって学習される。解析部13は、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。
テキスト生成部14は、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。より具体的には、テキスト生成部14は、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成する。テキスト生成部14は、例えば、解析部13において分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部を記述対象の分類としてもよい。
図10には、テキスト生成部14が診断対象画像から抽出された異常陰影に対応する互いに異なる疾患の分類を記述した3つのテキストを生成した例が示されている。テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「結節を認めます」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「血管腫を認めます」という記述を含む第2のテキストT2を生成する。また、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「嚢胞を認めます」という記述を含む第3のテキストT3を生成する。
表示制御部15は、テキスト生成部14によって生成された複数のテキストを、解析部13における疾患の分類の推定結果に応じた順に並べて表示部104に表示させる制御を行う。例えば、解析部13によって疾患の分類の候補毎に導出された分類判定スコアのうち、「結節」の分類判定スコアが最も高い場合、表示制御部15は、「結節を認めます。」という記述を含む第1のテキストT1を、他のテキストT2、T3に対して表示画面上の上方に配置して表示させてもよい。
図11は、テキスト生成部14によって生成された複数のテキストの他の例を示す図である。テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「原発性肺がんを疑います。」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「良性の可能性が高いです。」という記述を含む第2のテキストT2を生成する。このように、疾患の分類は、当該疾患が良性であるか悪性であるかの分類であってもよく、テキスト生成部14は、当該疾患が悪性である旨の記述を含むテキスト及び当該疾患が良性である旨の記述を含むテキストの両方を生成してもよい。また、図11に例示されるように、複数のテキストの各々には、疾患の分類に関する記述のみならず、当該異常陰影の性状に関する記述が含まれていてもよい。
開示の技術の第4の実施形態に係る文書作成支援装置によれば、複数のテキストには、それぞれ、疾患の分類が記述されるので、ユーザによる文書(読影レポート)の作成支援を効果的に行うことが可能となる。また、各テキストに記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストが生成されるので、複数のテキストの中にユーザの要求に合致したものが含まれる可能性を高めることができる。また、表示制御部15は、テキスト生成部14によって生成された複数のテキストを、解析部13における疾患の分類の推定結果に応じた順に並べて表示部104に表示させる制御を行うので、ユーザによるテキストの選択を容易にすることができる。
[第5の実施形態]
開示の技術の第5の実施形態に係るテキスト生成部14は、上記した第4の実施形態の場合と同様、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、疾患の分類に関する記述における、その疾患がその分類に該当する確度を示す表現が複数のテキスト間で異なるように複数のテキストを生成する。
開示の技術の第5の実施形態に係るテキスト生成部14は、上記した第4の実施形態の場合と同様、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、疾患の分類に関する記述における、その疾患がその分類に該当する確度を示す表現が複数のテキスト間で異なるように複数のテキストを生成する。
図12には、テキスト生成部14が、疾患の分類(原発性肺がん)について、その疾患がその分類に該当する確度を示す表現が互いに異なる3つのテキストを生成した例が示されている。テキスト生成部14は、疾患の分類に関する記述として「原発性肺がんです。」という断定的な表現を用いた記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、当該疾患が原発性肺がんに該当する確度が極めて高いことを示す表現を含む。また、テキスト生成部14は、疾患の分類に関する記述として「原発性肺がんを疑います。」という、推測的な表現を用いた記述を含む第2のテキストT2を生成する。すなわち第2のテキストT2は、当該疾患が原発性肺がんに該当する確度が比較的高いことを示す表現を含む。また、テキスト生成部14は、疾患の分類に関する記述として「原発性肺がんの可能性を否定できません。」という、肯定的でも否定的でもない表現を用いた記述を含む第3のテキストT3を生成する。すなわち第3のテキストT3は、当該疾患が原発性肺がんに該当する確度が比較的低いことを示す表現を含む。なお、図12に例示されるように、複数のテキストの各々には、疾患の分類に関する記述のみならず、当該異常陰影の性状に関する記述が含まれていてもよい。
本実施形態に係る文書作成支援装置において、解析部13は、診断対象画像から抽出された異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定してもよい。すなわち、解析部13は、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出してもよい。この場合、テキスト生成部14は、解析部13によって導出された分類判定スコアが最も高い疾患の分類について、上記のように表現が互いに異なる複数のテキストを生成してもよい。また、テキスト生成部14は、解析部13によって導出されたスコアが相対的に高い2つ以上の疾患の分類のそれぞれについて、上記のように表現が互いに異なる複数のテキストを生成してもよい。
開示の技術の第5の実施形態に係る文書作成支援装置によれば、複数のテキストには、疾患の分類に関し、その分類に該当する確度を示す表現が互いに異なる記述が含まれるので、複数のテキストの中にユーザの要求に合致したものが含まれる可能性が高くなり、ユーザによる文書(読影レポート)の作成を効果的に支援することが可能となる。
[第6の実施形態]
図13は、開示の技術の第6の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。本実施形態に係る文書作成支援装置10は、特徴部分解析部13A及び関連部分解析部13Bを含む。
図13は、開示の技術の第6の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。本実施形態に係る文書作成支援装置10は、特徴部分解析部13A及び関連部分解析部13Bを含む。
特徴部分解析部13Aは、診断対象画像から抽出された異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定する。具体的には、特徴部分解析部13Aは、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。すなわち、特徴部分解析部13Aの機能は、上記した第4の実施形態に係る解析部13と同じである。
関連部分解析部13Bは、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。関連部分とは、異常陰影(特徴部分)に対応する疾患の分類とともに発症することが想定される他の疾患の分類が発症し得る診断対象画像中の部分である。
図14は、関連部分解析部13Bによって参照されるテーブル30の一例である。テーブル30は、記憶部103に記憶されている。例えば、「肺結節」は、「胸水貯留」及び「リンパ節腫大」とともに発症することが想定される。従って、テーブル30において、「肺結節」には、「胸水貯留」が発症し得る「臓側胸膜と壁側胸膜の間」が第1の関連部分として対応付けられるとともに、「リンパ節腫大」が発症し得る「リンパ節」が第2の関連部分として対応付けられている。また、テーブル30において、第1の関連部分についての判定項目として「胸水貯留の有無」が対応付けられており、第2の関連部分についての判定項目として「リンパ節腫大の有無」が対応付けられている。
関連部分解析部13Bは、分類判定スコアが最も高い疾患の分類が「肺結節」である場合、テーブル30に基づいて「臓側胸膜と壁側胸膜の間」を第1の関連部分として特定し、第1の関連部分について「胸水貯留の有無」を判定する。また、関連部分解析部13Bは、テーブル30に基づいて「リンパ節」を第2の関連部分として特定し、第2の関連部分について「リンパ節腫大の有無」を判定する。
なお、疾患の分類によっては、対応付けるべき関連部分が存在しない場合がある。例えば、「無気肺」については、無気肺とともに発症することが想定される他の疾患が存在しないので、テーブル30において「無気肺」に対応付けられる関連部分の欄はブランクとなる。
テキスト生成部14は、上記した第4及び第5の実施形態の場合と同様、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を、複数のテキストの各々に含める。また、テキスト生成部14は、複数のテキストの各々に記述される異常陰影に対応する疾患の分類に関連する関連部分に関する記述を複数のテキストの各々に含める。テキスト生成部14は、関連部分に関する記述を、関連部分解析部13Bによって導出された、関連部分についての判定結果に基づいて生成する。本実施形態において、テキスト生成部14は、複数のテキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。
図15は、テキスト生成部14によって生成された複数のテキストの一例を示す図である。ここでは、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類が「充実性結節」であったものとする。これに応じて関連部分解析部13Bが、臓側胸膜と壁側胸膜の間を第1の関連部分として特定し、第1の関連部分についての判定結果として「胸水貯留なし」を導出したものとする。また、関連部分解析部13Bが、リンパ節を第2の関連部分として特定し、第2の関連部分についての判定結果として「リンパ節腫大なし」を導出したものとする。
テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。胸水貯留は認められません。」という記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」を含み、関連部分に関する記述として「胸水貯留は認められません。」という記述を含む。
また、テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。リンパ節腫大は認められません。」という記述を含む第2のテキストT2を生成する。すなわち第2のテキストT2は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述を含み、関連部分に関する記述として「リンパ節腫大は認められません。」という記述を含む。
また、テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。胸水貯留は認められません。リンパ節腫大は認められません。」という記述を含む第3のテキストT3を生成する。すなわち第3のテキストT3は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述を含み、関連部分に関する記述として「胸水貯留は認められません」という記述及び「リンパ節腫大は認められません。」という記述を含む。なお、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述を含み且つ関連部分に関する記述を含まない第4のテキスト(図示せず)を更に生成してもよい。
表示制御部15は、テキスト生成部14によって生成された複数のテキストを、表示部104に表示させる制御を行う。
以下に、本実施形態に係る文書作成支援装置の作用について説明する。図16は、CPU101が、本実施形態に係る文書作成支援プログラム108を実行することによって実施される文書作成支援処理の流れの一例を示すフローチャートである。
ステップST11において、画像取得部11は、記憶部103に保存されている診断対象画像を取得する。ステップST12において、特徴抽出部12は、画像取得部11によって取得された診断対象画像から異常陰影を特徴部分として抽出する。ステップST13において、特徴部分解析部13Aは、診断対象画像から抽出された異常陰影について解析を行い、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。
ステップS14において、関連部分解析部13Bは、ステップST13において特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する関連部分を、テーブル30に基づいて特定する。ステップST15において、関連部分解析部13Bは、ステップST14において特定された関連部分について解析を行い、関連部分についての所定の判定項目について判定を行う。関連部分解析部13Bは、テーブル30に基づいて判定項目を特定する。
ステップST16において、テキスト生成部14は、ステップST13において特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する記述及びステップST15において関連部分解析部13Bによって導出された関連部分についての判定結果に関する記述をそれぞれ含む複数のテキストを生成する。
ステップST17において、表示制御部15は、ステップST16においてテキスト生成部14によって生成された複数のテキストを表示部104の表示画面に表示させる制御を行う。ユーザは、表示部104に表示された複数のテキストの中から任意の1つを選択し、選択したテキストを自身が作成する文書(読影レポート)の一部または全部として利用することが可能である。
開示の技術の第6の実施形態に係る文書作成支援装置によれば、複数のテキストの各々には、異常陰影に対応する疾患の分類に関する記述のみならず、その疾患の分類に関連する関連部分に関する記述が含まれるので、ユーザによる文書(読影レポート)の作成支援を効果的に行うことが可能となる。また、各テキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストが生成されるので、複数のテキストの中にユーザの要求と一致したものが含まれる可能性を高めることができる。
なお、本実施形態においては、テキスト生成部14が、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を複数のテキストの各々に含める場合を例示したが、この態様に限定されない。テキスト生成部14は、上記した第4の実施形態の場合と同様、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。テキスト生成部14は、例えば、特徴部分解析部13Aにおいて分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部を記述対象の分類としてもよい。この場合、関連部分解析部13Bは、分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部の分類の各々について、関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。テキスト生成部14は、各テキストに記述される疾患の分類に対応する関連部分に関する記述を、関連部分解析部13Bによって導出される関連部分についての判定結果に基づいて生成し、これを対応するテキストに含める。なお、テーブル30(図14参照)に示されるように、異常陰影に対応する疾患の分類に関連する関連部分が存在しない場合、そのような疾患の分類が記述されるテキストには関連部分に関する記述は含まれないことになる。すなわち、テキスト生成部14は、異常陰影について記述される疾患の分類が特定の分類であるテキストにのみ関連部分に関する記述を含める。
図17は、テキスト生成部14によって生成され得る複数のテキストの他の例を示す図である。テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。胸水貯留は認められません。リンパ節腫大は認められません。」という記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」を含み、関連部分に関する記述として「胸水貯留は認められません」という記述及び「リンパ節腫大は認められません。」という記述を含む。
また、テキスト生成部14は、「左上葉に長径2.1cmの無気肺を認めます。」という記述を含む第2のテキストT2を生成する。すなわち第2のテキストT2は、異常陰影に対応する疾患の分類に関する記述として「無気肺」という記述を含み、関連部分に関する記述を含んでいない。第2のテキストT2が関連部分に関する記述を含んでいないのは、「無気肺」に関連する関連部分が存在せず、関連部分についての判定結果が存在しないためである。
図18は、テキスト生成部14によって生成される複数のテキストの他の例を示す図である。テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。原発性肺がんを疑います。胸水貯留は認められません。リンパ節腫大は認められません。」という記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述及び「原発性肺がんを疑います。」という記述を含み、関連部分に関する記述として「胸水貯留は認められません」という記述及び「リンパ節腫大は認められません。」という記述を含む。また、テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。良性の可能性が高いです。」という記述を含む第2のテキストを生成する。すなわち第2のテキストT2は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述及び「良性の可能性が高いです。」という記述を含み、関連部分に関する記述を含んでいない。
このように、テキスト生成部14は、複数のテキストのうち、異常陰影について記述される疾患の分類が悪性であるテキストには関連部分に関する記述を含める一方、異常陰影について記述される疾患の分類が良性であるテキストには関連部分に関する記述を含めなくてもよい。これは、良性疾患については、関連部分が存在しない又は存在したとしても関連部分に関心がないことが一般的であるからである。
[第7の実施形態]
図19は、開示の技術の第7の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。本実施形態に係る文書作成支援装置10は、特徴抽出部12に代えて指定受付部16を有する点が、上記した第6の実施形態に係る文書作成支援装置10(図13参照)と異なる。
図19は、開示の技術の第7の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。本実施形態に係る文書作成支援装置10は、特徴抽出部12に代えて指定受付部16を有する点が、上記した第6の実施形態に係る文書作成支援装置10(図13参照)と異なる。
指定受付部16は、診断対象画像に含まれる異常陰影(特徴部分)の指定を受け付ける。異常陰影の指定は、例えば、表示部104の表示画面上に表示される診断対象画像中の部分領域を、ユーザがマウス等の入力デバイスを用いてクリック又はドラッグすることで行うことが可能である。
特徴部分解析部13Aは、指定受付部16が受け付けた指定に係る異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定する。具体的には、特徴部分解析部13Aは、指定された異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。
関連部分解析部13Bは、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。
テキスト生成部14は、指定受付部16が受け付けた指定に係る異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を、複数のテキストの各々に含める。テキスト生成部14は、複数のテキストの各々に記述される異常陰影に対応する疾患の分類に関連する関連部分に関する記述を複数のテキストの各々に含める。テキスト生成部14は、関連部分に関する記述を、関連部分解析部13Bによって導出される関連部分についての判定結果に基づいて生成する。テキスト生成部14は、複数のテキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。表示制御部15は、テキスト生成部14によって生成された複数のテキストを表示部104に表示させる制御を行う。
開示の技術の第7の実施形態に係る文書作成支援装置によれば、ユーザが指定する異常陰影(特徴部分)について複数のテキストが生成されるので、ユーザによる文書(読影レポート)の作成支援を効果的に行うことが可能となる。
なお、本実施形態においては、テキスト生成部14が、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を複数のテキストの各々に含める場合を例示したが、この態様に限定されない。テキスト生成部14は、上記した第4の実施形態の場合と同様、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。テキスト生成部14は、例えば、特徴部分解析部13Aにおいて分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部を記述対象の分類としてもよい。この場合、関連部分解析部13Bは、分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部の分類の各々について、関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。テキスト生成部14は、各テキストに記述される疾患の分類に対応する関連部分に関する記述を、関連部分解析部13Bにおける解析結果に基づいて生成し、これを対応するテキストに含める。
文書管理作成支援装置は、以下のようにして複数のテキストを生成及び表示してもよい。例えば、ユーザによる異常陰影(特徴部分)の指定を受付ける前に、複数の異常陰影(特徴部分)のそれぞれについて予め複数のテキストを生成しておいてもよい。その後、ユーザによって異常陰影(特徴部分)の指定がなされた場合、指定された異常陰影(特徴部分)に関する複数のテキストを、予め生成しておいた複数のテキストの中から選択し、選択した複数のテキストを表示部104に表示させる制御を行ってもよい。表示される複数のテキストには、関連部分に関する記述が含まれていてもよいし、含まれていなくてもよい。
また、複数のテキストの各々に含まれる異常陰影(特徴部分)の性状に関する記述が、当該異常陰影(特徴部分)のサイズに関するものであってもよい。すなわち、テキスト生成部14は、異常陰影(特徴部分)のサイズに関する記述が、複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。例えば、テキスト生成部14は、「嚢胞を認めます。」という記述を含む第1のテキストを生成し、「小嚢胞を認めます。」という記述を含む第2のテキストを生成し、「微小嚢胞を認めます。」という記述を含む第3のテキストを生成してもよい。
また、複数のテキストの各々に含まれる異常陰影(特徴部分)の性状に関する記述が、当該異常陰影(特徴部分)の個数、多寡、密集度又は分布状態に関するものであってもよい。すなわち、テキスト生成部14は、異常陰影(特徴部分)の個数、多寡、密集度又は分布状態に関する記述が、複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。例えば、テキスト生成部14は、「嚢胞を認めます。」という記述を含む第1のテキストを生成し、「嚢胞が散在しています。」という記述を含む第2のテキストを生成し、「多発嚢胞を認めます。」という記述を含む第3のテキストを生成してもよい。
上記した第1乃至第7の実施形態に係る文書作成支援装置10の各機能部等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(field-programmable gate array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
なお、2020年2月7日に出願された日本国特許出願2020-020144及び2020年12月22日に出願された日本国特許出願2020-212842の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (21)
- 少なくとも1つのプロセッサを備えた文書作成支援装置であって、
前記プロセッサが、
画像に含まれる少なくとも1つの特徴部分について、互いに異なる記述を含む複数のテキストを生成し、
前記複数のテキストの各々を表示部に表示させる制御を行う
文書作成支援装置。 - 前記プロセッサは、
前記特徴部分の性状を記述した互いに異なる前記複数のテキストを生成する
請求項1に記載の文書作成支援装置。 - 前記プロセッサが、
前記特徴部分の性状を、予め定められた複数の性状項目の各々について特定し、
特定された性状の少なくとも1つが前記複数のテキストの各々に記述され、且つ前記複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが前記複数のテキスト間で互いに異なるように前記複数のテキストを生成する
請求項2に記載の文書作成支援装置。 - 前記プロセッサが、
前記複数の性状項目の各々について当該性状の顕著性を示す性状スコアを導出し、
前記性状スコアに基づいて、前記組み合わせを定める
請求項3に記載の文書作成支援装置。 - 前記プロセッサが、前記複数のテキスト間で互いに表現が異なる同一内容の記述が各テキストに含まれるように前記複数のテキストを生成する
請求項2に記載の文書作成支援装置。 - 前記プロセッサが、前記特徴部分について特定された複数の性状のうち、指定された性状についての記述が前記複数のテキスト間で互いに表現が異なる同一内容となるように前記複数のテキストを生成する
請求項5に記載の文書作成支援装置。 - 前記プロセッサは、前記特徴部分に対応する疾患の分類を記述した互いに異なる前記複数のテキストを生成する
請求項1に記載の文書作成支援装置。 - 前記プロセッサは、前記複数のテキストの各々に記述される前記疾患の分類が前記複数のテキスト間で互いに異なるように前記複数のテキストを生成する
請求項7に記載の文書作成支援装置。 - 前記プロセッサは、
前記特徴部分に対応する疾患の分類を推定し、
前記複数のテキストを、疾患の分類の推定結果に応じた順に並べて前記表示部に表示させる制御を行う
請求項8に記載の文書作成支援装置。 - 前記プロセッサは、その疾患が良性であることを示すテキスト及びその疾患が悪性であることを示すテキストの両方を含むように前記複数のテキストを生成する
請求項8又は請求項9に記載の文書作成支援装置。 - 前記プロセッサは、前記疾患の分類に関する記述における、その疾患がその分類に該当する確度を示す表現が、前記複数のテキスト間で異なるように前記複数のテキストを生成する
請求項7に記載の文書作成支援装置。 - 前記プロセッサは、前記特徴部分について前記複数のテキストの各々に記述される疾患の分類に関連する関連部分に関する記述を前記複数のテキストの少なくとも1つに含める
請求項7から請求項11のいずれか1項に記載の文書作成支援装置。 - 前記プロセッサは、前記複数のテキストに記述される前記関連部分の数又は組み合わせが前記複数のテキスト間で互いに異なるように前記複数のテキストを生成する
請求項12に記載の文書作成支援装置。 - 前記プロセッサは、前記複数のテキストのうち、前記特徴部分について記述される疾患の分類が特定の分類であるテキストにのみ前記関連部分に関する記述を含める
請求項12に記載の文書作成支援装置。 - 前記プロセッサは、前記複数のテキストのうち、前記特徴部分について記述される疾患の分類が悪性であるテキストにのみ前記関連部分に関する記述を含める
請求項14に記載の文書作成支援装置。 - 前記プロセッサは、
前記特徴部分の指定を受け付け、
指定された特徴部分に対応する疾患の分類に関連する関連部分に関する記述を前記複数のテキストの少なくとも1つに含める
請求項1から請求項15のいずれか1項に記載の文書作成支援装置。 - 前記プロセッサは、
前記特徴部分の指定を受付け、
予め生成された複数のテキストのうち、指定された特徴部分に関する複数のテキストを前記表示部に表示させる制御を行う
請求項1から請求項16のいずれか1項に記載の文書作成支援装置。 - 前記プロセッサは、前記特徴部分のサイズに関する記述が、前記複数のテキスト間で互いに異なるように前記複数のテキストを生成する
請求項1から請求項17のいずれか1項に記載の文書作成支援装置。 - 前記プロセッサは、前記特徴部分の個数、多寡、密集度又は分布状態に関する記述が、前記複数のテキスト間で互いに異なるように前記複数のテキストを生成する
請求項1から請求項18のいずれか1項に記載の文書作成支援装置。 - 画像に含まれる少なくとも1つの特徴部分について、互いに異なる記述を含む複数のテキストを生成し、
前記複数のテキストの各々を表示部に表示させる
文書作成支援方法。 - 画像に含まれる少なくとも1つの特徴部分について、互いに異なる記述を含む複数のテキストを生成し、
前記複数のテキストの各々を表示部に表示させる
処理をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021576194A JP7479405B2 (ja) | 2020-02-07 | 2021-02-05 | 文書作成支援装置、文書作成支援方法及びプログラム |
DE112021000934.6T DE112021000934T5 (de) | 2020-02-07 | 2021-02-05 | Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und programm |
US17/878,038 US20220382967A1 (en) | 2020-02-07 | 2022-07-31 | Document creation support apparatus, document creation support method, and program |
JP2023195360A JP2024009108A (ja) | 2020-02-07 | 2023-11-16 | 文書作成支援装置、文書作成支援方法及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-020144 | 2020-02-07 | ||
JP2020020144 | 2020-02-07 | ||
JP2020-212842 | 2020-12-22 | ||
JP2020212842 | 2020-12-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/878,038 Continuation US20220382967A1 (en) | 2020-02-07 | 2022-07-31 | Document creation support apparatus, document creation support method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021157718A1 true WO2021157718A1 (ja) | 2021-08-12 |
Family
ID=77200258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/004410 WO2021157718A1 (ja) | 2020-02-07 | 2021-02-05 | 文書作成支援装置、文書作成支援方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220382967A1 (ja) |
JP (2) | JP7479405B2 (ja) |
DE (1) | DE112021000934T5 (ja) |
WO (1) | WO2021157718A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023199956A1 (ja) * | 2022-04-12 | 2023-10-19 | 富士フイルム株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230290485A1 (en) * | 2022-03-09 | 2023-09-14 | International Business Machines Corporation | Artificial intelligence prioritization of abnormal radiology scans |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62197354A (ja) * | 1986-02-26 | 1987-09-01 | トヨタ自動車株式会社 | 炭化ケイ素焼結体の製造方法 |
JPH0731591A (ja) * | 1993-07-19 | 1995-02-03 | Toshiba Corp | 読影レポート作成支援装置 |
JP2009082443A (ja) * | 2007-09-28 | 2009-04-23 | Canon Inc | 診断支援装置及びその制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62197864A (ja) * | 1986-02-26 | 1987-09-01 | Toshiba Corp | 言語情報提供装置 |
US6785410B2 (en) * | 1999-08-09 | 2004-08-31 | Wake Forest University Health Sciences | Image reporting method and system |
JP5288866B2 (ja) | 2008-04-16 | 2013-09-11 | 富士フイルム株式会社 | 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム |
EP3182366B1 (en) * | 2015-12-17 | 2020-10-07 | Leibniz-Institut für Photonische Technologien e.V. | Property measurement on a biological tissue sample |
JP2019153250A (ja) | 2018-03-06 | 2019-09-12 | 富士フイルム株式会社 | 医療文書作成支援装置、方法およびプログラム |
JP2020020144A (ja) | 2018-07-31 | 2020-02-06 | カヤバ システム マシナリー株式会社 | エレクター装置 |
US11923070B2 (en) * | 2019-11-28 | 2024-03-05 | Braid Health Inc. | Automated visual reporting technique for medical imaging processing system |
-
2021
- 2021-02-05 JP JP2021576194A patent/JP7479405B2/ja active Active
- 2021-02-05 WO PCT/JP2021/004410 patent/WO2021157718A1/ja active Application Filing
- 2021-02-05 DE DE112021000934.6T patent/DE112021000934T5/de active Pending
-
2022
- 2022-07-31 US US17/878,038 patent/US20220382967A1/en active Pending
-
2023
- 2023-11-16 JP JP2023195360A patent/JP2024009108A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62197354A (ja) * | 1986-02-26 | 1987-09-01 | トヨタ自動車株式会社 | 炭化ケイ素焼結体の製造方法 |
JPH0731591A (ja) * | 1993-07-19 | 1995-02-03 | Toshiba Corp | 読影レポート作成支援装置 |
JP2009082443A (ja) * | 2007-09-28 | 2009-04-23 | Canon Inc | 診断支援装置及びその制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023199956A1 (ja) * | 2022-04-12 | 2023-10-19 | 富士フイルム株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112021000934T5 (de) | 2022-12-15 |
JP2024009108A (ja) | 2024-01-19 |
JPWO2021157718A1 (ja) | 2021-08-12 |
JP7479405B2 (ja) | 2024-05-08 |
US20220382967A1 (en) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10628476B2 (en) | Information processing apparatus, information processing method, information processing system, and storage medium | |
JP6749835B2 (ja) | コンテキスト依存医学データ入力システム | |
JP5744182B2 (ja) | 放射線ディスクリプタを用いた報告ビューア | |
JP2019153250A (ja) | 医療文書作成支援装置、方法およびプログラム | |
JP2014029644A (ja) | 類似症例検索装置および類似症例検索方法 | |
US11062448B2 (en) | Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program | |
US20220382967A1 (en) | Document creation support apparatus, document creation support method, and program | |
JP2017533522A (ja) | テキスト認識に基づくテキストイメージリンキングを伴うピクチャアーカイビングシステム | |
JP2019149005A (ja) | 医療文書作成支援装置、方法およびプログラム | |
JP7102509B2 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
US20220285011A1 (en) | Document creation support apparatus, document creation support method, and program | |
WO2020209382A1 (ja) | 医療文書作成装置、方法およびプログラム | |
WO2019193983A1 (ja) | 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム | |
US20220375562A1 (en) | Document creation support apparatus, document creation support method, and program | |
US20230005580A1 (en) | Document creation support apparatus, method, and program | |
US11978274B2 (en) | Document creation support apparatus, document creation support method, and document creation support program | |
JP7504987B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7420914B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2022158173A1 (ja) | 文書作成支援装置、文書作成支援方法及びプログラム | |
WO2022230641A1 (ja) | 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム | |
WO2022215530A1 (ja) | 医用画像装置、医用画像方法、及び医用画像プログラム | |
WO2022239593A1 (ja) | 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム | |
US20230070906A1 (en) | Information processing apparatus, method, and program | |
WO2022224848A1 (ja) | 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム | |
WO2022196106A1 (ja) | 文書作成装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21750940 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021576194 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21750940 Country of ref document: EP Kind code of ref document: A1 |