WO2021107098A1 - 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム - Google Patents

文書作成支援装置、文書作成支援方法及び文書作成支援プログラム Download PDF

Info

Publication number
WO2021107098A1
WO2021107098A1 PCT/JP2020/044238 JP2020044238W WO2021107098A1 WO 2021107098 A1 WO2021107098 A1 WO 2021107098A1 JP 2020044238 W JP2020044238 W JP 2020044238W WO 2021107098 A1 WO2021107098 A1 WO 2021107098A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
document creation
character string
specific area
Prior art date
Application number
PCT/JP2020/044238
Other languages
English (en)
French (fr)
Inventor
晶路 一ノ瀬
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021561545A priority Critical patent/JPWO2021107098A1/ja
Priority to DE112020005870.0T priority patent/DE112020005870T5/de
Publication of WO2021107098A1 publication Critical patent/WO2021107098A1/ja
Priority to US17/748,017 priority patent/US11978274B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • This disclosure relates to a document creation support device that supports the creation of documents such as an interpretation report, a document creation support method, and a document creation support program.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • CAD Computer-Aided Diagnosis
  • regions, positions, volumes, etc. of lesions, etc. included in the medical images are extracted, and these are extracted. It is also obtained as an analysis result (for example, “Pulmonary Nodules on Multi-Detector Row CT Scans: Performance Comparison of Radiologists and Computer-aided Detection”, Rubin GD et al., In Radiology 2005; 234: 274- 283 (hereinafter referred to as “Reference 1”)).
  • the analysis result generated by the analysis process is associated with the examination information such as the patient name, gender, age, and the imaging device that acquired the medical image, is stored in the database, and is used for diagnosis.
  • an engineer such as a radiologist who has acquired the medical image determines an image interpreter according to the medical image, and informs the determined image interpreter that the medical image and the analysis result by CAD exist.
  • the image interpreting doctor interprets the medical image by referring to the distributed medical image and the analysis result on the image interpretation terminal, and creates an image interpretation report.
  • the image interpreting doctor may interpret a plurality of tomographic images obtained by one imaging with an imaging device such as a CT device and an MRI device, and describe the findings obtained from each tomographic image in the interpretation report.
  • an imaging device such as a CT device and an MRI device
  • creating such an interpretation report manually by an interpretation doctor is a burden on the interpretation work.
  • This disclosure provides a document creation support device, a document creation support method, and a document creation support program that can support the creation of documents such as interpretation reports.
  • a first aspect of the present disclosure is a document creation support device including at least one processor, in which the processor acquires an image and a character string relating to the image, extracts at least one feature region included in the image, and then extracts the image. Among the feature areas, a specific area that corresponds to a phrase included in the character string is specified, and information for supporting the creation of a document containing the character string is presented based on the specific result.
  • the processor may embed information for accessing an image including the specific area in a phrase corresponding to the specific area in the character string and display it on the display unit. ..
  • the document creation support device may generate property information indicating the properties of a specific area by the processor and display the property information on the display unit.
  • the processor in the document creation support device, the processor generates property information indicating the properties of the specific area, and the words and phrases related to the specific area in the character string are consistent with the property information. If not, a warning may be given.
  • the document creation support device may generate an image in which the processor adds a mark indicating the position of the specific area to the image including the specific area.
  • the document creation support device extracts a feature region based on at least one of the position, type, and size of the structure contained in the image by the processor. May be good.
  • a sixth aspect of the present disclosure is a document creation support method, in which an image and a character string related to the image are acquired, at least one feature area included in the image is extracted, and the feature area is included in the character string. It identifies a specific area that corresponds to a phrase, and presents information to support the creation of a document containing a character string based on a specific result.
  • a seventh aspect of the present disclosure is a document creation support program, which acquires an image and a character string related to the image, extracts at least one feature area included in the image, and includes the feature area in the character string. It is a program for causing a computer to perform a process of identifying a specific area corresponding to a word and presenting information for supporting the creation of a document including a character string based on a specific result.
  • the document creation support device, the document creation support method, and the document creation support program of the present disclosure can support the creation of a document such as an interpretation report.
  • FIG. 1 is a diagram showing a schematic configuration of the medical information system 1.
  • the medical information system 1 shown in FIG. 1 is based on an examination order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of medical images obtained by photographing, and an image interpreter. It is a system for interpreting medical images and creating an interpretation report, viewing the interpretation report by the doctor of the requesting clinical department, and observing the details of the medical image to be interpreted.
  • the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation terminals WS (WorkStation) 3, medical care WS4, an image server 5, an image DB (DataBase) 6, a report server 7, and a report server 7.
  • the report DB 8 is configured to be connected to each other via a wired or wireless network 10 so as to be able to communicate with each other.
  • Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in the storage device of the server computer connected to the network 10 or in the network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request.
  • the photographing device 2 is a device (modality) that generates a medical image representing the diagnosis target part by photographing the part to be diagnosed of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6.
  • the image interpretation WS3 is a computer used by, for example, an image interpretation doctor in a radiology department to interpret a medical image and create an image interpretation report, and includes a document creation support device 20 (details will be described later) according to this exemplary embodiment.
  • a request for viewing a medical image to the image server 5 various image processing for the medical image received from the image server 5, a display of the medical image, and an input reception of a finding regarding the medical image are performed.
  • analysis processing for medical images and input findings support for creating an interpretation report based on the analysis results, a request for registration and viewing of an interpretation report for the report server 7, and an interpretation received from the report server 7 are performed. The report is displayed.
  • the medical care WS4 is a computer used by doctors in the clinical department for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is a processing device, a display device such as a display, and an input device such as a keyboard and a mouse. Consists of.
  • an image viewing request is made to the image server 5
  • an image received from the image server 5 is displayed
  • an image interpretation report viewing request is made to the report server 7
  • an image interpretation report received from the report server 7 is displayed.
  • the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes a storage in which the image DB 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be.
  • NAS Network Attached Storage
  • SAN Storage Area Network
  • the image data and incidental information of the medical image acquired by the imaging device 2 are registered in the image DB 6.
  • the incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date on which the medical image was generated, examination time, type of imaging device used in the examination to obtain the medical image, patient information such as patient name, age, gender, examination site (ie) Information such as imaging site), imaging information (for example, imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), series number or collection number when multiple medical images are acquired in one examination. Is included.
  • the image server 5 when the image server 5 receives the viewing request from the image interpretation WS3 and the medical examination WS4 via the network 10, the image server 5 searches for the medical image registered in the image DB 6, and uses the searched medical image as the requesting image interpretation WS3 and the medical examination. Send to WS4.
  • the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the report server 7 receives the image interpretation report registration request from the image interpretation WS3, the report server 7 prepares the image interpretation report in a database format and registers it in the report DB 8.
  • the image interpretation report includes, for example, a medical image to be interpreted, an image ID for identifying the medical image, an image interpretation doctor ID for identifying the image interpretation doctor who performed the image interpretation, a lesion name, a lesion position information, and a medical image including a specific area. It may include information for access (details will be described later), property information (details will be described later), and the like.
  • the report server 7 when the report server 7 receives a viewing request for the interpretation report from the interpretation WS3 and the medical treatment WS4 via the network 10, the report server 7 searches for the interpretation report registered in the report DB 8 and uses the searched interpretation report as the requester's interpretation. It is transmitted to WS3 and medical treatment WS4.
  • Network 10 is a wired or wireless local area network that connects various devices in the hospital.
  • the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
  • the document creation support device 20 includes a CPU (Central Processing Unit) 11, a non-volatile storage unit 13, and a memory 16 as a temporary storage area. Further, the document creation support device 20 includes a display unit 14 such as a liquid crystal display, an input unit 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 10.
  • the CPU 11, the storage unit 13, the display unit 14, the input unit 15, the memory 16, and the network I / F 17 are connected to the bus 18.
  • the CPU 11 is an example of the processor in the present disclosure.
  • the storage unit 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the document creation support program 12 is stored in the storage unit 13 as a storage medium.
  • the CPU 11 reads the document creation support program 12 from the storage unit 13, expands it into the memory 16, and executes the expanded document creation support program 12.
  • the document creation support device 20 includes an acquisition unit 21, an extraction unit 22, a specific unit 23, a generation unit 24, and a display control unit 25.
  • the CPU 11 executes the document creation support program 12, it functions as an acquisition unit 21, an extraction unit 22, a specific unit 23, a generation unit 24, and a display control unit 25.
  • the acquisition unit 21 acquires the medical image G0 as an example of the image from the image server 5 via the network I / F17. Further, the acquisition unit 21 acquires a finding sentence as an example of a character string relating to the medical image G0 input by the image interpreting doctor via the input unit 15.
  • FIG. 4 is a diagram schematically showing a medical image G0.
  • a CT image of a lung consisting of m tomographic images D1 to Dm (m is 1 or more) is used as a medical image G0.
  • the tomographic image DT1 contains the nodule shadow A1 and the tomographic image DT2 contains the infiltration shadow A2.
  • the extraction unit 22 extracts at least one feature region included in the medical image G0.
  • the extraction unit 22 extracts the feature region based on at least one of the position, type, and size of the structure included in the medical image G0.
  • the characteristic region refers to an image-characteristic region including, for example, an abnormal shadow such as a nodule shadow A1 and an infiltration shadow A2 as an example of a structure.
  • the extraction unit 22 analyzes the medical image G0 by CAD or the like, extracts the characteristic region containing the nodular shadow A1 from the tomographic image DT1, and extracts the characteristic region including the infiltration shadow A2 from the tomographic image DT2.
  • the method for extracting the feature region by the extraction unit 22 for example, the method described in Document 1 above can be used, but the method is not limited thereto.
  • the information on the size and position of the abnormal shadow is included as the information on the feature region extracted by the extraction unit 22.
  • the size of the abnormal shadow can be the vertical and horizontal sizes of each abnormal shadow. Further, the diameter when the abnormal shadow is approximated to a circle may be used as the size.
  • the position of the abnormal shadow can be, for example, the position of the center of gravity of the abnormal shadow in each tomographic image. Further, as the information on the size and position of the abnormal shadow, the coordinates of the four corners of the rectangle including the abnormal shadow may be used.
  • the specific unit 23 specifies a specific area, which is an area corresponding to a phrase included in the finding sentence, among the feature areas extracted by the extraction unit 22.
  • a method for specifying a specific area by the specific unit 23 for example, the methods described in "Stacked Cross Attention for Image-Text Matching", Kuang-Huei Lee et al., In European Conference on Computer Vision (ECCV), 2018 are used. Can be used.
  • the region in the image means by each word in the sentence.
  • the technology to identify is disclosed.
  • the method for specifying the specific area by the specific unit 23 is not limited to this.
  • the generation unit 24 generates information (hereinafter, referred to as "support information") for supporting the creation of the interpretation report based on the specific result in the specific unit 23.
  • the display control unit 25 displays the image interpretation report creation screen 30 on the display unit 14, and controls the display contents on the creation screen 30 based on the support information generated by the generation unit 24. The details of the support information will be described later.
  • FIG. 5 is a diagram showing an example of the image interpretation report creation screen 30 displayed on the display unit 14.
  • the creation screen 30 includes an image display area 40 in which the medical image G0 is displayed, and an input area 41 in which the content of the finding sentence input by the image interpreter via the input unit 15 is displayed. Is done.
  • the tomographic image DT1 including the feature area including the nodule shadow A1 is displayed in the image display area 40.
  • a tomographic image including each feature region may be displayed as a thumbnail on the creation screen 30.
  • the creation screen 30 of FIG. 5 includes a thumbnail 55 of the tomographic image DT1 including the feature area including the nodule shadow A1 and a thumbnail 56 of the tomographic image DT2 including the feature area including the infiltration shadow A2. ..
  • the image interpreting doctor selects a thumbnail of the tomographic image to be displayed in the image display area 40 via the input unit 15, and the display control unit 25 displays the tomographic image corresponding to the selected thumbnail in the image display area 40. You may control the display on.
  • FIG. 6 is a diagram showing a creation screen 30 in a state in which the content of the input finding sentence is displayed.
  • the display control unit 25 displays the character string "nodule shadow on the left upper lobe S3" in the input area 41. Control to do.
  • the specific unit 23 specifies a characteristic region including the nodule shadow A1 as a specific region corresponding to the phrase “nodule shadow”.
  • FIG. 7 is a diagram showing a creation screen 30 on which a finding sentence to which a hyperlink is added as an example of support information is displayed.
  • the generation unit 24 generates a hyperlink 43A for the tomographic image DT1 as an example of information for accessing the tomographic image DT1 including a specific region corresponding to the phrase “nodule shadow”.
  • the generation unit 24 embeds the hyperlink 43A for the generated tomographic image DT1 in the phrase "nodule shadow" in the findings.
  • the hyperlink 43A may include a URL (uniform resource locator) indicating a storage location of the tomographic image DT1.
  • the information for accessing the tomographic image DT1 is not limited to the hyperlink, and for example, the coordinate position of the tomographic image DT1 in the medical image G0 may be used.
  • the display control unit 25 controls the generation unit 24 to display the finding sentence in which the hyperlink 43A for the tomographic image DT1 is embedded in the phrase “nodule shadow” on the display unit 14.
  • the tomographic image DT1 can be accessed by selecting the phrase "nodule shadow" in the finding sentence.
  • FIG. 8 is a diagram showing a creation screen 30 when the interpretation doctor further adds a finding sentence.
  • the specific unit 23 corresponds to the phrase “infiltration shadow” and infiltrates A2.
  • the feature area including is specified as a specific area.
  • the generation unit 24 generates a hyperlink 43B for the tomographic image DT2 including a specific region corresponding to the phrase “infiltration shadow”. In addition, the generation unit 24 embeds the hyperlink 43B for the generated tomographic image DT2 in the phrase "infiltration shadow” in the findings.
  • the hyperlink 43B may include a URL indicating a storage location of the tomographic image DT2.
  • the display control unit 25 controls the generation unit 24 to display the finding sentence in which the hyperlink 43B for the tomographic image DT2 is embedded in the phrase “infiltration shadow” on the display unit 14. Thereby, in the example of FIG. 8, the tomographic image DT2 can be accessed by selecting the phrase "infiltration shadow” in the finding sentence. In this case, as shown in FIG. 8, the display control unit 25 controls to display the tomographic image DT2 in the image display area 40.
  • the information for accessing the image including the specific area generated by the generation unit 24 as described above is included in the interpretation report and registered in the report DB 8. Therefore, even when the interpretation report is viewed from the interpretation WS3 and the medical treatment WS4, the image including the specific area corresponding to the phrase can be accessed by selecting the phrase in the finding sentence.
  • the operation of the document creation support device 20 will be described.
  • the CPU 11 executes the document creation support program 12
  • the document creation support process shown in FIG. 9 is executed.
  • the document creation support process shown in FIG. 9 is executed, for example, when an instruction to start creating an interpretation report for the medical image G0 is input via the input unit 15.
  • step S10 of FIG. 9 the acquisition unit 21 acquires the medical image G0 from the image server 5 and acquires the findings regarding the medical image G0 input via the input unit 15.
  • step S12 the extraction unit 22 extracts at least one feature region included in the medical image G0 acquired in step S10.
  • step S14 the specific unit 23 identifies a specific area, which is an area corresponding to the phrase included in the finding sentence acquired in step S10, among the feature areas extracted in step S12.
  • step S16 the generation unit 24 generates support information for supporting the creation of the interpretation report based on the specific result of step S14.
  • step S18 the display control unit 25 controls the content to be displayed on the display unit 14 based on the support information generated in step S16, and ends the process.
  • FIG. 10 is a flowchart showing details of the support information generation process according to the first exemplary embodiment, which is performed in step S16 of FIG.
  • the generation unit 24 generates information for accessing the image including the specific area specified in step S14 as support information.
  • the generation unit 24 embeds the information for accessing the image including the specific area generated in step S20 in the phrase corresponding to the specific area included in the finding sentence.
  • the findings regarding the medical image G0 and the medical image G0 are acquired, and at least one feature region included in the medical image G0 is extracted.
  • the feature areas identify a specific area that corresponds to the phrase included in the finding sentence, and identify the finding sentence as information to support the creation of a document containing the finding sentence based on the specific result.
  • Information for accessing the medical image G0 including the specific area is embedded in the phrase corresponding to the area and displayed on the display unit. Therefore, it is possible to create an image interpretation report so that it is possible to know which tomographic image in the medical image G0 can be seen to recognize the findings described in the image interpretation report, regardless of the manual input of the image interpretation doctor. , Can support the creation of documents such as interpretation reports.
  • the finding sentence acquired by the acquisition unit 21 is input by the image interpreting doctor via the input unit 15, but the present invention is not limited to this.
  • CAD analysis is performed using a discriminator that has been learned to output findings such as lesion size, shape, and estimated disease name by inputting CAD analysis results.
  • a technique for generating a finding from the result is disclosed. This technique may be applied to this exemplary embodiment, and the extraction unit 22 may extract a feature region from the medical image G0 acquired by the acquisition unit 21 and generate a finding sentence from the extracted feature region. Further, a technique for generating a finding sentence based on a fixed phrase, which is disclosed in Japanese Patent Application Laid-Open No. 7-3-1591, may be applied. According to the form of automatically generating the findings in this way, it is possible to support the creation of a document such as an interpretation report, so that the burden on the interpretation doctor when creating the interpretation report can be reduced.
  • the phrase corresponding to the specific area in the finding sentence when there is another image corresponding to the medical image G0 including the specific area, the phrase corresponding to the specific area in the finding sentence includes information for accessing the other image. It may be embedded and displayed on the display unit. For example, when performing follow-up observation on the nodule shadow A1, to access a tomographic image taken in the past corresponding to the tomographic image DT1 in which the phrase "nodule shadow" includes the nodule shadow A1. Information may be embedded and displayed on the display unit. According to such a form, it is possible to support the creation of a document such as an interpretation report when performing follow-up observation.
  • the content of the support information generated by the generation unit 24 and the display content on the creation screen 30 displayed on the display unit 14 by the display control unit 25 based on the support information are the same as the first exemplary embodiment. different.
  • the configuration of the medical information system 1 (see FIG. 1), the hardware configuration of the document creation support device 20 (see FIG. 2), and the functional configuration (see FIG. 3) according to this exemplary embodiment are the first exemplary embodiments. Since it is the same as the embodiment, the description thereof will be omitted.
  • FIG. 11 is a diagram showing a creation screen 30 on which the property information 44 indicating the property of the specific area is displayed as an example of the support information.
  • the generation unit 24 generates the property information 44 indicating the property of the specific area corresponding to the word / phrase included in the character string.
  • the display control unit 25 controls to display the property information 44 generated by the generation unit 24 on the display unit 14.
  • the properties of the specific region indicate, for example, properties such as the position, size, and shape of the structure included in the specific region.
  • the generation unit 24 may generate property information 44 regarding a presumed disease name suspected in a specific region based on properties such as the position, size, and shape of the structure.
  • the generation unit 24 analyzes a specific region including the nodule shadow A1 in the tomographic image DT1 by CAD or the like in response to the phrase “nodule shadow”, and property information indicating the properties of the nodule shadow A1 included in the specific region.
  • Generate 44 As an example of the property information 44, the generation unit 24 has positive information 44A for " ⁇ 21 mm large”, “lobular +” and “solidity +", negative information 44B for "calcification-", and "suspected squamous cell carcinoma”. ”Disease name information 44C is generated.
  • the property information provided with "+” indicates that the property is positive
  • the property information provided with "-" indicates that the property is negative.
  • the method for generating the property information 44 by the generation unit 24 for example, the method described in Document 1 above can be used, but the method is not limited thereto.
  • FIG. 12 is a flowchart showing details of the support information generation process according to the second exemplary embodiment, which is performed in step S16 of FIG.
  • the generation unit 24 analyzes the specific region specified in step S14.
  • the generation unit 24 generates property information indicating the property of the specific region as support information based on the analysis.
  • the findings regarding the medical image G0 and the medical image G0 are acquired, and at least one feature region included in the medical image G0 is extracted.
  • the properties of the specific area are used.
  • the property information to be shown is generated, and the property information is displayed on the display unit. Therefore, the image interpreter can confirm the properties of the specific area before creating the findings regarding the properties of the specific area, so that it is possible to suppress the oversight of the findings and support the creation of documents such as the interpretation report. can do.
  • the display control unit 25 changes the display method of each of the property information 44 so that it can be distinguished from which of the positive information 44A, the negative information 44B, and the disease name information 44C. May be good.
  • the background color may be changed for each of the positive information 44A, the negative information 44B, and the disease name information 44C. According to such a form, the user can easily know whether the various property information 44 is a positive, a negative, or a presumed disease name.
  • the mode in which the generation unit 24 generates the property information 44 has been described, but the present invention is not limited to this.
  • the extraction unit 22 may extract the feature region from the medical image G0 and generate the property information 44 of the feature region in advance. In this case, after acquiring the words and phrases included in the character string, the property information 44 can be displayed on the display unit 14 without analyzing the specific area by CAD or the like.
  • the property information 44 is not limited to the positive information 44A, the negative information 44B, and the disease name information 44C as shown in FIG.
  • CAD analysis is performed using a discriminator that has been learned to output findings such as lesion size, shape, and estimated disease name by inputting CAD analysis results.
  • a technique for generating a finding from the result is disclosed. This technique may be applied to this exemplary embodiment to generate finding sentences indicating the properties of a specific region as the property information 44. Further, a technique for generating a finding sentence based on a fixed phrase, which is disclosed in Japanese Patent Application Laid-Open No. 7-3-1591, may be applied. According to the form of automatically generating the findings in this way, it is possible to support the creation of a document such as an interpretation report, so that the burden on the interpretation doctor when creating the interpretation report can be reduced.
  • the content of the support information generated by the generation unit 24 and the display content on the creation screen 30 displayed on the display unit 14 by the display control unit 25 based on the support information are the same as the first exemplary embodiment. different.
  • the configuration of the medical information system 1 (see FIG. 1), the hardware configuration of the document creation support device 20 (see FIG. 2), and the functional configuration (see FIG. 3) according to this exemplary embodiment are the first exemplary embodiments. Since it is the same as the embodiment, the description thereof will be omitted.
  • FIG. 13 is a diagram showing a creation screen 30 on which the property information 44 indicating the properties of the specific area and the warning 45 based on the property information 44 are displayed as an example of the support information. Since the property information 44 is the same as that of the second exemplary embodiment, the description thereof will be omitted. In the example of FIG. 13, the form in which the property information 44 is displayed on the creation screen 30 is shown, but the property information 44 may not be displayed on the creation screen 30.
  • the generation unit 24 generates property information 44 indicating the properties of the specific area corresponding to the word / phrase included in the character string, and warns 45 when the word / phrase related to the specific area in the character string does not match the property information 44. Generate warning information to do.
  • the display control unit 25 controls to display the warning 45 on the display unit 14 based on the warning information generated by the generation unit 24.
  • the property information 44 is the same information as that of the second exemplary embodiment, the description thereof will be omitted.
  • the generation unit 24 generates negative information 44B of "calcification-" as property information 44 of a specific region corresponding to the phrase "nodule shadow”.
  • the phrase "including calcification” related to the specific region acquired by the acquisition unit 21 is analyzed, and it is determined that the content does not match the negative information 44B of "calcification-”.
  • warning information for issuing a wavy warning 45 to the phrase "including calcification” is generated.
  • the method of warning 45 is not limited to drawing a wavy line on a phrase that does not match the property information 44, and is, for example, a method of changing the color of the phrase, displaying a pop-up screen, or sounding an alarm. May be used.
  • FIG. 14 is a flowchart showing details of the support information generation process according to the third exemplary embodiment, which is performed in step S16 of FIG.
  • the generation unit 24 analyzes the specific region specified in step S14.
  • the generation unit 24 generates property information indicating the properties of the specific region based on the analysis.
  • the generation unit 24 determines whether or not the phrase corresponding to the feature region included in the finding sentence and the property information generated in step S42 are consistent. When the generation unit 24 determines that the two are consistent, the generation unit 24 terminates this routine. On the other hand, when it is determined that the two are not consistent, the generation unit 24 generates warning information as support information for warning that the two are not consistent in step S46.
  • the findings regarding the medical image G0 and the medical image G0 are acquired, and at least one feature region included in the medical image G0 is extracted.
  • the properties of the specific area Generates the property information to be shown, and warns when the phrase related to a specific area in the character string does not match the property information. Therefore, it is possible to suppress misdiagnosis by an image interpretation doctor and support the creation of a document such as an image interpretation report.
  • the generation unit 24 may generate an image in which a mark indicating the position of the specific region is added to the medical image G0 including the specific region.
  • a mark indicating the position of the specific region is added to the medical image G0 including the specific region.
  • the specific region corresponding to the phrase “nodule shadow” specified by the specific unit 23 is surrounded by a broken line rectangle 50.
  • a specific region corresponding to the phrase “infiltration shadow” specified by the specific portion 23 is surrounded by a broken line rectangle 50.
  • the generation unit 24 may generate an image in which a mark indicating the position of the feature region is added to the medical image G0 including the feature region.
  • a mark indicating the position of the feature region is added to the medical image G0 including the feature region.
  • the feature region including the nodule shadow A1 extracted by the extraction unit 22 is surrounded by a broken line rectangle 50.
  • each image with a mark indicating the position of each feature region may be generated, or a mark indicating the position of each feature region may be generated.
  • One given image may be generated.
  • the position of the feature area can be displayed on the display unit 14 before the reading doctor inputs the finding sentence, so that the reading doctor can suppress the oversight of the abnormal shadow, and the reading report or the like can be displayed. Can assist in the creation of documents.
  • the mark indicating the position of the specific area and the feature area is not limited to the broken line rectangle 50, and may be various marks such as polygons, circles, and arrows, and the line type of the mark (for example, solid line). , Broken line and dotted line, etc.), line color, line thickness, etc. may be changed as appropriate.
  • each process of the extraction unit 22, the identification unit 23, and the generation unit 24 in the document creation support device 20 included in the image interpretation WS3 is performed by, for example, another analysis server connected to the network 10.
  • the external device receives the character string from the document creation support device 20, acquires the medical image G0 corresponding to the character string from the image server 5, extracts the feature area from the medical image G0, and extracts the character string and the feature area.
  • a specific area is specified from, and support information is generated based on the specific result.
  • the document creation support device 20 transmits the character string acquired by the acquisition unit 21 to the external device, and controls the display content displayed on the display unit 14 by the display control unit 25 based on the support information generated by the external device. ..
  • a known voice input system may be applied to the document creation support device 20 to input a character string related to the medical image G0 by voice.
  • the present disclosure is applied when creating an image interpretation report as a document, but medical documents other than the image interpretation report such as electronic medical records and diagnostic reports, and characters related to other images.
  • the present disclosure may be applied when creating a document containing columns.
  • the image interpretation report creation support process is performed using the medical image G0 whose diagnosis target is the lung, but the diagnosis target is not limited to the lung.
  • diagnosis target is not limited to the lung.
  • any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
  • a hardware-like processing unit that executes various processes such as an acquisition unit 21, an extraction unit 22, a specific unit 23, a generation unit 24, and a display control unit 25.
  • various processors processors shown below can be used.
  • the various processors include CPUs, which are general-purpose processors that execute software (programs) and function as various processing units, as well as circuits after manufacturing FPGAs (Field Programmable Gate Arrays) and the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client and a server, one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

少なくとも１つのプロセッサを備えた文書作成支援装置であって、前記プロセッサは、画像及び前記画像に関する文字列を取得し、前記画像に含まれる少なくとも１つの特徴領域を抽出し、前記特徴領域のうち、前記文字列に含まれる語句に対応する領域である特定領域を特定し、前記特定の結果に基づいて、前記文字列を含む文書の作成を支援するための情報を提示する文書作成支援装置。

Description

文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
　本開示は、読影レポート等の文書の作成を支援する文書作成支援装置、文書作成支援方法及び文書作成支援プログラムに関する。
　近年、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像及びＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
　また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置及び体積等を抽出し、これらを解析結果として取得することも行われている（例えば、"Pulmonary Nodules on Multi-Detector Row CT Scans: Performance Comparison of Radiologists and Computer-aided Detection", Rubin GD et al., in Radiology 2005; 234: 274-283（以下、「文献１」という）参照）。このように、解析処理により生成される解析結果は、患者名、性別、年齢及び医用画像を取得した撮影装置等の検査情報と対応づけられて、データベースに保存されて、診断に供される。この際、医用画像を取得した放射線科等の技師が、医用画像に応じた読影医を決定し、医用画像及びＣＡＤによる解析結果が存在することを、決定した読影医に伝えるようにしている。読影医は、自身の読影端末において、配信された医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　また、読影レポートの作成の際に、入力された文字に基づいて、入力された文字を含む文章をレポートデータベースから抽出することで、文章候補を提示する技術が開示されている（例えば特開２０１７－０２１６４８号公報参照）。
　ところで、読影医は、ＣＴ装置及びＭＲＩ装置等の撮影装置で一度の撮影によって得られる複数の断層画像を読影して、それぞれの断層画像から得られる所見について読影レポートに記載する場合がある。この場合、何れの断層画像を見れば、読影レポートに記載の所見を認めることができるかが分かるように、読影レポートを作成することが望まれている。しかし、読影医の手入力でこのような読影レポートを作成することは、読影業務の負担となっている。
　また、上述したＣＴ装置及びＭＲＩ装置等の撮影装置の高性能化に伴い、読影対象の医用画像の数は増大しているため、所見の見落とし及び誤診の抑制を支援することが望まれている。
　本開示は、読影レポート等の文書の作成を支援できる文書作成支援装置、文書作成支援方法及び文書作成支援プログラムを提供する。
　本開示の第１の態様は、少なくとも１つのプロセッサを備えた文書作成支援装置であって、プロセッサが、画像及び画像に関する文字列を取得し、画像に含まれる少なくとも１つの特徴領域を抽出し、特徴領域のうち、文字列に含まれる語句に対応する領域である特定領域を特定し、特定の結果に基づいて、文字列を含む文書の作成を支援するための情報を提示する。
　本開示の第２の態様は、上記態様において、プロセッサが、文字列のうち特定領域に対応する語句に、特定領域を含む画像にアクセスするための情報を埋め込んで表示部に表示してもよい。
　本開示の第３の態様は、上記態様において、文書作成支援装置は、プロセッサが、特定領域の性状を示す性状情報を生成し、性状情報を表示部に表示してもよい。
　本開示の第４の態様は、上記態様において、文書作成支援装置は、プロセッサが、特定領域の性状を示す性状情報を生成し、文字列のうち特定領域に関連する語句が、性状情報と整合しない場合に、警告を行ってもよい。
　本開示の第５の態様は、上記態様において、文書作成支援装置は、プロセッサが、特定領域を含む画像に、特定領域の位置を示すマークを付与した画像を生成してもよい。
　本開示の第６の態様は、上記態様において、文書作成支援装置は、プロセッサが、画像に含まれる構造物の位置、種類、及び大きさの少なくとも１つに基づいて、特徴領域を抽出してもよい。
　本開示の第６の態様は、文書作成支援方法であって、画像及び画像に関する文字列を取得し、画像に含まれる少なくとも１つの特徴領域を抽出し、特徴領域のうち、文字列に含まれる語句に対応する領域である特定領域を特定し、特定の結果に基づいて、文字列を含む文書の作成を支援するための情報を提示する。
　本開示の第７の態様は、文書作成支援プログラムであって、画像及び画像に関する文字列を取得し、画像に含まれる少なくとも１つの特徴領域を抽出し、特徴領域のうち、文字列に含まれる語句に対応する領域である特定領域を特定し、特定の結果に基づいて、文字列を含む文書の作成を支援するための情報を提示する処理をコンピュータに実行させるためのプログラムである。
　上記態様によれば、本開示の文書作成支援装置、文書作成支援方法及び文書作成支援プログラムは、読影レポート等の文書の作成を支援できる。
各例示的実施形態に係る医療情報システムの概略構成の一例を示す図である。 各例示的実施形態に係る文書作成支援装置のハードウェア構成の一例を示すブロック図である。 各例示的実施形態に係る文書作成支援装置の機能的な構成の一例を示すブロック図である。 医用画像を模式的に示す図である。 各例示的実施形態に係る読影レポートの作成画面を示す図である。 各例示的実施形態に係る読影レポートの作成画面を示す図である。 第１例示的実施形態に係る支援情報の一例を示す図である。 第１例示的実施形態に係る支援情報の一例を示す図である。 各例示的実施形態に係る文書作成支援処理の一例を示すフローチャートである。 第１例示的実施形態に係る支援情報生成処理の一例を示すフローチャートである。 第２例示的実施形態に係る支援情報の一例を示す図である。 第２例示的実施形態に係る支援情報生成処理の一例を示すフローチャートである。 第３例示的実施形態に係る支援情報の一例を示す図である。 第３例示的実施形態に係る支援情報生成処理の一例を示すフローチャートである。
　以下、図面を参照して本開示の各例示的実施形態について説明する。
［第１例示的実施形態］
　まず、本開示の文書作成支援装置を適用した医療情報システム１の構成について説明する。
　図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
　図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７及びレポートＤＢ８が、有線又は無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
　撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
　読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本例示的実施形態に係る文書作成支援装置２０（詳細は後述）を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に関する所見文の入力受付が行われる。また、読影ＷＳ３では、医用画像及び入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、及びレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
　診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、及び電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、及びレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
　画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（すなわち撮影部位）、撮影情報（例えば、撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３及び診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３及び診療ＷＳ４に送信する。
　レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
　レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報（詳細は後述）、及び性状情報（詳細は後述）等の情報を含んでいてもよい。
　また、レポートサーバ７は、読影ＷＳ３及び診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３及び診療ＷＳ４に送信する。
　ネットワーク１０は、病院内の各種機器を接続する有線又は無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネット又は専用回線で接続した構成としてもよい。
　次に、本例示的実施形態に係る文書作成支援装置２０について説明する。
　まず、図２を参照して、本例示的実施形態に係る文書作成支援装置２０のハードウェア構成を説明する。図２に示すように、文書作成支援装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性の記憶部１３、及び一時記憶領域としてのメモリ１６を含む。また、文書作成支援装置２０は、液晶ディスプレイ等の表示部１４、キーボードとマウス等の入力部１５、及びネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、記憶部１３、表示部１４、入力部１５、メモリ１６及びネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部１３には、文書作成支援プログラム１２が記憶される。ＣＰＵ１１は、記憶部１３から文書作成支援プログラム１２を読み出してからメモリ１６に展開し、展開した文書作成支援プログラム１２を実行する。
　次に、図３～図６を参照して、本例示的実施形態に係る文書作成支援装置２０の機能的な構成を説明する。図３に示すように、文書作成支援装置２０は、取得部２１、抽出部２２、特定部２３、生成部２４及び表示制御部２５を含む。ＣＰＵ１１が文書作成支援プログラム１２を実行することにより、取得部２１、抽出部２２、特定部２３、生成部２４及び表示制御部２５として機能する。
　取得部２１は、画像の一例としての医用画像Ｇ０を、ネットワークＩ／Ｆ１７を介して画像サーバ５から取得する。また、取得部２１は、読影医が入力部１５を介して入力する医用画像Ｇ０に関する文字列の一例としての所見文を取得する。
　図４は、医用画像Ｇ０を模式的に示す図である。本例示的実施形態においては、一例として、ｍ枚の断層画像Ｄ１～Ｄｍ（ｍは１以上）からなる肺のＣＴ画像を医用画像Ｇ０として用いる。医用画像Ｇ０のうち、断層画像ＤＴ１には結節影Ａ１、断層画像ＤＴ２には浸潤影Ａ２が含まれている。
　抽出部２２は、医用画像Ｇ０に含まれる少なくとも１つの特徴領域を抽出する。この場合、抽出部２２は、医用画像Ｇ０に含まれる構造物の位置、種類、及び大きさの少なくとも１つに基づいて、特徴領域を抽出する。特徴領域とは、例えば、構造物の一例としての結節影Ａ１及び浸潤影Ａ２等の異常陰影を含む、画像的に特徴がある領域を指す。例えば、抽出部２２は、ＣＡＤ等により医用画像Ｇ０を解析し、断層画像ＤＴ１から結節影Ａ１を含む特徴領域を抽出し、断層画像ＤＴ２から浸潤影Ａ２を含む特徴領域を抽出する。抽出部２２による特徴領域の抽出手法としては、例えば、上記文献１に記載された手法を用いることができるが、これに限定されるものではない。
　本例示的実施形態においては、抽出部２２が抽出した特徴領域の情報として、異常陰影のサイズ及び位置の情報が含まれる。異常陰影のサイズとは、異常陰影ごとの縦及び横のサイズとすることができる。また、異常陰影を円形に近似させた場合の直径をサイズとして用いてもよい。異常陰影の位置は、例えば各断層画像における異常陰影の重心位置とすることができる。また、異常陰影のサイズ及び位置の情報として、異常陰影を含む矩形の４角の座標を用いてもよい。
　特定部２３は、抽出部２２により抽出された特徴領域のうち、所見文に含まれる語句に対応する領域である特定領域を特定する。特定部２３による特定領域の特定手法としては、例えば、"Stacked Cross Attention for Image-Text Matching"、Kuang-Huei Lee et al.、In European Conference on Computer Vision (ECCV)、2018に記載された手法を用いることができる。上記文献には、画像中のそれぞれ異なる特徴を有する複数の領域と、文章中の複数の単語と、の各組合せの類似性を解析することにより、文章中の各単語が意味する画像中の領域を特定する技術が開示されている。なお、特定部２３による特定領域の特定手法は、これに限定されるものではない。
　生成部２４は、特定部２３における特定結果に基づいて、読影レポートの作成を支援するための情報（以下、「支援情報」という。）を生成する。表示制御部２５は、読影レポートの作成画面３０を表示部１４に表示し、生成部２４が生成した支援情報に基づいて、作成画面３０における表示内容を制御する。支援情報については、詳細を後述する。
　図５は、表示部１４に表示される読影レポートの作成画面３０の一例を示す図である。図５に示すように、作成画面３０には、医用画像Ｇ０が表示される画像表示領域４０、及び読影医が入力部１５を介して入力した所見文の内容が表示される入力領域４１が含まれる。図５の例では、画像表示領域４０には、結節影Ａ１が含まれる特徴領域を含む断層画像ＤＴ１が表示されている。
　なお、抽出部２２により複数の特徴領域が抽出された場合は、それぞれの特徴領域を含む断層画像をサムネイルとして作成画面３０に表示してもよい。例えば、図５の作成画面３０には、結節影Ａ１が含まれる特徴領域を含む断層画像ＤＴ１のサムネイル５５、及び浸潤影Ａ２が含まれる特徴領域を含む断層画像ＤＴ２のサムネイル５６が含まれている。この場合、読影医は、入力部１５を介して画像表示領域４０に表示させたい断層画像のサムネイルを選択し、表示制御部２５は、選択されたサムネイルに対応する断層画像を、画像表示領域４０に表示する制御を行ってもよい。
　図６は、入力された所見文の内容が表示された状態の作成画面３０を示す図である。読影医が入力部１５を介して「左肺上葉Ｓ３に結節影を」と入力すると、表示制御部２５は、入力領域４１に「左肺上葉Ｓ３に結節影を」という文字列を表示する制御を行う。また、特定部２３は、「結節影」という語句に対応して、結節影Ａ１が含まれる特徴領域を特定領域として特定する。
　次に、図７及び図８を参照して、第１例示的実施形態に係る文書作成支援装置２０による読影レポートの作成の支援、及び支援情報について詳細を説明する。図７は、支援情報の一例としてのハイパーリンクが付与された所見文が表示された作成画面３０を示す図である。
　生成部２４は、「結節影」という語句に対応する特定領域を含む断層画像ＤＴ１にアクセスするための情報の一例としての、断層画像ＤＴ１に対するハイパーリンク４３Ａを生成する。また、生成部２４は、所見文のうち「結節影」という語句に、生成した断層画像ＤＴ１に対するハイパーリンク４３Ａを埋め込む。ハイパーリンク４３Ａには、断層画像ＤＴ１の保管場所を示すＵＲＬ（uniform resource locator）が含まれていてもよい。なお、断層画像ＤＴ１にアクセスするための情報としては、ハイパーリンクに限らず、例えば、医用画像Ｇ０中の断層画像ＤＴ１の座標位置等を用いてもよい。
　表示制御部２５は、生成部２４により「結節影」という語句に断層画像ＤＴ１に対するハイパーリンク４３Ａが埋め込まれた所見文を、表示部１４に表示する制御を行う。これにより、図７の例では、所見文中の「結節影」という語句を選択することで、断層画像ＤＴ１にアクセスすることができる。
　図８は、読影医が更に所見文を追記した場合の作成画面３０を示す図である。図８に示すように、読影医が入力部１５を介して「右肺下葉Ｓ６に浸潤影を」と入力すると、特定部２３は、「浸潤影」という語句に対応して、浸潤影Ａ２が含まれる特徴領域を特定領域として特定する。
　生成部２４は、「浸潤影」という語句に対応する特定領域を含む断層画像ＤＴ２に対するハイパーリンク４３Ｂを生成する。また、生成部２４は、所見文のうち「浸潤影」という語句に、生成した断層画像ＤＴ２に対するハイパーリンク４３Ｂを埋め込む。ハイパーリンク４３Ｂには、断層画像ＤＴ２の保管場所を示すＵＲＬが含まれていてもよい。
　表示制御部２５は、生成部２４により「浸潤影」という語句に断層画像ＤＴ２に対するハイパーリンク４３Ｂが埋め込まれた所見文を、表示部１４に表示する制御を行う。これにより、図８の例では、所見文中の「浸潤影」という語句を選択することで、断層画像ＤＴ２にアクセスすることができる。この場合、図８に示すように、表示制御部２５は、断層画像ＤＴ２を画像表示領域４０に表示する制御を行う。
　以上のようにして生成部２４により生成された特定領域を含む画像にアクセスするための情報は、読影レポートに含まれて、レポートＤＢ８に登録される。したがって、読影ＷＳ３及び診療ＷＳ４から当該読影レポートを閲覧する場合にも、所見文中の語句を選択することで、当該語句に対応する特定領域を含む画像にアクセスすることができる。
　次に、図９を参照して、本例示的実施形態に係る文書作成支援装置２０の作用を説明する。ＣＰＵ１１が文書作成支援プログラム１２を実行することによって、図９に示す文書作成支援処理が実行される。図９に示す文書作成支援処理は、例えば、医用画像Ｇ０の読影レポートの作成開始の指示が、入力部１５を介して入力された場合に実行される。
　図９のステップＳ１０で、取得部２１は、医用画像Ｇ０を画像サーバ５から取得し、入力部１５を介して入力される医用画像Ｇ０に関する所見文を取得する。ステップＳ１２で、抽出部２２は、ステップＳ１０で取得した医用画像Ｇ０に含まれる少なくとも１つの特徴領域を抽出する。ステップＳ１４で、特定部２３は、ステップＳ１２で抽出した特徴領域のうち、ステップＳ１０で取得した所見文に含まれる語句に対応する領域である特定領域を特定する。
　ステップＳ１６で、生成部２４は、ステップＳ１４の特定結果に基づいて、読影レポートの作成を支援するための支援情報を生成する。ステップＳ１８で、表示制御部２５は、ステップＳ１６で生成した支援情報に基づいて、表示部１４に表示する内容を制御し、処理を終了する。
　図１０は、図９のステップＳ１６において行われる、第１例示的実施形態に係る支援情報生成処理の詳細を示すフローチャートである。ステップＳ２０で、生成部２４は、ステップＳ１４で特定された特定領域を含む画像にアクセスするための情報を支援情報として生成する。ステップＳ２２で、生成部２４は、ステップＳ２０で生成した特定領域を含む画像にアクセスするための情報を、所見文に含まれる当該特定領域に対応する語句に埋め込む。
　以上説明したように、本例示的実施形態に係る文書作成支援装置２０によれば、医用画像Ｇ０及び医用画像Ｇ０に関する所見文を取得し、医用画像Ｇ０に含まれる少なくとも１つの特徴領域を抽出し、特徴領域のうち、所見文に含まれる語句に対応する領域である特定領域を特定し、特定結果に基づいて、所見文を含む文書の作成を支援するための情報として、所見文のうち特定領域に対応する語句に、特定領域を含む医用画像Ｇ０にアクセスするための情報を埋め込んで表示部に表示する。したがって、読影医の手入力に依らず、医用画像Ｇ０中の何れの断層画像を見れば、読影レポートに記載の所見を認めることができるかが分かるように、読影レポートを作成することができるので、読影レポート等の文書の作成を支援することができる。
　なお、本例示的実施形態において、取得部２１が取得する所見文は、入力部１５を介して読影医が入力するものとする形態としたが、これに限らない。例えば、特開２０１３－３９２３０号公報には、ＣＡＤの解析結果の入力により病変の大きさ、形状及び推定病名等の所見文を出力するように学習がなされた判別器を用いて、ＣＡＤの解析結果から所見文を生成する技術が開示されている。本例示的実施形態にこの技術を適用し、取得部２１により取得された医用画像Ｇ０から抽出部２２が特徴領域を抽出し、抽出された特徴領域から所見文を生成する形態としてもよい。また、特開平７－３１５９１号公報に開示の、所見文を定型文に基づいて生成する技術を適用してもよい。このように所見文を自動で生成する形態によれば、読影レポート等の文書の作成を支援することができるので、読影レポートを作成する際の読影医の負担を軽減することができる。
　また、本例示的実施形態において、特定領域を含む医用画像Ｇ０に対応する他の画像がある場合は、所見文のうち特定領域に対応する語句に、当該他の画像にアクセスするための情報を埋め込んで表示部に表示してもよい。例えば、結節影Ａ１について経過観察を行う場合に、所見文のうち「結節影」という語句に、結節影Ａ１が含まれる断層画像ＤＴ１に対応する、過去に撮影された断層画像にアクセスするための情報を埋め込んで表示部に表示してもよい。このような形態によれば、経過観察を行う場合の、読影レポート等の文書の作成を支援することができる。
［第２例示的実施形態］
　次に、本開示の第２例示的実施形態を説明する。本例示的実施形態は、生成部２４が生成する支援情報の内容、及び表示制御部２５が支援情報に基づいて表示部１４に表示する作成画面３０における表示内容が、第１例示的実施形態と異なる。本例示的実施形態に係る医療情報システム１の構成（図１参照）、並びに文書作成支援装置２０のハードウェア構成（図２参照）及び機能的な構成（図３参照）は、第１例示的実施形態と同様であるため、説明を省略する。
　図１１を参照して、第２例示的実施形態に係る文書作成支援装置２０による読影レポートの作成の支援、及び支援情報について詳細を説明する。図１１は、支援情報の一例としての、特定領域の性状を示す性状情報４４が表示された作成画面３０を示す図である。
　生成部２４は、文字列に含まれる語句に対応する特定領域の性状を示す性状情報４４を生成する。表示制御部２５は、生成部２４により生成された性状情報４４を表示部１４に表示する制御を行う。ここで、特定領域の性状とは、例えば、特定領域に含まれる構造物の位置、大きさ及び形状等の性状を示す。また、生成部２４は、構造物の位置、大きさ及び形状等の性状に基づき、特定領域において疑われる推定病名に関する性状情報４４を生成してもよい。
　例えば、生成部２４は、「結節影」という語句に対応して、断層画像ＤＴ１における結節影Ａ１を含む特定領域をＣＡＤ等により解析し、特定領域に含まれる結節影Ａ１の性状を示す性状情報４４を生成する。生成部２４は、性状情報４４の一例として、「φ２１ｍｍ大」、「分葉状＋」及び「充実性＋」の陽性情報４４Ａ、「石灰化－」の陰性情報４４Ｂ、並びに「扁平上皮がん疑い」の病名情報４４Ｃを生成する。ここで、「＋」が付与された性状情報は当該性状が陽性であること、「－」が付与された性状情報は当該性状が陰性であることを示す。
　なお、生成部２４による性状情報４４の生成手法としては、例えば、上記文献１に記載された手法を用いることができるが、これに限定されるものではない。
　図１２は、図９のステップＳ１６において行われる、第２例示的実施形態に係る支援情報生成処理の詳細を示すフローチャートである。ステップＳ３０で、生成部２４は、ステップＳ１４で特定された特定領域の解析を行う。ステップＳ３２で、生成部２４は、解析に基づいて、当該特定領域の性状を示す性状情報を支援情報として生成する。
　以上説明したように、本例示的実施形態に係る文書作成支援装置２０によれば、医用画像Ｇ０及び医用画像Ｇ０に関する所見文を取得し、医用画像Ｇ０に含まれる少なくとも１つの特徴領域を抽出し、特徴領域のうち、所見文に含まれる語句に対応する領域である特定領域を特定し、特定結果に基づいて、所見文を含む文書の作成を支援するための情報として、特定領域の性状を示す性状情報を生成し、性状情報を表示部に表示する。したがって、読影医は、特定領域の性状に関する所見文を作成する前に、特定領域の性状を確認することができるので、所見の見落としを抑制することができ、読影レポート等の文書の作成を支援することができる。
　なお、本例示的実施形態において、表示制御部２５は、性状情報４４が、陽性情報４４Ａ、陰性情報４４Ｂ及び病名情報４４Ｃの何れであるかが区別できるように、それぞれの表示方法を変更してもよい。例えば、図１１に示すように、陽性情報４４Ａ、陰性情報４４Ｂ及び病名情報４４Ｃごとに、背景色を変更してもよい。このような形態によれば、ユーザにとって、各種性状情報４４が、陽性、陰性及び推定病名の何れであるかが容易に分かるようになる。
　また、本例示的実施形態において、生成部２４が性状情報４４を生成する形態について説明したが、これに限らない。例えば、抽出部２２が、医用画像Ｇ０から特徴領域を抽出するとともに、予め特徴領域の性状情報４４を生成する形態としてもよい。この場合、文字列に含まれる語句を取得した後に、特定領域をＣＡＤ等により解析することなく、性状情報４４を表示部１４に表示することができる。
　また、本例示的実施形態において、性状情報４４は、図１１に示すような陽性情報４４Ａ、陰性情報４４Ｂ及び病名情報４４Ｃに限らない。例えば、特開２０１３－３９２３０号公報には、ＣＡＤの解析結果の入力により病変の大きさ、形状及び推定病名等の所見文を出力するように学習がなされた判別器を用いて、ＣＡＤの解析結果から所見文を生成する技術が開示されている。本例示的実施形態にこの技術を適用し、性状情報４４として、特定領域の性状を示す所見文を生成する形態としてもよい。また、特開平７－３１５９１号公報に開示の、所見文を定型文に基づいて生成する技術を適用してもよい。このように所見文を自動で生成する形態によれば、読影レポート等の文書の作成を支援することができるので、読影レポートを作成する際の読影医の負担を軽減することができる。
［第３例示的実施形態］
　次に、本開示の第３例示的実施形態を説明する。本例示的実施形態は、生成部２４が生成する支援情報の内容、及び表示制御部２５が支援情報に基づいて表示部１４に表示する作成画面３０における表示内容が、第１例示的実施形態と異なる。本例示的実施形態に係る医療情報システム１の構成（図１参照）、並びに文書作成支援装置２０のハードウェア構成（図２参照）及び機能的な構成（図３参照）は、第１例示的実施形態と同様であるため、説明を省略する。
　図１３を参照して、第３例示的実施形態に係る文書作成支援装置２０による読影レポートの作成の支援、及び支援情報について詳細を説明する。図１３は、支援情報の一例としての、特定領域の性状を示す性状情報４４、及び性状情報４４に基づく警告４５が表示された作成画面３０を示す図である。性状情報４４は、第２例示的実施形態と同様であるため、説明を省略する。なお、図１３の例では、性状情報４４を作成画面３０に表示する形態が示されているが、性状情報４４は、作成画面３０に表示されなくてもよい。
　生成部２４は、文字列に含まれる語句に対応する特定領域の性状を示す性状情報４４を生成し、文字列のうち特定領域に関連する語句が、性状情報４４と整合しない場合に、警告４５を行うための警告情報を生成する。表示制御部２５は、生成部２４により生成された警告情報に基づき、警告４５を表示部１４に表示する制御を行う。ここで、性状情報４４は、第２例示的実施形態と同様の情報であるため、説明を省略する。
　例えば、生成部２４は、「結節影」という語句に対応する特定領域の性状情報４４として、「石灰化－」の陰性情報４４Ｂを生成する。次に、取得部２１により取得された特定領域に関連する「石灰化を含みます。」という語句を解析して、その内容が「石灰化－」の陰性情報４４Ｂと整合しないと判定する。そして、「石灰化を含みます。」という語句に波線を引く警告４５を行うための警告情報を生成する。
　なお、警告４５の手法は、性状情報４４と整合しない語句に波線を引くことに限定されるものではなく、例えば、語句の色を変更する、ポップアップ画面を表示する、及びアラームを鳴らす等の手法を用いてもよい。
　図１４は、図９のステップＳ１６において行われる、第３例示的実施形態に係る支援情報生成処理の詳細を示すフローチャートである。ステップＳ４０で、生成部２４は、ステップＳ１４で特定された特定領域の解析を行う。ステップＳ４２で、生成部２４は、解析に基づいて、当該特定領域の性状を示す性状情報を生成する。ステップＳ４４で、生成部２４は、所見文に含まれる当該特徴領域に対応する語句と、ステップＳ４２で生成した性状情報とが整合しているか否かを判定する。生成部２４は、両者が整合していると判定した場合、本ルーチンを終了させる。一方、生成部２４は、両者が整合していないと判定した場合、ステップＳ４６で、両者が整合していないことを警告するための警告情報を支援情報として生成する。
　以上説明したように、本例示的実施形態に係る文書作成支援装置２０によれば、医用画像Ｇ０及び医用画像Ｇ０に関する所見文を取得し、医用画像Ｇ０に含まれる少なくとも１つの特徴領域を抽出し、特徴領域のうち、所見文に含まれる語句に対応する領域である特定領域を特定し、特定結果に基づいて、所見文を含む文書の作成を支援するための情報として、特定領域の性状を示す性状情報を生成し、文字列のうち特定領域に関連する語句が、性状情報と整合しない場合に、警告を行う。したがって、読影医による誤診を抑制することができ、読影レポート等の文書の作成を支援することができる。
　なお、上記各例示的実施形態において、第１例示的実施形態、第２例示的実施形態及び第３例示的実施形態のそれぞれで説明した生成部２４及び表示制御部２５の処理を、適宜組み合わせた形態としてもよい。
　また、上記各例示的実施形態において、生成部２４は、特定領域を含む医用画像Ｇ０に、特定領域の位置を示すマークを付与した画像を生成してもよい。例えば、図７、図１１及び図１３の例では、断層画像ＤＴ１において、特定部２３が特定した「結節影」という語句に対応する特定領域を、破線の矩形５０で囲んでいる。また、例えば、図８の例では、断層画像ＤＴ２において、特定部２３が特定した「浸潤影」という語句に対応する特定領域を、破線の矩形５０で囲んでいる。これにより、例えば、読影医が異常陰影の位置に関する所見文を記載しなくても、読影レポートの読者にとって、異常陰影の根拠となる画像中の領域が容易に分かるようになる。また、同一の断層画像中に複数の異常陰影が認められる場合でも、読影レポートの読者にとって、何れの異常陰影が所見文の根拠となる領域かが容易に分かるようになる。したがって、読影レポート等の文書の作成を支援することができる。
　また、上記各例示的実施形態において、生成部２４は、特徴領域を含む医用画像Ｇ０に、特徴領域の位置を示すマークを付与した画像を生成してもよい。例えば、図５及び図６の例では、断層画像ＤＴ１において、抽出部２２が抽出した結節影Ａ１を含む特徴領域を、破線の矩形５０で囲んでいる。なお、同一の断層画像に複数の特徴領域が含まれる場合は、それぞれの特徴領域の位置を示すマークを付与したそれぞれの画像を生成してもよいし、それぞれの特徴領域の位置を示すマークを付与した１つの画像を生成してもよい。これにより、例えば、読影医による所見文の入力の前に、特徴領域の位置を表示部１４に表示することができるので、読影医による異常陰影の見落としを抑制することができ、読影レポート等の文書の作成を支援することができる。
　なお、上記の特定領域及び特徴領域の位置を示すマークとしては、破線の矩形５０に限らず、例えば、多角形、円、矢印等の種々のマークとしてもよく、マークの線種（例えば、実線、破線及び点線等）、線の色並びに線の太さ等を適宜変更してもよい。
　また、上記各例示的実施形態において、読影ＷＳ３が内包する文書作成支援装置２０における抽出部２２、特定部２３及び生成部２４の各処理を、例えばネットワーク１０に接続された他の解析サーバ等の、外部装置で行うようにしてもよい。この場合、外部装置は、文字列を文書作成支援装置２０から受信し、文字列に対応する医用画像Ｇ０を画像サーバ５から取得し、医用画像Ｇ０から特徴領域を抽出し、文字列及び特徴領域から特定領域を特定し、特定結果に基づいて支援情報を生成する。文書作成支援装置２０は、取得部２１が取得した文字列を外部装置に送信し、外部装置で生成される支援情報に基づいて、表示制御部２５が表示部１４に表示する表示内容を制御する。
　また、上記各例示的実施形態において、文書作成支援装置２０に公知の音声入力システムを適用して、医用画像Ｇ０に関する文字列の入力を、音声により行う形態としてもよい。
　また、上記各例示的実施形態においては、文書として読影レポートを作成する際に、本開示を適用しているが、電子カルテ及び診断レポート等の読影レポート以外の医療文書、並びにその他の画像に関する文字列を含む文書を作成する場合に、本開示を適用してもよい。
　また、上記各例示的実施形態においては、診断対象を肺とした医用画像Ｇ０を用いて読影レポートの作成支援処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、及び四肢等の人体の任意の部位を診断対象とすることができる。
　また、上記各例示的実施形態において、例えば、取得部２１、抽出部２２、特定部２３、生成部２４及び表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　なお、２０１９年１１月２９日に出願された日本国特許出願２０１９－２１７４１９の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (8)

  1. 　少なくとも１つのプロセッサを備えた文書作成支援装置であって、
    　前記プロセッサは、
    　画像及び前記画像に関する文字列を取得し、
    　前記画像に含まれる少なくとも１つの特徴領域を抽出し、
    　前記特徴領域のうち、前記文字列に含まれる語句に対応する領域である特定領域を特定し、
    　前記特定の結果に基づいて、前記文字列を含む文書の作成を支援するための情報を提示する
    　文書作成支援装置。
  2. 　前記プロセッサは、前記文字列のうち前記特定領域に対応する語句に、前記特定領域を含む画像にアクセスするための情報を埋め込んで表示部に表示する
    　請求項１に記載の文書作成支援装置。
  3. 　前記プロセッサは、前記特定領域の性状を示す性状情報を生成し、前記性状情報を表示部に表示する
    　請求項１又は請求項２に記載の文書作成支援装置。
  4. 　前記プロセッサは、前記特定領域の性状を示す性状情報を生成し、前記文字列のうち前記特定領域に関連する語句が、前記性状情報と整合しない場合に、警告を行う
    　請求項１から請求項３の何れか１項に記載の文書作成支援装置。
  5. 　前記プロセッサは、前記特定領域を含む画像に、前記特定領域の位置を示すマークを付与した画像を生成する
    　請求項１から請求項４の何れか１項に記載の文書作成支援装置。
  6. 　前記プロセッサは、前記画像に含まれる構造物の位置、種類、及び大きさの少なくとも１つに基づいて、前記特徴領域を抽出する
    　請求項１から請求項５の何れか１項に記載の文書作成支援装置。
  7. 　画像及び前記画像に関する文字列を取得し、
    　前記画像に含まれる少なくとも１つの特徴領域を抽出し、
    　前記特徴領域のうち、前記文字列に含まれる語句に対応する領域である特定領域を特定し、
    　前記特定の結果に基づいて、前記文字列を含む文書の作成を支援するための情報を提示する
    　文書作成支援方法。
  8. 　画像及び前記画像に関する文字列を取得し、
    　前記画像に含まれる少なくとも１つの特徴領域を抽出し、
    　前記特徴領域のうち、前記文字列に含まれる語句に対応する領域である特定領域を特定し、
    　前記特定の結果に基づいて、前記文字列を含む文書の作成を支援するための情報を提示する
    　処理をコンピュータに実行させるための文書作成支援プログラム。
PCT/JP2020/044238 2019-11-29 2020-11-27 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム WO2021107098A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021561545A JPWO2021107098A1 (ja) 2019-11-29 2020-11-27
DE112020005870.0T DE112020005870T5 (de) 2019-11-29 2020-11-27 Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und unterstützungsprogramm für dokumentenerstellung
US17/748,017 US11978274B2 (en) 2019-11-29 2022-05-18 Document creation support apparatus, document creation support method, and document creation support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019217419 2019-11-29
JP2019-217419 2019-11-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/748,017 Continuation US11978274B2 (en) 2019-11-29 2022-05-18 Document creation support apparatus, document creation support method, and document creation support program

Publications (1)

Publication Number Publication Date
WO2021107098A1 true WO2021107098A1 (ja) 2021-06-03

Family

ID=76130585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044238 WO2021107098A1 (ja) 2019-11-29 2020-11-27 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム

Country Status (4)

Country Link
US (1) US11978274B2 (ja)
JP (1) JPWO2021107098A1 (ja)
DE (1) DE112020005870T5 (ja)
WO (1) WO2021107098A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013039230A (ja) * 2011-08-16 2013-02-28 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2019153250A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP2019169049A (ja) * 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム
US20190325249A1 (en) * 2016-06-28 2019-10-24 Koninklijke Philips N.V. System and method for automatic detection of key images

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332104B2 (ja) 1993-07-19 2002-10-07 株式会社東芝 読影レポート作成支援装置
JP2005148990A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP5024981B2 (ja) * 2005-04-20 2012-09-12 株式会社東芝 医用画像データ変換装置
US7979383B2 (en) * 2005-06-06 2011-07-12 Atlas Reporting, Llc Atlas reporting
US7804990B2 (en) * 2006-01-25 2010-09-28 Siemens Medical Solutions Usa, Inc. System and method for labeling and identifying lymph nodes in medical images
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US7949167B2 (en) * 2008-06-12 2011-05-24 Siemens Medical Solutions Usa, Inc. Automatic learning of image features to predict disease
JP5455470B2 (ja) * 2009-07-02 2014-03-26 株式会社東芝 医用画像読影システム
JP5523891B2 (ja) * 2009-09-30 2014-06-18 富士フイルム株式会社 病変領域抽出装置、その作動方法およびプログラム
CN103365952B (zh) * 2012-04-06 2017-04-12 东芝医疗***株式会社 医疗信息检索装置
JP6595193B2 (ja) * 2014-03-11 2019-10-23 キヤノンメディカルシステムズ株式会社 読影レポート作成装置および読影レポート作成システム
JP2015215740A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6180470B2 (ja) 2015-07-13 2017-08-16 株式会社ワイズ・リーディング 文章候補提示端末、文章候補提示システム、文章候補提示方法、及びプログラム
US10181187B2 (en) * 2015-09-09 2019-01-15 Canon Kabushiki Kaisha Information processing apparatus, method thereof, information processing system, and computer-readable storage medium that display a medical image with comment information
JP6711676B2 (ja) * 2016-04-13 2020-06-17 キヤノン株式会社 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム
NL2019410B1 (en) * 2017-08-10 2019-02-21 Aidence B V Computer-aided diagnostics using deep neural networks
US10803581B2 (en) * 2017-11-06 2020-10-13 Beijing Keya Medical Technology Co., Ltd. System and method for generating and editing diagnosis reports based on medical images
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports
EP3518245A1 (en) * 2018-01-29 2019-07-31 Siemens Healthcare GmbH Image generation from a medical text report
JP2019149005A (ja) * 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP7000206B2 (ja) * 2018-03-06 2022-01-19 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2019193983A1 (ja) * 2018-04-04 2019-10-10 富士フイルム株式会社 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
WO2019193982A1 (ja) * 2018-04-04 2019-10-10 富士フイルム株式会社 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
US10825173B2 (en) * 2018-04-25 2020-11-03 International Business Machines Corporation Automatically linking a description of pathology in a medical image report to an image
CN112868020A (zh) * 2018-08-02 2021-05-28 艾美迪斯人工智能有限公司 用于医学成像报告的改进的分析和生成的***和方法
WO2020202822A1 (ja) * 2019-04-04 2020-10-08 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
US11791044B2 (en) * 2019-09-06 2023-10-17 RedNova Innovations, Inc. System for generating medical reports for imaging studies
CA3156519A1 (en) * 2019-10-01 2021-04-08 Sirona Medical, Inc. AI-ASSISTED MEDICAL IMAGE INTERPRETATION AND REPORT GENERATION
JP6847558B2 (ja) 2019-10-08 2021-03-24 株式会社ユニバーサルエンターテインメント 遊技機
US11923070B2 (en) * 2019-11-28 2024-03-05 Braid Health Inc. Automated visual reporting technique for medical imaging processing system
JP7371116B2 (ja) * 2019-11-29 2023-10-30 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03
JP7374215B2 (ja) * 2019-12-03 2023-11-06 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021122670A1 (en) * 2019-12-18 2021-06-24 Koninklijke Philips N.V. A co-training framework to mutually improve concept extraction from clinical notes and medical image classification
WO2021157705A1 (ja) * 2020-02-07 2021-08-12 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021162008A1 (ja) * 2020-02-10 2021-08-19 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
JP7420914B2 (ja) * 2020-02-18 2024-01-23 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2021167080A1 (ja) * 2020-02-20 2021-08-26 富士フイルム株式会社 情報処理装置、方法およびプログラム
WO2021177357A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11449717B2 (en) * 2020-03-12 2022-09-20 Fujifilm Business Innovation Corp. System and method for identification and localization of images using triplet loss and predicted regions
WO2021187483A1 (ja) * 2020-03-17 2021-09-23 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021193548A1 (ja) * 2020-03-23 2021-09-30 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
US11244755B1 (en) * 2020-10-02 2022-02-08 International Business Machines Corporation Automatic generation of medical imaging reports based on fine grained finding labels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013039230A (ja) * 2011-08-16 2013-02-28 Canon Inc 医療診断支援装置及び医療診断支援方法
US20190325249A1 (en) * 2016-06-28 2019-10-24 Koninklijke Philips N.V. System and method for automatic detection of key images
JP2019153250A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP2019169049A (ja) * 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム

Also Published As

Publication number Publication date
DE112020005870T5 (de) 2022-11-03
US11978274B2 (en) 2024-05-07
US20220277577A1 (en) 2022-09-01
JPWO2021107098A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
US20220028510A1 (en) Medical document creation apparatus, method, and program
JP7237089B2 (ja) 医療文書作成支援装置、方法およびプログラム
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
JP2024009108A (ja) 文書作成支援装置、文書作成支援方法及びプログラム
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
US20230005580A1 (en) Document creation support apparatus, method, and program
JP7420914B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム
US20230102418A1 (en) Medical image display apparatus, method, and program
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20894472

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561545

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20894472

Country of ref document: EP

Kind code of ref document: A1