WO2022163071A1 - 情報処理装置、方法およびプログラム - Google Patents

情報処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2022163071A1
WO2022163071A1 PCT/JP2021/041617 JP2021041617W WO2022163071A1 WO 2022163071 A1 WO2022163071 A1 WO 2022163071A1 JP 2021041617 W JP2021041617 W JP 2021041617W WO 2022163071 A1 WO2022163071 A1 WO 2022163071A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
medical
patient
information processing
diagnostic
Prior art date
Application number
PCT/JP2021/041617
Other languages
English (en)
French (fr)
Inventor
陽平 桃木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022578065A priority Critical patent/JPWO2022163071A1/ja
Priority to EP21923076.0A priority patent/EP4287195A1/en
Publication of WO2022163071A1 publication Critical patent/WO2022163071A1/ja
Priority to US18/355,397 priority patent/US20230360213A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present disclosure relates to an information processing device, method and program.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • medical images are analyzed by CAD (Computer-Aided Diagnosis) using a learning model trained by deep learning, etc., and the shape, density, position and size of abnormal shadows such as lesions contained in medical images It is performed to detect the properties of
  • the analysis results obtained in this manner are stored in a database in association with examination information such as the patient's name, sex, age, and imaging device that acquired the medical image.
  • the medical image and the analysis result are transmitted to the terminal of the interpretation doctor who interprets the medical image.
  • the interpreting doctor interprets the medical image by referring to the delivered medical image and the analysis result at his/her own interpretation terminal, and creates an interpretation report.
  • image diagnosis uses not only one type of image such as a CT image, but also a plurality of types of images including MRI images and the like. For this reason, if only the analysis result of the medical image and the findings input by the interpreting doctor are used as in the method described in Japanese Patent Application Laid-Open No. 2019-153250, the sentence generated by the learning model is not necessarily the patient's It is not a medical text that accurately describes the situation.
  • the present disclosure has been made in view of the above circumstances, and aims to enable the generation of medical texts that accurately represent the patient's situation.
  • An information processing apparatus includes at least one processor, the processor obtains one or more analysis results regarding a medical image of a patient, Acquiring diagnostic information about a patient's diagnosis other than analysis results, A medical statement about the patient is generated based on the analysis results and diagnostic information.
  • the processor selects analysis results based on diagnostic information, It may generate a medical document containing the selected analysis results.
  • the processor may generate medical texts including the analysis results with priority according to diagnostic information.
  • the processor may generate medical text including diagnostic information and analysis results.
  • the diagnostic information may include first information that is established regarding lesions included in medical images.
  • the first information may include at least one of a lesion measurement result, a definitive diagnosis result of the lesion, and the patient's medical history.
  • the diagnosis information may include confirmed second information other than the information regarding the lesion included in the medical image.
  • the second information may include at least one of the purpose of the examination for which the medical image was obtained and the image conditions regarding the medical image.
  • the diagnostic information may include third information representing the judgment result of the medical image interpreting doctor.
  • the third information includes at least one of an undetermined diagnosis result regarding the medical image, a relationship between a lesion included in the medical image and tissue other than the lesion, and a selection result of the analysis result by the radiologist.
  • the diagnostic information may include fourth information representing the results of examinations performed on the patient.
  • the fourth information is at least the result of examination by diagnostic equipment different from the imaging device that acquires the medical image of the patient, the analysis result of a type of medical image different from the medical image, and the examination result of the biological information of the patient. It may contain one.
  • An information processing method comprises at least one processor, the processor obtaining one or more analysis results for a medical image of a patient, Acquiring diagnostic information about a patient's diagnosis other than analysis results, A medical statement about the patient is generated based on the analysis results and diagnostic information.
  • the information processing method of the present disclosure may be provided as a program for causing a computer to execute it.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a medical information system to which the information processing apparatus according to the first embodiment is applied;
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an information processing apparatus according to a first embodiment;
  • FIG. 1 is a block diagram showing an example of a functional configuration of an information processing apparatus according to a first embodiment;
  • FIG. Diagram showing an example of analysis results A schematic diagram of a recurrent neural network
  • FIG. 3 is a block diagram showing an example of the functional configuration of an information processing apparatus according to a second embodiment;
  • FIG. 1 is a diagram showing the schematic configuration of the medical information system 1.
  • the medical information system 1 shown in FIG. 1 captures an examination target region of a patient as a subject, stores medical images acquired by the imaging, This is a system for interpretation of medical images and creation of an interpretation report by an interpreting doctor, and viewing of the interpretation report and detailed observation of the medical image to be interpreted by a doctor of the medical department of the requesting department.
  • a medical information system 1 includes a plurality of imaging devices 2, a plurality of interpretation WSs (WorkStations) 3 which are interpretation terminals, a medical examination WS 4, an image server 5, an image DB (DataBase) 6, a report server 7, and The report DBs 8 are connected to each other via a wired or wireless network 10 so as to be communicable with each other.
  • Each device is a computer installed with an application program for functioning as a component of the medical information system 1.
  • Application programs are recorded on recording media such as DVDs (Digital Versatile Discs) and CD-ROMs (Compact Discs Read Only Memory) for distribution, and are installed in computers from the recording media.
  • recording media such as DVDs (Digital Versatile Discs) and CD-ROMs (Compact Discs Read Only Memory) for distribution, and are installed in computers from the recording media.
  • recording media such as DVDs (Digital Versatile Discs) and CD-ROMs (Compact Discs Read Only Memory) for distribution, and are installed in computers from the recording media.
  • it is stored in a storage device of a server computer connected to the network 10 or a network storage in a state accessible from the outside, and is downloaded and installed in a computer upon request.
  • the imaging device 2 is a device (modality) that generates a medical image representing the diagnostic target region by imaging the diagnostic target region of the patient. Specifically, they are plain X-ray equipment, CT equipment, MRI equipment, and PET (Positron Emission Tomography) equipment. A medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6 .
  • the interpretation WS3 is a computer used by, for example, a radiology interpreting doctor to interpret medical images and create interpretation reports, and includes the information processing apparatus 20 (details will be described later) according to the first embodiment.
  • the interpretation WS 3 requests the image server 5 to view medical images, performs various image processing on the medical images received from the image server 5 , displays the medical images, and accepts input of remarks on the medical images. Further, the interpretation WS 3 performs analysis processing on medical images, supports creation of interpretation reports based on the analysis results, requests registration and viewing of interpretation reports to the report server 7 , and displays interpretation reports received from the report server 7 . . These processes are performed by the interpretation WS3 executing a software program for each process.
  • the clinical WS 4 is a computer used by, for example, doctors in clinical departments for detailed observation of images, viewing of interpretation reports, and preparation of electronic medical charts. It consists of a device.
  • the medical examination WS 4 requests the image server 5 to view images, displays the images received from the image server 5 , requests the report server 7 to view interpretation reports, and displays the interpretation reports received from the report server 7 . These processes are performed by the clinical WS 4 executing a software program for each process.
  • the image server 5 is a general-purpose computer installed with a software program that provides the functions of a database management system (DBMS). Further, the image server 5 has a storage in which an image DB 6 is configured. This storage may be a hard disk device connected to the image server 5 by a data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to network 10. may be When the image server 5 receives a registration request for a medical image from the imaging device 2 , the image server 5 prepares the medical image into a database format and registers it in the image DB 6 .
  • DBMS database management system
  • the image server 5 stores diagnostic information related to patient diagnosis. Diagnostic information will be described later.
  • the incidental information includes, for example, an image ID (identification) for identifying individual medical images, a patient ID for identifying a patient, an examination ID for identifying an examination, a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (imaging part), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast agent, etc.), and information such as series number or collection number when multiple medical images are acquired in one examination .
  • image ID identification
  • UID unique ID assigned to each medical image
  • examination date when the medical image was generated examination time
  • type of imaging device used in the examination to acquire the medical image patient information such as patient name, age, gender, examination site (imaging part), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast agent, etc.), and information such as series number or collection number when multiple medical images are acquired in one examination .
  • the image server 5 When the image server 5 receives a viewing request from the interpretation WS 3 and the medical care WS 4 via the network 10 , the image server 5 searches for medical images registered in the image DB 6 and distributes the retrieved medical images to the requesting interpretation WS 3 and the medical care WS 4 . Send to WS4.
  • the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the report server 7 receives a registration request for an interpretation report from the interpretation WS 3 , the interpretation report is formatted for a database and registered in the report DB 8 .
  • the interpretation report contains information such as, for example, the medical image to be interpreted, the image ID for identifying the medical image, the interpretation doctor ID for identifying the interpretation doctor who performed the interpretation, the lesion name, the position information of the lesion, and the properties of the lesion. may contain
  • the report server 7 When the report server 7 receives a viewing request for an interpretation report from the interpretation WS 3 and the medical care WS 4 via the network 10, the report server 7 searches for the interpretation report registered in the report DB 8, and sends the retrieved interpretation report to the requested interpretation report. Send to WS3 and medical care WS4.
  • the network 10 is a wired or wireless local area network that connects various devices in the hospital. If the image interpretation WS3 is installed in another hospital or clinic, the network 10 may be configured by connecting the local area networks of each hospital via the Internet or a dedicated line.
  • the information processing device 20 includes a CPU (Central Processing Unit) 11, a nonvolatile storage 13, and a memory 16 as a temporary storage area.
  • the information processing apparatus 20 also includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a pointing device such as a mouse, and a network I/F (InterFace) 17 connected to the network 10 .
  • CPU 11 , storage 13 , display 14 , input device 15 , memory 16 and network I/F 17 are connected to bus 18 .
  • the CPU 11 is an example of a processor in the present disclosure.
  • the storage 13 is realized by HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, and the like.
  • the information processing program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads the information processing program 12 from the storage 13 , expands it in the memory 16 , and executes the expanded information processing program 12 .
  • FIG. 3 is a diagram showing a functional configuration of the information processing apparatus according to the first embodiment;
  • the information processing device 20 includes an information acquisition unit 21, an analysis unit 22, a text generation unit 23, and a display control unit 24.
  • FIG. By executing the information processing program 12 by the CPU 11 , the CPU 11 functions as an information acquisition unit 21 , an analysis unit 22 , a sentence generation unit 23 and a display control unit 24 .
  • the information acquisition unit 21 acquires a medical image G0 as an example of an image from the image server 5 via the network I/F 17.
  • a lung CT image is used as the medical image G0.
  • the information acquisition unit 21 also acquires diagnostic information related to the diagnosis of the patient who acquired the medical image G0 from the image server 5 via the network I/F 17 . Diagnostic information will be described later.
  • the analysis unit 22 derives the analysis result of the medical image G0 by analyzing the medical image G0.
  • the image analysis unit 22 detects an abnormal shadow such as a lesion included in the medical image G0, and determines the property of the detected abnormal shadow for each of a plurality of predetermined property items. It has a learning model 22A that has been trained.
  • property items specified for the abnormal lung shadow the location of the abnormal shadow, the type of absorption value (solid type and ground glass type), the presence or absence of spicules, the presence or absence of calcification, the presence or absence of cavities, and pleural invagination Presence or absence of pleural contact, presence or absence of pleural infiltration, etc.
  • properties items are not limited to these.
  • the learning model 22A is a convolutional neural network that has been machine-learned by deep learning or the like using teacher data so as to discriminate the properties of abnormal shadows in medical images.
  • the learning model 22A is constructed, for example, by machine learning using a combination of a medical image containing an abnormal shadow and a property item representing the property of the abnormal shadow as teacher data.
  • the learning model 22A outputs a property score derived for each property item in an abnormal shadow included in the medical image.
  • the attribute score is a score that indicates the conspicuousness of each attribute item.
  • the property score takes a value of, for example, 0 or more and 1 or less, and the larger the value of the property score, the more remarkable the property.
  • the property score for “presence or absence of spicules”, which is one of the property items of abnormal shadows, is equal to or greater than a predetermined threshold value (for example, 0.5)
  • the property score for “presence or absence of spicules” of abnormal shadows is "with spicules (positive)”
  • the attribute score for "with or without spicules” is less than the threshold
  • the attribute for the presence or absence of spicules of the abnormal shadow is "no spicules (negative)” to be specified.
  • the threshold value of 0.5 used for property determination is merely an example, and is set to an appropriate value for each property item. It should be noted that when the property score is near a threshold value (for example, 0.4 or more and 0.6 or less), false positive may be specified.
  • FIG. 4 is a diagram showing an example of analysis results derived by the analysis unit 22.
  • the property information specified by the analysis unit 22 includes property items such as the location of the abnormal shadow, the type of absorption value, the spicule, the calcification, the cavity, and the pleural indentation. They are “upper left segment”, “solid type”, “spicule present”, “calcification present”, “cavity present”, and “pleural invagination absent”.
  • “yes”, ie, positive, is given by +
  • “no”, ie, negative is given by ⁇ .
  • any learning model such as a support vector machine (SVM (Support Vector Machine)) can be used.
  • SVM Support Vector Machine
  • a learning model for detecting an abnormal shadow from the medical image G0 and a learning model for determining the properties of the abnormal shadow may be constructed separately.
  • the sentence generation unit 23 generates medical sentences regarding the patient based on the analysis result derived by the analysis unit 22 and the diagnostic information acquired by the information acquisition unit 21 .
  • the text generation unit 23 is composed of a learning model 23A constructed by machine learning so as to generate a medical text from the input information as an observation text to be written in the interpretation report.
  • a learning model 23A for example, a neural network such as a recurrent neural network described in US Pat. No. 10181098 or US Pat. No. 10268671 can be used.
  • the learning model 23A is constructed by making a recurrent neural network learn by supervised learning.
  • the training data used at this time is data in which combinations of various analysis results and various diagnostic information are associated with various training sentences to be generated from the analysis results and diagnostic information.
  • FIG. 5 is a diagram schematically showing a recurrent neural network.
  • the recurrent neural network 40 consists of an encoder 41 and a decoder 42.
  • the analysis result derived by the analysis unit 22 and the label of the diagnostic information are input to the encoder 41 .
  • the encoder 41 receives the 1-hot representation of the analysis result and diagnostic information label.
  • the 1-hot representation represents each label by a vector in which one component is 1 and the remaining components are 0. For example, if the 1-hot representation is a vector with three elements, (1,0,0), (0,1,0), and (0,0,1) each represent three different labels. becomes.
  • the encoder 41 converts the 1-hot representation of each label using the embedding matrix to derive the vector representation of each label.
  • Each element of the embedding matrix is a learning parameter. Learning parameters are determined by machine learning of the recurrent neural network 40 .
  • the decoder 42 is configured by connecting multiple networks consisting of an input layer, an intermediate layer and an output layer. Each network receives the vector representation xt output by the encoder 41 and the output ht of the preceding network. In the intermediate layer, the calculation shown in the following formula (1) is performed.
  • Wh, Wx, and b are learning parameters determined by learning.
  • tanh is the activation function. Note that the activation function is not limited to tanh, and a sigmoid function or the like may be used.
  • the analysis results and diagnostic information of the training data are "left lung subpleural”, “4.2 cm”, “spicula+”, and “mass”. Since “left lung subpleural” is a term for a location in the lung, it is labeled for location. Since “4.2 cm” is the size of the diameter, a label representing the size is given. “Spicula+” is given a label indicating positive spicula, and “tumor” is given a label indicating a medically small mass. These labels are input to the encoder 41, and a vector representation of each label is output.
  • the output of the previous stage and the vector representation are input to the input layer of each neural network, and the remark "A [small block] of [size] diameter having [spicule] at [location] is recognized.” is output.
  • the text generation unit 23 embeds the analysis result and diagnostic information in the label included in the finding text output by the learning model 23A, thereby generating the message "A tumor with a diameter of 4.2 cm having a spicule under the left lung pleura is found. generated.
  • the diagnostic information is information related to the patient's diagnosis other than the analysis result derived by the analysis unit 22 .
  • first information D1 information that has been determined regarding the lesion included in the medical image
  • second information D2 determined information other than information regarding the lesion included in the medical image
  • third information D3 information representing the results of judgments made by radiologists on medical images
  • fourth information D4 information representing examination results performed on patients
  • the first information D1 confirmed about the lesion included in the medical image G0 includes, for example, measurement information such as the size (vertical and horizontal length or area) of the lesion included in the medical image G0, the confirmed diagnosis result for the lesion, The medical history of the patient from whom the medical image G0 was acquired, the content of the treatment performed on the patient, and the like can be mentioned.
  • the size of a lesion information representing changes over time from the size of a lesion included in medical images previously acquired for the same patient can be used as the first information D1.
  • the information representing change is information representing whether the size of the lesion has increased, decreased, or has not changed.
  • a definitive diagnosis of a lesion is a diagnosis established by a physician, such as that the lesion is cancer and benign tumor.
  • the patient's medical history is the history of diseases suffered in the past by the patient who acquired the medical image G0.
  • the details of the treatment performed on the patient include details of the operation performed on the patient, the type of drug used, the amount of drug, and the administration period
  • the diagnostic information may be directly included in the statement of findings (for example, the major axis is 10 mm, the patient has a history of primary lung cancer or colon cancer).
  • the diagnostic information includes labels of size, definitive diagnosis of malignancy, and past history as the first information D1, and training a neural network using teacher data including teacher sentences in which the labels are described. , to construct the learning model 23A.
  • the diagnostic information includes, for example, a size label as the first information D1
  • the analysis result includes a label of "nodule, bronchial fluoroscopic image-, cavity-”.
  • the learning model 23A may be constructed by learning the recurrent neural network 40 using teacher data including teacher sentences that do not include label descriptions.
  • the diagnostic information includes, as the first information D1, a label for a definitive diagnosis of malignancy such as primary lung cancer and a label for "enlargement", and a label for a positive property item as an analysis result.
  • the confirmed second information D2 other than the information about the lesion included in the medical image G0 is information about the medical image G0 that is not related to the lesion.
  • image conditions when obtaining Acquisition of the medical image G0 is performed as part of an examination for determining the patient's condition, and has various examination purposes such as detailed examination and follow-up observation.
  • various conditions windshield level, window width, and slice interval
  • Image conditions are conditions for generating a medical image G0 such as window level, window width and slice interval.
  • the content to be written in the statement of findings differs depending on whether the purpose of the inspection is a detailed examination or a follow-up observation.
  • the purpose of the inspection is a detailed examination or a follow-up observation.
  • detailed contents may be described in the remarks, and in the case of follow-up observations, remarks may be generated so as to describe changes in size (increase or reduction) over time.
  • the diagnosis information includes a label indicating that the inspection purpose is a detailed inspection as the second information D2, and teacher data including teacher sentences describing the labels of all property items included in the analysis results
  • the diagnosis information includes a label indicating that the purpose of the examination is follow-up observation as the second information D2
  • the teacher includes a teacher sentence describing only the size change label among the property labels included in the analysis result.
  • the learning model 23A may be constructed by learning the recurrent neural network 40 using the data.
  • the diagnostic information includes a label indicating that the slice thickness of the CT image is 5 mm as the second information D2, includes a positive property item label among the property item labels included in the analysis result, and
  • a learning model 23A is constructed by learning a recurrent neural network 40 using teacher data including teacher sentences written as " ⁇ suspect” instead of " ⁇ accept” at the end of labels of positive attribute items. do it.
  • the third information D3 representing the judgment result of the medical image interpretation doctor is information representing the interpretation result of the lesion included in the medical image G0 by the interpretation doctor who interpreted the medical image G0. Specifically, there are undetermined diagnosis results for the medical image G0, relationships between lesions and tissues other than lesions, and results of selection by radiologists for a plurality of analysis results.
  • the third information D3 is used directly as a finding. What is necessary is just to generate
  • the diagnosis information includes, for example, a label "mediastinal invasion is suspected” as the third information D3, and teacher data including a teacher sentence describing the label "mediastinal invasion is suspected” is recurrent.
  • the learning model 23A may be constructed.
  • the fourth information D4 representing the results of examinations performed on the patient includes the results of interpretation of medical images acquired by an imaging device different from the imaging device that acquired the medical image G0, and examinations other than examinations using images such as blood tests.
  • the differentiation of tuberculoma which is one of the lung diseases, is performed in combination with not only image diagnosis but also blood tests. For this reason, diagnostic information such as blood test results should be written directly in the findings. For example, if the blood test result is “quantiferon negative,” and the suspected symptom information based on the blood test result is “non-tuberculous mycobacterial disease,” I suspect acid bacteriosis.”
  • the diagnostic information includes, for example, a "blood test" label and a suspected symptom label as the fourth information D4, and the recurrent neural network 40 uses teacher data including teacher sentences in which these labels are described.
  • the learning model 23A may be constructed. In this case, the learning model 23A may be constructed so as to generate an observation sentence that includes the property item label included in the analysis result, or the learning model 23A is constructed so as to generate an observation sentence that does not include the property item label. You may
  • the diagnostic information should be similarly described in the remarks. Just do it. For example, if the test result is "low FDG uptake on mPET" and the suspected symptom information based on the test result is "rounded atelectasis or organizing pneumonia", "FDG uptake on mPET is also Low, round atelectasis or organizing pneumonia is suspected.” Further, the analysis results related to the diagnostic information may be described in the observation statement, and the analysis results unrelated to the patient information may not be described in the observation statement.
  • the analysis result related to the fourth information D4 may or may not be described in the remarks, lower or increase the confidence, or be important. You may generate
  • FIG. 6 is a diagram showing an example of diagnostic information and analysis results.
  • the diagnostic information shown in FIG. 6 is the first information D1.
  • the first information D1 includes a lesion type of "tumor”, a diameter of "maximum diameter of 46 mm", a definitive diagnosis of malignancy of "primary lung cancer", and a treatment content of "after Iressa treatment”.
  • a change in size is an "increase.”
  • These labels are Nodule, Diameter, Malignant, Treated and Progress respectively.
  • the analysis results show that the area of the lesion in the lung is "upper left segment", the type of absorption value is solid type, the presence of spicules, the presence of calcification, the absence of cavities, and the presence of pleural contact.
  • These labels are Segment, Solid, Spiculated+, Calcification+, Cavity-, PleuralContact+ respectively.
  • the diagnostic information shown in Figure 6 includes a definitive diagnosis of malignancy, primary lung cancer.
  • the size change of the lesion over time is more important than the analysis result of the internal properties such as presence of spicules.
  • the analysis results that express the internal properties are not included, and the findings are generated so that only the size change over time is included, or the analysis results that contradict the definitive diagnosis
  • the learning model 23A is constructed so as to generate a finding sentence so as not to include the finding suggesting
  • a learning model 23A is constructed by learning a recurrent neural network using teacher data including and.
  • the analysis results are sorted out based on the diagnostic information to generate observation sentences.
  • the diagnostic information and analysis results shown in Figure 6 are input, "[Segment] is [Treated] for [Malignant].
  • [Nodule] is further increased to [Diameter]. ” is performed to construct the learning model 23A.
  • the text generation unit 23 embeds diagnostic information and analysis results in the label of the finding text output by the learning model 23A, thereby generating the following message: "Primary lung cancer in the upper left ward after Iressa treatment. The tumor has a maximum diameter of 46 mm. It is increasing further.” is generated.
  • the diagnostic information labels are Nodule [tumor] and Diameter [length 48 mm]
  • the analysis result labels are Segment [lower right lobe S6], Solid [solid type], IrregularForm [irregular form]. ], Spiculated + [with spicules], Lobulated + [with lobulation], Airbronchogram + [with bronchial lucidity], Cavity + [with cavities], Calcification- [without calcification], PleuralContact + [with pleural contact].
  • the contents in parentheses indicate the specific content of each label.
  • the finding text generated by the text generation unit 23 is "An irregularly shaped solid mass with a major diameter of 48 mm in contact with the pleura is found in the right lower lobe S6. It is lobulated and accompanied by spicules. Bronchial translucence inside. I recognize the image, the cavity, I do not recognize the calcification.” In the generated observation sentences, the end of the sentences for property items for which the presence or absence is clear is "-accepted.”, "-not accepted.”, and "accompanied.”.
  • the diagnostic information labels are Nodule [tumor] and Diameter [length 48 mm]
  • the analysis result labels are Segment [lower right lobe S6], Solid [solid type], IrregularForm [irregular form]. ], Spiculated+ [with spicules], Lobulated+ [with lobulation], Airbronchogram? Property items with "?” represent false-positive analysis results.
  • the finding text generated by the text generation unit 23 is "An irregularly shaped solid tumor with a long diameter of 48 mm in contact with the pleura is found in the right lower lobe S6. It is lobulated and accompanied by spicules. Low absorption inside. bronchial lucency and suspicion of cavities.No calcifications.”
  • the end of the sentences for property items for which the presence or absence is clear is "-accepted.”, "-not admitted.”, and "accompanied.”
  • properties whose presence or absence is unknown, that is, properties that are false-positive the sentence ends with "I doubt.”
  • an expression vector of "suspicious" to the vector representation xt of the bronchial fluoroscopic image and the cavity input to the decoder 42 shown in FIG. ” can be generated.
  • a vector representation in which the 1 component of the 1-hot representation of "bronchial lucid image” and "cavity” is changed according to the degree of confidence a finding sentence ending in "suspicious” is generated. It becomes possible to In this case, for example, if the 1-hot representation of the "bronchial lucid image" is (1, 0, 0), change the 1-hot representation to (0.5, 0, 0) according to the degree of confidence. do it.
  • the learning model 23A generates sentences ending with a high degree of certainty for property items whose presence or absence is clear, but generates sentences ending with a low degree of certainty for property items whose presence or absence is unclear. is constructed.
  • each item included in the diagnostic information and analysis results is given an order according to the degree of importance.
  • the storage 13 stores a table that defines the degree of importance for each item of diagnostic information and analysis results.
  • the sentence generator 23 refers to the table stored in the storage 13 and assigns an order according to the degree of importance to each item of the diagnostic information and the analysis result.
  • the recurrent neural network 40 changes the importance according to whether the property is negative or positive and also according to the diagnostic information, and generates observation sentences including a predetermined number of analysis results in order of importance. is learned to build a learning model 23A.
  • calcification is generally a benign property.
  • negative attributes are not as important as positive attribute items. For this reason, the importance of calcification and negative attribute items included in the analysis results is lowered, the importance of positive attribute items is increased, and a predetermined number of attribute items with high importance are used to prepare the finding statement.
  • the learning model 23A is constructed so as to generate Also, depending on the confirmed diagnosis result included in the diagnostic information, it may be better to describe a negative property item for a specific property item in the finding statement. In this case, the learning model 23A is constructed so as to generate a finding statement with a high degree of importance even if a specific property is negative according to diagnostic information.
  • the diagnostic information labels are Nodule [mass] and Diameter [major diameter 24 mm]
  • the analysis result labels are Segment [lower right lobe S6], Solid [solid type], Lobulated + [lobulated type].
  • numbers are given to each item of diagnostic information and analysis results in order of importance.
  • the learning model 23A is constructed so as to include the top n (for example, 5) labels with the highest degree of importance for diagnostic information and analysis results.
  • HistoryOsteosarcoma (has a history of osteosarcoma) is added to the diagnostic information as a medical history of the first information D1. Benign-like calcifications may form if there is a history of osteosarcoma. For this reason, if the patient has a history of osteosarcoma, it is necessary to ensure that the doctor confirms the recurrence and metastasis of the osteosarcoma included in the medical image G0 when reading the findings.
  • the learning model 23A is constructed so as to generate a finding text with an increased importance of the label "no calcification".
  • the importance of "no calcification” is changed to 4, and the importance of the property items whose importance was 4 to 8 in FIG. is generated.
  • the finding text generated by the text generation unit 23 is "A lobulated nodule with a long diameter of 24 mm is found in the right lower lobe S6. Osteosarcoma is found. No calcification is found.”
  • the learning model 23A may be constructed so that the observation statement includes the fact that the patient has a history of osteosarcoma.
  • the display control unit 24 displays the medical text generated by the text generation unit 23 on the display 14.
  • FIG. 11 is a flowchart showing processing performed in the first embodiment.
  • the information acquisition unit 21 acquires the medical image G0 and diagnosis information for which a finding sentence is to be generated (step ST1).
  • the analysis unit 22 analyzes the medical image G0 to derive the analysis result of the medical image G0 (step ST2).
  • the text generation unit 23 generates an observation text regarding the patient as a medical text (step ST3).
  • the display control unit 24 displays the medical text on the display 14 (step ST4), and the process ends.
  • FIG. 12 is a diagram showing the functional configuration of the information processing apparatus according to the second embodiment.
  • the same reference numerals are assigned to the same configurations as in FIG. 3, and detailed description thereof will be omitted.
  • the information processing apparatus according to the second embodiment differs from the above embodiments in that the text generation unit 23 includes a selection unit 25 and a learning model 23B.
  • the selection unit 25 selects the analysis results derived by the analysis unit 22 based on the diagnostic information.
  • the storage 13 stores a table defining rules for selecting analysis results according to diagnostic information.
  • FIG. 13 is a diagram showing an example of a table defining rules.
  • the table T1 defines each item of the analysis result in the horizontal direction and each item included in the diagnostic information in the vertical direction, and inputs each item of the diagnostic information and the analysis result to the learning model 23B. It defines the selection of whether to do or not.
  • items of analysis results that are not selected for diagnostic information are marked with x, and items that are selected are marked with ⁇ .
  • the absorption value solid type and ground glass type
  • margin presence or absence of spicules
  • internal properties presence or absence of calcification, presence or absence of cavity
  • surroundings presence or absence of pleural invagination
  • the diagnostic information area, diameter, definitive diagnosis of malignancy, content of treatment, and change in size are used as the diagnostic information. Only the diameter and the definitive diagnosis of malignancy are defined in order to be accurate. In addition, the diameter is classified into less than 5 mm ( ⁇ 5 mm) and 5 mm or more and less than 10 mm ( ⁇ 10 mm).
  • the selection unit 25 refers to the table T1 to substantially select the analysis results according to the definitive diagnosis of malignancy.
  • the learning model 23B in the second embodiment is a teacher model in which a combination of various analysis results and various diagnostic information after selection is associated with teacher sentences to be generated from the analysis results and diagnostic information. Using data, it is constructed by learning a neural network such as a recurrent neural network in the same manner as the learning model 23A.
  • the learning model 23A in the first embodiment selects the input analysis results and generates an observation sentence, but in the second embodiment, the analysis results input to the learning model 23B have already been selected. there is For this reason, the learning model 23B uses the input analysis results and diagnostic information to generate observation sentences.
  • the selection unit 25 refers to the table T1 and selects the analysis results. Since the diagnostic information shown in FIG. 5 includes a definitive diagnosis of malignancy, the selection unit 25 removes absorption values, margins, internal properties, and surrounding items from the analysis results. The analysis result is input to the learning model 23B. Specifically, the selection unit 25 includes the label Nodule for the mass, the label Diameter for the maximum diameter of 46 mm, the label Segment for the upper left segment, the label Malignant for primary lung cancer, and the label after Iressa treatment. Treated and Progress, which is the label of growth, are input to the learning model 23B.
  • the learning model 23B outputs an observation sentence of "[Treated] for [Malignant] of [Segment]. [Nodule] is further increased to [Diameter]."
  • the text generation unit 23 embeds the diagnostic information and analysis results in the label included in the finding text output by the learning model 23A, thereby generating the following message: "Primary lung cancer in the upper left ward after Iressa treatment. The tumor has a maximum diameter of 46 mm. It is increasing further.” is generated.
  • the analysis result of the analysis unit 22 may be the property score itself for each property item.
  • the selection unit 25 determines whether the property item is positive or negative by comparing the property score with a threshold value, but the threshold value may be changed according to the diagnostic information. For example, when the diagnostic information and the analysis result are as shown in FIG. 10, the threshold for determining calcification is decreased to determine that calcification is present. In this case, if the table T1 is derived so that the presence of calcification is left in the analysis results, an observation sentence including the content of the presence of calcification will be generated when there is a history of osteosarcoma. For this reason, an interpreting doctor who has seen the findings will interpret medical images with an emphasis on calcification.
  • the technology of the present disclosure is applied when generating a finding sentence to be described in an interpretation report as a medical document, but it is not limited to this.
  • the technology of the present disclosure may be applied when creating medical documents other than interpretation reports such as electronic charts and diagnosis reports, and other documents including character strings related to images.
  • the diagnostic target is not limited to the lung.
  • any part of the human body such as the heart, liver, brain, and limbs can be diagnosed.
  • the processing of the analysis unit 22 in the information processing device 20 included in the interpretation WS3 may be performed by an external device such as another analysis server connected to the network 10, for example.
  • the external device acquires the medical image G0 from the image server 5 and derives the analysis result by analyzing the medical image G0. Then, the information processing device 20 generates an observation sentence using the analysis result derived by the external device.
  • the various processors include, in addition to the CPU, which is a general-purpose processor that executes software (programs) and functions as various processing units, circuits such as FPGAs (Field Programmable Gate Arrays), etc. Programmable Logic Device (PLD) which is a processor whose configuration can be changed, ASIC (Application Specific Integrated Circuit) etc. Circuits, etc. are included.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units, circuits such as FPGAs (Field Programmable Gate Arrays), etc.
  • Programmable Logic Device PLD which is a processor whose configuration can be changed, ASIC (Application Specific Integrated Circuit) etc. Circuits, etc. are included.
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). ).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

プロセッサは、患者の医用画像に関する１以上の解析結果を取得し、解析結果以外の患者の診断に関する診断情報を取得し、解析結果および診断情報に基づいて、患者に関する医療文章を生成する。

Description

情報処理装置、方法およびプログラム
　本開示は、情報処理装置、方法およびプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
　また、ディープラーニング等により学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の異常陰影の形状、濃度、位置および大きさ等の性状を検出することが行われている。このようにして得られる解析結果は、患者名、性別、年齢および医用画像を取得した撮影装置等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
　一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数は増大している。そこで、読影医の読影業務の負担を軽減するために、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、読影医が入力した医用画像に基づく所見を表すキーワードおよび医用画像の解析結果に含まれる、異常陰影の性状を表す情報に基づいて、読影レポートに記載するための文章を生成する手法が開示されている（特開２０１９－１５３２５０号公報参照）。特開２０１９－１５３２５０号公報に記載された手法では、入力された性状を表す文字から医療文章を生成するように機械学習が行われたリカレントニューラルネットワーク等の学習モデルを用いて、読影レポートに記載するための医療文章が生成される。
　画像診断を行う際には、患者の画像の取得と併せて血液検査等の他の検査が行われることが多い。また、画像診断には、ＣＴ画像等の１種類の画像のみならず、ＭＲＩ画像等を含む複数種類の画像が使用される場合もある。このため、特開２０１９－１５３２５０号公報に記載された手法のように、医用画像の解析結果および読影医が入力した所見のみを用いたのでは、学習モデルによって生成される文章は、必ずしも患者の状況を正確に表す内容の医療文章とはならない。
　本開示は上記事情に鑑みなされたものであり、患者の状況を正確に表す内容の医療文章を生成できるようにすることを目的とする。
　本開示による情報処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、患者の医用画像に関する１以上の解析結果を取得し、
　解析結果以外の患者の診断に関する診断情報を取得し、
　解析結果および診断情報に基づいて、患者に関する医療文章を生成する。
　なお、本開示による情報処理装置においては、プロセッサは、診断情報に基づいて解析結果を取捨選択し、
　取捨選択された解析結果を含む医療文章を生成するものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、診断情報に応じた優先度で解析結果を含む医療文章を生成するものであってもよい。
　また、本開示による情報処理装置においては、プロセッサは、診断情報および解析結果を含む医療文章を生成するものであってもよい。
　また、本開示による情報処理装置においては、診断情報は、医用画像に含まれる病変に関して確定している第１の情報を含むものであってもよい。
　この場合、第１の情報は、病変の測定結果、病変についての確定診断結果、および患者の既往歴の少なくとも１つを含むものであってもよい。
　また、本開示による情報処理装置においては、診断情報は、医用画像に含まれる病変に関する情報以外の確定している第２の情報を含むものであってもよい。
　この場合、第２の情報は、医用画像を取得した検査の目的および医用画像に関する画像条件の少なくとも１つを含むものであってもよい。
　また、本開示による情報処理装置においては、診断情報は、医用画像に対する読影医による判断結果を表す第３の情報を含むものであってもよい。
　この場合、第３の情報は、医用画像に関する未確定の診断結果、医用画像に含まれる病変と病変以外の組織との関連性、および読影医による解析結果の選択結果の少なくとも１つを含むものであってもよい。
　また、本開示による情報処理装置においては、診断情報は、患者に対して行った検査結果を表す第４の情報を含むものであってもよい。
　この場合、第４の情報は、患者に対する医用画像を取得する撮影装置とは異なる診断機器での検査結果、医用画像とは異なる種類の医用画像の解析結果および患者の生体情報の検査結果の少なくとも１つを含むものであってもよい。
　本開示による情報処理方法は、少なくとも１つのプロセッサを備え、プロセッサは、患者の医用画像に関する１以上の解析結果を取得し、
　解析結果以外の患者の診断に関する診断情報を取得し、
　解析結果および診断情報に基づいて、患者に関する医療文章を生成する。
　なお、本開示の情報処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、患者の状況を正確に表す内容の医療文章を生成できる。
第１の実施形態による情報処理装置を適用した医療情報システムの概略構成の一例を示す図 第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図 第１の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図 解析結果の例を示す図 リカレントニューラルネットワークを模式的に示す図 診断情報および解析結果の例を示す図 診断情報のラベルの例を示す図 診断情報のラベルの例を示す図 診断情報のラベルの例を示す図 診断情報のラベルの例を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図 第２の実施形態において解析情報を取捨選択するためのルールを定めたテーブルの例を示す図
　以下、図面を参照して本開示の実施形態について説明する。まず、第１の実施形態による情報処理装置を適用した医療情報システム１の構成について説明する。
　図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体である患者の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
　図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７およびレポートＤＢ８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
　撮影装置２は、患者の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
　読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、第１の実施形態に係る情報処理装置２０（詳細は後述）を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に関する所見文の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
　診療ＷＳ４は、例えば診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
　また、本実施形態においては、画像サーバ５には、患者の診断に関連する診断情報が保存される。診断情報については後述する。
　画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、患者を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
　レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、および病変の性状等の情報を含んでいてもよい。
　また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　次に、第１の実施形態に係る情報処理装置２０について説明する。まず、図２を参照して、第１の実施形態に係る情報処理装置２０のハードウェア構成を説明する。図２に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、情報処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードおよびマウス等のポインティングデバイス等からなる入力デバイス１５、並びにネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、情報処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から情報処理プログラム１２を読み出してメモリ１６に展開し、展開した情報処理プログラム１２を実行する。
　次いで、第１の実施形態による情報処理装置の機能的な構成を説明する。図３は、第１の実施形態による情報処理装置の機能的な構成を示す図である。図３に示すように情報処理装置２０は、情報取得部２１、解析部２２、文章生成部２３および表示制御部２４を備える。そして、ＣＰＵ１１が、情報処理プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２１、解析部２２、文章生成部２３および表示制御部２４として機能する。
　情報取得部２１は、画像の一例としての医用画像Ｇ０を、ネットワークＩ／Ｆ１７を介して画像サーバ５から取得する。第１の実施形態においては、一例として、肺のＣＴ画像を医用画像Ｇ０として用いる。また、情報取得部２１は、医用画像Ｇ０を取得した患者の診断に関連する診断情報を、ネットワークＩ／Ｆ１７を介して画像サーバ５から取得する。診断情報については後述する。
　解析部２２は、医用画像Ｇ０を解析することにより、医用画像Ｇ０の解析結果を導出する。このために、画像解析部２２は、医用画像Ｇ０に含まれる病変等の異常陰影を検出し、検出した異常陰影についての性状を、予め定められた複数の性状項目のそれぞれについて判別するように機械学習がなされた学習モデル２２Ａを有する。
　ここで、肺の異常陰影について特定される性状項目の例として、異常陰影の場所、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、石灰化の有無、空洞の有無、胸膜陥入の有無、胸膜接触の有無および胸膜浸潤の有無等が挙げられる。なお、性状項目の例はこれらに限定されるものではない。
　第１の実施形態においては、学習モデル２２Ａは、医用画像における異常陰影の性状を判別するように、教師データを用いてディープラーニング（深層学習）等により機械学習がなされた畳み込みニューラルネットワークからなる。
　学習モデル２２Ａは、例えば、異常陰影を含む医用画像と、異常陰影の性状を表す性状項目との組み合わせを教師データとして用いた機械学習によって構築される。学習モデル２２Ａは、医用画像が入力されると、医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力する。性状スコアは、各性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば０以上１以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。
　例えば異常陰影の性状項目の１つである「スピキュラの有無」についての性状スコアが予め定められたしきい値（例えば０．５）以上である場合、異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り（陽性）」であることを特定し、「スピキュラの有無」についての性状スコアがしきい値未満である場合、異常陰影のスピキュラの有無についての性状が「スピキュラ無し（陰性）」であることを特定する。性状判定に用いるしきい値の０．５は例示に過ぎず、性状項目毎に適切な値に設定される。なお、性状スコアがしきい値付近（例えば０．４以上０．６以下）の場合、擬陽性であることを特定するようにしてもよい。
　図４は解析部２２が導出した解析結果の例を示す図である。図４に示すように解析部２２が特定した性状情報においては、異常陰影の場所、吸収値の種類、スピキュラ、石灰化、空洞および胸膜陥入の性状項目を含み、そのそれぞれについての性状は、「左上区」、「充実型」、「スピキュラ有」、「石灰化有」、「空洞有」、「胸膜陥入無」となっている。図４においては、「有り」すなわち陽性の場合は＋、「無し」すなわち陰性の場合は－を付与している。
　なお、学習モデル２２Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。
　また、医用画像Ｇ０から異常陰影を検出する学習モデルと、異常陰影の性状を判別する学習モデルとを別々に構築するようにしてもよい。
　文章生成部２３は、解析部２２が導出した解析結果および情報取得部２１が取得した診断情報に基づいて、患者に関する医療文章を生成する。本実施形態においては、文章生成部２３は、入力された情報から読影レポートに記載する所見文を医療文章として生成するように、機械学習によって構築された学習モデル２３Ａからなる。学習モデル２３Ａとしては、例えば米国特許第１０１８１０９８号明細書または同１０２６８６７１号明細書等に記載されたリカレントニューラルネットワーク等のニューラルネットワークを用いることができる。本実施形態においては、教師有り学習によってリカレントニューラルネットワークを学習させることにより、学習モデル２３Ａが構築される。この際に使用される教師データは、各種解析結果および各種診断情報の組み合わせと、解析結果および診断情報から生成されるべき各種教師用文章とが対応づけられたデータである。
　図５はリカレントニューラルネットワークを模式的に示す図である。図５に示すように、リカレントニューラルネットワーク４０は、エンコーダ４１およびデコーダ４２からなる。エンコーダ４１には、解析部２２が導出した解析結果および診断情報のラベルが入力される。エンコーダ４１においては、解析結果および診断情報のラベルの１－ｈｏｔ表現が入力される。１－ｈｏｔ表現とは、１つの成分が１、残りの成分が０であるベクトルにより各ラベルを表したものである。例えば、１－ｈｏｔ表現が３つの要素からなるベクトルである場合、（１，０，０）、（０，１，０）、（０，０，１）のそれぞれが異なる３つのラベルを表すものとなる。
　エンコーダ４１は各ラベルの１－ｈｏｔ表現を埋め込み行列により変換して各ラベルのベクトル表現を導出する。埋め込み行列の各要素が学習パラメータである。学習パラメータは、リカレントニューラルネットワーク４０の機械学習により決定される。
　デコーダ４２は、入力層、中間層および出力層からなる複数のネットワークが接続されることにより構成される。各ネットワークにおいては、エンコーダ４１が出力したベクトル表現ｘｔおよび前段のネットワークの出力ｈｔが入力される。中間層では下記の式（１）に示す演算が行われる。式（１）において、Ｗｈ、Ｗｘ、ｂは学習パラメータであり、学習により決定される。ｔａｎｈは活性化関数である。なお、活性化関数はｔａｎｈに限定されるものではなく、シグモイド関数等を用いてもよい。
　ｈｔ＝ｔａｎｈ（ｈｔ－１・Ｗｈ＋ｘｔ・Ｗｘ＋ｂ）　　（１）
　ここで、教師データの解析結果および診断情報が、「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」であったとする。「左肺胸膜下」は肺における場所を表す用語であるため、場所を表すラベルが付与される。「４．２ｃｍ」は径の大きさであるため、サイズを表すラベルが付与される。「スピキュラ＋」はスピキュラが陽性であることを表すラベルが付与され、「腫瘤」は医学的に小さな塊を表すラベルが付与される。エンコーダ４１にはこれらのラベルが入力され、各ラベルのベクトル表現が出力される。
　デコーダ４２には、各ニューラルネットワークの入力層に前段の出力およびベクトル表現が入力され、「［場所］に［スピキュラ］を有する［サイズ］径の［小さな塊]が認められます。」の所見文が出力される。文章生成部２３は学習モデル２３Ａが出力した所見文に含まれるラベルに対して、解析結果および診断情報の情報を埋め込むことにより、「左肺胸膜下にスピキュラを有する４．２ｃｍ径の腫瘤が認められます。」を生成する。
　ここで、本実施形態において使用される診断情報について説明する。診断情報は、解析部２２が導出した解析結果以外の患者の診断に関する情報である。具体的には、医用画像に含まれる病変に関して確定している情報（第１の情報Ｄ１とする）、医用画像に含まれる病変に関する情報以外の確定している情報（第２の情報Ｄ２とする）、医用画像に対する読影医による判断結果を表す情報（第３の情報Ｄ３とする）、および患者に対して行った検査結果を表す情報（第４の情報Ｄ４とする）が診断情報として挙げられる。
　医用画像Ｇ０に含まれる病変に関して確定している第１の情報Ｄ１は、例えば、医用画像Ｇ０に含まれる病変のサイズ（縦横の長さあるいは面積）のような測定情報、病変に対する確定診断結果、医用画像Ｇ０を取得した患者の既往歴、および患者に対して行った治療内容等が挙げられる。病変のサイズに関して、同一患者について過去に取得した医用画像に含まれる病変のサイズからの経時的な変化を表す情報を第１の情報Ｄ１として用いることができる。変化を表す情報とは、病変のサイズが増大しているか、縮小しているか、変化がないかを表す情報である。病変に関する確定診断結果とは、病変が癌であるおよび良性の腫瘍である等の、医師により確定された診断結果である。患者の既往歴は、医用画像Ｇ０を取得した患者が過去に罹った病気の履歴である。患者に対して行った治療内容は、患者に対して行った手術の内容、使用した薬の種類、薬の量および投薬期間等が挙げられる。
　第１の情報Ｄ１を用いての所見文の生成に関して、診断情報を直接的に所見文中に含める（例えば、長径１０ｍｍ、原発性肺がん、または大腸癌の既往歴がある）ようにしてもよい。この場合、診断情報には第１の情報Ｄ１としてサイズ、悪性の確定診断および既往歴のラベルを含み、そのラベルが記述された教師用文章を含む教師データを用いてニューラルネットワークを学習することにより、学習モデル２３Ａを構築すればよい。
　また、例えば長径が１０ｍｍ未満の結節は、石灰化以外の内部性状の評価が困難であるため、解析結果として内部の陰性所見（気管支透亮像、空洞および脂肪等）を含まないように所見文を生成するようにしてもよい。この場合、診断情報には第１の情報Ｄ１として例えばサイズのラベルを含み、解析結果には「結節、気管支透亮像－、空洞－」のラベルを含み、これらのラベルのうち気管支透亮像および空洞のラベルの記述を含まない教師用文章を含む教師データを用いてリカレントニューラルネットワーク４０を学習することにより、学習モデル２３Ａを構築すればよい。
　また、診断結果として原発性肺がんが確定していれば、画像的な性状（スピキュラがある等）よりも、経時的なサイズの変化（増大または縮小）が重要となる。このため、所見文には、性状を表す解析結果は記載せずに経時的なサイズの変化のみを記載したり、確定診断と矛盾する解析結果（例えば原発性肺がんの確定診断がある場合は良性を示唆する所見）は記載しないようにしたりしてもよい。この場合、診断情報には第１の情報Ｄ１として、原発性肺がんのような悪性の確定診断のラベルおよび「増大」のラベルを含み、解析結果として陽性の性状項目のラベルを含み、これらのラベルのうち悪性の確定診断が増大していることのラベルの記述を含むが、陽性の性状項目のラベルの記述を含まない教師用文章を含む教師データを用いてリカレントニューラルネットワーク４０を学習することにより、学習モデル２３Ａを構築すればよい。
　医用画像Ｇ０に含まれる病変に関する情報以外の確定している第２の情報Ｄ２は、医用画像Ｇ０に関して病変に関連しない情報であり、具体的には医用画像Ｇ０を取得する検査目的および医用画像Ｇ０を取得した際の画像条件が挙げられる。医用画像Ｇ０の取得は、患者の状態を判断するための検査の一環として行われ、精密検査あるいは経過観察のように種々の検査目的がある。また、医用画像Ｇ０を取得する際には、各種モダリティにおいて対象とする臓器を見やすくするために、様々な条件（ウィンドウレベル、ウィンドウ幅およびスライス間隔）が用意されている。画像条件とは、そのようなウィンドウレベル、ウィンドウ幅およびスライス間隔等の医用画像Ｇ０を生成する際の条件である。
　第２の情報Ｄ２を用いての所見文の生成に関して、検査目的が精密検査か経過観察かによって、所見文に記載すべき内容が異なる。例えば、精密検査であれば細かな内容を所見文に記載し、経過観察であれば経時的なサイズの変化（増大または縮小）を記載するように所見文を生成すればよい。この場合、例えば診断情報には第２の情報Ｄ２として検査目的が精密検査であることのラベルを含み、解析結果に含まれる全ての性状項目のラベルが記述された教師用文章を含む教師データ、あるいは診断情報には第２の情報Ｄ２として検査目的が経過観察であることのラベルを含み、解析結果に含まれる性状ラベルのうちのサイズの変化のラベルのみが記述された教師用文章を含む教師データを用いてリカレントニューラルネットワーク４０を学習することにより、学習モデル２３Ａを構築すればよい。
　また、ＣＴ画像のスライス厚が５ｍｍの場合、部分体積効果によって画素値が平均化されてコントラストが低くなり、内部性状および辺縁性状の評価が困難になる。このような場合に末尾が断定的な所見文を生成すると、作成者が違和感を感じる所見文になる。このため、評価が困難となるような解析結果を画像条件に応じて記載するまたはしないようにしたり、確信度を下げるまたは上げる記載にしたり（末尾を「認める」を「疑う」とする）、ぼかすまたは断定する表現（すりガラス結節を淡い結節、結節を濃度上昇域とする）となるように所見文を生成すればよい。この場合、診断情報には第２の情報Ｄ２としてＣＴ画像のスライス厚が５ｍｍであることのラベルを含み、解析結果に含まれる性状項目のラベルのうちの陽性の性状項目のラベルを含み、かつ陽性の性状項目のラベルの末尾に「～認める。」ではなく「～疑う。」と記述された教師用文章を含む教師データを用いてリカレントニューラルネットワーク４０を学習することにより、学習モデル２３Ａを構築すればよい。
　医用画像に対する読影医による判断結果を表す第３の情報Ｄ３は、医用画像Ｇ０を読影した読影医による、医用画像Ｇ０に含まれる病変に対する読影の結果を表す情報である。具体的には、医用画像Ｇ０に対する未確定の診断結果、病変と病変以外の組織との関連性、および複数の解析結果に対する読影医の選択結果が挙げられる。
　第３の情報Ｄ３を用いての所見文の生成に関して、第３の情報Ｄ３が未確定の診断結果あるいは病変と病変以外の組織との関連性の場合、第３の情報Ｄ３を直接的に所見文中に含めるように所見文を生成すればよい。例えば、原発性肺がんを疑う、縦隔浸潤を疑う、または肺内転移を疑う等のように記載された所見文を生成すればよい。この場合、診断情報には第３の情報Ｄ３として例えば「縦隔浸潤を疑う」のラベルを含み、「縦隔浸潤を疑う」のラベルが記述された教師用文章を含む教師データを用いてリカレントニューラルネットワーク４０を学習することにより、学習モデル２３Ａを構築すればよい。
　また、複数の解析結果に対する読影医の選択結果に関して、読影医が選択した性状項目のみを含む所見文を生成するようにすればよい。読影医が選択しなかった性状項目については、所見文に記載しないようにすればよいが、確信度を下げる、重要度を下げる、あるいはぼかす記載の仕方になるように所見文を生成してもよい。
　患者に対して行った検査結果を表す第４の情報Ｄ４は、医用画像Ｇ０を取得した撮影装置とは異なる撮影装置により取得した医用画像に対する読影結果、および血液検査等の画像を用いた検査以外の検査結果が挙げられる。
　第４の情報Ｄ４を用いての所見文の生成に関して、肺の疾患の１つである結核腫であるとの鑑別は、画像診断だけでなく血液検査も組み合わせて行われる。このため、血液検査結果のような診断情報は直接所見文中に記載するようにすればよい。例えば、血液検査結果が「クオンティフェロン陰性」であり、血液検査結果に基づいて疑われる症状の情報が「非結核性抗酸菌症」である場合、「クオンティフェロン陰性なので非結核性抗酸菌症を疑います。」のように所見文を記載すればよい。この場合、診断情報には第４の情報Ｄ４として例えば「血液検査」のラベルおよび疑われる症状のラベルを含み、これらのラベルが記述された教師用文章を含む教師データを用いてリカレントニューラルネットワーク４０を学習することにより、学習モデル２３Ａを構築すればよい。この場合、解析結果に含まれる性状項目のラベルを含む所見文を生成するように学習モデル２３Ａを構築してもよく、性状項目のラベルを含まない所見文を生成するように学習モデル２３Ａを構築してもよい。
　また、ＣＴ装置以外の造影ＣＴ装置あるいはＰＥＴ－ＣＴ装置等他の診断機器を用いての検査結果および画像解析結果を診断情報とする場合も、同様に診断情報を所見文中に記載するようにすればよい。例えば、検査結果が「ｍＰＥＴでのＦＤＧ集積が低い」であり、検査結果に基づいて疑われる症状の情報が、「円形無気肺または器質化肺炎」である場合、「ｍＰＥＴでのＦＤＧ集積も低く、円形無気肺や器質化肺炎を疑います。」のように所見文を記載すればよい。また、診断情報に関連する解析結果を所見文に記載したり、患者情報に関連しない解析結果を所見文に記載しないようにしたりしてもよい。また、解析結果が第４の情報Ｄ４に関連するか否かに応じて、第４の情報Ｄ４に関連する解析結果については、所見文に記載するまたは記載しない、確信度を下げるまたは上げる、重要度を下げるまたは上げる、あるいはぼかすまたは断定する等の記載の仕方になるように所見文を生成してもよい。
　以下、診断情報および解析結果の組み合わせと、文章生成部２３が生成する所見文の例について説明する。図６は診断情報および解析結果の例を示す図である。なお、図６に示す診断情報は第１の情報Ｄ１である。図６に示すように、第１の情報Ｄ１は、病変の種類が「腫瘤」、径が「最大径４６ｍｍ」、悪性の確定診断が「原発性肺がん」、治療内容が「イレッサ治療後」、サイズの変化が「増大」である。これらのラベルは、それぞれNodule、Diameter、Malignant、TreatedおよびProgressである。
　また、解析結果は、病変の肺における区域が「左上区」、吸収値の種類が充実型、スピキュラ有、石灰化有、空洞無および胸膜接触有である。これらのラベルは、それぞれSegment、Solid、Spiculated＋、Calcification＋、Cavity－、PleuralContact+である。
　図６に示す診断情報には原発性肺がんという悪性の確定診断が含まれる。この場合、スピキュラが有る等の内部性状の解析結果よりも、経時的な病変のサイズ変化が重要となる。このため、内部性状を表す解析結果は含まず、経時的なサイズ変化のみを含むように所見文を生成したり、確定診断と矛盾する解析結果（例えば原発性肺がんの確定診断がある場合は良性を示唆する所見）は含まないように所見文を生成したりするように学習モデル２３Ａを構築する。
　例えば、図６に示す診断情報および解析結果のラベルと、「[Segment]の[Malignant]に対して[Treated]です。[Nodule]は[Diameter]にさらに増大しています。」の教師用文章とを含む教師データを用いて、リカレントニューラルネットワークを学習させることにより、学習モデル２３Ａを構築する。構築された学習モデル２３Ａにおいては、診断情報および解析結果が入力されると、診断情報に基づいて解析結果が取捨選択されて、所見文が生成される。具体的には、図６に示す診断情報および解析結果が入力されると、「[Segment]の[Malignant]に対して[Treated]です。[Nodule]は[Diameter]にさらに増大しています。」の所見文を出力するように学習が行われて、学習モデル２３Ａが構築される。文章生成部２３は、学習モデル２３Ａが出力した所見文のラベルに対して、診断情報および解析結果を埋め込むことにより、「左上区の原発性肺がんに対しイレッサ治療後です。腫瘤は最大径４６ｍｍにさらに増大しています。」の所見文を生成する。
　なお、上記第２の情報Ｄ２、第３の情報Ｄ３および第４の情報Ｄ４において説明した、所見文において解析結果の確信度を下げるためには、非断定的な表現で記載された所見文を生成すればよい。逆に解析結果の確信度を上げるためには、断定的な表現で記載された所見文を生成すればよい。非断定的な表現としては例えば「～が疑われる。」であり、断定的な表現としては例えば「～認める。」である。このように、生成される所見文において、解析結果の確信度を下げたり上げたりするためには、診断情報に応じて、解析結果の確信度を上げた記載となる教師用文章、あるいは確信度を下げた記載となる教師用文章を用いてリカレントニューラルネットワーク４０を学習することにより学習モデル２３Ａを構築すればよい。
　例えば、図７に示すように、診断情報のラベルがNodule［腫瘤］、Diameter［長径４８ｍｍ］であり、解析結果のラベルがSegment［右下葉Ｓ６］、Solid［充実型］、IrregularForm［不整形］、Spiculated+［スピキュラ有］、Lobulated+［分葉状有］、Airbronchogram+［気管支透亮像有］、Cavity+［空洞有］、Calcification-［石灰化無］、PleuralContact+［胸膜接触有］であるとする。なお、括弧内は各ラベルの具体的な内容を表す。この場合、文章生成部２３により生成される所見文は、「右下葉Ｓ６に胸膜と接する長径４８ｍｍの不整形の充実型腫瘤を認めます。分葉状でスピキュラを伴っています。内部に気管支透亮像、空洞を認めます。石灰化は認めません。」である。生成された所見文においては、有無がはっきりしている性状項目については、文章の末尾が「～認めます。」、「～認めません。」、「伴っています。」となっている。
　一方、図８に示すように、診断情報のラベルがNodule［腫瘤]、Diameter［長径４８ｍｍ]であり、解析結果のラベルがSegment［右下葉Ｓ６]、Solid［充実型]、IrregularForm［不整形]、Spiculated+［スピキュラ有]、Lobulated+［分葉状有]、Airbronchogram?［気管支透亮像不明]、Cavity?［空洞不明]、Calcification-［石灰化無]、PleuralContact+［胸膜接触有]であるとする。「？」が付与された性状項目は擬陽性の解析結果を表す。
　この場合、文章生成部２３により生成される所見文は、「右下葉Ｓ６に胸膜と接する長径４８ｍｍの不整形の充実型腫瘤を認めます。分葉状でスピキュラを伴っています。内部に低吸収域を認め、気管支透亮像および空洞を疑います。石灰化は認めません。」となる。生成された所見文においては、有無がはっきりしている性状項目については、文章の末尾が「～認めます。」、「～認めません。」、「伴っています。」となっているが、有無が不明の性状、すなわち擬陽性の性状項目については文末が「～疑います。」となっている。
　このように生成される文章の確信度を変更するためには、「Airbronchogram?［気管支透亮像不明]」、および「Cavity?［空洞不明]」の１－ｈｏｔ表現を予め定義しておき、「Airbronchogram?［気管支透亮像不明]」、および「Cavity?［空洞不明]」のラベルを含み、末尾が「～疑います。」となる教師用文章を含む教師データを用いてニューラルネットワークを学習して学習モデル２３Ａを構築することにより、ラベルに応じて確信度が異なる所見文を生成することが可能となる。
　また、図５に示すデコーダ４２に入力される気管支透亮像および空洞のベクトル表現ｘｔに対して、確信度に応じた表現、すなわち「疑われる」の表現ベクトルを加えることにより、末尾が「疑われる」となる所見文を生成することが可能となる。あるいは、「気管支透亮像」および「空洞」の１－ｈｏｔ表現の１となる成分を確信度に応じて変更したベクトル表現を導出することによっても、末尾が「疑われる」となる所見文を生成することが可能となる。この場合、例えば「気管支透亮像」の１－ｈｏｔ表現が（１，０，０）である場合に、確信度に応じて１－ｈｏｔ表現を（０．５，０，０）のように変更すればよい。
　これにより、有無がはっきりしている性状項目については、高い確信度の末尾となる文章を生成するが、有無が不明確な性状項目については確信度が低い末尾となる文章を生成する学習モデル２３Ａが構築される。
　一方、重要度については、診断情報および解析結果に含まれる各項目に対して、重要度に応じた順番が付与される。本実施形態においては、診断情報および解析結果の各項目に対する重要度を規定したテーブルがストレージ１３に保存されるものとする。文章生成部２３はストレージ１３に保存されたテーブルを参照して、診断情報および解析結果の各項目に対して重要度に応じた順番を付与する。そして、性状が陰性であるか陽性であるか、さらには診断情報に応じて重要度を変更し、重要度順に予め定められた数の解析結果を含む所見文を生成するようにリカレントニューラルネットワーク４０を学習して学習モデル２３Ａを構築する。
　例えば、石灰化は一般的に良性の性状である。また、陰性の性状は陽性の性状項目に対して重要度は高くない。このため、解析結果に含まれる石灰化および陰性の性状項目の重要度を低くし、陽性の性状項目の重要度を高くし、重要度が高い予め定められた数の性状項目を用いて所見文を生成するように学習モデル２３Ａを構築する。また、診断情報に含まれる確定された診断結果によっては、特定の性状項目についての陰性の性状項目を所見文に記載した方がよい場合がある。この場合、診断情報に応じて特定の性状が陰性であっても重要度を高くして所見文を生成するように学習モデル２３Ａを構築する。
　例えば、図９に示すように、診断情報のラベルがNodule［腫瘤]、Diameter［長径２４ｍｍ]であり、解析結果のラベルがSegment［右下葉Ｓ６]、Solid［充実型]、Lobulated+［分葉状有]、Airbronchogram-［気管支透亮像無]、Cavity-［空洞無]、Calcification-［石灰化無]、PleuralContact+［胸膜接触有]であるとする。また、図９に示すように、診断情報および解析結果の各項目に対して、重要度順に番号が付与されたものとする。本実施形態においては、診断情報および解析結果について、重要度が高い上位ｎ個（例えば５個）のラベルを含むように学習モデル２３Ａを構築するものとする。
　この場合、図９に示すように重要度が付与された診断情報および解析結果を学習モデル２３Ａに入力すると、「［Segment]に［PleuralContact+]［Diameter]の［Lobulated+]の［Nodule]を認めます。」の所見文が出力される。文章生成部２３は、学習モデル２３Ａが出力した所見文に含まれるラベルに診断情報および解析結果を埋め込むことにより、「右下葉Ｓ６に胸膜と接する長径２４ｍｍの分葉状の結節を認めます。」の所見文を生成する。
　また、図１０に示すように、図９に示す診断情報および解析結果に加えて、診断情報に第１の情報Ｄ１の既往歴として、HistoryOsteosarcoma（骨肉腫既往歴有）が加えられたとする。骨肉腫の既往歴がある場合、良性に類似する石灰化が形成されることがある。このため、骨肉腫の既往歴がある場合、所見文を読んだ際に医用画像Ｇ０に含まれる骨肉腫の再発および転移を医師に確実に確認させる必要がある。したがって、骨肉腫の既往歴が診断情報に含まれる場合、「石灰化無」のラベルの重要度を上げて所見文を生成するように、学習モデル２３Ａが構築される。これにより、例えば学習モデル２３Ａにおいて、「石灰化無」の重要度が４に変更され、図９において重要度が４～８であった性状項目の重要度が５～９に変更されて所見文が生成される。これにより、文章生成部２３が生成する所見文は、「右下葉Ｓ６に長径２４ｍｍの分葉状の結節を認めます。骨肉腫を認めます。石灰化は認めません。」となる。なお、骨肉腫の既往歴があることを所見文に含まれるように学習モデル２３Ａを構築するようにしてもよい。
　表示制御部２４は、文章生成部２３が生成した医療文章をディスプレイ１４に表示する。
　次いで、第１の実施形態において行われる処理について説明する。図１１は第１の実施形態において行われる処理を示すフローチャートである。処理開始の指示がなされると、情報取得部２１が、所見文を生成する対象となる医用画像Ｇ０および診断情報を取得する（ステップＳＴ１）。次いで、解析部２２が医用画像Ｇ０を解析することにより、医用画像Ｇ０の解析結果を導出する（ステップＳＴ２）。そして文章生成部２３が、解析部２２が導出した解析結果および診断情報に基づいて、患者に関する所見文を医療文章として生成する（ステップＳＴ３）。さらに、表示制御部２４が医療文章をディスプレイ１４に表示し（ステップＳＴ４）、処理を終了する。
　このように、本実施形態においては、解析結果および診断情報に基づいて、患者に関する医療文章を生成するようにした。このため、生成された医療文章は解析結果のみならず、患者についての診断情報が反映されたものとなる。このため、本実施形態によれば、患者の状況を正確に表す内容の文章を生成できる。
　また、診断情報に基づいて取捨選択された解析結果を含む医療文章を生成することにより、診断結果に応じた必要な解析結果を含み、不要な解析結果を含まない医療文章を生成することができる。
　また、診断情報に応じた優先度で解析結果を含む医療文章を生成することにより、診断情報を反映させた優先度で解析結果が記述された医療文章を生成することができる。
　また、解析結果および診断情報を含む医療文章を生成することにより、解析結果および診断情報の双方を参照可能な医療文章を生成することができる。
　なお、上記実施形態においては、文章生成部２３の学習モデル２３Ａに診断情報および解析結果を入力して医療文章を生成しているが、これに限定されるものではない。文章生成部２３において、診断情報に応じて解析結果を取捨選択し、取捨選択された解析結果を用いて医療文章を生成するようにしてもよい。以下、これを第２の実施形態として説明する。図１２は第２の実施形態による情報処理装置の機能的な構成を示す図である。なお、図１２において図３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１２に示すように、第２の実施形態による情報処理装置は、文章生成部２３が、選択部２５および学習モデル２３Ｂを備えた点が上記実施形態と異なる。
　選択部２５は、診断情報に基づいて、解析部２２が導出した解析結果を取捨選択する。このために、第２の実施形態においては、ストレージ１３に診断情報に応じた解析結果の取捨選択をするためのルールを定めたテーブルが保存されている。図１３はルールを定めたテーブルの例を示す図である。図１３に示すように、テーブルＴ１は、解析結果の各項目を横方向に、診断情報に含まれる各項目を縦方向に規定して、診断情報および解析結果の各項目を学習モデル２３Ｂに入力するか否かの取捨選択を規定する。テーブルＴ１において診断情報に対して選択しない解析結果の項目は×が付与され、選択する項目は○が付与されている。
　なお、テーブルＴ１においては、解析結果として、吸収値（充実型およびスリガラス型）、辺縁（スピキュラの有無）、内部性状（石灰化の有無、空洞の有無）、および周囲（胸膜陥入の有無）が規定されている。また、第２の実施形態においては、診断情報は図５と同様に、区域、径、悪性の確定診断、治療内容およびサイズの変化が使用されるが、テーブルＴ１の列においては、説明を簡単なものとするために、径および悪性の確定診断のみが規定されている。また、径が５ｍｍ未満（＜５ｍｍ）と５ｍｍ以上１０ｍｍ未満（＜１０ｍｍ）とに区分されている。
　テーブルＴ１において、小さい異常陰影は、ＣＴ画像のスライス間隔が５ｍｍであると、部分体積効果により細かな構造を確認することが難くなる。このため、解析結果に含まれる吸収値、辺縁、内部性状のうち、空洞の有無および周囲の項目は解析結果から除去する。なお、石灰化は画像において輝度が高く目立つため、石灰化有の項目は解析結果に残す。また、径が５ｍｍ以上であるものの１０ｍｍ未満の場合には、異常陰影の内部性状の確認が困難なため、陰性の内部性状は解析結果から除去する。しかしながら、内部性状のうちの石灰化については、陽性および陰性のいずれの場合も解析結果に残す。また、悪性の確定診断を含む場合、スピキュラが有る等の内部性状の解析結果よりも、経時的な病変のサイズ変化が重要となる。このため、吸収値、辺縁、内部性状、および周囲の項目は解析結果から除去する。
　なお、テーブルＴ１において径と悪性の確定診断とで解析結果に残すか否かの判定が重複する場合には、解析結果から削除する方が優先されて解析結果が取捨選択される。このため、径が５ｍｍ以上１０ｍｍ未満で悪性の確定診断が診断情報に含まれる場合、選択部２５はテーブルＴ１を参照することにより、実質的に悪性の確定診断にしたがって解析結果の取捨選択を行う。
　また、第２の実施形態における学習モデル２３Ｂは、取捨選択された後の各種解析結果および各種診断情報の組み合わせと、解析結果および診断情報から生成されるべき教師用文章とが対応づけられた教師データを用いて、上記学習モデル２３Ａと同様にリカレントニューラルネットワーク等のニューラルネットワークを学習することにより構築される。第１の実施形態における学習モデル２３Ａは入力された解析結果を取捨選択して所見文を生成するが、第２の実施形態においては学習モデル２３Ｂに入力される解析結果はすでに取捨選択がなされている。このため、学習モデル２３Ｂは入力された解析結果および診断情報を用いて所見文を生成する。
　例えば、第２の実施形態において、図５に示す診断情報および解析結果を情報取得部２１が取得した場合、選択部２５はテーブルＴ１を参照して、解析結果を取捨選択する。図５に示す診断情報は、悪性の確定診断を含むため、選択部２５は解析結果から吸収値、辺縁、内部性状、および周囲の項目は解析結果から除去し、診断情報および取捨選択後の解析結果を学習モデル２３Ｂに入力する。具体的には、選択部２５は、腫瘤のラベルであるNodule、最大径４６ｍｍのラベルであるDiameter、左上区のラベルであるSegment、原発性肺がんのラベルであるMalignant、イレッサ治療後のラベルであるTreated、および増大のラベルであるProgressを学習モデル２３Ｂに入力する。そして、学習モデル２３Ｂは、「[Segment]の[Malignant]に対して[Treated]です。[Nodule]は[Diameter]にさらに増大しています。」の所見文を出力する。文章生成部２３は、学習モデル２３Ａが出力した所見文に含まれるラベルに、診断情報および解析結果を埋め込むことにより、「左上区の原発性肺がんに対しイレッサ治療後です。腫瘤は最大径４６ｍｍにさらに増大しています。」の所見文を生成する。
　なお、上記第２の実施形態においては、解析部２２の解析結果を、各性状項目についての性状スコアそのものとしてもよい。この場合、選択部２５が、性状スコアをしきい値と比較して性状項目が陽性か陰性かを判定するが、そのしきい値を診断情報に応じて変更するようにしてもよい。例えば、診断情報および解析結果が図１０に示すものである場合、石灰化を判定するためのしきい値を小さくして、石灰化を有と判定するようにする。この場合、石灰化有を解析結果に残すようにテーブルＴ１を導出しておけば、骨肉腫の既往歴がある場合に石灰化有の内容を含む所見文が生成されることとなる。このため、所見文を見た読影医は、石灰化を重視して医用画像の読影を行うようになる。
　また、上記各実施形態においては、医療文書として読影レポートに記載する所見文を生成する場合に本開示の技術を適用しているが、これに限定されるものではない。例えば、電子カルテおよび診断レポート等の読影レポート以外の医療文書、並びにその他の画像に関する文字列を含む文書を作成する場合に、本開示の技術を適用してもよい。
　また、上記各実施形態においては、診断対象を肺とした医用画像Ｇ０を用いて各種処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。
　また、上記各実施形態において、読影ＷＳ３が内包する情報処理装置２０における解析部２２の処理を、例えばネットワーク１０に接続された他の解析サーバ等の、外部装置で行うようにしてもよい。この場合、外部装置は、医用画像Ｇ０を画像サーバ５から取得し、医用画像Ｇ０を解析することにより解析結果を導出する。そして、情報処理装置２０は、外部装置で導出された解析結果を用いて所見文を生成する。
　また、上記実施形態において、例えば、情報取得部２１、解析部２２、文章生成部２３、表示制御部２４および選択部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　医療情報システム
　　　２　　撮影装置
　　　３　　読影ＷＳ
　　　４　　診療ＷＳ
　　　５　　画像サーバ
　　　６　　画像ＤＢ
　　　７　　レポートサーバ
　　　８　　レポートＤＢ
　　　１０　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　情報処理プログラム
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力部
　　　１６　　メモリ
　　　１７　　ネットワークＩ／Ｆ
　　　１８　　バス
　　　２０　　情報処理装置
　　　２１　　情報取得部
　　　２２　　解析部
　　　２２Ａ　　学習モデル
　　　２３　　文章生成部
　　　２３Ａ，２３Ｂ　　学習モデル
　　　２４　　表示制御部
　　　２５　　選択部
　　　Ｔ１　　テーブル

Claims (14)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　患者の医用画像に関する１以上の解析結果を取得し、
    　前記解析結果以外の前記患者の診断に関する診断情報を取得し、
    　前記解析結果および前記診断情報に基づいて、前記患者に関する医療文章を生成する情報処理装置。
  2. 　前記プロセッサは、前記診断情報に基づいて前記解析結果を取捨選択し、
    　前記取捨選択された解析結果を含む医療文章を生成する請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、前記診断情報に応じた優先度で前記解析結果を含む前記医療文章を生成する請求項１または２に記載の情報処理装置。
  4. 　前記プロセッサは、前記診断情報および前記解析結果を含む前記医療文章を生成する請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記診断情報は、前記医用画像に含まれる病変に関して確定している第１の情報を含む請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記第１の情報は、前記病変の測定結果、前記病変についての確定診断結果および前記患者の既往歴の少なくとも１つを含む請求項５に記載の情報処理装置。
  7. 　前記診断情報は、前記医用画像に含まれる病変に関する情報以外の確定している第２の情報を含む請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記第２の情報は、前記医用画像を取得した検査の目的および前記医用画像に関する画像条件の少なくとも１つを含む請求項７に記載の情報処理装置。
  9. 　前記診断情報は、前記医用画像に対する読影医による判断結果を表す第３の情報を含む請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　前記第３の情報は、前記医用画像に関する未確定の診断結果、前記医用画像に含まれる病変と前記病変以外の他の組織との関連性、および前記読影医による前記解析結果の選択結果の少なくとも１つを含む請求項９に記載の情報処理装置。
  11. 　前記診断情報は、前記患者に対して行った検査結果を表す第４の情報を含む請求項１から１０のいずれか１項に記載の情報処理装置。
  12. 　前記第４の情報は、前記患者に対する前記医用画像を取得する撮影装置とは異なる診断機器での検査結果、前記医用画像とは異なる種類の医用画像の解析結果、および前記患者の生体情報の検査結果の少なくとも１つを含む請求項１１に記載の情報処理装置。
  13. 　患者の医用画像に関する１以上の解析結果を取得し、
    　前記解析結果以外の前記患者の診断に関する診断情報を取得し、
    　前記解析結果および前記診断情報に基づいて、前記患者に関する医療文章を生成する情報処理方法。
  14. 　患者の医用画像に関する１以上の解析結果を取得する手順と、
    　前記解析結果以外の前記患者の診断に関する診断情報を取得する手順と、
    　前記解析結果および前記診断情報に基づいて、前記患者に関する医療文章を生成する手順とをコンピュータに実行させる情報処理プログラム。
PCT/JP2021/041617 2021-01-27 2021-11-11 情報処理装置、方法およびプログラム WO2022163071A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022578065A JPWO2022163071A1 (ja) 2021-01-27 2021-11-11
EP21923076.0A EP4287195A1 (en) 2021-01-27 2021-11-11 Information processing device, method, and program
US18/355,397 US20230360213A1 (en) 2021-01-27 2023-07-19 Information processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021011350 2021-01-27
JP2021-011350 2021-01-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/355,397 Continuation US20230360213A1 (en) 2021-01-27 2023-07-19 Information processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2022163071A1 true WO2022163071A1 (ja) 2022-08-04

Family

ID=82653158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041617 WO2022163071A1 (ja) 2021-01-27 2021-11-11 情報処理装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20230360213A1 (ja)
EP (1) EP4287195A1 (ja)
JP (1) JPWO2022163071A1 (ja)
WO (1) WO2022163071A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017189237A (ja) * 2016-04-11 2017-10-19 東芝メディカルシステムズ株式会社 読影支援装置
US10181098B2 (en) 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
US10268671B2 (en) 2015-12-31 2019-04-23 Google Llc Generating parse trees of text segments using neural networks
JP2019149005A (ja) * 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181098B2 (en) 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
US10268671B2 (en) 2015-12-31 2019-04-23 Google Llc Generating parse trees of text segments using neural networks
JP2017189237A (ja) * 2016-04-11 2017-10-19 東芝メディカルシステムズ株式会社 読影支援装置
JP2019149005A (ja) * 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2022163071A1 (ja) 2022-08-04
US20230360213A1 (en) 2023-11-09
EP4287195A1 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
Kim et al. Deep learning in diagnosis of maxillary sinusitis using conventional radiography
Habuza et al. AI applications in robotics, diagnostic image analysis and precision medicine: Current limitations, future trends, guidelines on CAD systems for medicine
EP3043318A1 (en) Analysis of medical images and creation of a report
Al-Ghamdi et al. Detection of Dental Diseases through X‐Ray Images Using Neural Search Architecture Network
Warin et al. Maxillofacial fracture detection and classification in computed tomography images using convolutional neural network-based models
JP2017532998A (ja) 縦断的特徴に基づく関心組織の健康状態の分類
WO2019193982A1 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
Kim et al. Applications of artificial intelligence in the thorax: a narrative review focusing on thoracic radiology
Yang et al. Assessing inter-annotator agreement for medical image segmentation
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
Zhang et al. Deep learning system assisted detection and localization of lumbar spondylolisthesis
JP7371116B2 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
Alidoost et al. Model utility of a deep learning-based segmentation is not Dice coefficient dependent: A case study in volumetric brain blood vessel segmentation
JP7436636B2 (ja) 文書作成支援装置、方法およびプログラム
WO2022163071A1 (ja) 情報処理装置、方法およびプログラム
Son et al. Deep learning-based quantitative estimation of lymphedema-induced fibrosis using three-dimensional computed tomography images
WO2021107098A1 (ja) 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
Bi et al. MIB-ANet: A novel multi-scale deep network for nasal endoscopy-based adenoid hypertrophy grading
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
Langius-Wiffen et al. External validation of the RSNA 2020 pulmonary embolism detection challenge winning deep learning algorithm
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923076

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578065

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021923076

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021923076

Country of ref document: EP

Effective date: 20230828