WO2019073940A1 - 診断支援装置、情報処理方法、診断支援システム及びプログラム - Google Patents

診断支援装置、情報処理方法、診断支援システム及びプログラム Download PDF

Info

Publication number
WO2019073940A1
WO2019073940A1 PCT/JP2018/037502 JP2018037502W WO2019073940A1 WO 2019073940 A1 WO2019073940 A1 WO 2019073940A1 JP 2018037502 W JP2018037502 W JP 2018037502W WO 2019073940 A1 WO2019073940 A1 WO 2019073940A1
Authority
WO
WIPO (PCT)
Prior art keywords
inference
image
information
unit
diagnosis
Prior art date
Application number
PCT/JP2018/037502
Other languages
English (en)
French (fr)
Inventor
直紀 松木
将実 川岸
佐藤　清秀
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN201880067715.5A priority Critical patent/CN111225614A/zh
Publication of WO2019073940A1 publication Critical patent/WO2019073940A1/ja
Priority to US16/845,774 priority patent/US11423537B2/en
Priority to US17/862,715 priority patent/US11823386B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the disclosure of the present specification relates to a diagnosis support apparatus, an information processing method, a diagnosis support system, and a program.
  • Patent Document 1 in a system for searching for similar cases based on image feature quantities obtained by analyzing medical images and interpretation items in past cases, any search result is obtained depending on the interpretation items used for the search. It is disclosed to present to the user whether it is possible.
  • Patent Document 1 When the doctor uses the result obtained by analyzing the medical information by the computer as a medical aid, even if only the analysis result is presented, the doctor can not judge whether the result is useful or not There is.
  • the technology disclosed in Patent Document 1 only presents past cases closely related to the interpretation items used for the search, and there is a possibility that it can not be grasped whether or not the information is useful for the target diagnosis.
  • a diagnosis support apparatus uses a plurality of reasoners for inferring a diagnosis name from a medical image and at least one inferror of the plurality of inference devices to infer the at least one medical image. It comprises: an inference means for inferring a diagnostic name as an input to the device; and a presentation means for presenting a diagnostic name inferred by the inference means.
  • the information on which the reasoning is based can be presented as the information on the findings from which the doctor can easily grasp the contents. It can be easily determined whether it is useful.
  • image diagnosis is performed in which diagnosis is performed based on a medical image obtained by an imaging apparatus such as an X-ray CT apparatus (Computer Tomography) or an MRI apparatus (Magnetic Resonance Imaging).
  • an imaging apparatus such as an X-ray CT apparatus (Computer Tomography) or an MRI apparatus (Magnetic Resonance Imaging).
  • image diagnosis for example, in response to a request for image interpretation from the attending physician, an image interpretation doctor who specializes in image diagnosis performs image interpretation.
  • the interpreting doctor determines the symptoms of a patient who is a lesion or a subject depicted in a medical image by making a comprehensive judgment based on findings obtained from images (hereinafter referred to as image findings) and various measurement values. Then, the interpreting doctor describes the history of the diagnosis using the imaging findings and the measured values as an interpreting report to the requesting attending physician.
  • input information information such as an image feature obtained by digitizing the feature depicted in the image
  • the result is affected. Even if information is identified and presented, it may be difficult for the user to understand.
  • the input information includes information such as an image feature that is difficult for the user to understand
  • the information serving as a clue for deriving the inference result (hereinafter referred to as The purpose is to present reference information that can be intuitively understood by the user (referred to as reference information).
  • the reference information that the user can intuitively understand is, for example, information of a finding representing the feature of the lesion area in a language.
  • the diagnosis support apparatus 100 acquires a medical image to be an object of image interpretation, information described in an electronic medical record and the like, and presents information (referential information) as a clue to diagnosis. Provide diagnostic support.
  • the diagnosis support apparatus 100 includes information such as medical images relating to interpretation of abnormal shadows of the lung, information incidental to the medical images, blood test values such as past medical history and tumor markers (hereinafter referred to as clinical information and Shall be acquired. Then, input information is generated based on the acquired information, and information (reference information) serving as a clue to diagnosis is generated from the input information in a format that can be understood by the user (doctor) and presented as an example.
  • the subject is not limited to this, and the diagnostic name, the image feature amount, the imaging findings, the clinical information, etc. shown below are all merely examples for explaining the process of the process of the diagnosis support apparatus.
  • FIG. 1 is a diagram showing an example of a functional configuration of a diagnosis support apparatus 100.
  • the diagnosis support device 100 is communicably connected to the case information terminal 200.
  • the diagnosis support apparatus 100 includes an input information generation unit 102, an image feature amount acquisition unit 104, an inference unit 106, an influence degree acquisition unit 108, a presentation degree acquisition unit 110, a selection unit 112, and a display control unit 114. Have.
  • Each functional configuration of the diagnosis support apparatus 100 is connected by an internal bus or the like.
  • the case information terminal 200 acquires information on a case to be diagnosed from a server (not shown).
  • the information on the case is, for example, medical information such as clinical information described in medical images and electronic medical records.
  • the case information terminal 200 may be connected to an external storage device (not shown) such as, for example, FDD, HDD, CD drive, DVD drive, MO drive, or ZIP drive, and medical information may be acquired from the external storage device. .
  • the case information terminal 200 may cause the monitor 205 to display medical information in a form readable by the user via the display control unit 114. That is, the case information terminal 200 provides, via the display control unit 114, a GUI that allows the user to input coordinate information of a region that the user thinks that there is an abnormal shadow on the medical image displayed on the monitor 205. Alternatively, the case information terminal 200 may provide, via the display control unit 114, a GUI that allows the user to input an image finding for the area on the medical image displayed on the monitor 205. The case information terminal 200 acquires information input by the user via the GUI as information incidental to the medical image (hereinafter referred to as incidental information).
  • incidental information information incidental information
  • the case information terminal 200 transmits medical information such as a medical image or clinical information and incidental information to the diagnosis support apparatus 100 via a network or the like.
  • the input information generation unit 102 generates input information based on information transmitted from the case information terminal 200 to the diagnosis support apparatus 100, such as a medical image, clinical information, and incidental information.
  • the input information is a set having each piece of information as an input of inference by the inference unit 106 as an element.
  • the input information generation unit 102 outputs the medical image and the incidental information to the image feature amount acquisition unit 104, and the image feature amount output from the image feature amount acquisition unit 104 according to the output get. Then, the input information generation unit 102 uses the acquired image feature amount and clinical information as input information, and outputs the input information to the inference unit 106 and the influence degree acquisition unit 108.
  • the image feature amount acquisition unit 104 acquires an image feature amount based on the medical image and the incidental information output from the input information generation unit 102.
  • the image feature quantity acquisition unit 104 performs image processing on a medical image to be an object of image interpretation, and acquires an image feature quantity of the medical image. For example, when incidental information such as coordinate information indicating an abnormal area is output from the input information generation unit 102, the image feature quantity acquisition unit 104 can acquire an image feature quantity for the abnormal area indicated by the coordinate information.
  • the image feature quantity acquisition unit 104 outputs the acquired image feature quantity to the input information generation unit 102.
  • the inference unit 106 infers the diagnostic name of the target case, using the input information generated by the input information generation unit 102 as an input.
  • the inference unit 106 may acquire the position of the abnormal shadow based on the incidental information output from the input information generation unit 102, or may specify the position by image processing.
  • the inference unit 106 acquires, as an inference result, the probability that the abnormal shadow on the medical image corresponds to a specific diagnostic name. Then, the acquired inference result is output to the influence degree acquisition unit 108 and the display control unit 114.
  • the inference unit 106 is an example of an inference means.
  • the influence degree acquisition unit 108 acquires the degree of influence of each element included in the input information on the inference result using the input information generated by the input information generation unit 102 and the inference result output from the inference unit 106.
  • the influence degree acquisition unit 108 outputs the acquired influence degree of each element to the presentation degree acquisition unit 110.
  • the influence degree acquisition unit 108 is an example of an influence degree acquisition unit.
  • the presentation degree acquisition unit 110 acquires the presentation degree of information which is a candidate for reference information, using the degree of influence acquired by the influence degree acquisition unit 108.
  • the reference information is information presented to the user by the display control unit 114 as a basis for inference by the inference unit 106.
  • the presentation degree is an index indicating a degree suitable for presentation as reference information among the reference information candidates.
  • the presentation degree acquisition unit 110 acquires an image finding based on the image feature amount. Among the input information, the image feature amount, the clinical information, and the imaging findings are candidates for reference information.
  • the presentation degree acquisition unit 110 outputs the acquired presentation degree of the reference information candidate to the selection unit 112.
  • the presentation degree acquisition unit 110 is an example of a finding acquisition unit.
  • the selection unit 112 selects reference information, that is, information to be presented as a basis for inference, based on the degree of influence of the reference information candidate acquired by the presentation degree acquisition unit 110.
  • the selection unit 112 outputs the selected information to the display control unit 114.
  • the selection unit 112 is an example of a selection unit.
  • the display control unit 114 presents the user with the inference result output by the inference unit 106 and the reference information selected by the selection unit 112.
  • the display control unit 114 controls the content to be displayed on the monitor 205 based on the inference result and the reference information.
  • each configuration of the diagnosis support device 100 illustrated in FIG. 1 may be realized as an independent device. Moreover, you may implement
  • FIG. 2 is a diagram showing an example of the hardware configuration of the diagnosis support apparatus 100.
  • the CPU 201 mainly controls the operation of each component.
  • the main memory 202 stores a control program to be executed by the CPU 201, and provides a work area when the CPU 201 executes a program.
  • the magnetic disk 203 stores programs for realizing various application software including an operating system (OS), device drivers for peripheral devices, and programs for performing processing described later.
  • OS operating system
  • FIG. 1 the functions of the diagnosis support apparatus 100 shown in FIG. 1 and the processes in the flowchart to be described later are realized.
  • the display memory 204 temporarily stores display data to be displayed on the monitor 205, for example.
  • the monitor 205 is, for example, a CRT monitor or a liquid crystal monitor, and displays an image or text based on data from the display memory 204.
  • the mouse 206 and the keyboard 207 perform pointing input and input of characters and the like by the user.
  • the above components are communicably connected to each other by a common bus 208.
  • the CPU 201 is an example of a processor.
  • the diagnosis support apparatus 100 may have a plurality of processors.
  • diagnosis support apparatus 100 may have a GPU that exclusively performs the processing of inference unit 206, or may have an FPGA (Field-Programmable Gate Array) in which the function of inference unit 206 is programmed.
  • the main memory 202, the magnetic disk 203, and the display memory 204 are examples of memory.
  • FIG. 3 is a flowchart showing an example of processing performed by the diagnosis support apparatus 100.
  • the process shown in FIG. 3 is realized by the CPU 201 executing a program for realizing the function of each unit stored in the main memory 202.
  • each element of I m is a continuous value
  • each element of F n is a discrete value (category value)
  • C j is a continuous value or a discrete value depending on the element.
  • each discrete value is represented by f nk and c jk .
  • k is assumed to take various values by the F n, C j.
  • the imaging findings and the clinical information handle items and values as exemplified in FIG.
  • shape of the item F 1
  • elements either 4 values of f 11 “spherical”, f 12 “lobulated”, f 13 “polygon”, f 14 "irregular” It is.
  • item F 2 is “cut”, the element is one of three values of f 21 “strong”, f 22 “weak”, and f 23 “none”.
  • element c 11 "Yes” is either c 12 2 value of "none”.
  • the item C J "CEA" (a type of tumor marker)
  • the element is a continuous value c J.
  • the inference unit 106 infers a diagnostic name relating to an abnormal shadow of the lung, and infers as a diagnostic name either primary lung cancer, lung metastasis of cancer, or other three values.
  • primary lung cancer, lung metastasis of cancer, and others are denoted as d 1 , d 2 and d 3 respectively.
  • step S3000 the input information generation unit 102 acquires information (medical image, clinical information, incidental information) transmitted from the case information input terminal 200 to the diagnosis support apparatus 100.
  • information medical image, clinical information, incidental information
  • the case where only coordinate information of an abnormal shadow is transmitted as incidental information will be described as an example.
  • the image feature quantity acquisition unit 104 performs image processing on the basis of the medical image and incidental information output in step S3000, and acquires an image feature quantity.
  • the image feature amount acquired here may be a general image feature amount such as the average value or the variance of the density (brightness) in the processing target area of the image, or an image feature amount based on the filter output. It is also good.
  • the image feature acquisition unit 104 refers to the incidental information (coordinate information of abnormal shadow) acquired in step S3000, segments the abnormal shadow area from the medical image, and then performs image processing by image processing. It shall acquire.
  • step S3020 the input information generation unit 102 generates input information based on the clinical information acquired in step S3000 and the image feature acquired in step S3010.
  • clinical information is acquired in step S3000 ⁇ c 12, c 22, ..., c J ⁇
  • the image feature quantity is acquired in step S3010 ⁇ i 1, i 2, ..., i M ⁇ and was.
  • step S3030 based on the input information generated in step S3020, the inference unit 106 performs inference regarding abnormal lung shadows to be diagnosed. That is, the inference unit 106 infers the diagnosis name derived from the medical image based on the image feature amount which is a value indicating the feature of the area included in the medical image. Specifically, P (d s
  • a method using a Bayesian network, a support vector machine, a neural network or the like can be mentioned as a method of inference. In the first embodiment, a Bayesian network is used.
  • step S3040 the influence degree acquisition unit 108 acquires the degree of influence of each element of the input information on the inference result, using the input information generated in step S3020 and the inference result executed in step S3030. That is, the influence degree acquisition unit 108 acquires the influence degree, which is the degree of influence given to the inference of the diagnostic name, for each of the information used as the input of the inference by the inference unit 106.
  • the degree of influence on the diagnosis name d f having the highest inference probability among the diagnosis names is acquired.
  • I (e v ) When I (e v ) is positive, it indicates that the inference probability of d f is reduced by not including e v in the input information. Thus, e v is considered information affirming d f. On the other hand, when I (e v ) is negative, it indicates that the inference probability of d f is increased by not including e v in the input information. Therefore, ev is considered to be information that denies d f .
  • the presentation degree acquiring unit 110 acquires reference degrees, that is, the presentation degrees of candidates of information to be presented as a basis for inference, using the degree of influence acquired in step S3040.
  • the presentation degree of each element of the imaging findings and the clinical information is an absolute value of the influence degree acquired in step S3040.
  • the presentation degree acquisition unit 110 acquires the presentation degree of each element of the image feature amount based on the relationship between the image feature amount and the image finding. Thereby, the image feature amount is converted into an image finding with a presentation degree.
  • the presentation degree acquisition unit 110 searches for similar cases based on the image feature amount, and uses information of a finding associated with the similar case to display an image feature amount with image presentation amount Convert to Similar cases may be searched from the database of cases stored in the case information terminal 200, or may be searched from the database of cases stored in a server (not shown) outside the diagnosis support apparatus 100. . It is assumed that image findings are given in advance to each case stored in the case information terminal 200 or an external server (not shown). That is, the presentation degree acquisition unit 110 acquires an image finding based on the image feature amount. More specifically, the presentation degree acquisition unit 110 acquires information of a finding associated with the image feature amount included in the input information to the inference unit 106.
  • the presentation degree acquiring unit 110 extracts a plurality of cases with similarities by performing weighted similar case search, using the absolute value of the degree of influence of each image feature as a weight. Then, based on the similarity between the image findings given to the extracted case (target case) and the image feature value of the case (hereinafter referred to as the current case) of the target for which diagnosis support is performed by the diagnosis support device. Get the degree. That is, the target case is an example of a similar case having an image feature amount similar to the image feature amount included in the input information to the inference unit 106.
  • the presentation degree acquisition unit 110 acquires the degree of similarity as follows.
  • Each image feature amount is normalized to [0, 1].
  • the similarity Sim (T x ) expressed by Equation 2 takes a value closer to 1 as the values of the image feature amounts of the current case and T x are closer.
  • the presentation degree acquisition unit 110 may acquire the similarity degree using another method.
  • the presentation degree acquisition unit 110 may use the Mahalanobis distance of S and T x as the similarity without using the influence as a weight. In such a case, it is desirable to perform conversion so that the similarity is 1 when the Mahalanobis distance is 0.
  • the presentation degree acquiring unit 110 acquires the presentation degree (Pre (f nk )) of the value of the image finding as expressed in Expression 3 based on the similarity and the image finding given to the target case.
  • Equation 3 indicates that the more the value of the common imaging findings in the target case group having high similarity, the larger the degree of presentation of the values of the imaging findings. That is, the presentation degree acquisition unit 110 acquires the presentation degree based on the degree of similarity and statistical information indicating the frequency with which an image finding in the target case group is associated.
  • the presentation degree acquisition unit 110 acquires the presentation degree using all data (case X) included in the database storing similar cases.
  • the present invention is not limited to this, and the presentation degree acquiring unit 110 may acquire using only the top X 'cases of the similarity, or set a threshold, and use only the X "case where the similarity exceeds the threshold. May be acquired.
  • the selection unit 112 selects information to be presented as a basis for inference, based on the presentation degree acquired in step S3050.
  • the selection unit 112 selects information to be presented as a basis for inference, from among the input information to the inference unit 106, the elements excluding the image feature amount and the image findings acquired in S3050.
  • the information selected by the selection unit 112 is reference information, that is, information presented as a basis for inference. That is, the selection unit 112 is a value based on statistical information indicating the degree of similarity between the image feature amount included in the input information to the inference unit 106 and the image feature amount of the similar case, and the frequency at which the image finding is associated with the similar case.
  • the information to be presented as a basis for inference is selected based on the presentation degree.
  • the first embodiment three pieces of information are selected in descending order of presentation degree.
  • multiple values can be taken as one imaging findings item (for example, F n ) (for example, f n1 , f n2 ), only the value with the highest presentation degree is selected and the other values are ignored. It shall be.
  • the number of selections and the selection method are not limited to this.
  • the number of selections may be other than three.
  • the selection method may be to select one that satisfies a predetermined threshold.
  • step S3070 the display control unit 114 controls the content to be displayed based on the inference result acquired in step S3030 and the information selected in step S3060. That is, the display control unit 114 presents the information selected by the selection unit 112 as information of a finding representing the feature of the region included in the medical image of the case that is the target of diagnosis support as the reason for the inference. .
  • step S3040 to step S3070 will be described below using FIGS. 5 to 7.
  • the degree of influence as shown in FIG. 5 is acquired by the degree of influence acquisition unit 108 for each element of the input information input to the inference unit 106 in step S3040.
  • Step S3050 presenting obtaining section 110 in respect image feature amount i 1 ⁇ i m out shown in Figure 6 (a) of the input information to obtain the degree of similarity between the target patients by Equation 2.
  • the presentation degree acquiring unit 110 acquires the presentation degree by Equation 3 using the degree of similarity with each target case and the image finding associated with each target case.
  • the presentation degree acquisition unit 110 converts the M image feature amounts into values of Y image findings with presentation degrees.
  • the presentation degree acquisition unit 110 acquires an image finding with a presentation degree as shown in FIG. 6 (c).
  • the presentation degree acquisition unit 110 acquires the absolute value of the degree of influence of the clinical information in the input information as the presentation degree.
  • the presentation degree acquisition unit 110 acquires clinical information with a presentation degree as shown in FIG. 6 (d).
  • Y since all cases stored in the database (not shown) are used, Y always becomes the same number regardless of the value of the image feature amount of the current case.
  • the value of Y may change when limited to the top X 'cases or when limited to X "cases exceeding the threshold.
  • step S3060 information is selected based on the presentation degree of each element of the imaging findings and clinical information.
  • the order of f 14 , f N1 , f N2 , c J when the values of the respective elements are arranged in descending order of the presentation degree, the order of f 14 , f N1 , f N2 , c J ,.
  • both f N1 and f N2 are values of F N
  • f N1 having a high degree of presentation is considered, and f N2 is excluded from the subject. Therefore, finally, as shown in FIG. 6E , f 14 , f N1 and c J are selected as reference information, that is, information to be presented as a basis for inference.
  • the selection unit 112 selects information of a finding with a high degree of presentation as the reference information, that is, the basis of inference. .
  • FIG. 7 shows an example of a screen displayed on the monitor 205 by the display control unit 114 in step S3070.
  • the display content 700 includes the medical image 7000 acquired in step S3000, the inference result 7010 acquired in step S3030, and the reference information 7020 selected in step S3060.
  • the user can use the displayed inference result 7010 and reference information 7020 as support information at the time of image diagnosis.
  • the diagnosis support apparatus 100 infers based on input information on a medical image, and acquires the degree of influence of each element of the input information on the inference result. Furthermore, the presentation degree is acquired using the influence degree of each element.
  • the input information includes an image feature amount
  • the image feature amount is converted to an image finding with a presentation degree, and an image finding or clinical information serving as reference information is presented based on the presentation degree.
  • a doctor who is a user can grasp information based on inference in the form of image findings and clinical information that are easy for humans to understand.
  • the present invention is not limited to this, and may be converted into an image finding with a presentation degree using a correlation ratio between the image feature amount and the image finding.
  • presenting obtaining section 110 in case stored in the database, it obtains the correlation ratio eta mn of image feature amounts i m and radiographic findings F n, the average of the product of the image feature amount of the impact and correlation ratio take.
  • the presentation degree acquisition unit 110 acquires the presentation degree Pre (F n ) of the image finding F n as shown in Expression 4.
  • category values of K image findings are generated by decomposing F n , 1 when f nk is present, and 0 when not present, and correlation ratios are obtained to obtain image findings
  • the presentation degree of the value f nk may be acquired.
  • the correlation ratio of the image feature amount i m and imaging findings f nk and eta mnk presentation of the values f nk image findings can be expressed by Equation 5.
  • the diagnosis support apparatus 100 uses the image feature quantity converted to the image finding as input information for inference, and presents the reason for inference and reasoning.
  • the functional configuration of the diagnosis support apparatus 100 in the second embodiment is the same as the functional configuration in FIG. 1 in the first embodiment. However, some of the functions are different from the first embodiment, and only the differences from the first embodiment will be described below.
  • the input information generation unit 102 generates input information based on the information (medical image, clinical information, incidental information) transmitted from the case information terminal 200 to the diagnosis support apparatus 100.
  • the input information generation unit 102 outputs the medical image and the incidental information to the image feature amount acquisition unit 104. Then, the input information generation unit 102 acquires the image feature amount output from the image feature amount acquisition unit 104. Furthermore, the input information generation unit 102 infers based on the acquired image feature amount, and converts it into an image finding with a likelihood. Then, the converted image findings and clinical information are used as input information, and are output to the inference unit 106, the influence degree acquisition unit 108, and the presentation degree acquisition unit 110.
  • the input information generation unit 102 is an example of a finding acquisition unit that obtains information of a finding based on an image feature amount.
  • the input information generation unit 102 may acquire the information of the image finding from an external server (not shown) that provides a function of inferring the image finding based on the image feature amount.
  • Different modules for example, the inference unit 106 and the second inference unit may perform inference.
  • the inference unit 106 infers based on the input information generated by the input information generation unit 102.
  • the input information includes an image finding converted from the image feature amount. That is, the inference unit 106 is an example of an inference unit that infers a diagnostic name derived from a medical image based on an image feature amount.
  • the presentation degree acquisition unit 110 acquires the presentation degree of the reference information candidate based on the likelihood-added image findings generated by the input information generation unit 102 and the degree of influence acquired by the influence degree acquisition unit 108.
  • the presentation degree acquisition unit 110 outputs the acquired presentation degree of the reference information candidate to the selection unit 112.
  • the hardware configuration of the diagnosis support apparatus 100 is the same as that of FIG. 2 in the first embodiment. That is, when the CPU 201 executes the programs stored in the main memory 202 and the magnetic disk 203, the functions (software) of the diagnosis support apparatus 100 and the processing illustrated in the flowchart of FIG. 3 are realized.
  • the diagnosis support apparatus 100 may have a plurality of processors.
  • the diagnosis support apparatus 100 has an FPGA in which functions of an input information generation unit 102 that infers an image finding based on an image feature amount, and an inference unit 106 that infers a diagnostic name derived from a medical image are programmed. It is also good.
  • FIG. 3 is a flowchart showing an example of processing performed by the diagnosis support apparatus 100 according to the second embodiment.
  • detailed description is abbreviate
  • step S3000 and step S3010 is the same as the process in the first embodiment.
  • step S3020 the input information generation unit 102 converts the clinical information acquired in step S3000 and the image feature amount acquired in step S3010 into image findings, and generates input information. That is, the input information generation unit 102 acquires information of a finding by inferring each of the image feature amounts acquired in step S3010.
  • the input information generation unit 102 infers based on image feature amounts and converts the image findings into image findings with likelihood.
  • the transformed image findings with likelihood are represented by F 1 (). That is, the input information generation unit 102 acquires the information of the finding corresponding to the image feature amount, and obtains the likelihood of expressing the image feature amount by the finding, that is, statistical information.
  • the input information generation unit 102 generates a set of converted image findings and clinical information as input information.
  • Image findings are used as input information while maintaining their likelihood.
  • the clinical information is ⁇ c 12 , c 22 ,..., C J ⁇
  • the converted imaging findings is ⁇ F 1 (), F 2 (), ... ⁇
  • step S3030 based on the input information generated in step S3020, the inference unit 106 performs inference regarding an abnormal shadow of the lung to be diagnosed.
  • the inference method uses a Bayesian network as in the first embodiment. That is, the inference unit 106 infers the information of the finding acquired based on the image feature amount as input information.
  • the inference unit 106 since the values of the imaging findings are indicated by likelihood, inference is performed for all combinations of imaging findings, and the inference results are integrated using the likelihood.
  • the imaging findings are F a ⁇ f a1 , f a2 ⁇ , F b ⁇ f b1 , f b2 ⁇ , and the clinical information is ⁇ c J ⁇ will be described as an example.
  • the inference unit 106 generates temporary input information (E z ) in consideration of all combinations of elements included in the input information.
  • the inference unit 106 integrates the likelihood of the image finding with each P (d s
  • the inference unit 106 is configured to calculate L (f a1 ) ⁇ L (f b1 ) ⁇ P (d s
  • the inference result can be expressed by Equation 6.
  • the inference unit 106 generates a plurality of pieces of temporary input information including at least a part of information of findings included in the input information, and a result inferred based on the plurality of temporary input information, and the likelihood That is, a diagnosis is inferred based on the statistical information. Note that in order to reduce the amount of acquisition, the inference unit 106 may not consider the value of the image finding having a likelihood less than or equal to the threshold.
  • step S3040 is the same as the process in the first embodiment.
  • the presentation degree acquisition unit 110 acquires the presentation degree using the likelihood of the image finding acquired in step S3020 and the degree of influence acquired in step S3040.
  • the presentation degree acquisition unit 110 acquires the absolute value of the degree of influence of each element of the clinical information as the presentation degree. Further, the presentation degree acquisition unit 110 acquires a product of the likelihood of the image findings converted by the input information generation unit 102 and the absolute value of the influence degree as a presentation degree. That is, the presentation degree acquisition unit 110 acquires the presentation degree L (f nk ) ⁇ I (f nk ) for the image finding based on the degree of influence and the likelihood that is an example of statistical information.
  • step S3060 and step S3070 are the same as the processes in the first embodiment. That is, the selection unit 112 is based on the influence degree to inference of the information of the finding included in the input information, and the presentation degree which is a value based on statistical information about representing the region indicated by the image feature amount by the information of the finding. Select the information to be presented as the basis for inference. Then, the display control unit 114 presents the information selected by the selection unit 112 as a basis for inference.
  • the diagnosis support apparatus 100 converts the result of image processing of the medical image into an image finding, and uses the converted image finding and clinical information as input information. Then, the presentation degree of each element of the input information is acquired, and based on the presentation degree, image findings and clinical information to be reference information are presented. As a result, the doctor who is the user can check the reference information in the form of image findings and clinical information that are easy for humans to understand, and can therefore help in his own diagnosis.
  • step S3020 an example has been described in which the input information generation unit 102 acquires each image finding with a likelihood by inference based on the image feature amount. For example, as in the first embodiment, similar cases may be searched to obtain information on findings, or information on findings may be obtained using a correlation ratio.
  • the similarity Sim (T x ) may be obtained using the Mahalanobis distance, and the expression for obtaining the presentation degree in Equation 3 may be the likelihood of the finding.
  • the likelihood can be acquired by Equation 7.
  • step S3030 temporary input information is generated for all combinations of image findings, and inference results from the temporary input information are integrated to form a final inference result.
  • it does not have to be performed for all combinations of imaging findings. For example, only the value of the image finding having the highest likelihood of each image finding may be used for inference.
  • the input information to the inference unit 106 includes the information on the finding acquired based on the image feature amount and the information on the finding input by the doctor as incidental information, for example. An example will be described.
  • the functional configuration of the diagnosis support apparatus 100 according to the third embodiment is the same as that of FIG. 1 in the first embodiment.
  • the hardware configuration of the diagnosis support apparatus 100 is the same as that of FIG. 2 in the first embodiment. That is, when the CPU 201 executes the programs stored in the main memory 202 and the magnetic disk 203, the functions (software) of the diagnosis support apparatus 100 of the third embodiment and the processing illustrated in the flowchart of FIG. 3 are realized. Be done.
  • FIG. 3 is a flowchart showing an example of processing performed by the diagnosis support apparatus 100 according to the third embodiment.
  • detailed description is abbreviate
  • step S3000 and step S3010 is the same as the process in the first embodiment.
  • step S3020 the input information generation unit 102 generates input information based on the clinical information acquired in step S3000, the image findings included in the incidental information, and the image feature amount acquired in step S3010.
  • the clinical information acquired in step S3000 is ⁇ c 12 , c 22 ,..., C J ⁇
  • the imaging findings included in the supplementary information are ⁇ f 11 , f 31 ⁇
  • the image feature acquired in step S 3010 is ⁇ i
  • step S3030 and step S3040 is the same as the process in the first embodiment.
  • step S3050 the presentation degree acquisition unit 110 calculates the presentation degree of the reference information candidate using the degree of influence calculated in step S3040.
  • the presentation degree acquisition unit 110 acquires the absolute value of the degree of influence of each element of the imaging findings and the clinical information as each presentation degree. Further, the presentation degree acquisition unit 110 converts the image feature amount into an image finding with a presentation degree.
  • the presentation degree acquiring unit 110 does not regard the imaging findings acquired in the similar case search as a candidate for reference information.
  • the image findings f 11 included in the input information imaging findings with presentation degree assumed that those shown in FIG. 6 (c) was obtained.
  • the f 11 is a value of F 1 is input by the physician
  • the imaging findings with presentation of, f 11, f 14 is a value of F 1 is not a candidate for the reference information, for example presented Let the degree be zero.
  • the candidate for reference information includes only f 11 with respect to F 1 . Presentation of the f 11 is the incidental information is the absolute value of the impact.
  • step S3060 and step S3070 are the same as in the first embodiment.
  • the diagnosis support apparatus 100 sets the input information as the image feature amount, the image finding, and the clinical information. Then, inference is performed based on the input information, and the degree of influence of each element of the input information on the inference result is acquired. Furthermore, the presentation degree is acquired using the influence degree of each element.
  • the image findings converted from the image feature amount and the image findings included in the input information overlap, the latter image findings are prioritized.
  • the reference information can be presented in the form of imaging findings and clinical information that are easy for humans to understand. Furthermore, the user can confirm the basis of inference that also considers his / her idea.
  • the diagnosis support apparatus generates input information to the inference unit using a derivation unit constructed by machine learning.
  • the construction of an inference unit for the diagnosis support device to infer a diagnosis name requires a rich data set including necessary information. From a data set containing information on medical images and diagnoses, it is possible to construct an inferr which uses the new medical image as input to infer the diagnoses. On the other hand, it is possible to construct an inference unit for inferring an imaging finding from a new medical image as an input from a data set including information on a medical image and an imaging finding representing in words the features read from the medical image by a doctor. is there.
  • datasets containing information on medical images and imaging findings may not always be abundant.
  • a high accuracy inference device in a data set that can be used to construct an inference device, can be constructed even when only a small amount of required information can be obtained, and a diagnosis support apparatus based on the inference device can be provided.
  • the purpose is to
  • FIG. 8 is a diagram showing an example of a functional configuration of a diagnosis support apparatus 800 in the fourth embodiment.
  • the same functional configuration as that of the diagnosis support apparatus 100 in the second embodiment is denoted by the same reference numeral, and the detailed description is omitted here by using the above description.
  • the input information generation unit 802 in the fourth embodiment includes the function of the image feature amount acquisition unit 104 in addition to the function of the input information generation unit 102 in the second embodiment. That is, the input information generation unit 802 in the fourth embodiment derives an image finding based on the information (medical image, clinical information, incidental information) acquired from the case information input terminal 200.
  • FIG. 9 is a flowchart showing an example of processing performed by the diagnosis support apparatus 800 according to the fourth embodiment.
  • detailed description is abbreviate
  • step S9000 is the same as the process of step S3000 in the second embodiment.
  • step S9020 the input information generation unit 802 derives an image finding with likelihood based on the information acquired in step S9000. Then, the input information generation unit 802 generates a set of derived image findings and clinical information as input information.
  • the process in which the input information generation unit 802 derives the image findings with likelihood is performed using a deriver (classifier) that classifies the medical image into any value of the finding items.
  • Derivators are created for the number of items of findings. That is, the shape: and (F 1 f 11, f 12 , f 13, f 14) deriving unit for classifying lightning (F 2: f 21, f 22, f 23) deriving unit for classifying is another.
  • the derivation unit is constructed by CNN (Convolutional Neural Network) using a data group in which a medical image is classified with a correct answer label of classification for each finding item. CNN is an example of machine learning.
  • the input information generation unit 802 can obtain the likelihood of classification by processing the output of the classification model with the soft max function.
  • the medical image subjected to the pre-processing may be input to the derivation unit.
  • a partial image obtained by extracting ROI (Region Of Interest) or VOI (Volume Of Interest) from a medical image may be input based on the position of the abnormal shadow.
  • an image obtained by masking only a specific area or an image subjected to image processing such as contrast enhancement may be input.
  • steps S9030 to S9070 are the same as the processes of steps S3030 to S3070 in the second embodiment.
  • the inference unit 106 infers the diagnosis name via the derivation unit (input information generation unit 802) that outputs the information of the image findings based on the medical image, and the inference is performed.
  • the diagnosis support apparatus uses the educator which outputs the information of the imaging findings based on the medical image to notify the user of the diagnosis name to be inferred and the information of the imaging findings as the basis of the inference. To present.
  • the doctor who is the user can grasp the information as the basis of the inference of the diagnostic name in the form of image findings and clinical information that are easy for humans to understand.
  • the derivation device that classifies the medical image into any value of the finding item may be created by diverting the model of the derivation device created for other purposes.
  • a diagnostic inference unit 1001 which is a derivation unit for classifying medical images into any of diagnosis names, is constructed by CNN, and the model is used to extract medical images into any value of finding items.
  • a diagnostic reasoner 1002 which is a deriving device that classifies into.
  • the diversion of the model is performed, for example, by the method disclosed in Patent Document 2. That is, a diversion model having the same structure and parameters other than the original model and the final layer is prepared, and the parameters of the model are updated by learning again with the target data set.
  • the model may be diverted by other methods, such as making only the diverted source model and the convolution layer identical.
  • model of the diversion source is not limited to the diagnostic derivation unit.
  • a model created by a known unsupervised learning method such as an auto encoder may be diverted.
  • diagnostic inference unit 1001 that infers a diagnostic name directly from a medical image
  • diagnostic inference unit 1002 that infers a diagnostic name from a medical image through a finding.
  • the diagnosis and inference unit 1002 can obtain the information serving as the inference basis together with the presentation degree calculation unit 110 and the selection unit 112.
  • the diagnostic reasoner 1002 is acquired as follows using the data set group collected in advance.
  • the data set group includes at least information on diagnostic names.
  • a first inferr which infers a diagnostic name from a medical image is obtained by machine learning.
  • the diagnostic reasoner 1001 is an example of a first reasoner.
  • a part of the configuration is in common with the first inference device, and a second inference device for inferring an image finding representing an image feature from a medical image is obtained by machine learning.
  • the inference device configured by CNN included in the diagnostic inference device shown in FIG. 10 is an example of the second inference device.
  • a third inferr is obtained which infers a diagnosis from the image findings and outputs information of the image findings which is the basis of the inference.
  • the diagnosis and basis reasoner included in the diagnosis and reasoning unit 1002 shown in FIG. 10 is an example of the third reasoner.
  • a fourth step based on the second inferr and the third inferr, a fourth inferr for inferring a diagnosis from a medical image is obtained.
  • the diagnostic reasoner 1002 is an example of a fourth reasoner.
  • the third step involved in obtaining the diagnostic reasoner 1002 may be performed prior to the first step and the second step, or may be performed in parallel.
  • the diagnosis support apparatus 800 in the fourth embodiment may be configured to use either the diagnostic inference unit 1001 or the diagnostic inference unit 1002 in place of the input information generation unit 802 and the inference unit 106.
  • both the diagnostic reasoner 1001 and the diagnostic reasoner 1002 may be configured to be used.
  • the accuracy of the diagnostic inference unit is that among the data set groups collected in advance, the data set group not used in acquisition (at the time of learning) of the diagnostic inference unit is the evaluation data set group, and the correct answer label and the inference result match It is determined by the ratio of the number of
  • the inference unit 106 may include an evaluation unit (not shown) that evaluates the accuracy of the used diagnostic inference unit, and the diagnosis support apparatus 800 may have an evaluation unit (not shown).
  • An evaluation part (not shown) is an example of an evaluation means.
  • the evaluation unit may calculate the accuracy of the diagnosis and inference for each classification of the image. That is, the evaluation unit (not shown) may evaluate the accuracy for each category classified according to the feature of the image.
  • the category is, for example, a structure of a subject drawn in a medical image.
  • the evaluation unit may calculate the accuracy for each of the image in which the chest wall is captured and the image in which the chest wall is not captured. Then, when an image in which the chest wall is displayed is newly input as the inference target, the inference unit 106 may use a diagnostic reasoner with high accuracy in the category of the image in which the chest wall is displayed. Thereby, the inference unit 106 can select an appropriate diagnostic inference unit according to the input image.
  • the diagnostic name presented to the user may selectively use the inference result by the highly accurate diagnostic inference unit, or may simultaneously present the result by two diagnostic inference units.
  • the diagnostic reasoner to be used may be selected by an accompanying function such as whether or not an inference basis can be provided.
  • an accompanying function such as whether or not an inference basis can be provided.
  • the user's situation such as using a diagnostic reasoner 1002 that can provide an inference basis when the user explicitly inputs findings, and using a high-accuracy diagnostic reasoner when the user is viewing an image
  • the inference unit may select an inference unit based on the user's operation input.
  • the diagnostic inference unit 1002 infers the diagnostic name and the reasoning basis while the diagnostic inference unit 1001 infers the diagnostic name, and when the inference results of the respective diagnostic inference units are identical, with the inference result of the diagnostic inference unit 1002.
  • the inference basis may be presented to the user, and if different, the inference result by the highly accurate inference device may be presented to the user. This makes it possible to select an appropriate diagnostic reasoner according to the input image.
  • the CNN can be used even if the number of data groups in which the correct labeling of the finding is attached to the medical image is small. It will be possible to derive findings accurately.
  • the output of the intermediate layer of the diversion source model may be extracted as an image feature and used as an image feature amount extractor.
  • the image feature quantity extractor is used as a part of the input information generation unit 802 in the fourth embodiment. That is, based on the image feature extracted by the image feature quantity extractor, the input information generation unit 802 derives a finding by a method such as a support vector machine or random forest.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC
  • the information processing apparatus in each of the above-described embodiments may be realized as a single apparatus, or a plurality of apparatuses may be communicably combined with each other to execute the above-described processing, either of which is an embodiment of the present invention.
  • the above-described processing may be executed by a common server device or a group of servers.
  • the information processing apparatus and the plurality of apparatuses constituting the information processing system only need to be able to communicate at a predetermined communication rate, and do not need to be present in the same facility or in the same country.
  • a program of software that implements the functions of the embodiments described above is supplied to a system or apparatus, and a computer of the system or apparatus reads and executes a code of the supplied program. Including the form.
  • the program code itself which is installed in the computer to realize the processing according to the embodiment by the computer, is also an embodiment of the present invention.
  • an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiment may be realized by the processing. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

医用画像から診断名を推論する複数の推論器のうち少なくとも一つの推論器を用いて、医用画像を少なくとも一つの推論器への入力として診断名を推論し、推論される診断名を提示する。

Description

診断支援装置、情報処理方法、診断支援システム及びプログラム
　本明細書の開示は、診断支援装置、情報処理方法、診断支援システム及びプログラムに関する。
　昨今、多様な医用情報が診断に活用されており、コンピュータで医用画像をはじめとする医用情報を解析して得られた結果を診断の補助として利用するためのシステムに関する技術への期待が高まっている。特許文献１には、医用画像を解析して得られる画像特徴量と過去の症例における読影項目とに基づいて類似する症例を検索するシステムにおいて、検索に用いる読影項目によってどのような検索結果が得られるかをユーザに提示することが開示されている。
特開２０１４－２９６４４号公報 特開２０１７－８４３２０号公報
　コンピュータが医用情報を解析して得られた結果を医師が診断の補助として利用するうえで、解析の結果のみを提示されても、医師はその結果が有用であるか否かを判断しかねる場合がある。特許文献１に開示の技術においては、検索に用いた読影項目と関係が深い過去の症例を提示するのみであり、対象としている診断にとって有用な情報であるか否かを把握できないおそれがある。
　本発明の実施形態に係る診断支援装置は、医用画像から診断名を推論する複数の推論器と、前記複数の推論器のうち少なくとも一つの推論器を用いて、医用画像を前記少なくとも一つの推論器への入力として診断名を推論する推論手段と、前記推論手段により推論される診断名を提示する提示手段と、を有することを特徴とする。
　本発明の実施形態の一つによれば、推論の根拠となる情報を、医師が容易に内容を把握することができる所見の情報で提示することができるので、医師は推論の結果が診断に有用であるか否かを容易に判断することができる。
本発明の実施形態に係る診断支援装置の機能構成の一例を示す図である。 本発明の実施形態に係る診断支援装置ハードウェア構成の一例を示す図である。 本発明の実施形態に係る診断支援装置による処理の一例を示すフローチャートである。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により取得される情報の一例を示す図である。 本発明の実施形態に係る診断支援装置により表示される画面の一例を示す図である。 本発明の第四の実施形態に係る診断支援装置の機能構成の一例を示す図である。 本発明の第四の実施形態に係る診断支援装置による処理の一例を示すフローチャートである。 本発明の第四の実施形態に係る診断支援装置による導出器の生成方法の一例を示す図である。
　以下、図面を参照して本発明の実施形態を説明する。
　［第一の実施形態］
　医療の分野では、Ｘ線ＣＴ装置（Ｃｏｍｐｕｔｅｒ　Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ装置（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）等の撮影装置により得られた医用画像に基づいて診断を行う、画像診断が行われている。ここで、医用画像を観察して診断を導きだすことを読影という。画像診断では、たとえば主治医からの読影の依頼に応じて、画像診断を専門とする読影医が読影を行う。読影医は画像から得られる所見（以下、画像所見と称する。）や各種の測定値から総合的に判断して、医用画像に描出される病変や被検体である患者の症状を特定する。そして読影医は、画像所見や測定値を利用してその診断に至った経緯を、依頼元の主治医への読影レポートとして記載する。
　このような読影を支援するために、コンピュータが医用情報を解析して得られた結果を提示するシステムが提案されている。医師が当該解析の結果を利用する上で、当該結果の根拠となった情報を提示できるようにすることが好ましい。しかしながら、当該解析に入力された情報（以下、入力情報と称する。）が、たとえば画像に描出された特徴を数値化した画像特徴量のような情報の場合には、当該結果に影響を及ぼした情報を同定して提示しても、ユーザにとってわかりづらい情報である場合がある。本発明の第一の実施形態にかかる診断支援装置は、入力情報に画像特徴量のようなユーザにとってわかりづらい情報が含まれる場合であっても、推論結果を導出した手掛かりとなる情報（以下、参考情報と称する）を、ユーザが直感的に理解できる参考情報を提示することを目的とする。ユーザが直感的に理解できる参考情報とは、たとえば病変領域の特徴を言語で表現した所見の情報である。
　以下、詳述する。第一の実施形態にかかる診断支援装置１００は、読影の対象となる医用画像や、電子カルテ等に記載された情報等を取得し、診断の手掛かりとなる情報（参考情報）を提示することにより診断支援を行う。
　なお以下では、診断支援装置１００は、肺の異常陰影の読影に係る医用画像と、当該医用画像に付帯する情報と、過去の病歴や腫瘍マーカー等の血液検査値といった情報（以下、臨床情報と称する。）を取得するものとする。そして、取得した情報を基に入力情報を生成し、入力情報から診断の手掛かりとなる情報（参考情報）をユーザ（医師）に理解可能な形式で生成し、提示する場合を例として説明する。もちろん対象はこれに限定されるものではなく、以下に示す診断名や画像特徴量、画像所見、臨床情報等は、何れも診断支援装置の処理の工程を説明するための一例に過ぎない。
　図１は、診断支援装置１００の機能構成の一例を示す図である。診断支援装置１００は、症例情報端末２００と通信可能に接続されている。診断支援装置１００は、入力情報生成部１０２と、画像特徴量取得部１０４と、推論部１０６と、影響度取得部１０８と、提示度取得部１１０と、選択部１１２と、表示制御部１１４とを有する。診断支援装置１００の各機能構成は内部バス等で接続されている。
　症例情報端末２００は、診断対象である症例に関する情報をサーバ（不図示）から取得する。症例に関する情報とは、たとえば医用画像や電子カルテに記載された臨床情報といった医用情報である。症例情報端末２００は、たとえばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブといった外部記憶装置（不図示）と接続し、それらの外部記憶装置から医用情報を取得するようにしてもよい。
　また、症例情報端末２００は、表示制御部１１４を介して、ユーザが読影可能な形で医用情報をモニタ２０５に表示させてもよい。すなわち症例情報端末２００は、表示制御部１１４を介して、モニタ２０５に表示される医用画像上に異常陰影が存在するとユーザが考える領域の座標情報をユーザに入力させるＧＵＩを提供する。あるいは、症例情報端末２００は、表示制御部１１４を介して、モニタ２０５に表示される医用画像上の領域について、ユーザに画像所見を入力させるＧＵＩを提供してもよい。症例情報端末２００は、当該ＧＵＩを介してユーザが入力した情報を、当該医用画像に付帯する情報（以下、付帯情報と称する。）として取得する。
　そして、症例情報端末２００は、医用画像や臨床情報といった医用情報と付帯情報とを、ネットワーク等を介して診断支援装置１００へと送信する。
　入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報、たとえば医用画像、臨床情報、付帯情報に基づいて、入力情報を生成する。ここで入力情報とは、推論部１０６による推論の入力とするそれぞれの情報を要素とする集合である。第一の実施形態においては、入力情報生成部１０２は医用画像と付帯情報を画像特徴量取得部１０４へと出力し、当該出力に応じて画像特徴量取得部１０４から出力された画像特徴量を取得する。そして入力情報生成部１０２は、取得した画像特徴量と臨床情報とを入力情報とし、当該入力情報を推論部１０６と影響度取得部１０８へと出力する。
　画像特徴量取得部１０４は、入力情報生成部１０２から出力された医用画像と付帯情報とに基づいて、画像特徴量を取得する。画像特徴量取得部１０４は、読影の対象となる医用画像に対して画像処理を行い、当該医用画像の画像特徴量を取得する。たとえば異常領域を示す座標情報といった付帯情報が入力情報生成部１０２より出力された場合には、画像特徴量取得部１０４は当該座標情報により示される異常領域についての画像特徴量を取得できる。画像特徴量取得部１０４は、取得した画像特徴量を入力情報生成部１０２へと出力する。
　推論部１０６は、入力情報生成部１０２が生成した入力情報を入力として、対象とする症例の診断名を推論する。第一の実施形態においては、肺の異常陰影に関する診断名の推論を例に説明する。推論部１０６は、異常陰影の位置を入力情報生成部１０２から出力された付帯情報に基づいて取得してもよいし、画像処理により特定してもよい。推論部１０６は、医用画像上の異常陰影が特定の診断名に該当する確率を推論結果として取得する。そして、取得した推論結果を影響度取得部１０８と、表示制御部１１４へと出力する。推論部１０６は、推論手段の一例である。
　影響度取得部１０８は、入力情報生成部１０２が生成した入力情報と、推論部１０６が出力した推論結果とを用いて、入力情報に含まれる各要素が推論結果に与える影響度を取得する。影響度取得部１０８は、取得した各要素の影響度を提示度取得部１１０へと出力する。影響度取得部１０８は、影響度取得手段の一例である。
　提示度取得部１１０は、影響度取得部１０８が取得した影響度を利用して参考情報の候補である情報の提示度を取得する。参考情報は、推論部１０６による推論の根拠として表示制御部１１４によりユーザに提示される情報である。提示度は、参考情報の候補のうち、参考情報として提示するのに好適な度合いを示す指標である。提示度取得部１１０は、画像特徴量に基づいて画像所見を取得する。入力情報のうち画像特徴量と臨床情報と画像所見が、参考情報の候補となる。提示度取得部１１０は、取得した参考情報の候補の提示度を、選択部１１２へと出力する。提示度取得部１１０は、所見取得手段の一例である。
　選択部１１２は、提示度取得部１１０が取得した参考情報の候補の影響度に基づいて、参考情報すなわち推論の根拠として提示する情報を選択する。選択部１１２は、選択した情報を表示制御部１１４へと出力する。選択部１１２は、選択手段の一例である。
　表示制御部１１４は、推論部１０６が出力した推論結果と、選択部１１２が選択した参考情報をユーザに提示する。表示制御部１１４は、推論結果と参考情報とに基づいて、モニタ２０５に表示する内容を制御する。
　なお、図１に示した診断支援装置１００の各構成の少なくとも一部を独立した装置として実現してもよい。また、それぞれの機能を実現するソフトウェアとして実現してもよい。第一の実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。
　図２は、診断支援装置１００のハードウェア構成の一例を示す図である。ＣＰＵ２０１は、主として各構成要素の動作を制御する。主メモリ２０２は、ＣＰＵ２０１が実行する制御プログラムを格納したり、ＣＰＵ２０１によるプログラム実行時の作業領域を提供したりする。磁気ディスク２０３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３に格納されているプログラムを実行することにより、図１に示した診断支援装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。
　表示メモリ２０４は、たとえばモニタ２０５に表示させるための表示用データを一時記憶する。モニタ２０５は、たとえばＣＲＴモニタや液晶モニタ等であり、表示メモリ２０４からのデータに基づいて画像やテキスト等の表示を行う。マウス２０６及びキーボード２０７は、ユーザによるポインティング入力及び文字等の入力をそれぞれ行う。
　上記各構成要素は、共通バス２０８により互いに通信可能に接続されている。ＣＰＵ２０１はプロセッサの一例である。診断支援装置１００は複数のプロセッサを有していてもよい。たとえば診断支援装置１００は、推論部２０６の処理を専用に行うＧＰＵを有していてもよいし、推論部２０６の機能をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を有していてもよい。また、主メモリ２０２や磁気ディスク２０３や表示メモリ２０４はメモリの一例である。
　図３は診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態では、ＣＰＵ２０１が主メモリ２０２に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実現される。
　以下の説明では、画像特徴量をＩｍ（ｍ＝１～Ｍ）、画像所見をＦｎ（ｎ＝１～Ｎ）、臨床情報をＣｊ（ｊ＝１～Ｊ）で表すこととする。ここで、Ｉｍの各要素は連続値、Ｆｎの各要素は離散値（カテゴリ値）、Ｃｊは要素により連続値または離散値を取るものとする。離散値を取る場合、各離散値をｆｎｋ、ｃｊｋで表すこととする。なお、ｋは各Ｆｎ、Ｃｊにより様々な値を取るものとする。また、画像特徴量Ｉｍ、および、臨床情報Ｃｊが連続値を取る場合、その値をｉｍ、ｃｊで表す。
　第一の実施形態では、画像所見と臨床情報は図４に例示したような項目と値を扱うものとする。たとえば画像所見の場合、項目Ｆ１の「形状」であれば、要素はｆ１１「球形」、ｆ１２「分葉状」、ｆ１３「多角形」、ｆ１４「不整形」の４値のいずれかである。項目Ｆ２の「切れ込み」であれば、要素はｆ２１「強い」、ｆ２２「弱い」、ｆ２３「なし」の３値のいずれかである。臨床情報である項目Ｃ１の「発熱」であれば、要素はｃ１１「あり」、ｃ１２「なし」の２値のいずれかである。項目ＣＪの「ＣＥＡ」（腫瘍マーカーの一種）であれば、要素は連続値ｃＪである。
　また、以下の説明ではＩｍ、Ｆｎ、Ｃｊの値を要素とする集合をＥと表記し、入力情報をＥｆで表す。さらに、以下の説明では、診断名をＤで表す。第一の実施形態では、推論部１０６が肺の異常陰影に関する診断名の推論を行い、診断名として、原発性肺癌、癌の肺転移、その他の３値のいずれであるかを推論するものとする。以下では、原発性肺癌、癌の肺転移、その他、をそれぞれｄ１、ｄ２、ｄ３と表記する。また、推論部１０６への入力として入力情報Ｅｆが与えられた場合の診断名ｄｕ（ｕ＝１，２，３）の推論確率を、Ｐ（ｄｕ｜Ｅｆ）と表記する。
　ステップＳ３０００において、入力情報生成部１０２は、症例情報入力端末２００から診断支援装置１００へ送信された情報（医用画像、臨床情報、付帯情報）を取得する。第一の実施形態では、付帯情報として異常陰影の座標情報のみが送信された場合を例に説明する。
　ステップＳ３０１０において、画像特徴量取得部１０４は、ステップＳ３０００で出力された医用画像と付帯情報とに基づいて画像処理を行い、画像特徴量を取得する。ここで取得する画像特徴量は、画像の処理対象領域内における濃度（輝度）の平均値や分散などの一般的な画像特徴量であってもよいし、フィルタ出力に基づく画像特徴量であってもよい。
　第一の実施形態において画像特徴量取得部１０４は、ステップＳ３０００で取得した付帯情報（異常陰影の座標情報）を参照し、医用画像から異常陰影領域をセグメンテーションした後、画像処理により画像特徴量を取得するものとする。
　ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した画像特徴量とに基づいて入力情報を生成する。たとえば、ステップＳ３０００で取得した臨床情報が｛ｃ１２，ｃ２２，…，ｃＪ｝、ステップＳ３０１０で取得した画像特徴量が｛ｉ１，ｉ２，…，ｉＭ｝であったとする。この場合、入力情報ＥｆはＥｆ＝｛ｃ１２，ｃ２２，…，ｃＪ，ｉ１，ｉ２，…，ｉＭ｝となる。
　ステップＳ３０３０において、推論部１０６は、ステップＳ３０２０で生成された入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。すなわち推論部１０６は、医用画像に含まれる領域の特徴を示す値である画像特徴量に基づいて、当該医用画像から導かれる診断名を推論する。具体的には、Ｐ（ｄｓ｜Ｅｆ）を取得する。このとき推論を行う方法としては、ベイジアンネットワーク、サポートベクターマシン、ニューラルネットワークなどを用いた手法が挙げられる。第一の実施形態では、ベイジアンネットワークを利用するものとする。
　ステップＳ３０４０において、影響度取得部１０８は、ステップＳ３０２０で生成した入力情報と、ステップＳ３０３０で実行した推論結果を用いて、入力情報の各要素が推論結果に与える影響度を取得する。すなわち、影響度取得部１０８は推論部１０６により推論の入力として用いられる情報のそれぞれに対して、診断名の推論に与えた影響の度合いである影響度を取得する。第一の実施形態では、各診断名のうち最も推論確率が高かった診断名ｄｆに対する影響度を取得するものとする。具体的には、ある要素ｅｖ（ｅｖ∈Ｅｆ）の影響度を、入力情報Ｅｆを用いて推論した場合のｄｆの推論確率から、Ｅｆからｅｖのみを除去して推論した場合のｄｆの推論確率を引いたものとする。要素の影響度をＩ（ｅｖ）で表し、影響度を式１のように定義する。
Figure JPOXMLDOC01-appb-M000001
　Ｉ（ｅｖ）が正の場合は、ｅｖを入力情報に含まないことによりｄｆの推論確率が減少したことを示す。したがって、ｅｖはｄｆを肯定する情報と考えられる。一方、Ｉ（ｅｖ）が負の場合は、ｅｖを入力情報に含まないことによりｄｆの推論確率が増加したことを示す。したがって、ｅｖはｄｆを否定する情報と考えられる。
　ステップＳ３０５０において、提示度取得部１１０は、ステップＳ３０４０で取得した影響度を利用して、参考情報すなわち推論の根拠として提示する情報の候補についての提示度をそれぞれ取得する。画像所見及び臨床情報の各要素の提示度は、ステップＳ３０４０で取得した影響度の絶対値とする。また提示度取得部１１０は、画像特徴量の各要素の提示度を画像特徴量と画像所見の関係に基づいて取得する。これにより、画像特徴量は提示度付きの画像所見へと変換される。
　第一の実施形態では、提示度取得部１１０は、画像特徴量に基づいて類似症例を検索し、類似症例に関連付けられている所見の情報を利用して、画像特徴量を提示度付き画像所見へと変換する。類似症例は、症例情報端末２００に格納されている症例のデータベースから検索してもよいし、診断支援装置１００の外部のサーバ（不図示）に格納されている症例のデータベースから検索してもよい。症例情報端末２００や外部のサーバ（不図示）に格納されている各症例には、予め画像所見が付与されているものとする。すなわち、提示度取得部１１０は画像特徴量に基づいて画像所見を取得する。より詳しくは、提示度取得部１１０は、推論部１０６に対する入力情報に含まれる画像特徴量と関連する所見の情報を取得する。
　具体的には、提示度取得部１１０は、各画像特徴量の影響度の絶対値を重みとし、重み付け類似症例検索を行うことで類似度付きで複数の症例を抽出する。そして、抽出された症例（対象症例）に付与された画像所見と、診断支援装置により診断支援を行う対象の症例（以下、現症例と称する。）の画像特徴量との類似度を基に提示度を取得する。すなわち対象症例は、推論部１０６に対する入力情報に含まれる画像特徴量と類似した画像特徴量を有する類似症例の一例である。
　まず、提示度取得部１１０は、類似度を以下のように取得する。対象症例（Ｔｘ：ｘ＝１～Ｘ）の各画像特徴量Ｉｍの値をｉＴｘｍとし、現症例とＴｘの間の類似度Ｓｉｍ（Ｔｘ）を式２で表す。なお、各画像特徴量は［０，１］に正規化されているものとする。式２で表される類似度Ｓｉｍ（Ｔｘ）は、現症例とＴｘの画像特徴量の値が近いほど１に近い値を取る。
Figure JPOXMLDOC01-appb-M000002
　なお、提示度取得部１１０は、類似度を他の方法を用いて取得してもよい。提示度取得部１１０は、たとえば影響度を重みとして用いず、ＳとＴｘのマハラノビス距離を類似度として用いてもよい。その場合はマハラノビス距離が０である場合に類似度が１となるように変換を行うのが望ましい。
　さらに提示度取得部１１０は、類似度と対象症例に付与されている画像所見を基に、式３に表すような画像所見の値の提示度（Ｐｒｅ（ｆｎｋ））を取得する。
Figure JPOXMLDOC01-appb-M000003
　式３において、δｘ（ｆｎｋ）はＴｘに画像所見の値ｆｎｋが付与されている場合に１をとり、付与されていない場合には０をとる関数を示す。式３は、類似度が高い対象症例群において共通している画像所見の値が多いほど、その画像所見の値の提示度が大きくなることを示す。すなわち提示度取得部１１０は、類似度と、対象症例群においてある画像所見が関連付けられている頻度を示す統計情報に基づいて、提示度を取得する。
　上述の例では、提示度取得部１１０は類似症例を格納するデータベースに含まれている全データ（Ｘ症例）を用いて提示度を取得した。しかしこれに限らず、提示度取得部１１０は類似度の上位Ｘ’症例のみを用いて取得してもよいし、閾値を設定しておき、類似度がその閾値を超えるＸ”症例のみを用いて取得しても良い。
　ステップＳ３０６０において、選択部１１２はステップＳ３０５０で取得した提示度に基づき、推論の根拠として提示する情報を選択する。選択部１１２は、推論部１０６に対する入力情報のうち、画像特徴量を除く要素と、Ｓ３０５０で取得した画像所見から、推論の根拠として提示する情報を選択する。選択部１１２により選択された情報が参考情報すなわち推論の根拠として提示される情報となる。すなわち選択部１１２は、推論部１０６に対する入力情報に含まれる画像特徴量と類似症例の画像特徴量との類似度と、当該類似症例に画像所見が関連付けられている頻度を示す統計情報に基づく値である提示度に基づいて、推論の根拠として提示する情報を選択する。
　第一の実施形態では提示度の大きい順に３つ情報を選択するものとする。ただし、一つの画像所見の項目（たとえばＦｎ）として、複数の値を取り得る場合（たとえばｆｎ１、ｆｎ２）には、提示度が最も高い値のみを選択し、他の値は無視するものとする。もちろん選択数や選択方法はこれに限定されない。たとえば、選択数は３以外でもよい。選択方法は、所定の閾値を満たすものを選択することとしてもよい。
　ステップＳ３０７０において、表示制御部１１４はステップＳ３０３０で取得した推論結果と、ステップＳ３０６０で選択した情報を基に、表示する内容を制御する。すなわち、表示制御部１１４は、推論の根拠として、診断支援の対象である症例の医用画像に含まれる領域の特徴を表現する所見の情報であって、選択部１１２に選択された情報を提示する。
　以下、図５から図７を用いてステップＳ３０４０からステップＳ３０７０の流れを説明する。たとえば、ステップＳ３０４０において推論部１０６に入力された入力情報の各要素に対して、図５に示すような影響度が影響度取得部１０８により取得されたとする。ステップＳ３０５０において提示度取得部１１０は、入力情報のうち図６（ａ）に示す画像特徴量ｉ１～ｉｍに関して、式２により対象症例との類似度を取得する。そして提示度取得部１１０は、図６（ｂ）に示すように各対象症例との類似度と各対象症例に関連付けられた画像所見を用いて、式３により提示度を取得する。これにより、入力情報に含まれる画像特徴量が、提示度付きの画像所見の値に変換される。すなわち提示度取得部１１０は、Ｍ個の画像特徴量を、Ｙ個の、提示度付きの画像所見の値に変換する。その結果、提示度取得部１１０は、図６（ｃ）に示すような提示度付きの画像所見を取得する。また、提示度取得部１１０は、入力情報のうち臨床情報の影響度の絶対値を提示度として取得する。その結果、提示度取得部１１０は、図６（ｄ）に示すような、提示度付きの臨床情報を取得する。なお、この例では不図示のデータベースに格納された全症例を用いているため現症例の画像特徴量の値によらず、Ｙは常に同一の個数となる。一方、前述したように上位Ｘ’症例に限った場合や閾値を超えるＸ”症例に限った場合にはＹの値が変化してもよい。
　そして、ステップＳ３０６０において、画像所見、臨床情報の各要素の提示度を基に情報を選択する。図６の例では、各要素の値を提示度の大きい順に並べるとｆ１４、ｆＮ１、ｆＮ２、ｃＪ、…の順番となる。しかし、ｆＮ１とｆＮ２はいずれもＦＮの値であるため、提示度の高いｆＮ１のみを考慮し、ｆＮ２は対象から除外する。従って、最終的には図６（ｅ）に示すようにｆ１４、ｆＮ１、ｃＪが参考情報すなわち推論の根拠として提示される情報として選択される。すなわち選択部１１２は、参考情報の候補の中に、同じ特徴を表現する所見に異なる表現の所見が複数含まれる場合には、提示度の高い所見の情報を参考情報すなわち推論の根拠として選択する。
　図７は、ステップＳ３０７０において、表示制御部１１４によりモニタ２０５に表示される画面の一例である。表示内容７００は、ステップＳ３０００で取得した医用画像７０００、ステップＳ３０３０で取得した推論結果７０１０、ステップＳ３０６０で選択した参考情報７０２０を含む。ユーザは表示された推論結果７０１０や、参考情報７０２０を、画像診断時の支援情報として利用できる。
　第一の実施形態によれば、診断支援装置１００は、医用画像に関する入力情報を基に推論を行い、入力情報の各要素の推論結果への影響度を取得する。さらに、各要素の影響度を用いて提示度を取得する。特に入力情報に画像特徴量が含まれる場合には、画像特徴量から提示度付きで画像所見への変換を行い、提示度を基に参考情報となる画像所見や臨床情報を提示する。これにより、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で推論の根拠となった情報を把握することができる。
　（第一の実施形態の変形例１）
　第一の実施形態では、ステップＳ３０５０において類似症例を検索して画像特徴量を画像所見へと変換する例について説明した。これに限らず、たとえば画像特徴量から各画像所見の値の尤度を推論することにより、提示度付きの画像所見へと変換してもよい。この時、ある閾値以上の影響度を持つ画像特徴量のみを用い、あとは欠損値としてもよい。また、上位Ｎ個の影響度を持つ画像特徴量のみを用いるようにしてもよい。提示度は画像所見の尤度を用いてもよいし、画像特徴量の影響度の平均値や最大値、最小値などを積算してもよい。
　（第一の実施形態の変形例２）
　第一の実施形態ではステップＳ３０５０において類似症例検索を用いて画像特徴量を画像所見へと変換する例について説明した。これに限らず、画像特徴量と画像所見の間の相関比を用いて提示度付きの画像所見に変換してもよい。たとえば提示度取得部１１０は、データベースに格納された症例における、画像特徴量ｉｍと画像所見Ｆｎの相関比ηｍｎを取得し、各画像特徴量の影響度と相関比の積の平均を取る。たとえば提示度取得部１１０は、式４に示すような、画像所見Ｆｎの提示度Ｐｒｅ（Ｆｎ）を取得する。
Figure JPOXMLDOC01-appb-M000004
　また別の例では、Ｆｎを分解し、ｆｎｋがある場合に１、ない場合に０を取るようなＫ個の画像所見の値のカテゴリ値を生成して相関比を取得し、画像所見の値ｆｎｋの提示度を取得しても良い。画像特徴量ｉｍと画像所見ｆｎｋの相関比をηｍｎｋとすると画像所見の値ｆｎｋの提示度は式５で表せる。
Figure JPOXMLDOC01-appb-M000005
　すなわち、提示度を取得する際に、画像特徴量をある画像所見で表現することについての統計情報として、予め定められた相関比を用いても良い。
　［第二の実施形態］
　第二の実施形態に係る診断支援装置１００は、画像特徴量から画像所見に変換したものを推論の入力情報とし、推論、及び推論の根拠の提示を行う。
　第二の実施形態における診断支援装置１００の機能構成は、第一の実施形態における図１と同様の機能構成から成る。ただし、一部の機能が第一の実施形態と異なり、以下では第一の実施形態との相違部分についてのみ説明する。
　入力情報生成部１０２は、症例情報端末２００から診断支援装置１００へ送信された情報（医用画像、臨床情報、付帯情報）に基づいて入力情報を生成する。第二の実施形態では、入力情報生成部１０２は医用画像と付帯情報を画像特徴量取得部１０４へと出力する。そして入力情報生成部１０２は、画像特徴量取得部１０４から出力された画像特徴量を取得する。さらに入力情報生成部１０２は、取得した画像特徴量に基づいて推論を行い、尤度付きで画像所見へと変換する。そして、変換した画像所見と臨床情報を入力情報とし、推論部１０６と影響度取得部１０８、提示度取得部１１０へと出力する。入力情報生成部１０２は、画像特徴量に基づいて所見の情報を取得する所見取得手段の一例である。入力情報生成部１０２は、画像特徴量に基づいて画像所見を推論する機能を提供する外部のサーバ（不図示）から、当該画像所見の情報を取得してもよく、入力情報生成部１０２とは異なるモジュール（たとえば、推論部１０６や第二の推論部）に推論を行わせてもよい。
　推論部１０６は、入力情報生成部１０２により生成された入力情報に基づいて推論を行う。入力情報には、画像特徴量から変換された画像所見が含まれる。すなわち推論部１０６は、画像特徴量に基づいて、医用画像から導かれる診断名を推論する推論手段の一例である。
　提示度取得部１１０は、入力情報生成部１０２により生成された尤度付き画像所見と、影響度取得部１０８により取得された影響度とに基づいて、参考情報の候補の提示度を取得する。提示度取得部１１０は、取得した参考情報の候補の提示度を選択部１１２へと出力する。
　診断支援装置１００のハードウェア構成は第一の実施形態における図２と同様である。即ち、ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３に格納されているプログラムを実行することにより、診断支援装置１００の機能（ソフトウェア）及び図３のフローチャートに例示される処理が実現される。診断支援装置１００は複数のプロセッサを有していてもよい。たとえば診断支援装置１００は、画像特徴量に基づいて画像所見を推論する入力情報生成部１０２と、医用画像から導かれる診断名を推論する推論部１０６の機能をプログラムしたＦＰＧＡをそれぞれ有していてもよい。
　図３は、第二の実施形態にかかる診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第一の実施形態との相違部分について説明する。
　ステップＳ３０００、ステップＳ３０１０の処理は、第一の実施形態における処理と同様である。
　ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した画像特徴量を画像所見に変換し、入力情報を生成する。すなわち、入力情報生成部１０２は、ステップＳ３０１０で取得した画像特徴量のそれぞれに対して推論を行うことにより所見の情報を取得する。第二の実施形態では、入力情報生成部１０２は画像特徴量に基づいて推論を行い、当該画像所見を尤度付きの画像所見へと変換する例を説明する。
　たとえば、画像特徴量｛ｉ１，ｉ２，…，ｉＭ｝から変換したい画像所見が形状（Ｆ１：ｆ１１、ｆ１２、ｆ１３、ｆ１４）の場合を考える。入力情報生成部１０２は、画像特徴量を入力として、ｆ１１、ｆ１２、ｆ１３、ｆ１４の尤度を出力する。ｆ１１の尤度をＬ（ｆ１１）とすると、Ｌ（ｆ１１）＋Ｌ（ｆ１２）＋Ｌ（ｆ１３）＋Ｌ（ｆ１４）＝１．０となる。画像所見についての推論の手法は、尤度付きで値を出力できる様々な手法を利用できる。第二の実施形態では多値ニューラルネットワークを用いるものとする。また、以下では変換された尤度付き画像所見をＦ１（）で表す。すなわち、入力情報生成部１０２は、画像特徴量と対応する所見の情報を取得し、当該画像特徴量を当該所見で表すことについての尤度すなわち統計情報を取得する。
　そして、入力情報生成部１０２は、変換した画像所見と臨床情報の集合を入力情報として生成する。画像所見は尤度を保持したまま入力情報とする。たとえば、臨床情報が｛ｃ１２，ｃ２２，…，ｃＪ｝、変換した画像所見が｛Ｆ１（），Ｆ２（），…｝の場合は、入力情報ＥｆはＥｆ＝｛ｃ１２，ｃ２２，…，ｃＪ，Ｆ１（），Ｆ２（），…｝となる。
　ステップＳ３０３０において、推論部１０６は、ステップＳ３０２０で生成した入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。推論手法は第一の実施形態と同様にベイジアンネットワークを利用するものとする。すなわち推論部１０６は、画像特徴量に基づいて取得された所見の情報を入力情報として推論を行う。
　第二の実施形態では画像所見の値が尤度で示されているため、全ての画像所見の組み合わせについて推論を実行し、尤度を用いて推論結果を統合するものとする。ここでは、画像所見がＦａ｛ｆａ１，ｆａ２｝、Ｆｂ｛ｆｂ１，ｆｂ２｝、臨床情報が｛ｃＪ｝である場合を例に説明する。まず、推論部１０６は入力情報に含まれる要素の全ての組み合わせを考慮した仮入力情報（Ｅｚ）を生成する。この例の場合、推論部１０６はＥ１＝｛ｆａ１，ｆｂ１，ｃＪ｝、Ｅ２＝｛ｆａ１，ｆｂ２，ｃＪ｝、Ｅ３＝｛ｆａ２，ｆｂ１，ｃＪ｝、Ｅ４＝｛ｆａ２，ｆｂ２，ｃＪ｝の４つの仮入力情報を生成する。そして推論部１０６は、夫々の仮入力情報を用いてＰ（ｄｓ｜Ｅｚ）を取得する。さらに推論部１０６は、各Ｐ（ｄｓ｜Ｅｚ）に画像所見の尤度を積算し、その結果を加算したものを最終的な推論結果として取得する。上記の例では、推論部１０６は、Ｌ（ｆａ１）×Ｌ（ｆｂ１）×Ｐ（ｄｓ｜Ｅ１）＋…＋Ｌ（ｆａ２）×Ｌ（ｆｂ２）×Ｐ（ｄｓ｜Ｅ４）を最終的な推論結果Ｐ（ｄｓ｜Ｅｆ）とする。上述の例では、推論結果を式６で表すことができる。
Figure JPOXMLDOC01-appb-M000006
　すなわち推論部１０６は、入力された情報に含まれる所見の情報のうち少なくとも一部の情報からなる仮入力情報を複数生成し、複数の仮入力情報に基づいてそれぞれ推論される結果と、尤度すなわち統計情報とに基づいて診断名を推論する。なお、取得量を減らすために、推論部１０６は閾値以下の尤度をもつ画像所見の値は考慮しないようにしてもよい。
　ステップＳ３０４０の処理は第一の実施形態における処理と同様である。
　ステップＳ３０５０において、提示度取得部１１０はステップＳ３０２０で取得した画像所見の尤度と、ステップＳ３０４０で取得した影響度を利用して提示度を取得する。提示度取得部１１０は、臨床情報の各要素の影響度の絶対値を提示度として取得する。また提示度取得部１１０は、入力情報生成部１０２により変換された画像所見の尤度と影響度の絶対値の積を提示度として取得する。すなわち提示度取得部１１０は画像所見について、影響度と、統計情報の一例である尤度とに基づいて提示度Ｌ（ｆｎｋ）×Ｉ（ｆｎｋ）を取得する。
　ステップＳ３０６０、ステップＳ３０７０の処理は、第一の実施形態における処理と同様である。すなわち選択部１１２は、入力情報に含まれる所見の情報の、推論に対する影響度と、画像特徴量に示される領域を当該所見の情報で表すことについての統計情報に基づく値である提示度に基づいて、推論の根拠として提示する情報を選択する。そして、表示制御部１１４は選択部１１２により選択された情報を、推論の根拠として提示する。
　第二の実施形態によれば、診断支援装置１００は、医用画像を画像処理した結果から画像所見へと変換するとともに、変換した画像所見と臨床情報を入力情報とする。そして、入力情報の各要素の提示度を取得し、提示度をもとに参考情報となる画像所見や臨床情報を提示する。これにより、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で参考情報を確認することができ、それゆえ自身の診断の一助とすることができる。
　（第二の実施形態の変形例１）
　ステップＳ３０２０では、入力情報生成部１０２が画像特徴量に基づく推論により尤度付きで各画像所見を取得する例について説明した。これに限らず、たとえば第一の実施形態のように類似症例を検索して所見の情報を取得してもよく、相関比を用いて所見の情報を取得してもよい。
　類似症例を検索して所見の情報を取得する場合は、たとえばマハラノビス距離を用いて類似度Ｓｉｍ（Ｔｘ）を取得し、式３の提示度取得の式を所見の尤度としてもよい。
　相関比を用いて所見の情報を取得する場合は、たとえば式７により尤度を取得できる。
Figure JPOXMLDOC01-appb-M000007
　（第二の実施形態の変形例２）
　ステップＳ３０３０では全ての画像所見の組み合わせについて仮入力情報を生成し、仮入力情報による推論結果を統合して最終的な推論結果としていた。しかし、全ての画像所見の組み合わせについて行わなくてもよい。たとえば、それぞれの画像所見について最も尤度が高い画像所見の値のみを推論に用いることにしてもよい。
　［第三の実施形態］
　第三の実施形態では、推論部１０６に対する入力情報の中に、画像特徴量に基づいて取得された所見の情報と、付帯情報としてたとえば医師が入力した所見の情報とが含まれている場合を例に説明する。
　第三の実施形態にかかる診断支援装置１００の機能構成は第一の実施形態における図１と同様である。また、診断支援装置１００のハードウェア構成は第一の実施形態における図２と同様である。即ち、ＣＰＵ２０１が主メモリ２０２、磁気ディスク２０３に格納されているプログラムを実行することにより、第三の実施形態の診断支援装置１００の機能（ソフトウェア）及び図３のフローチャートに例示される処理が実現される。
　図３は、第三の実施形態にかかる診断支援装置１００により行われる処理の一例を示すフローチャートである。第一の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第一の実施形態との相違部分について説明する。
　ステップＳ３０００、ステップＳ３０１０の処理は、第一の実施形態における処理と同様である。
　ステップＳ３０２０において、入力情報生成部１０２は、ステップＳ３０００で取得した臨床情報と、付帯情報に含まれる画像所見と、ステップＳ３０１０で取得した画像特徴量を基に入力情報を生成する。たとえば、ステップＳ３０００で取得した臨床情報が｛ｃ１２，ｃ２２，…，ｃＪ｝、付帯情報に含まれる画像所見が｛ｆ１１，ｆ３１｝、ステップＳ３０１０で取得した画像特徴量が｛ｉ１，ｉ２，…，ｉＭ｝だった場合を考える。この場合、入力情報ＥｆはＥｆ＝｛ｃ１２，ｃ２２，…，ｃＪ，ｆ１１，ｆ３１，ｉ１，ｉ２，…，ｉＭ｝となる。
　ステップＳ３０３０、ステップＳ３０４０の処理は、第一の実施形態における処理と同様である。
　ステップＳ３０５０において、提示度取得部１１０はステップＳ３０４０で計算した影響度を利用して、参考情報の候補の提示度をそれぞれ計算する。提示度取得部１１０は、画像所見、臨床情報の各要素の影響度の絶対値をそれぞれの提示度として取得する。また提示度取得部１１０は、画像特徴量を提示度付きの画像所見へと変換する。
　第三の実施形態では第一の実施形態と同様に類似症例を検索して、画像特徴量に基づく画像所見を取得することとする。類似症例の検索により取得された画像所見と、医師により入力された画像所見とが重複している場合が考えられる。このように画像所見が重複している場合には、たとえば提示度取得部１１０は類似症例検索で得られた画像所見を参考情報の候補としないこととする。たとえば、入力情報に含まれる画像所見がｆ１１で、提示度付きの画像所見は図６（ｃ）に示すものが得られた場合を考える。この場合、医師によりＦ１の値であるｆ１１が入力されているため、提示度付きの画像所見のうち、Ｆ１の値であるｆ１１、ｆ１４は参考情報の候補とせず、たとえば提示度をゼロとする。したがって、参考情報の候補には、Ｆ１に関してはｆ１１のみが含まれる。付帯情報であるｆ１１の提示度は、影響度の絶対値である。
　ステップＳ３０６０、ステップＳ３０７０の処理は第一の実施形態と同様である。
　第三の実施形態によれば、診断支援装置１００は、付帯情報として画像所見が含まれている場合には、入力情報を画像特徴量、画像所見、臨床情報とする。そして、入力情報を基に推論を行い、入力情報の各要素の推論結果への影響度を取得する。さらに、各要素の影響度を用いて提示度を取得する。ただし、画像特徴量から変換した画像所見と入力情報に含まれる画像所見が重複した場合には、後者の画像所見を優先する。これにより、ユーザである医師が自ら入力した画像所見も含めて推論を実施するのに加え、人間にとって理解しやすい画像所見や臨床情報といった形で参考情報を提示することができる。さらに、ユーザは自身の考えも考慮した推論の根拠を確認することができる。
　［第四の実施形態］
　第四の実施形態に係る診断支援装置は、推論部への入力情報を、機械学習により構築した導出器を用いて生成する。診断支援装置が診断名を推論するための推論器の構築には、必要な情報を含む豊富なデータセットが必要である。医用画像と診断名との情報を含むデータセットからは、新しい医用画像を入力として診断名を推論する推論器を構築することが可能である。一方、医用画像と医師が医用画像から読み取った特徴を文言で表現した画像所見との情報を含むデータセットからは、新しい医用画像を入力として画像所見を推論する推論器を構築することが可能である。しかしながら、医用画像と画像所見との情報を含むデータセットは、必ずしも豊富に得られないおそれがある。第四の実施形態は、推論器の構築に用いることができるデータセットにおいて、必要な情報が少量しか得られない場合にも精度の高い推論器を構築し、当該推論器による診断支援装置を提供することを目的とする。
　図８は、第四の実施形態における診断支援装置８００の機能構成の一例を示す図である。第二の実施形態における診断支援装置１００と同様の機能構成には同一の符号を付し、上述した説明を援用することにより、ここでの詳しい説明を省略する。第四の実施形態における入力情報生成部８０２は、第二の実施形態における入力情報生成部１０２の機能に加えて画像特徴量取得部１０４の機能を含む。すなわち、第四の実施形態における入力情報生成部８０２は、症例情報入力端末２００から取得した情報（医用画像、臨床情報、付帯情報）に基づいて、画像所見を導出する。
　図９は、第四の実施形態にかかる診断支援装置８００により行われる処理の一例を示すフローチャートである。第二の実施形態と同様の処理については上述した説明を援用することにより詳しい説明を省略し、以下では第二の実施形態との相違部分について説明する。
　ステップＳ９０００の処理は、第二の実施形態におけるステップＳ３０００の処理と同様である。
　ステップＳ９０２０において、入力情報生成部８０２は、ステップＳ９０００で取得した情報を基に、尤度付きの画像所見を導出する。そして、入力情報生成部８０２は、導出した画像所見と臨床情報の集合を入力情報として生成する。
　ここで、入力情報生成部８０２が尤度付きの画像所見を導出する処理は、医用画像を所見項目のいずれかの値に分類する導出器（分類器）を用いて行う。導出器は所見の項目の数だけ作成される。すなわち、形状（Ｆ１：ｆ１１、ｆ１２、ｆ１３、ｆ１４）を分類する導出器と、切れ込み（Ｆ２：ｆ２１、ｆ２２、ｆ２３）を分類する導出器は別である。導出器は、医用画像に所見項目毎の分類の正解ラベルが付与されたデータ群を用いて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）により構築する。ＣＮＮは機械学習の一例である。入力情報生成部８０２は、分類モデルの出力をソフトマックス関数で処理することにより、分類の尤度を合わせて取得することができる。
　なお、導出器には、前処理を施した医用画像を入力するようにしてもよい。例えば、異常陰影の位置をもとに、医用画像からＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）やＶＯＩ（Ｖｏｌｕｍｅ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を切り出した部分画像を入力してもよい。また、特定の領域のみをマスク処理した画像や、コントラスト強調などの画像処理を施した画像を入力してもよい。
　ステップＳ９０３０からＳ９０７０の処理は、第二の実施形態におけるステップＳ３０３０からＳ３０７０の処理と同様である。
　以上のように、第四の実施形態にかかる推論部１０６は、医用画像に基づいて画像所見の情報を出力する導出器（入力情報生成部８０２）を介して、診断名を推論し、当該推論の根拠となる画像所見の情報を出力する。第四の実施形態にかかる診断支援装置は、医用画像に基づいて画像所見の情報を出力する導出器を介して、推論される診断名と、当該推論の根拠となる画像所見の情報をユーザに提示する。
　第四の実施形態によれば、尤度付き所見を導出する処理をＣＮＮによって構築することにより、所見に影響する画像特徴量が未知である場合にも、精度よく所見を導出することができるようになる。そして、第二の実施形態と同様に、ユーザである医師は、人間にとって理解しやすい画像所見や臨床情報といった形で診断名の推論の根拠となった情報を把握することができる。
　（第四の実施形態の変形例１）
　医用画像を所見項目のいずれかの値に分類する導出器は、他の目的で作成された導出器のモデルを流用して作成してもよい。例えば図１０に示すように、医用画像を診断名のいずれかに分類する導出器である診断推論器１００１をＣＮＮにより構築し、そのモデルを流用して、医用画像を所見項目のいずれかの値に分類する導出器である診断推論器１００２を構築する。モデルの流用は、例えば特許文献２に開示されている方法で行う。即ち、元となるモデルと最終レイヤ以外の構造及びパラメータが同一である流用モデルを用意し、目的のデータセットで学習し直すことで、モデルのパラメータを更新する。また、流用元のモデルと畳み込み層のみを同一にするなど、他の方法でモデルを流用してもよい。
　なお、流用元のモデルは診断の導出器に限らない。例えば、オートエンコーダ等の公知の教師なし学習手法により作成されたモデルを流用してもよい。
　この場合、図１０に示すように、医用画像を基に診断名を推論する診断推論器が二つ存在することになる。一つは医用画像から直接診断名を推論する診断推論器１００１であり、もう一つは医用画像から所見を介して診断名を推論する診断推論器１００２である。診断推論器１００２は提示度算出部１１０及び選択部１１２により、推論根拠となる情報を併せて取得することができる。
　すなわち、診断推論器１００２は、予め収集されたデータセット群を用いて以下のようにして取得される。当該データセット群は少なくとも診断名の情報を含む。第１の工程において、医用画像から診断名を推論する第１の推論器が機械学習により取得される。診断推論器１００１は第１の推論器の一例である。第２の工程において、第１の推論器と構成の一部が共通し、医用画像から画像の特徴を表す画像所見を推論する第２の推論器が機械学習により取得される。図１０に示す診断推論器に含まれるＣＮＮにより構成される推論器は第２の推論器の一例である。第３の工程において、画像所見から診断名を推論し、当該推論の根拠となる画像所見の情報を出力する第３の推論器が取得される。図１０に示す診断推論器１００２に含まれる診断・根拠推論器は第３の推論器の一例である。第４の工程において、第２の推論器と第３の推論器とに基づいて、医用画像から診断名を推論する第４の推論器を取得する。診断推論器１００２は、第４の推論器の一例である。なお、診断推論器１００２の取得にかかる第３の工程は、第１の工程および第２の工程に先だって行われてもよく、並行して行われてもよい。
　第四の実施形態における診断支援装置８００は、入力情報生成部８０２及び推論部１０６に換えて、診断推論器１００１と診断推論器１００２のいずれかを使用するように構成してもよい。または、診断推論器１００１と診断推論器１００２の両方を使用するように構成してもよい。
　ここで、推論した診断名をユーザに提示する際に、使用した診断推論器の精度の情報を併せて提示してもよい。診断推論器の精度は、予め収集されたデータセット群のうち、診断推論器の取得（学習時）において使用されていないデータセット群を評価用データセット群とし、正解ラベルと推論結果とが一致する数の割合により求まる。推論部１０６は、使用した診断推論器の精度を評価する評価部（不図示）を含んでいてもよいし、診断支援装置８００は評価部（不図示）を有していてもよい。評価部（不図示）は、評価手段の一例である。
　なお、評価部（不図示）は診断推論の精度を、画像の分類毎に算出するようにしてもよい。すなわち評価部（不図示）は、画像の特徴により分類されたカテゴリ毎に精度を評価してもよい。カテゴリとは例えば、医用画像に描画されている被検体の構造である。評価部（不図示）は例えば、胸壁が映っている画像と映っていない画像の各々について、精度を算出してもよい。そして、推論部１０６は推論の対象として新たに、胸壁が映っている画像が入力された場合には、胸壁が映っている画像のカテゴリで精度の高い診断推論器を用いてもよい。これにより推論部１０６は、入力される画像に応じて適切な診断推論器を選択することができる。
　また、ユーザに提示する診断名は、精度の高い診断推論器による推論結果を選択的に用いてもよいし、二つの診断推論器による結果を同時に提示してもよい。
　また、使用する診断推論器は、推論根拠を出せるか否か等の付帯機能により選択してもよい。これにより、ユーザが明示的に所見を入力している場合は推論根拠を出せる診断推論器１００２を用い、ユーザが画像を閲覧している場合は精度の高い診断推論器を用いるなど、ユーザの状況に応じて適切な推論器を選択することができる。すなわち、推論部はユーザの操作入力に基づいて推論器を選択してもよい。
　また、診断推論器１００１により診断名を推論すると同時に、診断推論器１００２により診断名と推論根拠を推論し、各々の診断推論器の推論結果が同一である場合は診断推論器１００２の推論結果と推論根拠をユーザに提示し、異なる場合は精度の高い推論器による推論結果をユーザに提示してもよい。これにより、入力される画像に応じて適切な診断推論器を選択することができる。
　本変形例によれば、医用画像の特徴を取得するように事前に学習されたモデルを流用することにより、医用画像に所見の正解ラベルが付与されたデータ群の数が少ない場合でも、ＣＮＮにより精度よく所見を導出することができるようになる。
　（第四の実施形態の変形例２）
　第四の実施形態の変形例１において、流用元のモデルの中間レイヤの出力を画像特徴として抽出し、画像特徴量抽出器として用いてもよい。画像特徴量抽出器は、第四の実施形態における入力情報生成部８０２の一部として使用する。すなわち、入力情報生成部８０２は、画像特徴量抽出器で抽出された画像特徴に基づいて、サポートベクターマシンやランダムフォレスト等の手法により、所見を導出する。
　本変形例によれば、医用画像の特徴を取得するように事前に学習されたモデルを流用することにより、医用画像に所見の正解ラベルが付与されたデータ群の数が少ない場合でも、精度よく所見を導出することができるようになる。
　［変形例］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。
　上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
　本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
　したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
　上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年１０月１３日提出の日本国特許出願特願２０１７－１９９６００を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (14)

  1. 　医用画像から診断名を推論する第１の推論器を機械学習により取得する工程と、
    　前記第１の推論器と構成の一部が共通し、医用画像から画像の特徴を表す画像所見を推論する第２の推論器を機械学習により取得する工程と、
    　画像所見から診断名を推論する第３の推論器を取得する工程と、
    　前記第２の推論器と前記第３の推論器とに基づいて、医用画像から診断名を推論する第４の推論器を取得する工程と、
    　を有することを特徴とする情報処理方法。
  2. 　前記第３の推論器は、推論される診断名の根拠となる画像所見を出力する推論器であることを特徴とする請求項１に記載の情報処理方法。
  3. 　診断名の情報を含むデータセット群を収集する工程と、
    　前記データセット群のうち、前記第１の推論器の取得において使用されていないデータセットを含む評価用データセット群を取得する工程と、
    　前記評価用データセットを用いて前記第１の推論器の精度と前記第４の推論器の精度とを評価する工程と、
    　を有することを特徴とする請求項１に記載の情報処理方法。
  4. 　医用画像から診断名を推論する複数の推論器と、
    　前記複数の推論器のうち少なくとも一つの推論器を用いて、医用画像を前記少なくとも一つの推論器への入力として診断名を推論する推論手段と、
    　前記推論手段により推論される診断名を提示する提示手段と、を有することを特徴とする診断支援装置。
  5. 　前記複数の推論器の精度を評価する評価手段をさらに有することを特徴とする請求項４に記載の診断支援装置。
  6. 　前記提示手段は、診断推論器の精度の情報を、診断名と合わせて提示することを特徴とする、請求項５に記載の診断支援装置。
  7. 　前記推論手段は、前記複数の推論器のうち、前記評価手段によって評価される精度の高い推論器を選択して推論することを特徴とする、請求項５又は請求項６に記載の診断支援装置。
  8. 　前記評価手段は、画像の特徴により分類されたカテゴリ毎に精度を評価し、
    前記推論手段は、前記複数の推論器のうち、画像の前記カテゴリ毎に精度の高い推論器を選択して推論することを特徴とする、請求項７に記載の診断支援装置。
  9. 　前記複数の推論器に含まれる第１の推論器は医用画像を入力として診断名を推論し、前記複数の推論器に含まれる第２の推論器は医用情報を入力として画像の特徴を表す画像所見を推論し、前記第１の推論器と前記第２の推論器とは構成の一部が共通し、
    　前記推論手段は、前記第２の推論器により推論される画像所見を入力として診断名を推論し、
    　前記評価手段は、前記第１の推論器の精度と、前記第２の推論器により推論される画像所見を入力とする診断名の推論の精度とを比較することを特徴とする請求項５乃至請求項８のいずれか１項に記載の診断支援装置。
  10. 　前記推論手段は、前記複数の推論器のうち、ユーザの操作入力に基づいて推論器を選択して推論することを特徴とする、請求項４乃至請求項９のいずれか１項に記載の診断支援装置。
  11. 　前記複数の推論器のうち少なくとも一部の推論器は、機械学習により生成されることを特徴とする請求項４乃至請求項１０のいずれか１項に記載の診断支援装置。
  12. 　前記複数の推論器に含まれる第１の推論器は医用画像を入力として診断名を推論し、前記複数の推論器に含まれる第２の推論器は医用情報を入力として画像の特徴を表す画像所見を推論し、前記第１の推論器と前記第２の推論器とは構成の一部が共通し、
    　前記推論手段は、前記第２の推論器を用いて診断名を推論することを特徴とする請求項４乃至請求項１１のいずれか１項に記載の診断支援装置。
  13. 　前記複数の推論器に含まれる第３の推論器は前記第２の推論器が推論する画像所見を入力として診断名を推論し、前記推論の根拠となる画像所見を出力し、
    　前記推論手段は前記第３の推論器を用いて診断名を推論することを特徴とする請求項１２に記載の診断支援装置。
  14. 　前記推論手段は、前記複数の推論器のうち、推論器が出力することができる情報に応じて推論器を選択して診断名を推論することを特徴とする請求項４乃至請求項１２のいずれか１項に記載の診断支援装置。
PCT/JP2018/037502 2017-10-13 2018-10-09 診断支援装置、情報処理方法、診断支援システム及びプログラム WO2019073940A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880067715.5A CN111225614A (zh) 2017-10-13 2018-10-09 诊断辅助装置、信息处理方法、诊断辅助***以及程序
US16/845,774 US11423537B2 (en) 2017-10-13 2020-04-10 Diagnosis assistance apparatus, and information processing method
US17/862,715 US11823386B2 (en) 2017-10-13 2022-07-12 Diagnosis assistance apparatus, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-199600 2017-10-13
JP2017199600A JP7224757B2 (ja) 2017-10-13 2017-10-13 診断支援装置、情報処理方法、診断支援システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/845,774 Continuation US11423537B2 (en) 2017-10-13 2020-04-10 Diagnosis assistance apparatus, and information processing method

Publications (1)

Publication Number Publication Date
WO2019073940A1 true WO2019073940A1 (ja) 2019-04-18

Family

ID=66100860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037502 WO2019073940A1 (ja) 2017-10-13 2018-10-09 診断支援装置、情報処理方法、診断支援システム及びプログラム

Country Status (4)

Country Link
US (2) US11423537B2 (ja)
JP (1) JP7224757B2 (ja)
CN (1) CN111225614A (ja)
WO (1) WO2019073940A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210365722A1 (en) * 2020-05-21 2021-11-25 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783634B2 (en) * 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
JP7058988B2 (ja) * 2017-11-30 2022-04-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7408324B2 (ja) 2019-09-13 2024-01-05 キヤノン株式会社 診断支援装置、診断支援システム、診断支援方法およびプログラム
KR102325555B1 (ko) * 2019-11-27 2021-11-12 주식회사 에프앤디파트너스 의료 영상에 대한 의사 소견 자동추천장치
JP7451156B2 (ja) 2019-12-04 2024-03-18 キヤノンメディカルシステムズ株式会社 診療支援装置
JP7486318B2 (ja) 2020-01-24 2024-05-17 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、および医用情報処理プログラム
WO2021177357A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7439656B2 (ja) 2020-06-15 2024-02-28 富士通株式会社 生成プログラム、生成方法、生成装置
DE112021003601T5 (de) 2020-09-04 2023-04-20 Fujifilm Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und -programm, und bildverarbeitungssystem
US20230386177A1 (en) * 2020-10-23 2023-11-30 Sony Group Corporation Medical image processing system, medical image processing method, and program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155680A (ja) * 1998-11-18 2000-06-06 Toshiba Corp 判断規則修正装置及び判断規則修正方法
JP2006043007A (ja) * 2004-08-02 2006-02-16 Fujitsu Ltd 診断支援プログラムおよび診断支援装置
JP2010200840A (ja) * 2009-02-27 2010-09-16 Canon Inc 医療意志決定支援装置及びその制御方法
JP2010252989A (ja) * 2009-04-23 2010-11-11 Canon Inc 医用診断支援装置及びその制御方法
JP2012503812A (ja) * 2008-09-26 2012-02-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータ支援診断用に臨床フィーチャと画像フィーチャを融合するシステム及び方法
JP2012069089A (ja) * 2010-08-27 2012-04-05 Canon Inc 医療診断支援装置、医療診断支援システム、医療診断支援の制御方法、及びプログラム
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
WO2013001584A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP2014147659A (ja) * 2013-01-09 2014-08-21 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2017153691A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 診断支援装置、診断支援装置の制御方法及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5128154B2 (ja) * 2006-04-10 2013-01-23 富士フイルム株式会社 レポート作成支援装置、レポート作成支援方法およびそのプログラム
JP5100285B2 (ja) 2007-09-28 2012-12-19 キヤノン株式会社 医用診断支援装置およびその制御方法、プログラム、記憶媒体
JP5153281B2 (ja) 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法
GB0719969D0 (en) * 2007-10-12 2007-11-21 Cambridge Entpr Ltd Substance monitoring and control in human or animal bodies
JP5159242B2 (ja) 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP5517524B2 (ja) * 2009-08-10 2014-06-11 キヤノン株式会社 医療診断支援装置、医療診断支援装置の制御方法およびプログラム
JP5340204B2 (ja) 2010-03-01 2013-11-13 キヤノン株式会社 推論装置、その制御方法およびプログラム
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
JP5728212B2 (ja) * 2010-11-30 2015-06-03 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびプログラム
EP2506173B1 (en) 2011-03-28 2020-01-01 Canon Kabushiki Kaisha Medical diagnosis support apparatus and medical diagnosis support method
JP5744631B2 (ja) * 2011-06-06 2015-07-08 キヤノン株式会社 診療支援装置、診療支援方法
US10049445B2 (en) * 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
JP5875285B2 (ja) 2011-08-16 2016-03-02 キヤノン株式会社 医療診断支援装置、情報処理方法及びプログラム
JP6021346B2 (ja) * 2012-02-14 2016-11-09 キヤノン株式会社 診断支援装置及びその制御方法
JP5967968B2 (ja) 2012-02-14 2016-08-10 キヤノン株式会社 医療診断支援システム、医療診断支援装置、情報処理方法、及びプログラム
WO2013175683A1 (ja) * 2012-05-24 2013-11-28 日本電気株式会社 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置
JP2014029644A (ja) 2012-07-31 2014-02-13 Panasonic Corp 類似症例検索装置および類似症例検索方法
JP6071338B2 (ja) * 2012-08-30 2017-02-01 キヤノン株式会社 医療診断支援装置、医療診断支援方法及びプログラム
JP6362061B2 (ja) * 2013-07-10 2018-07-25 キヤノン株式会社 診断支援システム、その作動方法、およびプログラム
CN103942562B (zh) * 2014-03-27 2017-05-17 河海大学 基于多分类器组合的高光谱图像分类方法
CN105938558B (zh) 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
US20160364527A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Automatically Analyzing Clinical Images and Determining when Additional Imaging May Aid a Diagnosis
CN105137238A (zh) * 2015-08-27 2015-12-09 刘利强 一种气体绝缘组合电器故障诊断***
CN106295635A (zh) * 2016-02-17 2017-01-04 北京智芯原动科技有限公司 车牌识别方法及***
CA3030577A1 (en) * 2016-07-12 2018-01-18 Mindshare Medical, Inc. Medical analytics system
JP2018014059A (ja) * 2016-07-22 2018-01-25 株式会社トプコン 医療情報処理システム及び医療情報処理方法
CN106725341A (zh) * 2017-01-09 2017-05-31 燕山大学 一种增强型舌诊***
CN107045720B (zh) * 2017-05-04 2018-11-30 深圳硅基仿生科技有限公司 基于人工神经网络的识别眼底图像病变的处理***
US11087463B2 (en) * 2019-06-21 2021-08-10 StraxCorp Pty. Ltd. Image analysis method and system for assessing bone fragility

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155680A (ja) * 1998-11-18 2000-06-06 Toshiba Corp 判断規則修正装置及び判断規則修正方法
JP2006043007A (ja) * 2004-08-02 2006-02-16 Fujitsu Ltd 診断支援プログラムおよび診断支援装置
JP2012503812A (ja) * 2008-09-26 2012-02-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータ支援診断用に臨床フィーチャと画像フィーチャを融合するシステム及び方法
JP2010200840A (ja) * 2009-02-27 2010-09-16 Canon Inc 医療意志決定支援装置及びその制御方法
JP2010252989A (ja) * 2009-04-23 2010-11-11 Canon Inc 医用診断支援装置及びその制御方法
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
JP2012069089A (ja) * 2010-08-27 2012-04-05 Canon Inc 医療診断支援装置、医療診断支援システム、医療診断支援の制御方法、及びプログラム
WO2013001584A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP2014147659A (ja) * 2013-01-09 2014-08-21 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2017153691A (ja) * 2016-03-01 2017-09-07 キヤノン株式会社 診断支援装置、診断支援装置の制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210365722A1 (en) * 2020-05-21 2021-11-25 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium

Also Published As

Publication number Publication date
US11423537B2 (en) 2022-08-23
JP2019074868A (ja) 2019-05-16
JP7224757B2 (ja) 2023-02-20
US11823386B2 (en) 2023-11-21
US20220358651A1 (en) 2022-11-10
CN111225614A (zh) 2020-06-02
US20200242762A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
WO2019073940A1 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
US11288550B2 (en) Data processing apparatus and method, recognition apparatus, learning data storage apparatus, machine learning apparatus, and program
CN110993064B (zh) 面向深度学习的医学影像标注方法及装置
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
US7458936B2 (en) System and method for performing probabilistic classification and decision support using multidimensional medical image databases
US8589420B2 (en) Medical information system and program for same
JP4799251B2 (ja) 類似症例検索装置、類似症例検索方法およびそのプログラム
Shahin et al. Machine learning approach for autonomous detection and classification of COVID-19 virus
US20200151871A1 (en) Application of deep learning for medical imaging evaluation
US20190065996A1 (en) Information processing apparatus, information processing method, and information processing system
US20200105414A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable storage medium
CN114078593A (zh) 临床决策支持
Kanikar et al. Prediction of cardiovascular diseases using support vector machine and Bayesien classification
Saputra et al. Implementation of machine learning and deep learning models based on structural MRI for identification autism spectrum disorder
Aljawarneh et al. Pneumonia detection using enhanced convolutional neural network model on chest x-ray images
CN111436212A (zh) 用于医学成像评估的深度学习的应用
JP2007528763A (ja) インタラクティブコンピュータ支援診断方法及び装置
Ali et al. CDSS for early recognition of respiratory diseases based on AI techniques: a systematic review
Kiseleva et al. Expert systems in medical diagnostics: Analysis of functioning
Dakshit et al. Bias Analysis in Healthcare Time Series (BAHT) Decision Support Systems from Meta Data
Ravi et al. ViDi: descriptive visual data clustering as radiologist assistant in COVID-19 streamline diagnostic
Meissen et al. (Predictable) performance bias in unsupervised anomaly detection
Vashisht et al. Using Support Vector Machine to Detect and Classify the Alzheimer Disease
JP7408324B2 (ja) 診断支援装置、診断支援システム、診断支援方法およびプログラム
Zhao et al. A diagnosis model of dementia via machine learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867205

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18867205

Country of ref document: EP

Kind code of ref document: A1