WO2013001584A1 - 類似症例検索装置および類似症例検索方法 - Google Patents

類似症例検索装置および類似症例検索方法 Download PDF

Info

Publication number
WO2013001584A1
WO2013001584A1 PCT/JP2011/006375 JP2011006375W WO2013001584A1 WO 2013001584 A1 WO2013001584 A1 WO 2013001584A1 JP 2011006375 W JP2011006375 W JP 2011006375W WO 2013001584 A1 WO2013001584 A1 WO 2013001584A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpretation
image
image feature
extracted
report
Prior art date
Application number
PCT/JP2011/006375
Other languages
English (en)
French (fr)
Inventor
近藤　堅司
貴史 續木
和豊 高田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180014711.9A priority Critical patent/CN102958425B/zh
Priority to JP2012505932A priority patent/JP4979842B1/ja
Priority to US13/482,052 priority patent/US8953857B2/en
Publication of WO2013001584A1 publication Critical patent/WO2013001584A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Definitions

  • the present invention relates to a similar case search apparatus and a similar case search method for searching for similar cases that are useful for interpretation of medical images.
  • Non-Patent Document 1 proposes a two-step search method called “customized-queries” approach (CQA) as a solution.
  • CQA customized-queries
  • the query image is classified by using an image feature amount that can best classify a class such as a disease type, a disease progression degree, or a disease severity.
  • similar images are searched using image feature quantities optimized for further classifying cases included in the class that is the classification result.
  • an optimal image feature amount for each class is obtained in advance by unsupervised learning.
  • CQA is applied to a lung CT image, and the retrieval recall rate is improved as compared with the conventional similar image retrieval using one type of image feature amount.
  • an image feature amount (that is, a similarity criterion) is determined based on the identified disease type, disease progression degree, or disease severity, and the like.
  • the image is only searched, and it is not a similar image search that reflects the point of interest of the interpreter for the medical image to be interpreted. That is, there is a problem that it is difficult to support the diagnosis made by the image interpreter or the diagnosis that the image interpreter is at a loss.
  • the present invention solves the above-described conventional problems, and an object of the present invention is to provide a similar case retrieval apparatus that reflects a reader's attention point in a similar image retrieval.
  • a similar case retrieval apparatus is a similar case retrieval apparatus that retrieves case data similar to case data including a medical image and an interpretation report, which is document data describing a result of interpretation of the medical image, from a case database.
  • An image feature extraction unit for extracting a plurality of image feature amounts from an image to be interpreted, which is a medical image to be interpreted, and an image interpretation report obtained by the image interpreter interpreting the image to be interpreted.
  • an interpretation item that is a character string indicating the characteristics of the medical image or (b) a report analysis unit that extracts a disease name that is a diagnostic result of the interpreter based on the medical image, Information relating to the binomial relationship in which the relationship between each image feature amount and each interpretation item or disease name extracted from the interpretation report for the medical image is predetermined.
  • the higher the weight between the image feature amount and the interpretation item or the disease name extracted by the report analysis unit the higher the weight
  • each image feature amount extracted from a medical image or an image to be interpreted is weighted with a larger weight as the relevance between the image interpretation item or disease name described in the object interpretation report is higher.
  • similar cases are searched by comparing weighted image feature amounts. Thereby, a similar case search can be performed after reflecting the point of interest of the interpreter entered in the target interpretation report.
  • the present invention can be realized not only as a similar case search apparatus including such a characteristic processing unit, but also by using a process executed by a characteristic processing unit included in the similar case search apparatus as a step.
  • This can be realized as a case search method.
  • It can also be realized as a program for causing a computer to function as a characteristic processing unit included in a similar case search apparatus or a program for causing a computer to execute characteristic steps included in a similar case search method.
  • Such a program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet. .
  • the similar case search device of the present invention it is possible to provide a similar case search device in which the point of interest of the image interpreter is reflected in the similar image search.
  • FIG. 1 is a block diagram showing a configuration of a similar case search apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing a procedure for creating interpretation knowledge in the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing a procedure of image feature amount extraction according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of an interpretation report of an abdominal CT examination in the first embodiment of the present invention.
  • FIG. 5 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 1 of the present invention, and position and time phase information extracted simultaneously with the interpretation items.
  • FIG. 1 is a block diagram showing a configuration of a similar case search apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing a procedure for creating interpretation knowledge in the first embodiment
  • FIG. 7 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 1 of the present invention, and position and time phase information extracted simultaneously with the interpretation items by performing context interpretation.
  • FIG. 8 is a diagram showing a set of data acquired for extracting interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 9 is a conceptual diagram of a correlation (binary) between an interpretation item and an image feature amount in Embodiment 1 of the present invention.
  • FIG. 10 is a conceptual diagram of a correlation (multivalue) between an interpretation item and an image feature amount in Embodiment 1 of the present invention.
  • FIG. 11 is a conceptual diagram of a correlation (binary) between a disease name and an image feature amount in Embodiment 1 of the present invention.
  • FIG. 12 is a conceptual diagram of a correlation (binary) between an interpretation item and a disease name in Embodiment 1 of the present invention.
  • FIG. 13 is a diagram showing a storage format of the correlation between (image feature amount ⁇ interpretation item) extracted as interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 14 is a diagram showing a storage format of the correlation between (image feature quantity ⁇ disease name) extracted as interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 15 is a diagram showing a storage format of correlation between (interpretation item ⁇ disease name) extracted as interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 16 is a flowchart showing a procedure for searching for similar cases in the first embodiment of the present invention.
  • FIG. 17 is a diagram showing an example of a similar case search screen according to Embodiment 1 of the present invention.
  • FIG. 18 is a diagram for describing designation of a lesion position or a region in the first embodiment of the present invention.
  • FIG. 19 is a diagram showing a weighting method 1 when searching for similar cases in the first embodiment of the present invention.
  • FIG. 20 is a diagram showing a weighting method 2 when searching for similar cases in the first embodiment of the present invention.
  • FIG. 21 is a diagram showing a weighting method 3 when searching for similar cases in the first embodiment of the present invention.
  • FIG. 22 is a diagram showing a difference in image feature amount distribution depending on the presence or absence of an interpretation item in Embodiment 2 of the present invention.
  • FIG. 23 is a diagram showing a state in which the distribution parameter of the image feature amount in Embodiment 2 of the present invention is stored.
  • FIG. 24 is a diagram showing a difference in image feature amount distribution depending on the presence or absence of a disease name in Embodiment 2 of the present invention.
  • FIG. 25 is a diagram illustrating a state in which the distribution parameter of the image feature amount in Embodiment 2 of the present invention is stored.
  • FIG. 26 is a diagram showing an example of an interpretation report of an abdominal CT examination in Embodiment 2 of the present invention.
  • FIG. 27 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 2 of the present invention.
  • FIG. 28 is a diagram showing how to determine the validity of an interpretation item entered by an interpreter from the distribution of image feature amounts corresponding to the interpretation item in Embodiment 2 of the present invention.
  • FIG. 29 is a diagram showing an example in which an input interpretation report is processed and displayed in the second embodiment of the present invention.
  • FIG. 30 is a diagram showing a distribution of a plurality of image feature amounts corresponding to a certain interpretation item in Embodiment 2 of the present invention.
  • FIG. 31 is a block diagram showing another configuration of the similar case retrieval apparatus.
  • FIG. 32 is a block diagram showing components essential for the present invention of a similar case retrieval apparatus.
  • a similar case retrieval apparatus retrieves case data similar to case data including a medical image and an interpretation report, which is document data describing a result of interpretation of the medical image, from the case database.
  • An image feature extraction unit that extracts a plurality of image feature amounts from an image to be interpreted, which is a medical image to be interpreted, and an interpretation report obtained by the image interpreter interpreting the image to be interpreted
  • a report analysis unit that extracts (a) an interpretation item that is a character string indicating the characteristics of the medical image or (b) a disease name that is a diagnosis result of the interpreter based on the medical image, and a medical image
  • a binomial relationship in which the relationship between each extracted image feature amount and each interpretation item or each disease name extracted from the interpretation report for the medical image is predetermined.
  • a weight determination unit for determining a weight, the plurality of image feature amounts extracted by the image feature extraction unit, and a plurality of image feature amounts extracted from medical images included in case data registered in a case database A similar case retrieval unit that retrieves case data including a medical image similar to the image to be interpreted from the case database by weighting and comparing with a weight for each image feature amount determined by the weight determination unit Is provided.
  • each image feature amount extracted from a medical image or an image to be interpreted is weighted with a larger weight as the relevance between the image interpretation item or disease name described in the object interpretation report is higher.
  • similar cases are searched by comparing weighted image feature amounts. Thereby, a similar case search can be performed after reflecting the point of interest of the interpreter entered in the target interpretation report.
  • the binomial relationship information further indicates a relationship between an interpretation item extracted from an interpretation report and a disease name
  • the report analysis unit includes both the interpretation item and the disease name from the target interpretation report.
  • the weight determination unit for each image feature amount extracted by the image feature extraction unit, based on the binomial relationship information, the image feature item and the interpretation item extracted by the report analysis unit. And the value of the value indicating the relationship between the interpretation item and the disease name extracted by the report analysis unit is determined as a weight for the image feature amount.
  • the weight determination unit for each image feature amount extracted by the image feature extraction unit based on the binomial relationship information, A value indicating the relationship between the image feature quantity and the interpretation item extracted by the report analysis unit may be determined as a weight for the image feature quantity.
  • the weight determination unit for each image feature amount extracted by the image feature extraction unit based on the binomial relationship information, A value indicating the relationship between the image feature quantity and the disease name extracted by the report analysis unit may be determined as a weight for the image feature quantity.
  • an appropriate similar case search can be performed in a situation where an interpreter has estimated a disease name by intuition or the like but is wondering about an interpretation item as a basis thereof.
  • the radiogram interpreter can obtain a hint of diagnosis basis (interpretation item) from the result of similar case search.
  • the weight determination unit further includes, for each interpretation item, predetermined probability distribution data of each image feature amount included in the medical image that is a basis for creating an interpretation report in which the interpretation item is described. Based on this, it is determined that the higher the likelihood of each image feature amount extracted by the image feature extraction unit corresponding to the interpretation item extracted by the report analysis unit, the higher the validity of the interpretation item extracted by the report analysis unit. You may do it.
  • This configuration makes it possible to determine the validity of the interpretation items used for similar case search included in the target interpretation report.
  • the similar case search apparatus described above further includes a display unit for displaying the target interpretation report, and the display unit is based on the level of validity of the interpretation item determined by the weight determination unit. Visually distinguish and display the interpretation items included in the target interpretation report.
  • the items judged to have low validity are displayed so as to be distinguishable from those judged to have high validity.
  • the radiogram interpreter the basis of the similar case search and the location with low validity in the radiogram interpretation report.
  • the weight determination unit further includes, for each disease name, predetermined probability distribution data of each image feature amount included in the medical image that is a basis for creating an interpretation report in which the disease name is described. Based on this, it is determined that the higher the likelihood of each image feature amount extracted by the image feature extraction unit corresponding to the disease name extracted by the report analysis unit, the higher the validity of the disease name extracted by the report analysis unit. You may do it.
  • the similar case search apparatus described above further includes a display unit that displays the target interpretation report, and the display unit is based on the high validity of the disease name determined by the weight determination unit.
  • the disease name included in the target interpretation report is visually distinguished and displayed.
  • FIG. 1 is a block diagram of a similar case retrieval apparatus according to Embodiment 1 of the present invention.
  • the similar case retrieval apparatus includes a case database 100, an interpretation knowledge database 110, an interpretation target image reading unit 120, an interpretation target image display unit 130, a report input / output unit 140, a report analysis unit 150, and an image feature extraction unit. 160, a weight determination unit 170, a similar case search unit 180, and a similar case display unit 190.
  • the case database 100 is a medical image such as CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) (in the present specification, “image data” is simply referred to as “image”) and the result of reading the medical image.
  • This is a database storing a plurality of case data (hereinafter simply referred to as “cases”) composed of pairs with interpretation reports.
  • the interpretation knowledge database 110 is a database that stores interpretation knowledge obtained by analyzing a plurality of cases. Details will be described later.
  • the case database 100 and the interpretation knowledge database 110 are stored in a storage device such as an HDD (Hard Disk Drive).
  • the interpretation target image reading unit 120 reads an image captured by a medical image capturing apparatus such as CT or MRI from a medical image capturing apparatus or an externally connected storage device.
  • the interpretation target image display unit 130 includes a medical high-definition monitor or the like, and displays the interpretation target image read by the interpretation target image reading unit 120.
  • the report input / output unit 140 includes an input device such as a keyboard and a mouse, and a display device that allows an input person to confirm by displaying a report input using such an input device.
  • the interpreter inputs an interpretation report through the report input / output unit 140 while referring to the interpretation target image displayed on the interpretation target image display unit 130.
  • the interpretation target image display unit 130, the report input / output unit 140, and a similar case display unit 190, which will be described later, constitute an interpretation terminal 200.
  • the report analysis unit 150 analyzes the interpretation report input by the report input / output unit 140 and extracts text feature quantities (interpretation items and disease names).
  • the image feature extraction unit 160 extracts a plurality of types of image feature amounts from the interpretation target images read by the interpretation target image reading unit 120.
  • the weight determination unit 170 is used for image search from the text feature amount extracted by the report analysis unit 150, the image feature amount extracted by the image feature extraction unit 160, and the interpretation knowledge stored in the interpretation knowledge database 110. Weights for a plurality of image feature amounts are respectively determined.
  • the similar case search unit 180 includes a medical image similar to the image to be interpreted from the case database 100 using the image feature amount extracted by the image feature extraction unit 160 and the weight determined by the weight determination unit 170. Search for cases.
  • the similar case display unit 190 displays the similar cases searched by the similar case search unit 180.
  • the similar case display unit 190 may be separately configured with the same model as the high-definition monitor that constitutes the interpretation target image display unit 130.
  • the similar case display unit 190 is similar to the interpretation target image and the similar case on the high-definition monitor that constitutes the interpretation target image display unit 130. May be displayed simultaneously. Note that the similar case display unit 190 and the interpretation target image display unit 130 may be of different models.
  • interpretation knowledge is obtained in advance and stored in the interpretation knowledge database 110.
  • Interpretation knowledge is obtained from a collection of a plurality of “cases” composed of pairs of medical images and interpretation reports that are the results of interpretation of the medical images.
  • cases those stored in the case database 100 for searching for similar cases from among similar cases may be used, or cases stored in other databases may be used.
  • the required number of cases is sufficient to obtain some kind of law and knowledge using various data mining algorithms. Usually, hundreds to tens of thousands of data are used.
  • the interpretation knowledge the correlation between two terms among the three terms (1) image feature amount, (2) interpretation item, and (3) disease name is used.
  • the “image feature amount” includes those related to the shape of an organ or a lesion in a medical image, or those related to a luminance distribution.
  • non-patent literature “Nemoto, Shimizu, Sugawara, Obata, Nawano,” Improvement of mass shadow discrimination accuracy on mammograms by feature selection from a large number of features and a fast feature selection method "Proposal of the Institute of Electronics, Information and Communication Engineers, D-II, Vol. J88-D-II, No. 2, pp. 416-426, February 2005” describes the use of 490 types of features. Yes. Also in the present embodiment, several tens to several hundreds of image feature amounts predetermined for each medical image capturing apparatus (modality) used for capturing a medical image or each target organ for interpretation are used.
  • interpretation item is defined as “a character string in which the interpretation doctor verbalizes the characteristics of an image to be interpreted”.
  • the terms used as interpretation items are almost limited depending on the medical imaging apparatus or target organ used. For example, lobed, spiny, irregular, clear border, unclear, low concentration, high concentration, low absorption, high absorption, ground glass, calcification, mosaic, early dark staining, low echo, high echo, fluff , Etc.
  • Disease name refers to a disease name diagnosed by a doctor (reader) based on medical images and other examinations. Although the diagnosis disease name at the time of interpretation may differ from the disease name that has been confirmed through other examinations, the result of the definitive diagnosis is used when creating the interpretation knowledge database.
  • the medical imaging apparatus to be used in this embodiment that is, the medical imaging apparatus to be used is a multi-slice CT, and the target organ and disease are a liver and a liver mass, respectively.
  • one case is acquired from a database in which cases for obtaining interpretation knowledge are stored.
  • the total number of cases for obtaining interpretation knowledge is C.
  • One case is composed of a pair of a medical image and an interpretation report that is a result of interpretation of the medical image.
  • a medical image is acquired by a multi-slice CT apparatus
  • one case includes a large number of slice images.
  • a doctor interprets a multi-slice CT image one to several important slice images are attached to the interpretation report as key images.
  • a large number of slice image sets or several key images may be simply referred to as “medical images” or “images”.
  • step S11 an image feature amount is extracted from the medical image.
  • the process of step S11 will be described in detail using the flowchart of FIG.
  • step S111 the region of the target organ is extracted.
  • a liver region is extracted.
  • liver region extraction methods include, for example, non-patent literature: “Tanaka, Shimizu, Obata,“ Improvement of liver region extraction method considering concentration pattern of abnormal part ⁇ second report> ”, IEICE Technical Report, Medical Image, 104 (580), pp. 7-12, January 2005 ”can be used.
  • a lesion area is extracted from the organ area extracted in step S111.
  • a tumor region is extracted from the liver region.
  • Non-patent literature “Nakagawa, Shimizu, Hitosugi, Obata,“ Development of automatic extraction method of liver tumor shadow from 3D abdominal CT image ⁇ second report> ”, medical image, 102 (575), pp. 89-94, January 2003 ”can be used.
  • tumor mass may be identified by (case number, mass number) pairs of (i, j).
  • tumor number since a liver tumor is targeted as a lesion, it is called “tumor number”.
  • lesion number since a liver tumor is targeted as a lesion, it is called “tumor number”.
  • lesion number since a liver tumor is targeted as a lesion, it is called “tumor number”.
  • lesion number since a liver tumor is targeted as a lesion, it is called “tumor
  • step S113 one region is selected from the lesion regions extracted in step S112.
  • step S114 an image feature amount is extracted from the lesion area selected in step S113.
  • non-patent literature “Nemoto, Shimizu, Sugawara, Obata, Nawano,“ Improved mass shadow discrimination accuracy on a mammogram by selecting features from a large number of features and high speed. 490 types of feature quantities described in “Proposal of a Feature Selection Method”, Journal of the Institute of Electronics, Information and Communication Engineers D-II, Vol. J88-D-II, No. 2, pp. 416-426, February 2005 Among them, some feature quantities applicable to the liver mass are selected and used. The feature quantity number to the N F.
  • the feature amount extracted in this step can be specified by a set (i, j, k) of (case number, tumor number extracted from this case (medical image), feature amount number).
  • step S115 it is checked whether or not there is an unselected lesion among the lesion areas extracted in step S112. If there is an unselected lesion, the process returns to step S113 to select an unselected lesion area. Re-execute S114. If there is no unselected lesion, that is, if the feature amount selection in step S114 is performed for all the lesion areas extracted in step S112, the process of the flowchart of FIG. 3 is terminated and the process returns to the flowchart of FIG. .
  • an interpretation report analysis process is performed. Specifically, an interpretation item and a disease name are extracted from the interpretation report.
  • morphological analysis and syntax analysis are performed using an interpretation item word dictionary storing interpretation items and a disease name word dictionary storing disease names. Through these processes, a word that matches the word stored in each word dictionary is extracted. Examples of morphological analysis techniques include non-patent literature: MeCab (http://mecab.sourceforge.net) and ChaSen (http://chasen-legacy.sourceforge.jp).
  • FIG. 4 is an example of an interpretation report of an abdominal CT examination
  • FIG. 5 shows interpretation items and disease names extracted from the interpretation report of FIG.
  • a plurality of interpretation items are usually extracted and one disease name is extracted.
  • interpretation items can be identified by (case number, image interpretation item number) pairs of (i, j).
  • case number, image interpretation item number i, j.
  • a character string representing the position of the lesion in the interpretation report and a character string representing the time phase may be extracted simultaneously.
  • the time phase will be supplemented.
  • a contrast examination in which a contrast medium is rapidly injected and images are taken over time is useful.
  • the contrast medium flows into the hepatic artery and the bloody tumor is densely stained.
  • the liver is imaged in the pulse phase, the equilibrium phase in which the contrast medium inside and outside the liver blood vessels reaches equilibrium, the late phase in which the contrast medium accumulates in the stroma of the liver, and the like.
  • FIG. 6 shows an example in which position and time phase information is extracted simultaneously with the interpretation items.
  • the interpretation report in FIG. 4 is analyzed, and “liver S3 area” is extracted as a position attribute of “early dark staining” from the phrase “early dark staining is recognized in liver S3 area”.
  • “late phase” is extracted as the time phase attribute of “washout” from the phrase “washed out in late phase”.
  • the time phase relating to “early dark dyeing” and the position relating to washout are blank as shown in FIG.
  • the prior knowledge that the interpretation item “early dark staining” is a word corresponding to the early phase is used, or the mass indicating the state of “early dark staining” is the same as the mass “washed out in the late phase” If the context interpretation of pointing to a mass of the subject can be performed, the extracted position and time phase information is as shown in FIG.
  • step S13 it is checked whether or not there is an unacquired case in the database storing cases for obtaining interpretation knowledge. If there is an unacquired case, the process returns to step S10 and an unacquired case is acquired. Steps S11 and S12 are executed. If there are no unacquired cases, that is, if image feature extraction in step S11 and report analysis in step S12 have been performed for all cases, the process proceeds to step S14.
  • step S11 and step S12 do not depend on each other, the execution order may be reversed.
  • the data set shown in FIG. 8 is acquired. That is, an image feature amount, an interpretation item, and a disease name are acquired for each case.
  • case number 1 M1 lesions are included in the medical image, and the number of image feature values extracted from each lesion is NF.
  • the number of interpretation items in the interpretation report is N1.
  • the value of the first image feature value of the first lesion indicated by the lesion number (1, 1) is 0.851.
  • the value of the first interpretation item indicated by the interpretation item number (1, 1) is “early dark dyeing”.
  • each image feature amount is a numerical value of 0 or more and 1 or less, and the interpretation item and the disease name are character strings. An image feature value having a negative value or a value larger than 1 may be used.
  • data may be stored in the form of a predetermined word ID as an interpretation item and a disease name.
  • step S14 interpretation knowledge is extracted from the image feature amount obtained in step S11, the interpretation item and disease name obtained in step S12.
  • the correlation between two of the three items of image feature, interpretation item, and disease name is taken as interpretation knowledge.
  • the correlation ratio is an index representing a correlation between qualitative data and quantitative data, and is expressed by (Equation 1).
  • the interpretation report two categories of cases where an interpretation item is included and not included are considered as qualitative data.
  • the value of a certain image feature amount itself extracted from the medical image is used as quantitative data.
  • the interpretation report is classified into those including or not including a certain interpretation item.
  • a method for obtaining the correlation ratio between the interpretation item “early dark staining” and the image feature amount “luminance average value inside the tumor in the early phase” will be described.
  • the j-th observed value that is the “average luminance value in the tumor in the early phase” of the tumor image extracted from the case that includes “early dark staining” in the interpretation report is defined as x 1j . Further, the j-th observed value that is “the average luminance value in the tumor in the early phase” of the tumor image extracted from the case that does not include “early dark staining” in the interpretation report is assumed to be x 2j . “Early dark staining” means that the CT value increases in the early phase of contrast, and in this case, the correlation ratio is expected to be large (close to 1).
  • the correlation between the interpretation item “early dark staining” and the image feature “mass area” is small (close to 0). It is expected that. In this way, the correlation ratio between all interpretation items and all image feature amounts is calculated.
  • FIG. 9 shows a conceptual diagram of the correlation (here, the correlation ratio) between the interpretation item and the image feature amount.
  • a plurality of interpretation items are listed on the left side, and names of a plurality of image feature amounts are listed on the right side.
  • An interpretation item having a correlation ratio equal to or greater than a threshold and an image feature amount are connected by a solid line. Since the correlation ratio takes a value of 0 or more and 1 or less, a value of about 0.3 to 0.7 can be used as the threshold value.
  • the calculated correlation ratio is finally binarized with a threshold value, information as shown in FIG. 9 is obtained.
  • One example is supplemented.
  • FIG. 10 shows another conceptual diagram of the correlation (for example, correlation ratio) between the interpretation item and the image feature amount.
  • the correlation ratio is expressed in multiple values, and the thickness of the solid line between the interpretation item and the image feature amount corresponds to the magnitude of the correlation ratio.
  • “early dark staining” in which the CT value increases in the early phase of contrast and the luminance average inside the tumor in the early arterial phase (“early phase” and “arterial phase”) (“arterial phase luminance average” in FIG. 10) (Abbreviation) is increased.
  • the correlation ratio By paying attention to the value of the correlation ratio, it is possible to specify an image feature amount having a high correlation with a certain interpretation item.
  • one case often includes a plurality of images and a plurality of lesions (mass), and in that case, the interpretation report includes descriptions about the plurality of lesions.
  • CT imaging is performed at a timing at a plurality of times before or after using a contrast medium. Therefore, a plurality of sets of slice images are obtained, and one set of slice images includes a plurality of lesions (tumors), and a plurality of image feature amounts are extracted from one lesion.
  • image feature amounts are obtained as many as (number of slice image sets) ⁇ (number of lesions detected from one patient) ⁇ (number of types of image feature amounts). It is necessary to obtain a correlation with a plurality of interpretation items and disease names extracted from the interpretation report. Of course, there is a possibility that correspondence can be obtained correctly by using a large number of cases, but the description of the interpretation report and the corresponding image feature amount are used to some extent by using the lesion position and time phase as shown in FIG. If the correspondence can be made in advance, the correlation can be obtained more accurately.
  • synonyms such as “low density”, “low luminance”, “low absorption”, a synonym dictionary is created in advance, and these are treated as the same interpretation item.
  • FIG. 11 shows a conceptual diagram of a correlation (for example, a correlation ratio) between a disease name and an image feature amount.
  • the correlation is expressed in binary as in FIG. 9, but it is of course possible to perform multi-value expression as shown in FIG.
  • the log-likelihood ratio can be regarded as a co-occurrence index taking into account events X and Y and rejection events ⁇ X and ⁇ Y.
  • connection and ⁇ coefficient may be used instead of the log likelihood ratio.
  • the connection and ⁇ coefficient are described in documents related to the association rule analysis (for example, non-patent document: “Data Mining and its application”, Kato / Hamuro / Yada co-author, Asakura Shoten).
  • This degree of support means the probability (co-occurrence probability) that the interpretation item X and the disease name Y appear simultaneously in all cases. If the interpretation item X and the disease name Y appear simultaneously in many interpretation reports, it is considered that the relationship (correlation) between the interpretation item X and the disease name Y is strong.
  • the certainty factor is the probability that an item in the conclusion part Y will appear when the condition item X appears as a condition. If many disease names Y appear in an interpretation report in which the interpretation item X appears, it is considered that the relationship between the interpretation item X and the disease name Y is strong.
  • the lift value refers to the appearance probability (that is, the certainty factor) of the disease name Y when the interpretation item X appears as a condition, compared to the appearance probability of the disease name Y when the interpretation item X does not appear as a condition. It is an indicator that shows how much it has risen.
  • a lift value of 1.0 means that the appearance probability of the disease name Y does not change even if the interpretation item X does not appear, and the rule (interpretation item X ⁇ disease name Y) is not interesting. I think. This means that the appearance of the interpretation item X and the appearance of the disease name Y are statistically independent. As the lift value is larger than 1.0 and the value is larger, it is regarded as an interesting rule. That is, it is considered that the correlation between the interpretation item X and the disease name Y is large.
  • FIG. 12 shows a conceptual diagram of a correlation (for example, log likelihood ratio) between an interpretation item and a disease name.
  • the correlation is expressed in binary as in FIG. 9, but it is of course possible to perform multi-value expression as shown in FIG.
  • step S14 When the process of step S14 is performed by the above method, the correlation between (image feature quantity-interpretation item) and the correlation between (image feature quantity-disease name) as shown in FIGS. Correlation between the relationship and (interpretation item-disease name) is obtained.
  • the numerical values in the tables are the correlation ratio in FIGS. 13 and 14 and the log likelihood ratio in FIG.
  • the correlation ratio takes a value between 0 and 1.
  • the log likelihood ratio takes a value of 0 or more.
  • the obtained correlation is stored in the interpretation knowledge database 110 in the format of FIG. 13, FIG. 14, and FIG.
  • Similar case search> The procedure for similar case search will be described below using the flowchart of FIG. 16 and the similar case search screen example of FIG.
  • the similar case search screen example shown in FIG. 17 is a screen example of the display device when the interpretation target image display unit 130, the report input / output unit 140, and the display unit of the similar case display unit 190 are combined with one display device. It is.
  • step S20 the interpretation target image reading unit 120 acquires an interpretation target image from the medical image photographing apparatus.
  • the medical imaging apparatus targeted in this embodiment is a multi-slice CT, and the target organ and disease are a liver mass.
  • the read image (interpretation target image 201 in FIG. 17) is displayed on the interpretation target image display unit 130.
  • step S21 the interpreter inputs an interpretation report through the report input / output unit 140 while referring to the interpretation target image displayed on the interpretation target image display unit 130.
  • the input interpretation report is displayed in the interpretation report input / output area 210 in FIG.
  • a plurality of slice images of a plane (axial view) perpendicular to the body axis are usually obtained by reconstruction.
  • the radiogram interpreter checks the presence or absence of a lesion (hepatic mass in this embodiment) while changing the slice position, and inputs an interpretation report for these slice images.
  • the interpreter may specify the position of the lesion detected in the interpretation target image (slice number and coordinates or area information on the slice image) with an input device such as a mouse. If there are multiple lesions in the image to be interpreted, and the description about the multiple lesions is to be described in the interpretation report, record the correspondence between the lesion in the image to be interpreted and the description in the interpretation report. This is useful when creating the interpretation knowledge database 110 using.
  • an interpretation target image 300 (here, abdominal CT) includes a periphery 310 of the abdomen, a target organ (here, liver) 320, and a lesion area 330.
  • a target organ here, liver
  • a lesion area 330 When designating the coordinates, for example, the vicinity of the center of the tumor (point 340 in FIG. 18) is clicked with the mouse.
  • an area a method of surrounding the lesion area 330 in FIG. 18 with a rectangle, circle, or ellipse, or between the lesion area (lesion area 330 in FIG. 18) and normal tissue (outside the lesion area 330 in FIG. 18). There is a way to specify the boundary with a free curve.
  • step S112 When only the center coordinates are specified, or when an area is specified by surrounding it with a rectangle, circle, ellipse, etc., there is an advantage that the burden on the interpreter is small. It is necessary to automatically extract a lesion area by an image processing algorithm. For the extraction of the tumor region, the same technique as in step S112 can be used.
  • step S22 a request for similar case search from an interpreter is accepted.
  • Entry of the interpretation report is usually completed without hesitation if the tumor has typical symptoms or if the interpreter is an expert.
  • the interpreter makes a similar case search request at the interpretation terminal 200.
  • the request for similar case search is made, for example, by clicking the similar case search icon 220 in FIG. 17 with a mouse.
  • a similar case search request is made after designating a lesion that is lost in diagnosis.
  • step S21 if a lesion that is not suitable for diagnosis is not designated, a new lesion is designated here.
  • a designation method one point near the center of the lesion may be designated, or a lesion area may be designated.
  • the same method as in step S21 can be used.
  • a detailed lesion area is set using the same method as in step S112 from the neighboring area with the designated point as a reference.
  • a detailed lesion area is set from this area by using the same method as in step S112.
  • step S23 If there is a similar case search request from the radiogram interpreter, the process proceeds to step S23. At this time, the interpretation report may be in a completed state or in the middle of entry. Even in a completely blank state, the similar case search in the subsequent step S25 can be executed, but in that case, the similar case search according to the point of interest of the interpreter, which is a feature of the present invention, is not executed and is set in advance The similar case search is executed with the standard image feature amount set.
  • the processing unit for accepting a similar case search request and an interpretation end input is not shown in FIG. 1, but may be a physical switch built in the keyboard of the interpretation terminal 200 or the like, or a medical high definition
  • a GUI menu or the like displayed on the image interpretation target image display unit 130 constituted by a monitor or the like may be used.
  • FIG. 17 shows an example of the GUI menu.
  • the similar case search icon 220 is a virtual button that accepts a similar case search request
  • the icon 230 is a virtual button that accepts an interpretation end input.
  • step S23 the image feature extraction unit 160 extracts an image feature amount from the lesion area specified or extracted in step S22 for the image to be interpreted. Designated or extracted lesion area was that for the all if more, to extract the N F characteristic amounts are determined in advance.
  • the image feature extraction method is the same as that in step S114.
  • step S24 the report analysis unit 150 analyzes the interpretation report entered in step S21.
  • the same processing as the extraction of interpretation items and disease names in step S12 when creating the interpretation knowledge database is executed.
  • step S25 the weight determination unit 170 and the similar case search unit 180 search for similar cases from the case database 100 based on the image to be interpreted and the interpretation report entered by the interpreter.
  • the retrieved similar cases are displayed in the similar case output area 240 of FIG.
  • the interpreter has entered the interpretation report of FIG. 4 in step S21, the interpretation item and disease name of FIG. 5 have been extracted in step S24, and the image feature amount has been extracted from the image to be interpreted in step S23. think of.
  • the interpretation knowledge database 110 stores the correlation between two terms among the three items of the image feature amount, the interpretation item, and the disease name as shown in FIGS. 13, 14, and 15.
  • weighted distance calculation is performed by similar case search based on at least one of the interpretation item and disease name extracted from the interpretation report. That is, the weight is relatively large for the image feature quantity related to at least one of the extracted interpretation item and disease name, and the weight is relatively small for the image feature quantity not related.
  • the similar case search reflecting the doctor's point of interest entered in the interpretation report can be performed. That is, the similar case search unit 180 calculates a weighted distance between the medical image included in the case stored in the case database 100 and the image to be interpreted.
  • the similar case search unit 180 searches the case database 100 as a similar case for a case including a medical image from which a weighted distance smaller than a predetermined threshold is calculated.
  • the similar case search unit 180 searches the case database 100 as a similar case for a case including a medical image from which a predetermined number of weighted distances are calculated.
  • the weighted distance can be calculated by (Equation 6), for example.
  • x is a vector obtained by concatenating a plurality of (N F ) image feature amounts extracted from the image to be interpreted.
  • u i is an image feature amount extracted from the i-th case among cases stored in the case database 100.
  • the former indicates a correspondence relationship between an engineering image feature amount and a medical interpretation item (in other words, “determined from the viewpoint of a doctor”), and corresponds to medically meaning the image feature amount.
  • the latter indicates the correspondence between the interpretation items determined from the viewpoint of the doctor and the disease names (determined by the combination of the interpretation items), and corresponds to the diagnostic knowledge possessed by the doctor.
  • the correlation between (disease name-image feature quantity) can be used, it will not be used this time for the following reasons.
  • a certain disease has a plurality of symptoms (for example, three types A, B, and C)
  • the image feature quantity correlated with the symptom A and the image feature quantity correlated with the symptom B are different from each other.
  • a mixture (averaged) of the image feature amount weights of symptoms A, B, and C is used. Since there are many cases where a symptom is specified among a plurality of symptom in the interpretation item, a similar case search that matches the point of interest of the doctor can be performed by using the entered interpretation item.
  • the weight determination unit 170 refers to the correlation table between (interpretation item ⁇ disease name) stored in the format of FIG. 15 in the interpretation knowledge database 110, and the correlation between (early dark staining—hepatocellular carcinoma) and The correlation between (washout-hepatocellular carcinoma) is obtained.
  • the numerical values representing the acquired correlation are used as weights as they are, and are expressed as w x and w y , respectively.
  • the weight determination unit 170 refers to the correlation table between (image feature amount ⁇ interpretation item) stored in the format of FIG.
  • the interpretation knowledge database 110 determines between “early dark staining” and all image feature amounts. And the correlation between “washout” and all image feature quantities.
  • the numerical values representing the acquired correlation are used as they are as weights, and are represented as w a, i , w b, i respectively.
  • i is a subscript indicating the type of the image feature amount.
  • Weight determining unit 170 using these weights, the weights W i corresponding to the i-th image feature amount calculated as (Equation 7).
  • the weight for the fourth image feature amount “edge strength” is obtained as the sum of w x w a, 4 and w y w b, 4 .
  • w x w a, 4 is a value w a, 4 representing a correlation between (early dark staining-edge intensity), and a correlation between (early dark staining-hepatocellular carcinoma) including the same interpretation item. It is a value weighted by the value w x representing the relationship.
  • w y w b, 4 is a value w b, 4 representing a correlation between (washout ⁇ edge strength), and a value w y representing a correlation between (washout ⁇ hepatocellular carcinoma) including the same interpretation item. It is a weighted value.
  • the similar case search is executed only when there is a similar case search request, but the similar case search may be executed at another timing during the interpretation report entry. Another timing is when an interpretation report is not entered for a certain period of time after at least one interpretation item or disease name is entered. This is an operation method that is intended to advance interpretation by interpreting that the interpreter is confused about interpretation and proactively presenting similar cases as hints.
  • a similar case search can be executed based on the viewpoint of the interpreter.
  • the weight determination unit 170 refers to the correlation table between (image feature amount ⁇ interpretation item) stored in the format of FIG. 13 in the interpretation knowledge database 110, and correlates between “early dark staining” and all image feature amounts.
  • the relationship and the correlation between “washout” and all image feature quantities are acquired.
  • the numerical values representing the acquired correlation are used as they are as weights, and are represented as w a, i , w b, i respectively.
  • i is a subscript indicating the type of the image feature amount.
  • the weight for the fourth image feature amount “edge strength” is a value w a, 4 representing a correlation between (early darkening ⁇ edge strength) and a value representing a correlation between (washout ⁇ edge strength). It is a value obtained by adding w b, 4 .
  • the number of interpretation items is other than 2, it can be handled by adding the correlation between (interpretation item-image feature amount).
  • the weight considering the interpretation item focused on by the interpreter and the relevance between the interpretation item and the image feature amount can be calculated, and as a result, similar case search can be performed with emphasis on them.
  • it when there are a plurality of extracted interpretation items, they are handled equally, and prioritization among the interpretation items cannot be performed.
  • the weight between (interpretation item ⁇ image feature amount) can be synthesized according to the degree to which the interpretation item affects the determination of the disease name.
  • the interpreter estimates the disease name by intuition, but is uncertain about the interpretation item that is the basis, and is diagnosed by the results of similar case search. This corresponds to a situation where a hint of the basis (interpretation item) is being obtained.
  • weighting is performed using only the correlation between (disease name ⁇ image feature amount).
  • the weight determination unit 170 refers to the correlation table between (image feature amount ⁇ disease name) stored in the format of FIG. 14 in the interpretation knowledge database 110, and determines between “hepatocellular carcinoma” and all image feature amounts. Get correlation. Directly used as a weight a number representing the acquired correlation here, expressed as w i. Here, i is a subscript indicating the type of the image feature amount. Using these weights, the weights W i corresponding to the i-th image feature amount, calculated as (Equation 9).
  • the weight for the fourth image feature amount “edge strength” is the value w 4 representing the correlation between (hepatocellular carcinoma ⁇ edge strength).
  • the disease name is usually one, the above-mentioned process may be performed. However, when two or more disease names are entered, it can be dealt with by adding them. By adding, a similar case search can be performed with an average image feature amount for two or more diseases. With this formula, it is possible to calculate the weight considering the disease name focused on by the image interpreter and the relationship between the disease name and the image feature amount at the same time, and as a result, it is possible to search for similar cases with emphasis on them.
  • the search result case can be used as a hint for estimating the interpretation item, and if the estimated interpretation item can be newly entered in the interpretation report, “(1) From the interpretation report, As explained in ⁇
  • similar case search can be performed with emphasis on them.
  • the similarity determination between images is performed using the weighted distance of (Equation 6)).
  • the correlation ratio is calculated at the calculated distance. Due to a large number of feature values having a small (or medium) value, there is a possibility that a feature value having a large correlation ratio is buried.
  • a method may be employed in which only image feature amounts having a corresponding correlation ratio equal to or greater than a predetermined threshold are used for distance calculation, or only the top few image feature amounts of correlation ratio are used for distance calculation. May be. The number in that case may be determined in advance.
  • the weighted distance calculation is performed in the similar case search based on at least one of the interpretation items and disease names extracted from the interpretation report. That is, the weight is relatively large for the image feature quantity related to at least one of the extracted interpretation item and disease name, and the weight is relatively small for the image feature quantity not related.
  • the similar case search reflecting the doctor's point of interest entered in the interpretation report can be performed.
  • the weighting method of FIG. 19 is used. If only the interpretation item is described, the weighting method of FIG. 20 is used. 21 weighting methods are used. The inventors consider that the weighting method of FIG. 19 is most desirable. On the other hand, a similar case search can be performed using the method of FIG. 20 or FIG. 21, and the missing disease name or interpretation item can be added to the interpretation report with reference to the similar case of the search result. At that stage, the weighting method of FIG. 19 can be used. If it does so, the precision of similar case search will improve, and also a similar search result can be referred and an interpretation report can be updated. Thus, by using the present invention and performing a search every time an interpretation report is updated, the diagnostic accuracy can be improved.
  • the configuration of the similar case retrieval apparatus in the second embodiment of the present invention is the same as that shown in FIG. 1 in the first embodiment.
  • the description of the same components as those in Embodiment 1 is omitted.
  • the interpretation knowledge database 110 stores interpretation knowledge obtained in advance by analyzing a plurality of cases.
  • the content of the stored interpretation knowledge is slightly different from that of the first embodiment, and details will be described later.
  • the weight determination unit 170 uses the text analysis amount extracted by the report analysis unit 150, the image feature amount extracted by the image feature extraction unit 160, and the interpretation knowledge stored in the interpretation knowledge database 110, in the report analysis unit 150. The validity of the extracted text feature quantity is determined, and weights for a plurality of image feature quantities used in image search are determined.
  • interpretation knowledge is obtained in advance and stored in the interpretation knowledge database 110.
  • Interpretation knowledge is obtained from a collection of a plurality of cases composed of pairs of medical images and interpretation reports that are the results of interpretation of the medical images.
  • cases those stored in the case database 100 for searching for similar cases from among similar cases may be used, or cases stored in other databases may be used.
  • the required number of cases is sufficient to obtain some kind of law and knowledge using various data mining algorithms. Usually, hundreds to tens of thousands of data are used.
  • the interpretation knowledge corresponds to (1) image feature quantity, (2) interpretation item, (3) correlation between two terms among three terms of disease name, and a certain interpretation item or disease name. A distribution of at least one or more types of image feature values is used.
  • the medical imaging apparatus to be used in this embodiment that is, the medical imaging apparatus to be used is a multi-slice CT, and the target organ and disease are a liver mass.
  • step S10 to step S13 is the same as that in the first embodiment.
  • step S14 the data set shown in FIG. 8 has been acquired.
  • step S14 interpretation knowledge is extracted from the image feature amount obtained in step S11, the interpretation item and disease name obtained in step S12.
  • the correlation between the two terms is the same as that in the first embodiment, and the description thereof is omitted.
  • the distribution of image feature values the following description is made on the case where the distribution of “one type” of image feature values corresponding to a certain interpretation item or disease name is used as interpretation knowledge.
  • FIG. 22A shows an image feature amount “edge strength” in a case where the interpretation item “clear boundary” is described in the interpretation report corresponding to the liver tumor image.
  • FIG. 22B shows the distribution of the value of the image feature value “edge strength” in the case where the interpretation item “clear boundary” is not described in the interpretation report.
  • FIG. The image feature amount “edge strength” is a value of a first-order luminance difference on a boundary edge between a tumor (lesion) region and a normal tissue region. In the case of “clear boundary” described in the interpretation report, the edge strength of the tumor boundary is often large, and the distribution is biased as shown in FIG.
  • FIG. 22B is less biased than FIG. 22A. Further, since the number of cases that are not described is usually larger than the number of cases in which a certain interpretation item is described, the total frequency (integrated value of the graph of FIG. 22) is greater than that of FIG. 22 (a). (B) tends to increase.
  • “distribution of image feature values extracted from a tumor image included in a case in which a certain interpretation item (or disease name) is described in the interpretation report” is newly used as interpretation knowledge.
  • the distribution of the image feature amount is calculated only when the separately calculated correlation (for example, the correlation ratio) is equal to or greater than a predetermined threshold.
  • the distribution of the image feature amount is biased as shown in FIG. 22A, the same is true for the case where the interpretation item or disease name is not described. This is because when the distribution is biased, it cannot be said that the interpretation item or disease name characterizes the distribution shape of the image feature amount.
  • a Gaussian mixture model (Gaussian Mixture Model) can be used.
  • an expected value maximization (EM) algorithm can be used for calculating the distribution.
  • the obtained distribution parameters are stored in the interpretation knowledge database 110 in the format shown in FIG.
  • a dim-dimensional parameter is stored in the cell at the intersection of the interpretation item 1 and the image feature amount 1.
  • the parameters are the number of normal distributions, the average and standard deviation of each normal distribution, and the weight for each normal distribution.
  • the other cells are blank, but in reality, as long as the separately calculated correlation is equal to or greater than a predetermined threshold, distribution parameters are similarly stored.
  • the complexity of the distribution is different for each combination of the interpretation item and the image feature amount, the number of parameters of the distribution may be different. Further, the distribution may be expressed using other methods such as Parzen estimation.
  • FIG. 24A shows an image feature value “in a case where a disease name“ hepatocellular carcinoma ”is described in an interpretation report corresponding to a liver tumor image. It is a figure which shows distribution of the value of the "average brightness
  • FIG. 24B shows the distribution of the value of the image feature value “average luminance of the tumor internal region in the arterial phase” in the case where the disease name “cyst” is described in the interpretation report corresponding to the liver tumor image.
  • FIG. When the disease name is “hepatocellular carcinoma”, the contrast is strongly contrasted (the CT value increases) in the contrast artery phase, and thus the distribution is as shown in FIG.
  • the distribution is as shown in FIG.
  • the same method as in the case of the case in which the interpretation item is described in the interpretation report can be used.
  • the distribution of the image feature amount is calculated only when the separately calculated correlation is equal to or greater than a predetermined threshold among the combinations of (disease name-image feature amount). To do.
  • the obtained distribution parameters are stored in the interpretation knowledge database 110 in the format shown in FIG.
  • step S14 the process of step S14 is performed, and the correlation between (image feature amount ⁇ interpretation item) and the correlation between (image feature amount ⁇ disease name) in FIGS.
  • the obtained correlation and distribution parameters are stored in the interpretation knowledge database 110.
  • step S20 to step S24 is the same as that in the first embodiment.
  • step S25 the weight determination unit 170 and the similar case search unit 180 search for similar cases from the case database 100 based on the image to be interpreted and the interpretation report entered by the interpreter.
  • the weight determination unit 170 preliminarily (step S14). The validity of the interpretation items and disease names extracted in step S24 is verified on the basis of the interpretation knowledge (image feature amount distribution regarding the interpretation items or disease names) extracted in step S24.
  • step S14 the correlation between two terms among the three terms (image feature amount, interpretation item, disease name) in FIGS. 13, 14, and 15 is stored in the interpretation knowledge database 110, and the interpretation in FIG. It is assumed that the distribution of the image feature amount relating to the item and the distribution of the image feature amount relating to the disease name in FIG.
  • step S21 the radiogram interpreter has entered the radiogram interpretation report shown in FIG.
  • step S23 the image feature amount is extracted from the image to be interpreted.
  • step S24 the interpretation items and disease names in FIG. 27 are extracted.
  • the weight determination unit 170 acquires the distribution of all the image feature amounts corresponding to the interpretation item “clear boundary” from the data of FIG. 23 stored in the interpretation knowledge database 110. At this time, an image feature amount having a small correlation with the interpretation item “clear boundary” cannot be acquired because no distribution parameter is stored. For the same type of image feature quantity, the relationship between the acquired image feature quantity distribution and the image feature quantity extracted in step S23 is verified. When the value of the extracted image feature amount in step S23 and x 1, by integrating the probability density function p (i) within a minute width ⁇ [delta] around the x 1 as shown in Equation (10), The validity (x 1 ) for the image feature quantity x 1 is calculated. validity (x 1 ) is a kind of likelihood. Based on the value of validity (x 1 ), the validity of the interpretation item “clear boundary” entered by the interpreter is determined.
  • FIG. 28 shows a state of validity determination of the image feature amount described above.
  • Figure 28 is better when the image characteristic amount x 2 is the extraction of (b), than when the image feature quantities x 1 in FIG. 28 (a) is extracted, reasonable filled-in interpretation item "clear border" It shows that the nature is high.
  • the validity of the interpretation item “clear boundary” can be evaluated from a plurality of image feature values.
  • the correlation between (image feature quantity ⁇ interpretation item) calculated in step S14 is large, the validity of the interpretation item is determined by using the top several items. If the validity of all the upper several image feature amounts is equal to or greater than the threshold value, the interpretation item “clear boundary” is finally determined to be “valid”. The upper number of pieces and the threshold value are obtained in advance. Also, “all validity is above threshold” (AND condition), but if “any validity is above threshold” (OR condition), the interpretation item “clear boundary” is finally “valid”. May be determined.
  • the weight determination unit 170 determines validity for the remaining interpretation items “low absorption” and disease name “liver cyst” in FIG.
  • the validity is determined based on the relationship (image feature amount distribution) between (image feature amount ⁇ disease name) as shown in FIG. 24, but as shown in FIG. -Relevance may be determined based on the correlation between disease names).
  • weighted distance calculation is performed by searching for similar cases to search for similar cases. Since this calculation is the same as in the first embodiment, the description thereof is omitted.
  • the validity judgment result of the interpretation item and disease name calculated by the weight determination unit 170 is used as follows.
  • the report input / output unit 140 processes the interpretation report input through the input device of the report input / output unit 140 at the time of interpretation, and displays the report on the display device of the report input / output unit 140.
  • the extracted interpretation items and disease names that are determined to have low validity have low validity (the validity is equal to or less than the threshold) have high validity (the validity is greater than the threshold).
  • three words surrounded by a rectangle are extracted interpretation items or disease names, and among them, the highlighted “clear border” and “liver cyst” are judged to have low validity. Item or disease name.
  • the radiogram interpreter can grasp what the similar case is searched for based on the interpretation report that he / she has entered, and at the same time, the similar case search device determines that the validity is low. I can grasp the part. Then, the image interpretation can be performed again with reference to the retrieved diagnosis result of the similar case.
  • the interpretation item and the disease name are not distinguished from each other, but they may be displayed so as to be distinguishable from each other.
  • the validity is expressed by binary values (whether or not it is displayed in reverse video), it may be expressed in multiple values depending on the magnitude of the validity value.
  • FIG. 30 shows an example of the distribution of three types of image feature values corresponding to a certain interpretation item or disease name. Distribution modeling can use a Gaussian mixture model or Parzen estimation as described above.
  • the SVM learns a discriminator that distinguishes these two distributions using a pattern discriminating method such as (Support Vector Machine), and to determine the validity based on the discrimination result of the discriminator.
  • a pattern discriminating method such as (Support Vector Machine)
  • the weighted distance calculation is performed in the similar case search based on at least one of the interpretation item and the disease name extracted from the interpretation report,
  • a similar case search that reflects the point of interest of the radiogram interpreter becomes possible.
  • the interpretation items and disease names used for similar case search in the interpretation report are displayed in such a way that those judged to be low validity can be distinguished from those judged to be high validity.
  • the search target of the present invention is not limited to a case. It is also possible to search for a data set consisting of For example, a data set including a plant image and a description of the plant image can be set as a search target.
  • the image feature amount of the plant image (for example, the number of petals, the thickness of the stem, etc.) is used instead of the image feature amount of the medical image, and the description of the plant image is used instead of the interpretation report.
  • the plant image can be searched after reflecting the image feature amount noted by the user when creating the description as a weight.
  • the interpretation knowledge database 110 and the interpretation knowledge database 110 are not necessarily provided in the similar case search device, and are provided in a place B different from the place A where the similar case search device exists. It may be done.
  • the weight determination unit 170 and the similar case search unit 180 of the similar case search device are connected to the interpretation knowledge database 110 and the case database 100 via a network, respectively.
  • the essential components of the similar case search apparatus of the present invention are a report analysis unit 150, an image feature extraction unit 160, a weight determination unit 170, and a similar case search unit 180.
  • Other components are not necessarily required to achieve the object of the present invention.
  • each of the above devices may be specifically configured as a computer system including a microprocessor, ROM, RAM, hard disk drive, display unit, keyboard, mouse, and the like.
  • a computer program is stored in the RAM or hard disk drive.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention relates to a non-transitory recording medium that can read the computer program or the digital signal, such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like.
  • the digital signal may be recorded on these non-temporary recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the present invention can be used for a similar case retrieval apparatus that retrieves and presents a similar case to be used as a reference for an interpreter, an interpretation education apparatus for a training interpreter, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　類似症例検索装置は、医用画像から抽出される各画像特徴量と、医用画像に対する読影レポートに含まれる、各読影項目または各疾病名との間の関連性を予め定めた二項間関係情報に基づいて、読影対象画像から抽出される複数の画像特徴量の各々について、当該画像特徴量と、対象読影レポートに含まれる読影項目または疾病名との間の関連性が高いほど大きな値の重みを決定する重み決定部（１７０）と、読影対象画像から抽出される複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、重み決定部（１７０）で決定された画像特徴量毎の重みで重み付けして比較することにより、読影対象画像に類似する医用画像を含む症例データを検索する類似症例検索部（１８０）とを備える。

Description

類似症例検索装置および類似症例検索方法
　本発明は、医用画像の読影に参考となる類似症例を検索するための類似症例検索装置および類似症例検索方法に関する。
　近年、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）等の医用画像装置の発達および普及によりデジタル化された高精細な医用画像が大容量で取得可能になっている。また、医師により読影済の医用画像は読影レポートと共にＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍｓ）に順次蓄積されつつある。ここで、新たな読影の参考とするため、読影対象の医用画像と類似した過去の医用画像を、蓄積済の過去症例から検索する技術が開発され始めている。
　類似画像検索には画像間の類似度を決定する画像特徴量の選択が重要であるが、従来の画像検索装置として次のような技術が開示されている。
　医用画像間の類似度を決定するための画像特徴量は、疾病の種類、疾病の進行度、または疾病の重症度、等により異なるべきであるが、従来の医用画像類似検索ではそれらの状況に関わらず同じ画像特徴量を使用していることが課題として存在していた。非特許文献１は、解決手段として、“ｃｕｓｔｏｍｉｚｅｄ－ｑｕｅｒｉｅｓ”　ａｐｐｒｏａｃｈ（ＣＱＡ）という２ステップの検索法を提案している。これは、第一ステップにて、疾病の種類、疾病の進行度または疾病の重症度、等のクラスを最も良好に分類できる画像特徴量を用いて、クエリ画像を分類する。第二ステップにて、分類結果となったクラスに含まれる症例をさらに細分類するために最適化された画像特徴量を用いて、類似画像を検索する。このとき、クラス毎に最適な画像特徴量は教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ）により事前に求めておく。また、同文献では、ＣＱＡを肺ＣＴ画像に対して適用し、従来の１種類の画像特徴量を用いた類似画像検索よりも、検索再現率を向上させている。
Ｊｅｎｎｉｆｅｒ　Ｇ．Ｄｙ　ｅｔ　ａｌ．　"Ｕｎｓｕｐｅｒｖｉｓｅｄ　Ｆｅａｔｕｒｅ　Ｓｅｌｅｃｔｉｏｎ　Ａｐｐｌｉｅｄ　ｔｏ　Ｃｏｎｔｅｎｔ－ｂａｓｅｄ　Ｒｅｔｒｉｅｖａｌ　ｏｆ　Ｌｕｎｇ　Ｉｍａｇｅｓ"，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　ｖｏｌ．２５，　ｎｏ．３，　Ｍａｒｃｈ　２００３
　しかしながら、前記従来の構成では、識別された疾病の種類、疾病の進行度または疾病の重症度、等により画像特徴量（即ち、類似基準）が決定され、決定された画像特徴量を用いて類似画像が検索されるだけであり、読影対象の医用画像に対する読影者の着目点を反映した類似画像検索にはなっていない。即ち、読影者が下した診断の裏づけや読影者が迷っている診断への補助にはなりにくいという課題を有している。
　本発明は、前記従来の課題を解決するもので、読影者の着目点を類似画像検索に反映させた類似症例検索装置を提供することを目的とする。
　本発明のある局面に係る類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、読影者が前記読影対象画像を読影することにより得られる読影レポートである対象読影レポートから、（ａ）医用画像の特徴を示す文字列である読影項目または（ｂ）医用画像に基づく読影者の診断結果である疾病名を抽出するレポート解析部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目または各疾病名との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目または前記疾病名との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部で抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
　この構成によると、医用画像または読影対象画像から抽出される各画像特徴量について、対象読影レポートに記載されている読影項目または疾病名との間の関連性が高いものほど大きな重みで重み付けを行った上で、重み付けされた画像特徴量同士を比較することにより類似症例を検索している。これにより、対象読影レポートに記入された読影者の着目点を反映した上で、類似症例検索を行うことができる。
　なお、本発明は、このような特徴的な処理部を備える類似症例検索装置として実現することができるだけでなく、類似症例検索装置に含まれる特徴的な処理部が実行する処理をステップとする類似症例検索方法として実現することができる。また、類似症例検索装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは類似症例検索方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　本発明の類似症例検索装置によれば、読影者の着目点を類似画像検索に反映させた類似症例検索装置を提供することができる。
図１は、本発明の実施の形態１における類似症例検索装置の構成を示すブロック図である。 図２は、本発明の実施の形態１における読影知識作成の手順を示すフローチャートである。 図３は、本発明の実施の形態１における画像特徴量抽出の手順を示すフローチャートである。 図４は、本発明の実施の形態１における腹部ＣＴ検査の読影レポートの例を示す図である。 図５は、本発明の実施の形態１における読影レポートから抽出された読影項目および疾病名を示す図である。 図６は、本発明の実施の形態１における読影レポートから抽出された読影項目および疾病名、および、読影項目と同時に抽出された位置と時相の情報を示す図である。 図７は、本発明の実施の形態１における読影レポートから抽出された読影項目および疾病名、および、文脈解釈を行って読影項目と同時に抽出された位置と時相の情報を示す図である。 図８は、本発明の実施の形態１における、読影知識抽出のために取得したデータ一式を示す図である。 図９は、本発明の実施の形態１における、読影項目と画像特徴量との間の相関関係（二値）の概念図である。 図１０は、本発明の実施の形態１における、読影項目と画像特徴量との間の相関関係（多値）の概念図である。 図１１は、本発明の実施の形態１における、疾病名と画像特徴量との間の相関関係（二値）の概念図である。 図１２は、本発明の実施の形態１における、読影項目と疾病名との間の相関関係（二値）の概念図である。 図１３は、本発明の実施の形態１における、読影知識として抽出した（画像特徴量－読影項目）間の相関関係の格納形式を示す図である。 図１４は、本発明の実施の形態１における、読影知識として抽出した（画像特徴量－疾病名）間の相関関係の格納形式を示す図である。 図１５は、本発明の実施の形態１における、読影知識として抽出した（読影項目－疾病名）間の相関関係の格納形式を示す図である。 図１６は、本発明の実施の形態１における類似症例検索の手順を示すフローチャートである。 図１７は、本発明の実施の形態１における、類似症例検索画面の一例を示す図である。 図１８は、本発明の実施の形態１における、病変位置または領域の指定について説明するための図である。 図１９は、本発明の実施の形態１における類似症例検索時の重み付け方法１を示す図である。 図２０は、本発明の実施の形態１における類似症例検索時の重み付け方法２を示す図である。 図２１は、本発明の実施の形態１における類似症例検索時の重み付け方法３を示す図である。 図２２は、本発明の実施の形態２における読影項目の有無による画像特徴量の分布の違いを示す図である。 図２３は、本発明の実施の形態２における画像特徴量の分布パラメータを格納した様子を示す図である。 図２４は、本発明の実施の形態２における疾病名の有無による画像特徴量の分布の違いを示す図である。 図２５は、本発明の実施の形態２における画像特徴量の分布パラメータを格納した様子を示す図である。 図２６は、本発明の実施の形態２における腹部ＣＴ検査の読影レポートの例を示す図である。 図２７は、本発明の実施の形態２における読影レポートから抽出された読影項目および疾病名を示す図である。 図２８は、本発明の実施の形態２における、読影項目に対応する画像特徴量の分布から、読影者が記入した読影項目の妥当性を判定する様子を示す図である。 図２９は、本発明の実施の形態２において、入力された読影レポートを加工して表示した例を示す図である。 図３０は、本発明の実施の形態２における、ある読影項目に対応した複数の画像特徴量の分布を示す図である。 図３１は、類似症例検索装置の他の構成を示すブロック図である。 図３２は、類似症例検索装置の本発明に必須の構成要素を示すブロック図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　本発明の一実施の態様に係る類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、読影者が前記読影対象画像を読影することにより得られる読影レポートである対象読影レポートから、（ａ）医用画像の特徴を示す文字列である読影項目または（ｂ）医用画像に基づく読影者の診断結果である疾病名を抽出するレポート解析部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目または各疾病名との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目または前記疾病名との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部で抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
　この構成によると、医用画像または読影対象画像から抽出される各画像特徴量について、対象読影レポートに記載されている読影項目または疾病名との間の関連性が高いものほど大きな重みで重み付けを行った上で、重み付けされた画像特徴量同士を比較することにより類似症例を検索している。これにより、対象読影レポートに記入された読影者の着目点を反映した上で、類似症例検索を行うことができる。
　好ましくは、前記二項間関係情報は、さらに、読影レポートから抽出される読影項目と疾病名との間の関連性を示し、前記レポート解析部が前記対象読影レポートから読影項目および疾病名の両方を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目との間の関連性を示す値と、当該読影項目と前記レポート解析部が抽出した前記疾病名との関連性を示す値との積を、当該画像特徴量に対する重みとして決定する。
　この構成によると、対象読影レポートに読影項目および疾病名の両方が記入されている場合に、画像特徴量と読影項目との間の関連性と、読影項目と疾病名との間の関連性とを同時に評価した類似症例検索を行うことができる。
　また、前記レポート解析部が前記対象読影レポートから読影項目を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目との間の関連性を示す値を、当該画像特徴量に対する重みとして決定しても良い。
　この構成によると、読影者が着目すべき読影項目は判断できたものの、最終的な疾病名の診断に迷っており、類似症例検索の結果で疾病名診断のヒントを得ようとしている状況において、適切な類似症例検索を行うことができる。
　また、前記レポート解析部が前記対象読影レポートから疾病名を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記疾病名との間の関連性を示す値を、当該画像特徴量に対する重みとして決定しても良い。
　この構成によると、読影者が直感等で疾病名を推定したがその根拠となる読影項目の判断に迷っている状況において、適切な類似症例検索を行うことができる。読影者は、類似症例検索の結果から、診断根拠（読影項目）のヒントを得ることができる。
　また、前記重み決定部は、さらに、読影項目ごとの、該読影項目が記載されている読影レポートを作成する基となった医用画像に含まれる各画像特徴量の予め定められた確率分布データに基づいて、前記レポート解析部が抽出した読影項目に対応する前記画像特徴抽出部が抽出した各画像特徴量の尤度が高いほど、前記レポート解析部が抽出した読影項目に対する妥当性が高いと判断しても良い。
　この構成によると、対象読影レポートに含まれる類似症例検索に使用した読影項目の妥当性を判断することができる。
　好ましくは、上述の類似症例検索装置は、さらに、前記対象読影レポートを表示する表示部を備え、前記表示部は、前記重み決定部が判断した読影項目に対する妥当性の高さに基づいて、前記対象読影レポートに含まれる読影項目を視覚的に区別して表示する。
　この構成によると、対象読影レポートの中で類似症例検索に使用した読影項目のうち、妥当性が低いと判定されたものを、妥当性が高いと判定されたものと区別可能なように表示することで、読影者に類似症例検索の根拠と、読影レポートの中の妥当性が低い箇所について提示することが可能である。
　また、前記重み決定部は、さらに、疾病名ごとの、当該疾病名が記載されている読影レポートを作成する基となった医用画像に含まれる各画像特徴量の予め定められた確率分布データに基づいて、前記レポート解析部が抽出した疾病名に対応する前記画像特徴抽出部が抽出した各画像特徴量の尤度が高いほど、前記レポート解析部が抽出した疾病名に対する妥当性が高いと判断しても良い。
　この構成によると、対象読影レポートに含まれる類似症例検索に使用した疾病名の妥当性を判断することができる。
　好ましくは、上述の類似症例検索装置は、さらに、前記対象読影レポートを表示する表示部を備え、前記表示部は、前記重み決定部が判断した疾病名に対する妥当性の高さに基づいて、前記対象読影レポートに含まれる疾病名を視覚的に区別して表示する。
　この構成によると、対象読影レポートの中で類似症例検索に使用した疾病名のうち、妥当性が低いと判定されたものを、妥当性が高いと判定されたものと区別可能なように表示することで、読影者に類似症例検索の根拠と、読影レポートの中の妥当性が低い箇所について提示することが可能である。
　（実施の形態１）
　図１は、本発明の実施の形態１における類似症例検索装置のブロック図である。
　類似症例検索装置は、症例データベース１００と、読影知識データベース１１０と、読影対象画像読込部１２０と、読影対象画像表示部１３０と、レポート入出力部１４０と、レポート解析部１５０と、画像特徴抽出部１６０と、重み決定部１７０と、類似症例検索部１８０と、類似症例表示部１９０とを含む。
　症例データベース１００は、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）またはＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）等の医用画像（本明細書中では「画像データ」のことを単に「画像」と言う）と、その医用画像を読影した結果である読影レポートとの対から構成される症例データ（以下、単に「症例」と言う。）を複数格納したデータベースである。読影知識データベース１１０は、複数の症例を解析することにより得た読影知識を格納したデータベースである。詳細については後述する。症例データベース１００および読影知識データベース１１０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの記憶装置に記憶される。
　読影対象画像読込部１２０は、ＣＴやＭＲＩ等の医用画像撮影装置で撮影された画像を、医用画像撮影装置または外部接続された記憶装置などから読み込む。
　読影対象画像表示部１３０は、医療用の高精細モニタ等で構成され、読影対象画像読込部１２０で読み込んだ読影対象画像を表示する。
　レポート入出力部１４０は、キーボードやマウスなどの入力装置と、そのような入力装置を用いて入力されたレポートを表示することにより、入力者に確認させるための表示装置とで構成されている。読影者は読影対象画像表示部１３０に表示された読影対象画像を参照しながら、レポート入出力部１４０を通して読影レポートを入力する。
　読影対象画像表示部１３０、レポート入出力部１４０、および、後述する類似症例表示部１９０は、読影端末２００を構成する。
　レポート解析部１５０は、レポート入出力部１４０で入力された読影レポートを解析し、テキスト特徴量（読影項目および疾病名）を抽出する。
　画像特徴抽出部１６０は、読影対象画像読込部１２０で読み込まれた読影対象画像から複数種類の画像特徴量を抽出する。
　重み決定部１７０は、レポート解析部１５０で抽出されたテキスト特徴量、画像特徴抽出部１６０で抽出された画像特徴量、および、読影知識データベース１１０に格納された読影知識から、画像検索で使用する複数の画像特徴量に対する重みをそれぞれ決定する。
　類似症例検索部１８０は、画像特徴抽出部１６０で抽出された画像特徴量、および、重み決定部１７０で決定された重みを利用して、症例データベース１００から読影対象画像と類似した医用画像を含む症例を検索する。
　類似症例表示部１９０は、類似症例検索部１８０で検索された類似症例を表示する。類似症例表示部１９０は、読影対象画像表示部１３０を構成する高精細モニタと同じ機種で別途構成されていてもよく、読影対象画像表示部１３０を構成する高精細モニタに読影対象画像と類似症例を同時に表示してもよい。なお、類似症例表示部１９０と読影対象画像表示部１３０との機種は異なっていても良い。
　以後、本発明の各部の動作について詳細に説明する。
　＜読影知識データベースの事前作成＞
　類似症例検索を行うに当たり、事前に読影知識を得て、読影知識データベース１１０に格納しておく。読影知識は、医用画像とその医用画像を読影した結果である読影レポートとの対から構成される“症例”を複数集めたものから得られる。症例として、類似症例検索時にその中から類似症例を検索するための症例データベース１００に格納されたものを用いてもよいし、他のデータベースに格納されたものを用いてもよい。必要な症例数は、種種のデータマイニングアルゴリズムを用いて何らかの法則性および知識を得るために十分となる数である。通常は数百～数万個のデータが用いられる。本実施の形態では、読影知識として、（１）画像特徴量、（２）読影項目、（３）疾病名の三項のうち二項間の相関関係を用いる。
　「画像特徴量」としては、医用画像における臓器もしくは病変部分の形状に関するもの、または輝度分布に関するものなどがある。画像特徴量として、例えば、非特許文献：「根本，清水，萩原，小畑，縄野，“多数の特徴量からの特徴選択による***Ｘ線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”，電子情報通信学会論文誌Ｄ－ＩＩ，Ｖｏｌ．Ｊ８８－Ｄ－ＩＩ，Ｎｏ．２，ｐｐ．４１６－４２６，２００５年２月」に４９０種類の特徴量を用いることが記載されている。本実施の形態においても、医用画像の撮像に使用した医用画像撮影装置（モダリティ）または読影の対象臓器ごとに予め定めた数十～数百種の画像特徴量を用いる。
　「読影項目」とは、本明細書では、「読影医が、読影対象の画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。例えば、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。
　「疾病名」とは、医師（読影者）が医用画像やその他の検査を基に診断した疾病名のことである。読影時の診断疾病名とその他の検査を経て確定診断した疾病名とは異なることがあるが、読影知識データベースを作成する際は、確定診断の結果を用いる。
　以下、図２のフローチャートを用いて読影知識作成の手順を説明する。本実施の形態で対象とする、つまり使用する医用画像撮影装置はマルチスライスＣＴとし、対象臓器および疾病は、それぞれ肝臓および肝腫瘤とする。
　ステップＳ１０では、読影知識を得るための症例が格納されたデータベースから症例を１つ取得する。ここで読影知識を得るための症例の総数をＣ個とする。１つの症例は、医用画像とその医用画像を読影した結果である読影レポートとの対で構成されている。医用画像がマルチスライスＣＴ装置により取得された場合、１つの症例は多数枚のスライス画像を含むことになる。また、通常、マルチスライスＣＴ画像を医師が読影する場合、重要なスライス画像１～数枚を、キー画像として読影レポートに添付する。以後、多数枚のスライス画像集合、あるいは、数枚のキー画像を単に「医用画像」、「画像」と呼ぶこともある。
　ステップＳ１１では、医用画像から画像特徴量を抽出する。ステップＳ１１の処理を、図３のフローチャートを用いて詳細に説明する。
　ステップＳ１１１では、対象臓器の領域を抽出する。本実施の形態では肝臓領域を抽出する。肝臓領域抽出法として、例えば、非特許文献：「田中，清水，小畑，“異常部位の濃度パターンを考慮した肝臓領域抽出手法の改良＜第二報＞”，電子情報通信学会技術研究報告，医用画像，１０４（５８０），ｐｐ．７－１２，２００５年１月」等の手法を用いることができる。
　ステップＳ１１２では、ステップＳ１１１で抽出された臓器領域から病変領域を抽出する。本実施の形態では肝臓領域から腫瘤領域を抽出する。肝腫瘤領域抽出法として、例えば、非特許文献：「中川、清水，一杉，小畑，“３次元腹部ＣＴ像からの肝腫瘤影の自動抽出手法の開発＜第二報＞”，医用画像，１０２（５７５），ｐｐ．８９－９４，２００３年１月」等の手法を用いることができる。ここで、ｉ番目の症例における画像から抽出した腫瘤の数をＭｉとすると、腫瘤は（症例番号，腫瘤番号）の組（ｉ，ｊ）で特定できる。ここで、１≦ｉ≦Ｃ，１≦ｊ≦Ｍｉである。また本実施の形態では病変として肝腫瘤を対象としているため、“腫瘤番号”と呼んだが、本発明で共通の表現を用いて“病変番号”と呼ぶこともできる。
　ステップＳ１１３では、ステップＳ１１２で抽出された病変領域のうち、１つの領域を選択する。
　ステップＳ１１４では、ステップＳ１１３で選択された病変領域から画像特徴量を抽出する。本実施の形態では、画像特徴量として、非特許文献：「根本，清水，萩原，小畑，縄野，“多数の特徴量からの特徴選択による***Ｘ線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”，電子情報通信学会論文誌Ｄ－ＩＩ，Ｖｏｌ．Ｊ８８－Ｄ－ＩＩ，Ｎｏ．２，ｐｐ．４１６－４２６，２００５年２月」に記載された４９０種類の特徴量のうち、肝腫瘤にも適用可能な特徴量をいくつか選択して用いる。この特徴量数をＮＦ個とする。本ステップで抽出された特徴量は、（症例番号，この症例（医用画像）から抽出された腫瘤番号，特徴量番号）の組（ｉ，ｊ，ｋ）で特定できる。ここで、１≦ｉ≦Ｃ，１≦ｊ≦Ｍｉ，１≦ｋ≦ＮＦである。
　ステップＳ１１５では、ステップＳ１１２で抽出された病変領域のうち未選択の病変があるかどうかをチェックし、未選択の病変がある場合は、ステップＳ１１３に戻り未選択の病変領域を選択した後、ステップＳ１１４を再実行する。未選択の病変がない場合、すなわち、ステップＳ１１２で抽出された全ての病変領域に対し、ステップＳ１１４の特徴量選択を行った場合は図３のフローチャートの処理を終了し、図２のフローチャートに戻る。
　図２のステップＳ１２では、読影レポートの解析処理を行う。具体的には読影レポートから読影項目および疾病名を抽出する。本実施の形態では読影項目が格納された読影項目単語辞書、および疾病名が格納された疾病名単語辞書を用いた、形態素解析および構文解析を行う。これらの処理により、各単語辞書に格納された単語と一致する単語を抽出する。形態素解析技術としては、例えば、非特許文献：ＭｅＣａｂ（ｈｔｔｐ：／／ｍｅｃａｂ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ）やＣｈａＳｅｎ（ｈｔｔｐ：／／ｃｈａｓｅｎ－ｌｅｇａｃｙ．ｓｏｕｒｃｅｆｏｒｇｅ．ｊｐ）等が、構文解析技術としては、非特許文献：ＫＮＰ（ｈｔｔｐ：／／ｎｌｐ．ｋｕｅｅ．ｋｙｏｔｏ－ｕ．ａｃ．ｊｐ／ｎｌ－ｒｅｓｏｕｒｃｅ／ｋｎｐ．ｈｔｍｌ）、ＣａｂｏＣｈａ（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｏｒｇ／～ｔａｋｕ／ｓｏｆｔｗａｒｅ／ｃａｂｏｃｈａ／）等が存在する。読影レポートは医師により読影レポート独特の表現で記述されることが多いので、読影レポートに特化した形態素解析技術、構文解析技術、各単語辞書を開発することが望ましい。
　図４は腹部ＣＴ検査の読影レポートの例であり、図５は図４の読影レポートから抽出された読影項目および疾病名を示す。読影項目は通常複数個、疾病名は１個抽出される。ｉ番目の症例における読影レポートから抽出した読影項目の数をＮｉとすると、読影項目は（症例番号，読影項目番号）の組（ｉ，ｊ）で特定できる。ここで、１≦ｉ≦Ｃ，１≦ｊ≦Ｎｉである。
　また、図５では、読影項目および疾病名の単語のみを抽出しているが、読影レポートにおける病変の位置を表す文字列、時相を表す文字列を同時に抽出してもよい。ここで、時相について補足する。肝臓の病変の鑑別には、造影剤を急速静注して経時的に撮像する造影検査が有用とされている。肝臓の造影検査では一般に、肝動脈に造影剤が流入し多血性の腫瘍が濃染する動脈相、腸管や脾臓に分布した造影剤が門脈から肝臓に流入し肝実質が最も造影される門脈相、肝の血管内外の造影剤が平衡に達する平衡相、肝の間質に造影剤が貯留する晩期相などにおいて、肝臓が撮像される。読影レポートには病変の臓器における位置や、造影検査であれば着目した時相の情報が記述されていることが多い。このため、読影項目だけでなく位置や時相の情報も合わせて抽出することで、後で説明する読影知識の抽出に有効となる。図６に、読影項目と同時に位置と時相の情報を抽出した例を示す。例えば、図４の読影レポートを解析し、「肝Ｓ３区域に早期濃染を認め」という文節から「早期濃染」の位置属性として「肝Ｓ３区域」が抽出される。同様に、「後期相でｗａｓｈｏｕｔされており」という文節から「ｗａｓｈｏｕｔ」の時相属性として「後期相」が抽出される。
　図４の読影レポートを、単純に解釈すると、図６のように「早期濃染」に関する時相、ｗａｓｈｏｕｔに関する位置の部分が空白になる。これに対し、読影項目「早期濃染」は早期相に対応した単語であるという事前知識を利用したり、「早期濃染」の状態を示す腫瘤と「後期相でｗａｓｈｏｕｔ」される腫瘤が同一の腫瘤を指すという文脈解釈を行ったりすることができれば、抽出される位置と時相の情報は図７のようになる。
　ステップＳ１３では、読影知識を得るための症例が格納されたデータベースにおいて未取得の症例があるかどうかをチェックし、未取得の症例がある場合は、ステップＳ１０に戻り未取得の症例を取得した後、ステップＳ１１およびＳ１２を実行する。未取得の症例がない場合、すなわち、全ての症例に対し、ステップＳ１１の画像特徴抽出およびステップＳ１２のレポート解析を実施済の場合は、ステップＳ１４に進む。
　ステップＳ１１とステップＳ１２の結果は相互に依存しないため、実行順は逆でも構わない。
　ステップＳ１４に到達した時点で、例えば、図８で表されるデータ一式が取得される。つまり、症例ごとに画像特徴量と読影項目と疾病名とが取得される。症例番号１の症例については、医用画像中にＭ１個の病変が含まれており、各病変から抽出される画像特徴量の個数はＮＦ個である。また、読影レポート中の読影項目の数はＮ１個である。例えば、病変番号（１，１）で示される１つ目の病変のうち、１つ目の画像特徴量の値は０．８５１である。また、読影項目番号（１，１）で示される１つ目の読影項目の値は「早期濃染」である。図８の例では、各画像特徴量は０以上１以下の数値であり、読影項目および疾病名は文字列である。画像特徴量として負の値または１より大きな値をとるものを用いても良い。また、読影項目および疾病名として、予め定めた単語ＩＤの形式にてデータを格納してもよい。
　ステップＳ１４では、ステップＳ１１で得られた画像特徴量、ステップＳ１２で得られた読影項目および疾病名から、読影知識を抽出する。本実施の形態では、画像特徴量、読影項目、疾病名という三項のうちの二項の相関関係を、読影知識とする。
　以下では、画像特徴量、読影項目、疾病名という三項から得られる三組の二項の相関関係について説明する。
　（１）（画像特徴量－読影項目）間の相関関係
　１対の（画像特徴量，読影項目）間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは相関比を用いる。相関比は、質的データと量的データとの間の相関関係を表す指標であり、（式１）で表される。
Figure JPOXMLDOC01-appb-M000001
　読影レポート中に、ある読影項目を含む場合および含まない場合の２カテゴリを考え、これを質的データとする。医用画像から抽出した、ある画像特徴量の値そのものを量的データとする。例えば、読影知識を抽出するための症例データベースに含まれる全症例に対し、読影レポートを、ある読影項目を含むものまたは含まないものに区分する。ここでは、読影項目「早期濃染」と画像特徴量「早期相における腫瘤内部の輝度平均値」との相関比を求める方法について説明する。（式１）においては、カテゴリｉ＝１を「早期濃染」を含むもの、カテゴリｉ＝２を「早期濃染」を含まないものとする。読影レポートに「早期濃染」を含む症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるｊ番目の観測値をｘ１ｊとする。また、読影レポートに「早期濃染」を含まない症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるｊ番目の観測値をｘ２ｊとする。「早期濃染」とは造影早期相にてＣＴ値が上昇することを表すため、この場合、相関比が大きく（１に近く）なることが予想される。また、早期濃染は腫瘤の種類に依存し、腫瘤の大きさには依存しないため、読影項目「早期濃染」と画像特徴量「腫瘤面積」との相関比は小さく（０に近く）なることが予想される。このようにして、全ての読影項目と全ての画像特徴量との間の相関比を計算する。
　図９に、読影項目と画像特徴量との間の相関関係（ここでは、相関比）の概念図を示す。左側には複数の読影項目、右側には複数の画像特徴量の名称が列挙されている。そして、相関比が閾値以上の読影項目と画像特徴量の間が実線で結ばれている。相関比は０以上１以下の値をとるため、閾値として０．３～０．７程度の値を用いることができる。計算した相関比を最終的に閾値で二値化すると、図９のような情報が求められることになる。その一例について補足する。肝腫瘤の造影ＣＴ検査においては、殆どの腫瘤は造影剤使用前のＣＴ画像（単純、単純ＣＴ、単純相などと呼ぶ）で低濃度に描出され、多くの場合、読影レポートに「低濃度」、「ＬＤＡ（Ｌｏｗ　Ｄｅｎｓｉｔｙ　Ａｒｅａ）あり」などと記述される。そのため、「低輝度」や「ＬＤＡ」といった読影項目と、造影剤使用前のＣＴ画像における腫瘤内部の輝度平均（図９では「単純相　輝度平均」と略記載）との相関が大きくなる。
　また、図１０に、読影項目と画像特徴量との間の相関関係（例えば、相関比）の別の概念図を示す。この図では、相関比を多値表現しており、読影項目と画像特徴量の間の実線の太さが相関比の大きさに相当している。例えば、造影早期相にてＣＴ値が上昇する「早期濃染」と、早期動脈相（早期相、動脈相とも略される）における腫瘤内部の輝度平均（図１０では「動脈相　輝度平均」と略記載）との相関が大きくなっている。
　相関比の値に着目することで、ある読影項目と相関の高い画像特徴量を特定することができる。実際には１つの症例には、複数の画像や複数の病変（腫瘤）を含む場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影ＣＴ検査では、造影剤使用前や使用後の複数時刻におけるタイミングでＣＴ撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の１つの集合には複数の病変（腫瘤）が含まれ、１つの病変からは複数の画像特徴量が抽出される。そのため、（スライス画像集合数）×（１人の患者から検出された病変数）×（画像特徴量の種類数）の個数だけ画像特徴量が得られ、これら複数の画像特徴量と、１つの読影レポートから抽出された複数の読影項目や疾病名との相関関係を求める必要がある。もちろん大量の症例を用いることにより、対応が正しく得られる可能性があるが、図７のように病変位置と時相を用いる等して、読影レポートの記載と、対応する画像特徴量とをある程度事前に対応づけることができれば、より正確に相関関係を求めることができる。
　先の説明では、質的データが、ある読影項目を含むものおよび含まないものの２カテゴリである場合について説明したが、ある読影項目（例えば、「境界明瞭」）と、その対義語となる読影項目（例えば、「境界不明瞭」）との２カテゴリであってもよい。また、読影項目が「低濃度」、「中濃度」、「高濃度」などの序数尺度の場合は、それらの各々をカテゴリとして（この例では３カテゴリ）、相関比を計算してもよい。
　また、「低濃度」、「低輝度」、「低吸収」などの同義語については、予め同義語辞書を作成しておき、それらを同一の読影項目として扱う。
　（２）（画像特徴量－疾病名）間の相関関係
　１対の（画像特徴量，疾病名）間の相関関係については、（画像特徴量，読影項目）間の場合と同じく相関比を用いることができる。図１１に、疾病名と画像特徴量との間の相関関係（例えば、相関比）の概念図を示す。この図では図９と同じく相関関係を二値表現しているが、もちろん図１０のような多値表現を行うことも可能である。
　（３）（読影項目－疾病名）間の相関関係
　１対の（読影項目，疾病名）間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは対数尤度比を用いる。対数尤度比は、質的データ間の共起の強さを表す指標であり、（式２）で表される。
Figure JPOXMLDOC01-appb-M000002
　（式２）から分かる通り、対数尤度比は、事象Ｘ，Ｙおよび排反事象￢Ｘ，￢Ｙも考慮に入れた共起指標と見なすことができる。
　なお、対数尤度比の代わりに、（式３）で示される支持度、（式４）で示される確信度、（式５）で示されるリフト値等を用いても良い。その他、ｃｏｎｖｉｃｔｉｏｎ，φ係数を用いても良い。ｃｏｎｖｉｃｔｉｏｎ，φ係数については相関ルール分析に関する文献（例えば、非特許文献：「データマイニングとその応用」、加藤／羽室／矢田　共著、朝倉書店）に記載されている。
Figure JPOXMLDOC01-appb-M000003
　この支持度は、全症例において読影項目Ｘと疾病名Ｙとが同時に出現する確率（共起確率）を意味する。読影項目Ｘと疾病名Ｙが多くの読影レポートに同時出現すれば、読影項目Ｘと疾病名Ｙの関連性（相関性）が強いと見なす。
Figure JPOXMLDOC01-appb-M000004
　確信度とは、条件部Ｘのアイテムの出現を条件としたときの結論部Ｙのアイテムが出現する確率である。読影項目Ｘが出現している読影レポートにて、疾病名Ｙが多く出現していれば、読影項目Ｘと疾病名Ｙの関連性が強いと見なす。
Figure JPOXMLDOC01-appb-M000005
　リフト値とは、読影項目Ｘの出現を条件としないときの疾病名Ｙの出現確率に対して、読影項目Ｘの出現を条件としたときの疾病名Ｙの出現確率（すなわち確信度）がどの程度上昇したかを示す指標である。リフト値が１．０であるということは、読影項目Ｘが出現してもしなくても疾病名Ｙの出現確率は変わらないことを意味し、ルール（読影項目Ｘ⇒疾病名Ｙ）は興味深くないと考える。これは、読影項目Ｘの出現と、疾病名Ｙの出現が統計的に独立であることを意味する。リフト値が１．０より大きく、かつ、その値が大きければ大きいほど興味深いルールと見なす。つまり、読影項目Ｘと疾病名Ｙとの相関が大きいとみなす。
　図１２に、読影項目と疾病名との間の相関関係（例えば、対数尤度比）の概念図を示す。この図では図９と同じく相関関係を二値表現しているが、もちろん図１０のような多値表現を行うことも可能である。
　以上の方法にて、ステップＳ１４の処理を行うと、図１３、図１４、図１５のような、（画像特徴量－読影項目）間の相関関係、（画像特徴量－疾病名）間の相関関係、（読影項目－疾病名）間の相関関係が、それぞれ得られる。なお表中の数値は、図１３、図１４では相関比、図１５では対数尤度比である。相関比は０以上１以下の値をとる。対数尤度比は０以上の値をとる。また、得られた相関関係は、図１３、図１４、図１５の形式にて読影知識データベース１１０に格納される。
　＜類似症例検索＞
　以下、図１６のフローチャートおよび図１７の類似症例検索画面例を用いて類似症例検索の手順について説明する。図１７に示す類似症例検索画面例は、読影対象画像表示部１３０、レポート入出力部１４０および類似症例表示部１９０の表示部を１台の表示装置で兼用した際に、その表示装置の画面例である。
　ステップＳ２０では、読影対象画像読込部１２０により、医用画像撮影装置から読影対象画像を取得する。図２の読影知識作成時と同じく、本実施の形態で対象とする医用画像撮影装置はマルチスライスＣＴとし、対象臓器および疾病は肝腫瘤とする。読み込まれた画像（図１７における読影対象画像２０１）は、読影対象画像表示部１３０に表示される。
　ステップＳ２１では、読影者は読影対象画像表示部１３０に表示された読影対象画像を参照しながら、レポート入出力部１４０を通して読影レポートを入力する。入力された読影レポートは、図１７における読影レポート入出力領域２１０に表示される。マルチスライスＣＴ装置の場合、再構成により通常、体軸に対して垂直な面（ａｘｉａｌ　ｖｉｅｗ）のスライス画像が複数枚得られる。読影者は、これら複数のスライス画像に対し、スライス位置を変えながら病変（本実施の形態では肝腫瘤）の有無を確認し、読影レポートを入力する。読影レポートを入力する際、読影対象画像にて検出した病変の位置（スライス番号、および、スライス画像上における座標や領域情報）を、読影者がマウスなどの入力機器により指定してもよい。読影対象画像に複数の病変が存在し、読影レポートにその複数の病変に関する記述を行う場合は、読影対象画像の病変と読影レポートにおける記述との対応を明確に記録しておけば、この読影レポートを用いて、読影知識データベース１１０を作成する際に有用である。
　病変位置または領域の指定について、図１８を用いて説明する。図１８に示すは読影対象画像３００（ここでは腹部ＣＴ）には、腹部の周囲３１０と、対象臓器（ここでは肝臓）３２０と、病変領域３３０とが含まれる。座標を指定する場合は、例えば、腫瘤の中心位置付近（図１８の点３４０）をマウスでクリックする。領域を指定する場合は、図１８の病変領域３３０を矩形、円または楕円で囲む方法や、病変部（図１８の病変領域３３０）と正常組織（図１８の病変領域３３０の外側）間との境界を自由曲線で指定する方法がある。中心座標のみを指定する場合や、矩形、円または楕円等で囲むことにより領域を指定する場合は、読影者の負担が小さいという利点があるが、画像特徴量抽出のために、別途、正確な病変領域を画像処理アルゴリズムにより自動抽出する必要がある。腫瘤領域抽出については、ステップＳ１１２と同じ手法を用いることができる。
　ステップＳ２２では、読影者からの類似症例検索の要求を受け付ける。
　典型的な症状を有する腫瘤の場合や読影者が熟練者の場合、通常は迷うことなく読影レポートの記入が完了する。非典型な症状を有する腫瘤の場合や読影者の熟練度が低い場合などは、読影者が読影端末２００において類似症例検索要求を行う。類似症例検索の要求は、例えば、図１７における類似症例検索アイコン２２０をマウスクリックすることにより行われる。読影対象画像に複数の病変が存在する場合は、診断に迷っている病変を指定した後、類似症例検索要求を行う。
　この病変の指定について説明する。ステップＳ２１の読影レポート記入時に、診断に迷っている病変を含めて既に病変の位置や領域が複数指定されていれば、そのうちのどれかを選択するだけでよい。ステップＳ２１にて、診断に迷っている病変を指定していなければ、ここで新たに病変を指定する。指定の方法として、病変の中心付近の１点を指定してもよいし、病変領域を指定してもよい。点や領域の指定については、ステップＳ２１と同じ方法を用いることができる。中心付近の１点が指定された場合は、指定された点を基準としてその近傍領域からステップＳ１１２と同じ方法を用いて詳細な病変領域を設定する。病変領域を大まかに指定した場合は、この領域の中からステップＳ１１２と同じ方法を用いて詳細な病変領域を設定する。
　そして、読影者からの類似症例検索要求があった場合は、ステップＳ２３に進む。この時、読影レポートは記入完了の状態であってもよく、記入途中であってもよい。全く未記入の状態でも後のステップＳ２５での類似症例検索は実行可能であるが、その場合は、本発明の特徴である読影者の着目点に応じた類似症例検索は実行されず、予め設定された標準的な画像特徴量集合で類似症例検索を実行することになる。
　また、読影レポート記入時間が一定以上経過した場合、もしくは、読影者から読影終了に関する入力があった場合は、図１６の処理を終了する。類似症例検索要求、読影終了入力を受理するための処理部は図１には図示していないが、読影端末２００のキーボード内等に内蔵された物理的なスイッチでもよいし、医療用の高精細モニタ等で構成される読影対象画像表示部１３０に表示されたＧＵＩメニュー等でもよい。図１７は、ＧＵＩメニューの例であり、類似症例検索アイコン２２０は類似症例検索要求を受理する仮想ボタンであり、アイコン２３０は読影終了入力を受理する仮想ボタンである。
　ステップＳ２３では、画像特徴抽出部１６０は、読影対象画像に対して、ステップＳ２２にて指定または抽出された病変領域から画像特徴量を抽出する。指定または抽出された病変領域が複数あればその全てに対して、予め定めているＮＦ個の特徴量を抽出する。画像特徴量の抽出方法は、ステップＳ１１４と同じである。
　ステップＳ２４では、レポート解析部１５０は、ステップＳ２１にて記入された読影レポートの解析を行う。ここでは、読影知識データベースの作成時におけるステップＳ１２の、読影項目および疾病名の抽出と同じ処理を実行する。
　ステップＳ２５では、重み決定部１７０および類似症例検索部１８０は、読影対象画像および読影者が記入した読影レポートを基にして、症例データベース１００から類似症例を検索する。検索された類似症例は、図１７の類似症例出力領域２４０に表示される。ここでは、ステップＳ２１にて読影者が図４の読影レポートを記入済、ステップＳ２４にて図５の読影項目および疾病名が抽出済、ステップＳ２３で読影対象画像から画像特徴量が抽出済の状況を考える。また、読影知識データベース１１０には、図１３、図１４、図１５のような画像特徴量、読影項目、疾病名の三項のうち二項間の相関関係が格納済であるとする。
　本実施の形態では、読影レポートから抽出された読影項目および疾病名の少なくとも１つを基に、類似症例検索にて重み付け距離計算を行う。即ち、抽出された読影項目および疾病名の少なくとも１つと関連する画像特徴量に関しては重みを相対的に大きく、関連しない画像特徴量に関しては重みを相対的に小さくする。これにより、読影レポートに記入された医師の着目点を反映した類似症例検索が可能となる。つまり、類似症例検索部１８０は、症例データベース１００に記憶されている症例に含まれる医用画像と読影対象画像との間で重み付け距離を算出する。類似症例検索部１８０は、所定の閾値よりも小さい重み付け距離の算出の元となった医用画像を含む症例を類似症例として、症例データベース１００から検索する。または、類似症例検索部１８０は、小さいものから所定個数の重み付け距離の算出の元となった医用画像を含む症例を類似症例として、症例データベース１００から検索する。
　重み付け距離は、例えば（式６）にて計算できる。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｘは、読影対象画像から抽出された複数（ＮＦ個）の画像特徴量を全て連結したベクトルである。ｕｉは、症例データベース１００に格納された症例のうち、ｉ番目の症例から抽出された画像特徴量である。異なる種類の画像特徴量を連結する際は、特徴量毎のスケールの違いに影響を受けないよう正準化（平均０、分散１に正規化）を行っておく。
　以下に重み付け方法の具体例を示す。
　（１）読影レポートから読影項目および疾病名の両方が抽出できた場合
　このケースは、読影者が読影レポートをほぼ記入終了し、類似症例検索の結果で記入内容の確信を高めようとしている状況に相当する。
　ここでは、（読影項目－画像特徴量）間の相関関係と、（読影項目－疾病名）間の相関関係を用いて重み付けを行う例について説明する。前者は、工学的な画像特徴量と医学的な（言い換えれば、“医師の観点で決定された”）読影項目との対応関係を示し、画像特徴量を医学的に意味付けることに相当する。後者は、医師の観点で決定された読影項目と（その読影項目の組合せで決定された）疾病名との対応関係を示し、医師が有している診断知識に相当する。後述する方法でこの２つの相関関係を併用する場合、両者を同時に考慮して、類似症例検索を行うことができる。具体的には、読影レポートに複数の読影項目が記入されている場合、読影項目が疾病名の決定に影響する度合に応じて、（読影項目－画像特徴量）間の重みを合成できる。
　（疾病名－画像特徴量）間の相関関係も使用可能ではあるが、次の理由から今回は用いないこととする。ある疾病が複数の症状（例えばＡ，Ｂ，Ｃの３種類）を持つ場合、症状Ａと相関のある画像特徴量と、症状Ｂと相関のある画像特徴量はそれぞれ異なる。疾病名から画像特徴量の重みを決定する場合、症状Ａ，Ｂ，Ｃの画像特徴量の重みが混在したもの（平均化されたもの）を用いることとなる。読影項目にて複数ある症状のうち症状を特定している場合が多いため、記入された読影項目を用いれば医師の着目点に合った類似症例検索が行える。
　この時点で、図４の読影レポートから図５のように読影項目として「早期濃染」「ｗａｓｈｏｕｔ」が、疾病名として「肝細胞がん」が抽出されている。重み決定部１７０は、読影知識データベース１１０における図１５の形式で格納された（読影項目－疾病名）間の相関関係テーブルを参照し、（早期濃染－肝細胞がん）間の相関関係と（ｗａｓｈｏｕｔ－肝細胞がん）間の相関関係を取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、それぞれｗｘ，ｗｙと表す。また、重み決定部１７０は、読影知識データベース１１０における図１３の形式で格納された（画像特徴量－読影項目）間の相関関係テーブルを参照し、「早期濃染」と全ての画像特徴量間の相関関係と、「ｗａｓｈｏｕｔ」と全ての画像特徴量間の相関関係を取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、それぞれｗａ，ｉ，ｗｂ，ｉと表す。ここで、ｉは画像特徴量の種類を現す添字である。重み決定部１７０は、これらの重みを用いて、ｉ番目の画像特徴量に対応する重みＷｉを（式７）のように計算する。
Figure JPOXMLDOC01-appb-M000007
　以上の重み付け方法について、図１９に概要を示した。
　例えば、４番目の画像特徴量「エッジ強度」に対する重みは、ｗｘｗａ，４と、ｗｙｗｂ，４との和として求められる。ここで、ｗｘｗａ，４は、（早期濃染－エッジ強度）間の相関関係を表す値ｗａ，４を、同じ読影項目を含む（早期濃染－肝細胞がん）間の相関関係を表す値ｗｘで重み付けした値である。ｗｙｗｂ，４は、（ｗａｓｈｏｕｔ－エッジ強度）間の相関関係を表す値ｗｂ，４を、同じ読影項目を含む（ｗａｓｈａｏｕｔ－肝細胞がん）間の相関関係を表す値ｗｙで重み付けした値である。
　読影項目の個数が２以外の場合でも、（読影項目－疾病名）間の相関関係で重み付けした後の（読影項目－画像特徴量）間の相関関係を加算することで対応可能である。この式により、読影者が着目した読影項目および疾病名、読影項目と疾病名との関連性、および、読影項目と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。具体的には、複数の読影項目が記入されている場合、読影項目が疾病名の決定に影響する度合に応じて、（読影項目－画像特徴量）間の重みを合成できる。
　また、図１６のフローチャートでは類似症例検索要求があった場合のみ類似症例検索を実行するが、読影レポート記入中の他のタイミングで類似症例検索を実行してもよい。他のタイミングとしては、少なくとも１個以上の読影項目または疾病名を記入後、一定時間以上、読影レポートの記入がされない場合などである。これは、読影者が読影に迷っていると解釈し、ヒントとなる類似症例を先回りして提示することにより読影を進展させることを意図した動作方法である。本実施の形態では、少なくとも１個以上の読影項目または疾病名が記入された場合、読影者のその着眼点を基に類似症例検索を実行することができる。以降に、読影レポートから読影項目のみが抽出できた場合、および、疾病名のみが抽出できた場合についても説明する。
　（２）読影レポートから読影項目のみが抽出できた場合
　このケースは、読影者が着目すべき読影項目は判断できたものの、最終的な疾病名の診断に迷っており、類似症例検索の結果で疾病名診断のヒントを得ようとしている状況に相当する。ここでは、（読影項目－画像特徴量）間の相関関係のみを用いて重み付けを行う。
　この時点で、図示せぬ読影レポートから読影項目として「早期濃染」、「ｗａｓｈｏｕｔ」が抽出されているとする。重み決定部１７０は、読影知識データベース１１０における図１３の形式で格納された（画像特徴量－読影項目）間の相関関係テーブルを参照し、「早期濃染」と全ての画像特徴量間の相関関係と、「ｗａｓｈｏｕｔ」と全ての画像特徴量間の相関関係を取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、それぞれｗａ，ｉ，ｗｂ，ｉと表す。ここで、ｉは画像特徴量の種類を現す添字である。これらの重みを用い、ｉ番目の画像特徴量に対応する重みＷｉを、（式８）のように計算する。
Figure JPOXMLDOC01-appb-M000008
　以上の重み付け方法について、図２０に概要を示した。
　例えば、４番目の画像特徴量「エッジ強度」に対する重みは、（早期濃染－エッジ強度）間の相関関係を表す値ｗａ，４と、（ｗａｓｈｏｕｔ－エッジ強度）間の相関関係を表す値ｗｂ，４とを足した値である。
　読影項目の個数が２以外の場合も、（読影項目－画像特徴量）間の相関関係を加算することで対応可能である。この式により、読影者が着目した読影項目、および、読影項目と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。但し、抽出された読影項目が複数ある場合はそれらを均等に扱うことになり、読影項目の中での優先順位づけはできていない。読影項目のみで類似症例検索を行い、検索結果の症例が疾病名推定のヒントになり、推定された疾病名を新たに読影レポートに記入することができれば、「（１）読影レポートから読影項目および疾病名の両方が抽出できた場合」で説明したように、読影項目が疾病名の決定に影響する度合に応じて、（読影項目－画像特徴量）間の重みを合成できる。
　（３）読影レポートから疾病名のみが抽出できた場合
　このケースは、読影者が直感等で疾病名を推定したがその根拠となる読影項目の判断に迷っており、類似症例検索の結果で診断根拠（読影項目）のヒントを得ようとしている状況に相当する。ここでは、（疾病名－画像特徴量）間の相関関係のみを用いて重み付けを行う。
　この時点で、読影レポートから疾病名として「肝細胞がん」が抽出されているとする。重み決定部１７０は、読影知識データベース１１０における図１４の形式で格納された（画像特徴量－疾病名）間の相関関係テーブルを参照し、「肝細胞がん」と全ての画像特徴量間の相関関係を取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、ｗｉと表す。ここで、ｉは画像特徴量の種類を現す添字である。これらの重みを用い、ｉ番目の画像特徴量に対応する重みＷｉを、（式９）のように計算する。
Figure JPOXMLDOC01-appb-M000009
　以上の重み付け方法について、図２１に概要を示した。
　例えば、４番目の画像特徴量「エッジ強度」に対する重みは、（肝細胞がん－エッジ強度）間の相関関係を表す値ｗ４である。
　疾病名は通常１個であるため、上記の処理を行えばよいが、２個以上の疾病名が記入された場合などは、それらを加算することで対応可能である。加算することにより、２個以上の疾病に対し、平均的な画像特徴量で類似症例検索が可能となる。この式により、読影者が着目した疾病名、および、疾病名と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。疾病名のみで類似症例検索を行い、検索結果の症例が読影項目推定のヒントになり、推定された読影項目を新たに読影レポートに記入することができれば、「（１）読影レポートから読影項目および疾病名の両方が抽出できた場合」で説明したように、読影者が着目した読影項目および疾病名、読影項目と疾病名との関連性、および、読影項目と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。
　なお、本実施の形態では、（式６）の重み付け距離を用いて画像間の類似判定を行ったが、用いる特徴量の総次元数が大きくなってくると、計算された距離において、相関比が小さい（または中程度）多数の特徴量のために、相関比の大きい特徴量が埋没する可能性がある。その場合は、対応する相関比が所定の閾値以上の画像特徴量のみを距離計算に使用する、あるいは、相関比の上位数個の画像特徴量のみを距離計算に使用するなどの方法を採用してもよい。その場合の個数は事前に定めておけばよい。
　以上、本実施の形態における類似症例の検索では、読影レポートから抽出された読影項目および疾病名の少なくとも１つを基に、類似症例検索にて重み付け距離計算を行う。即ち、抽出された読影項目および疾病名の少なくとも１つと関連する画像特徴量に関しては重みを相対的に大きく、関連しない画像特徴量に関しては重みを相対的に小さくする。これにより、読影レポートに記入された医師の着目点を反映した類似症例検索が可能となる。
　ここで、３種類の重み付け方法の使い分けについて説明する。
　読影レポートに、読影項目および疾病名の両方が記入されていれば図１９の重み付け方法を、読影項目のみが記載されていれば図２０の重み付け方法を、疾病名のみが記載されていれば図２１の重み付け方法を使用する。発明者らは図１９の重み付け方法が最も望ましいと考えている。一方、図２０や図２１の方法を用いて類似症例検索を行い、検索結果の類似症例を参考にして、欠けていた疾病名や読影項目を読影レポートに追記することができる。その段階で、図１９の重み付け方法が使用可能になる。そうすれば類似症例検索の精度が向上し、さらに類似した検索結果を参考にでき、読影レポートを更新できる。このように、本発明を利用して、読影レポートを更新する度に検索を行うことで、診断精度を向上させることができる。
　（実施の形態２）
　実施の形態１では、読影者が読影レポートに記入した読影の着目点を反映した画像検索（類似症例検索）について説明した。研修医など経験の浅い読影者の場合、記入した読影レポートの内容が不適切となる可能性があり、その場合は不適切な着目点を反映した画像検索を行うことになる。但し、この場合でも、不適切な着目点に対応する画像特徴量での（別の観点での）類似画像検索が実行されるだけであり、全く類似していない症例が検索されることはない。類似検索の結果よりもむしろ、不適切な読影レポートが作成されることが問題になる。本実施の形態では、この問題を未然に防止する類似症例検索装置の動作について説明する。
　本発明の実施の形態２における類似症例検索装置の構成は、実施の形態１における図１に示したものと同様である。実施の形態１と同一の構成要素については、説明を省略する。
　読影知識データベース１１０には、複数の症例を解析することにより事前に得た読影知識が格納されている。格納される読影知識の内容が実施の形態１とは少し異なっており、詳細については後述する。重み決定部１７０は、レポート解析部１５０で抽出されたテキスト特徴量、画像特徴抽出部１６０で抽出された画像特徴量、および、読影知識データベース１１０に格納された読影知識から、レポート解析部１５０で抽出されたテキスト特徴量の妥当性を判定すると共に、画像検索で使用する複数の画像特徴量に対する重みを決定する。
　以後、本発明の実施の形態２に関する各部の動作について説明する。
　＜読影知識データベースの事前作成＞
　類似症例検索を行うに当たり、事前に読影知識を得て、読影知識データベース１１０に格納しておく。読影知識は、医用画像とその医用画像を読影した結果である読影レポートとの対から構成される症例を複数集めたものから得られる。症例として、類似症例検索時にその中から類似症例を検索するための症例データベース１００に格納されたものを用いてもよいし、他のデータベースに格納されたものを用いてもよい。必要な症例数は、種種のデータマイニングアルゴリズムを用いて何らかの法則性および知識を得るために十分となる数である。通常は数百～数万個のデータが用いられる。本実施の形態では、読影知識として、（１）画像特徴量、（２）読影項目、（３）疾病名の三項のうち二項間の相関関係、および、ある読影項目または疾病名に対応する少なくとも１種類以上の画像特徴量の値の分布を用いる。
　以下、図２のフローチャートを用いて読影知識作成の手順について説明する。実施の形態１と同様、本実施の形態で対象とする、つまり使用する医用画像撮影装置はマルチスライスＣＴとし、対象臓器および疾病は肝腫瘤とする。
　ステップＳ１０からステップＳ１３までの動作は実施の形態１と同じである。ステップＳ１４に到達した時点で、図８で表されるデータ一式が取得されている。
　ステップＳ１４では、ステップＳ１１で得られた画像特徴量、ステップＳ１２で得られた読影項目および疾病名から、読影知識を抽出する。読影知識のうち、二項間の相関関係に関しては、実施の形態１と同様であるので説明を省略する。画像特徴量の値の分布に関しては、以下で、ある読影項目または疾病名に対応する“１種類”の画像特徴量の値の分布を読影知識とする場合の説明を行う。
　（１）読影項目に対応する画像特徴量の分布
　図２２（ａ）は、肝腫瘤画像に対応する読影レポート中に、読影項目「境界明瞭」が記載されている症例における画像特徴量「エッジ強度」の値の分布を示す図であり、図２２（ｂ）は、上記読影レポート中に、読影項目「境界明瞭」が記載されていない症例における画像特徴量「エッジ強度」の値の分布を示す図である。画像特徴量「エッジ強度」は、腫瘤（病変）領域と正常組織の領域間の境界エッジ上での輝度の一階差分の値とする。読影レポートに「境界明瞭」と記載されている症例においては、腫瘤境界のエッジ強度が大きいことが多く、図２２（ａ）のような偏りのある分布になる。一方、エッジ強度が大きくても疾病名診断に寄与しない場合は読影レポートに「境界明瞭」と記載されないことが多い。このため、図２２（ｂ）は、図２２（ａ）に比べて偏りが小さくなる。また、通常は、ある読影項目が記載される症例数よりも記載されない症例数の方が多いことから、頻度の総和（図２２のグラフの積分値）は、図２２（ａ）よりも図２２（ｂ）が大きくなる傾向にある。
　以上から、本実施の形態では、「ある読影項目（または疾病名）が読影レポートに記載された症例に含まれる腫瘤画像から抽出された画像特徴量の分布」を、読影知識として新たに用いる。この時、（読影項目（または疾病名），画像特徴量）の組合せにおいて、別途算出済の相関関係（例えば、相関比）が予め定めた閾値以上である場合のみ、画像特徴量の分布を算出する。ある読影項目（または疾病名）が記載されている症例にて図２２（ａ）のように画像特徴量の分布に偏りがある場合でも、その読影項目または疾病名が記載されていない症例で同じように分布に偏りがある場合は、その読影項目または疾病名が画像特徴量の分布形状を特徴づけているとは言えないためである。
　分布の具体的な表現手法として、例えば、ガウス混合モデル（Ｇａｕｓｓｉａｎ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌ）を用いることができる。また、分布の算出には、期待値最大化（ＥＭ；　Ｅｘｐｅｃｔａｔｉｏｎ　Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いることができる。得られた分布のパラメータは、図２３のような形式で読影知識データベース１１０に格納される。読影項目１と画像特徴量１の交点のセルには、ｄｉｍ次元のパラメータが格納されている。１次元ガウス混合モデルの場合、パラメータは、正規分布の個数、各正規分布の平均および標準偏差、各正規分布に対する重み、である。図２３では他のセルは空白になっているが、実際は、別途算出済の相関関係が予め定めた閾値以上である限りは、同様に分布のパラメータが格納されることになる。また、読影項目と画像特徴量の組合せ毎に分布の複雑さは異なるため、分布のパラメータ数がそれぞれ異なっていてもよい。また、Ｐａｒｚｅｎ推定などの他手法を用いて分布を表現してもよい。
　（２）疾病名に対応する画像特徴量の分布
　図２４（ａ）は、肝腫瘤画像に対応する読影レポート中に、疾病名「肝細胞がん」が記載されている症例における画像特徴量「動脈相における腫瘤内部領域の平均輝度」の値の分布を示す図である。図２４（ｂ）は、肝腫瘤画像に対応する読影レポート中に、疾病名「嚢胞」が記載されている症例における画像特徴量「動脈相における腫瘤内部領域の平均輝度」の値の分布を示す図である。疾病名が「肝細胞がん」の場合、造影動脈相にて強く造影される（ＣＴ値が上昇する）ため、図２４（ａ）のような分布になる。一方、疾病名が「嚢胞」の場合、造影動脈相でも造影されないので、図２４（ｂ）のような分布になる。分布の算出は、読影レポート中に読影項目が記載されている症例の場合と同じ方法を用いることができる。この時、読影項目に関して先に説明したように、（疾病名－画像特徴量）の組合せのうち、別途算出済の相関関係が予め定めた閾値以上である場合のみ、画像特徴量の分布を算出する。得られた分布のパラメータは、図２５のような形式で読影知識データベース１１０に格納される。
　以上の方法にて、ステップＳ１４の処理を行い、図１３、図１４、図１５の、（画像特徴量－読影項目）間の相関関係、（画像特徴量－疾病名）間の相関関係、（読影項目－疾病名）間の相関関係と、図２３の読影項目に関する画像特徴量の分布パラメータ、図２５の疾病名に関する画像特徴量の分布パラメータがそれぞれ得られる。また、得られた相関関係、分布パラメータは読影知識データベース１１０に格納される。
　＜類似症例検索＞
　以下、図１６のフローチャートを用いて類似症例検索の手順について説明する。
　ステップＳ２０からステップＳ２４までの動作は実施の形態１と同じである。
　ステップＳ２５では、重み決定部１７０および類似症例検索部１８０は、読影対象画像および読影者が記入した読影レポートを基にして、症例データベース１００から類似症例を検索する。
　本実施の形態では、実施の形態１で説明した、検索時（ステップＳ２４）に抽出した読影項目および疾病名を用いた重み付けによる類似症例検索に加え、重み決定部１７０が、事前（ステップＳ１４）に抽出した読影知識（読影項目または疾病名に関する画像特徴量の分布）を基に、ステップＳ２４で抽出された読影項目および疾病名の妥当性を検証する。
　ここでは、ステップＳ１４にて、読影知識データベース１１０に、図１３、図１４、図１５の（画像特徴量，読影項目，疾病名）の三項のうち二項間の相関関係、図２３の読影項目に関する画像特徴量の分布、図２５の疾病名に関する画像特徴量の分布が格納済とする。また、ステップＳ２１にて読影者が図２６の読影レポートを記入済とする。ステップＳ２３で読影対象画像から画像特徴量が抽出済とする。ステップＳ２４にて図２７の読影項目および疾病名が抽出済とする。
　図２７の読影項目のうち「境界明瞭」について考える。重み決定部１７０は、読影知識データベース１１０に格納された図２３のデータから、読影項目「境界明瞭」に対応する全ての画像特徴量の分布を取得する。この時、読影項目「境界明瞭」と相関関係が小さい画像特徴量に関しては分布のパラメータが格納されていないため取得できない。同一種の画像特徴量に関して、取得した画像特徴量の分布とステップＳ２３で抽出した画像特徴量との関係を検証する。ステップＳ２３で抽出した画像特徴量の値をｘ１とすると、（式１０）のようにｘ１を中心とした微小幅±δの範囲内で確率密度関数ｐ（ｉ）を積分することにより、画像特徴量ｘ１に対するｖａｌｉｄｉｔｙ（ｘ１）を計算する。ｖａｌｉｄｉｔｙ（ｘ１）は尤度の一種である。このｖａｌｉｄｉｔｙ（ｘ１）の値により、読影者が記入した読影項目「境界明瞭」の妥当性を判定する。
Figure JPOXMLDOC01-appb-M000010
　図２８に、上記で説明した画像特徴量の妥当性判定の様子を示す。図２８（ｂ）の画像特徴量ｘ２が抽出された場合の方が、図２８（ａ）の画像特徴量ｘ１が抽出された場合よりも、記入された読影項目「境界明瞭」の妥当性が高いことを表している。
　画像特徴量の種類は複数存在するため、読影項目「境界明瞭」の妥当性は、複数の画像特徴量から評価できる。ここでは、ステップＳ１４で算出した（画像特徴量－読影項目）間の相関関係が大きいものの上位の数個を用いて読影項目の妥当性を判定する。この上位の数個の画像特徴量に対し、全ての妥当性が閾値以上であれば、読影項目「境界明瞭」が最終的に「妥当」と判定される。上位の数個の個数、および、閾値は事前に求めておく。また、「全ての妥当性が閾値以上」（ＡＮＤ条件）としたが、「いずれかの妥当性が閾値以上」（ＯＲ条件）の場合に、読影項目「境界明瞭」が最終的に「妥当」と判定してもよい。
　重み決定部１７０は、同様にして、図２７の残りの読影項目「低吸収」、疾病名「肝嚢胞」に対しても妥当性を判定する。
　また、疾病名に関しては、ここでは図２４のような（画像特徴量－疾病名）間の関係（画像特徴量の分布）を基に妥当性を判定したが、図１５のような（読影項目－疾病名）間の相関関係を基に妥当性を判定してもよい。
　次に、類似症例検索にて重み付け距離計算を行い、類似症例を検索する。この計算は実施の形態１と同じであるため説明を省略する。
　重み決定部１７０が算出した読影項目、疾病名の妥当性判定結果は次のように利用する。
　レポート入出力部１４０は、読影時にレポート入出力部１４０の入力装置を通して入力された読影レポートに加工を行い、レポート入出力部１４０の表示装置へ表示する。例えば、図２９のように、抽出された読影項目および疾病名のうち、妥当性が低い（妥当性が閾値以下）と判定されたものを、妥当性が高い（妥当性が閾値よりも大きい）と判定されたものと区別可能なように表示する。図２９では、矩形で囲まれた３単語が抽出された読影項目または疾病名であり、うち、反転表示されている「境界明瞭」、「肝嚢胞」が、妥当性が低いと判定された読影項目または疾病名である。このような表示を行うことで、読影者は、自分の記入した読影レポートのうち何を根拠として類似症例が検索されているかが把握でき、同時に、類似症例検索装置により妥当性が低いと判定された部分が把握できる。そして、検索された類似症例の診断結果を参照しながら、読影対象の画像に関して再度読影を行うことができる。なお、ここでは、読影項目と疾病名の２つを区別して表示していないが、両者を区別可能なように表示してもよい。また、妥当性を二値（反転表示か否か）で表現しているが、妥当性の値の大きさにより多値表現してもよい。
　本実施の形態の冒頭にて、「研修医など経験の浅い読影者の場合、記入した読影レポートの内容が不適切となる可能性があり、その場合は不適切な着目点を反映した画像検索を行うことになる。但し、この場合でも、不適切な着目点に対応する画像特徴量での（別の観点での）類似画像検索が実行されるだけであり、全く類似していない症例が検索されることはない。」と説明したが、妥当性の低い読影項目または疾病名に対応する画像特徴量への重みを０にして検索することにより、不適切な着目点を反映した画像検索を防止できる。例えば、図１９において、読影対象画像から抽出した画像特徴を基に判定した結果、読影項目「早期濃染」の妥当性が低い場合、ｗａ，ｉ＝０とする。同様にして、読影知識データベース１１０に格納した図１３、図１４、図１５、図２３、図２５の読影知識と矛盾するものは妥当性が低いとして、対応する重みを０にしてもよい。多くの読影項目、疾病名が抽出されている場合、妥当性が高いと判定された残りの読影項目および疾病名に対応した画像特徴量への重みを用いて検索が実行される。残りの読影項目、疾病名の数が少ない（予め定めた閾値を下回る）時は、標準的な重みを用いて画像特徴量の重み付けを行い、症例を検索すればよい。
　なお、上記では、ある読影項目または疾病名に対応する“１種類の”画像特徴量の値の分布を読影知識とする例について説明したが、２種類以上の画像特徴量の値の分布を読影知識としてもよい。図３０に、ある読影項目または疾病名に対応する３種類の画像特徴量の値の分布の例を示す。分布のモデル化は、先の説明と同じく、ガウス混合モデルやＰａｒｚｅｎ推定を用いることができる。また、ある読影項目が含まれる場合の画像特徴量の分布と、ある読影項目が含まれない場合の画像特徴量の分布とが特徴量空間上で良好に分離されているような場合は、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）等のパターン識別手法を用いて、それら２つの分布を区別するような識別器を学習し、その識別器の識別結果により妥当性を判定することも可能である。
　以上、本実施の形態における類似症例の検索では、実施の形態１と同様に、読影レポートから抽出された読影項目および疾病名の少なくとも１つを基に類似症例検索にて重み付け距離計算を行い、読影者の着目点を反映した類似症例検索が可能となる。加えて、読影レポートの中で類似症例検索に使用した読影項目および疾病名のうち、妥当性が低いと判定されたものを、妥当性が高いと判定されたものと区別可能なように表示することで、読影者に類似症例検索の根拠と、読影レポートの中の妥当性が低い箇所について提示することが可能である。
　なお、実施の形態１および２では、医用画像と読影レポートからなる症例について検索を行う例を説明したが、本発明の検索対象は症例に限定されるものではなく、画像と画像に対するテキストデータとからなるデータセットを検索対象とすることもできる。例えば、植物画像とその植物画像に対する説明とからなるデータセットを検索対象とすることも可能である。この場合には、医用画像の画像特徴量の代わりに植物画像の画像特徴量（例えば、花びら数、茎の太さなど）を用い、読影レポートの代わりに植物画像に対する説明を用いることにより、上記説明を作成する際にユーザが着目した画像特徴量を重みとして反映した上で、植物画像の検索を行うことができる。
　なお、図３１に示すように、読影知識データベース１１０および読影知識データベース１１０は、必ずしも類似症例検索装置に備えられていなくてもよく、類似症例検索装置が存在する場所Ａとは異なる場所Ｂに備えられていても良い。この場合、類似症例検索装置の重み決定部１７０と類似症例検索部１８０が、それぞれ、ネットワークを介して読影知識データベース１１０と症例データベース１００に接続されている。
　また、図３２に示すように、類似症例検索装置の本発明に必須の構成要素は、レポート解析部１５０と、画像特徴抽出部１６０と、重み決定部１７０と、類似症例検索部１８０とであり、その他の構成要素は、本発明の課題を達成するのに必ずしも必要ではない。
　また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
　また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
　さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
　また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
　さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　本発明は、読影者に参考となる類似症例を検索および提示する類似症例検索装置、および、研修読影医のための読影教育装置等に利用可能である。
１００　症例データベース
１１０　読影知識データベース
１２０　読影対象画像読込部
１３０　読影対象画像表示部
１４０　レポート入出力部
１５０　レポート解析部
１６０　画像特徴抽出部
１７０　重み決定部
１８０　類似症例検索部
１９０　類似症例表示部
２００　読影端末
２０１、３００　読影対象画像
２１０　読影レポート入出力領域
２２０　類似症例検索アイコン
２３０　アイコン
２４０　類似症例出力領域
３１０　腹部の周囲
３２０　対象臓器
３３０　病変領域
３４０　点

Claims (10)

  1. 　医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索装置であって、
    　読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、
    　読影者が前記読影対象画像を読影することにより得られる読影レポートである対象読影レポートから、（ａ）医用画像の特徴を示す文字列である読影項目または（ｂ）医用画像に基づく読影者の診断結果である疾病名を抽出するレポート解析部と、
    　医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目または各疾病名との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目または前記疾病名との間の関連性が高いほど大きな値の重みを決定する重み決定部と、
    　前記画像特徴抽出部で抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部と
    　を備える類似症例検索装置。
  2. 　前記二項間関係情報は、さらに、読影レポートから抽出される読影項目と疾病名との間の関連性を示し、
    　前記レポート解析部が前記対象読影レポートから読影項目および疾病名の両方を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目との間の関連性を示す値と、当該読影項目と前記レポート解析部が抽出した前記疾病名との関連性を示す値との積を、当該画像特徴量に対する重みとして決定する
    　請求項１記載の類似症例検索装置。
  3. 　前記レポート解析部が前記対象読影レポートから読影項目を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記読影項目との間の関連性を示す値を、当該画像特徴量に対する重みとして決定する
    　請求項１記載の類似症例検索装置。
  4. 　前記レポート解析部が前記対象読影レポートから疾病名を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記レポート解析部が抽出した前記疾病名との間の関連性を示す値を、当該画像特徴量に対する重みとして決定する
    　請求項１記載の類似症例検索装置。
  5. 　前記重み決定部は、さらに、読影項目ごとの、該読影項目が記載されている読影レポートを作成する基となった医用画像に含まれる各画像特徴量の予め定められた確率分布データに基づいて、前記レポート解析部が抽出した読影項目に対応する前記画像特徴抽出部が抽出した各画像特徴量の尤度が高いほど、前記レポート解析部が抽出した読影項目に対する妥当性が高いと判断する
    　請求項１記載の類似症例検索装置。
  6. 　さらに、前記対象読影レポートを表示する表示部を備え、
    　前記表示部は、前記重み決定部が判断した読影項目に対する妥当性の高さに基づいて、前記対象読影レポートに含まれる読影項目を視覚的に区別して表示する
    　請求項５記載の類似症例検索装置。
  7. 　前記重み決定部は、さらに、疾病名ごとの、当該疾病名が記載されている読影レポートを作成する基となった医用画像に含まれる各画像特徴量の予め定められた確率分布データに基づいて、前記レポート解析部が抽出した疾病名に対応する前記画像特徴抽出部が抽出した各画像特徴量の尤度が高いほど、前記レポート解析部が抽出した疾病名に対する妥当性が高いと判断する
    　請求項１記載の類似症例検索装置。
  8. 　さらに、前記対象読影レポートを表示する表示部を備え、
    　前記表示部は、前記重み決定部が判断した疾病名に対する妥当性の高さに基づいて、前記対象読影レポートに含まれる疾病名を視覚的に区別して表示する
    　請求項７記載の類似症例検索装置。
  9. 　医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索方法であって、
    　読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出ステップと、
    　読影者が前記読影対象画像を読影することにより得られる読影レポートである対象読影レポートから、（ａ）医用画像の特徴を示す文字列である読影項目または（ｂ）医用画像に基づく読影者の診断結果である疾病名を抽出するレポート解析ステップと、
    　医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目または各疾病名との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記レポート解析ステップにおいて抽出された前記読影項目または前記疾病名との間の関連性が高いほど大きな値の重みを決定する重み決定ステップと、
    　前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索ステップと
    　を含む類似症例検索方法。
  10. 　請求項９に記載の類似症例検索方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
PCT/JP2011/006375 2011-06-30 2011-11-16 類似症例検索装置および類似症例検索方法 WO2013001584A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180014711.9A CN102958425B (zh) 2011-06-30 2011-11-16 类似病例检索装置以及类似病例检索方法
JP2012505932A JP4979842B1 (ja) 2011-06-30 2011-11-16 類似症例検索装置および類似症例検索方法
US13/482,052 US8953857B2 (en) 2011-06-30 2012-05-29 Similar case searching apparatus and similar case searching method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-146699 2011-06-30
JP2011146699 2011-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/482,052 Continuation US8953857B2 (en) 2011-06-30 2012-05-29 Similar case searching apparatus and similar case searching method

Publications (1)

Publication Number Publication Date
WO2013001584A1 true WO2013001584A1 (ja) 2013-01-03

Family

ID=47423530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006375 WO2013001584A1 (ja) 2011-06-30 2011-11-16 類似症例検索装置および類似症例検索方法

Country Status (2)

Country Link
CN (1) CN102958425B (ja)
WO (1) WO2013001584A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017109860A1 (ja) * 2015-12-22 2017-06-29 株式会社ニコン 画像処理装置
JP2017191469A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
JP2017189237A (ja) * 2016-04-11 2017-10-19 東芝メディカルシステムズ株式会社 読影支援装置
WO2019073940A1 (ja) * 2017-10-13 2019-04-18 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
WO2019176407A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
JP2020124220A (ja) * 2020-05-07 2020-08-20 株式会社ニコン 画像処理装置
AU2020200946B2 (en) * 2016-08-30 2021-09-30 Mako Surgical Corp. Systems and methods for intra-operative pelvic registration
JPWO2020110520A1 (ja) * 2018-11-27 2021-10-14 富士フイルム株式会社 類似度決定装置、方法およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6099592B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置及び類似症例検索プログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
US9842390B2 (en) * 2015-02-06 2017-12-12 International Business Machines Corporation Automatic ground truth generation for medical image collections
CN105912831B (zh) * 2015-02-19 2021-08-20 松下知识产权经营株式会社 信息终端的控制方法
CN106156457B (zh) * 2015-03-27 2019-04-09 时云医疗科技（上海）有限公司 一种基于体征数据的信息推送方法及***
JP6697743B2 (ja) * 2015-09-29 2020-05-27 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
JP6675099B2 (ja) * 2015-09-30 2020-04-01 パナソニックＩｐマネジメント株式会社 制御方法及びプログラム
CN110120254B (zh) * 2019-04-23 2020-11-03 镇江市第一人民医院 一种医疗数据存储和共享方法
CN113257431B (zh) * 2021-06-18 2021-09-28 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2007275408A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2009082441A (ja) * 2007-09-28 2009-04-23 Canon Inc 医用診断支援システム
JP2009093563A (ja) * 2007-10-11 2009-04-30 Fuji Xerox Co Ltd 類似画像検索装置、及び類似画像検索プログラム
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
JP2011508331A (ja) * 2007-12-27 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 類似事例検索を精密化するための方法及び装置
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925199B2 (en) * 2000-11-29 2005-08-02 Fujitsu Limited Computer readable recording medium recorded with diagnosis supporting program, diagnosis supporting apparatus and diagnosis supporting method
JP5414334B2 (ja) * 2009-04-10 2014-02-12 株式会社日立製作所 擬似文書検索システム及び擬似文書検索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2007275408A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2009082441A (ja) * 2007-09-28 2009-04-23 Canon Inc 医用診断支援システム
JP2009093563A (ja) * 2007-10-11 2009-04-30 Fuji Xerox Co Ltd 類似画像検索装置、及び類似画像検索プログラム
JP2011508331A (ja) * 2007-12-27 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 類似事例検索を精密化するための方法及び装置
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017109860A1 (ja) * 2015-12-22 2018-08-23 株式会社ニコン 画像処理装置
WO2017109860A1 (ja) * 2015-12-22 2017-06-29 株式会社ニコン 画像処理装置
JP2017189237A (ja) * 2016-04-11 2017-10-19 東芝メディカルシステムズ株式会社 読影支援装置
JP2017191469A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
AU2020200946B2 (en) * 2016-08-30 2021-09-30 Mako Surgical Corp. Systems and methods for intra-operative pelvic registration
AU2021273580B2 (en) * 2016-08-30 2023-10-12 Mako Surgical Corp. Systems and methods for intra-operative pelvic registration
JP2019074868A (ja) * 2017-10-13 2019-05-16 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN111225614A (zh) * 2017-10-13 2020-06-02 佳能株式会社 诊断辅助装置、信息处理方法、诊断辅助***以及程序
US11823386B2 (en) 2017-10-13 2023-11-21 Canon Kabushiki Kaisha Diagnosis assistance apparatus, and information processing method
WO2019073940A1 (ja) * 2017-10-13 2019-04-18 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
JP7224757B2 (ja) 2017-10-13 2023-02-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
US11423537B2 (en) 2017-10-13 2022-08-23 Canon Kabushiki Kaisha Diagnosis assistance apparatus, and information processing method
JP7080304B2 (ja) 2018-03-16 2022-06-03 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
US11468659B2 (en) 2018-03-16 2022-10-11 Fujifilm Corporation Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
WO2019176407A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
JPWO2019176407A1 (ja) * 2018-03-16 2021-02-25 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
JP7091475B2 (ja) 2018-11-27 2022-06-27 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JPWO2020110520A1 (ja) * 2018-11-27 2021-10-14 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JP6999118B2 (ja) 2020-05-07 2022-01-18 株式会社ニコン 画像処理装置
JP2020124220A (ja) * 2020-05-07 2020-08-20 株式会社ニコン 画像処理装置

Also Published As

Publication number Publication date
CN102958425A (zh) 2013-03-06
CN102958425B (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
JP4979842B1 (ja) 類似症例検索装置および類似症例検索方法
WO2013001584A1 (ja) 類似症例検索装置および類似症例検索方法
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
JP5475923B2 (ja) 類似症例検索装置および類似症例検索方法
JP5462414B2 (ja) 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US9111027B2 (en) Similar case search apparatus and similar case search method
JP5852970B2 (ja) 症例検索装置および症例検索方法
US20200176123A1 (en) Method and recording medium
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
Xu et al. DeepLN: a framework for automatic lung nodule detection using multi-resolution CT screening images
US8306960B2 (en) Medical image retrieval system
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
JP4945705B2 (ja) 誤診原因検出装置及び誤診原因検出方法
JP5789211B2 (ja) 類似画像検索装置、方法及びプログラム
JP2011118543A (ja) 症例画像検索装置、方法およびプログラム
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
JP2010172559A (ja) 医療診断支援システム及び医療診断支援装置
Zhou et al. Computer‐aided detection of pulmonary embolism in computed tomographic pulmonary angiography (CTPA): Performance evaluation with independent data sets
JP5871104B2 (ja) 病変判定装置、類似症例検索装置、病変判定装置の駆動方法、類似症例検索装置の駆動方法、およびプログラム
EP3907696A1 (en) Method and system for identifying abnormal images in a set of medical images
JP2013105465A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180014711.9

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2012505932

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11868626

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11868626

Country of ref document: EP

Kind code of ref document: A1