WO2020110520A1 - 類似度決定装置、方法およびプログラム - Google Patents

類似度決定装置、方法およびプログラム Download PDF

Info

Publication number
WO2020110520A1
WO2020110520A1 PCT/JP2019/041479 JP2019041479W WO2020110520A1 WO 2020110520 A1 WO2020110520 A1 WO 2020110520A1 JP 2019041479 W JP2019041479 W JP 2019041479W WO 2020110520 A1 WO2020110520 A1 WO 2020110520A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
finding
similarity
image
feature amount
Prior art date
Application number
PCT/JP2019/041479
Other languages
English (en)
French (fr)
Inventor
昭治 金田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201980077633.3A priority Critical patent/CN113164141A/zh
Priority to DE112019005888.6T priority patent/DE112019005888T5/de
Priority to JP2020558179A priority patent/JP7091475B2/ja
Publication of WO2020110520A1 publication Critical patent/WO2020110520A1/ja
Priority to US17/327,775 priority patent/US11989880B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present disclosure relates to a similarity determination device, method, and program for determining the similarity between two medical images.
  • a method of calculating the similarity between images a plurality of partial areas are set in at least one of the plurality of images, and for each set partial area, the partial area is set between the corresponding partial areas in other images.
  • a method has been proposed in which the overall area similarity is calculated by determining the similarity of each of the partial areas and performing weighted addition of the determined similarity of each partial area using a weighting factor set for each partial area. (See Japanese Patent Laid-Open No. 2000-342558).
  • interstitial pneumonia is known as a lung disease.
  • a method of classifying and quantifying lesions showing specific findings such as cell lungs, reticular shadows and cysts contained in the CT images (" Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study, JosephJacob1 et al., BMC Medicine (2016) 14:190/39, 1 And "Quantitative evaluation of CT images of interstitial pneumonia by computer, Tae Iwasawa, Journal of Tomographic Imaging Research Society Vol. 41, No. 2, August 2014").
  • the degree of lung disease can be easily determined. Further, by assigning different colors to the regions categorized and quantified in this way and displaying the regions, it is possible to easily diagnose how much the region having a specific symptom is included in the image.
  • Deep learning is a machine learning method using a multilayer neural network constructed by hierarchically connecting a plurality of processing layers.
  • each layer of the multi-layered neural network a plurality of different calculation result data obtained by the previous layer for the input data, that is, the calculation result data of the feature amount is calculated. Then, the data of the feature amount obtained by this is subjected to further arithmetic processing in the subsequent processing layers to improve the recognition rate of the feature amount and classify the input data into a plurality of classes. be able to.
  • a deep learning method to classify each pixel of the three-dimensional image into a plurality of classes. For example, when classifying a plurality of types of structures included in a three-dimensional image, a pixel to be processed in the three-dimensional image is classified as one of a plurality of types of structures by inputting the three-dimensional image. Performs deep learning on neural networks. By using the neural network subjected to the deep learning in this way, the target pixel of the input three-dimensional image can be classified into any of a plurality of types of structures.
  • the present invention has been made in view of the above circumstances, and an object thereof is to enable quick confirmation of the features included in a case image when a case image similar to the inspection image is displayed.
  • a similarity determination device is a similarity determination device that determines the similarity between a three-dimensional first medical image and a three-dimensional second medical image, A finding classification unit that classifies each pixel of the first medical image into at least one finding of a plurality of types of findings; A feature amount calculation unit that calculates a first feature amount for each finding classified in the first medical image; The first medical image and the second medical image based on the first characteristic amount for each finding calculated in the first medical image and the second characteristic amount for each finding calculated in advance in the second medical image.
  • a similarity deriving unit for deriving a similarity with the medical image of In the second medical image, an area determination unit that determines at least one important area including an important finding for deriving the degree of similarity.
  • the similarity determination device further includes a weighting factor setting unit that sets a weighting factor for each finding classified in the first medical image, the degree of weighting being different depending on the size of each finding.
  • the area determination unit may determine the important area based on the weighting coefficient.
  • the area determination unit determines the important area based on the similarity for each finding based on the first feature amount for each finding and the second feature amount for each finding. It may be one that does.
  • the similarity determination device further includes a region dividing unit that divides the target region in the first medical image into a plurality of regions,
  • the feature amount calculation unit calculates the first feature amount for each of the findings classified in the first medical image in each of the divided regions,
  • the similarity deriving unit derives the area similarity between the first medical image and the second medical image for each of the divided areas, and based on the plurality of area similarities, the first medical image and the second medical image. Derive the similarity with medical images,
  • the area determination unit may determine the important area based on the area similarity.
  • a case database in which a plurality of second medical images are registered, and the second feature amount for each of the plurality of second medical images includes a plurality of second medical images.
  • the case database registered in association with each of the two medical images, it is similar to the first medical image based on the similarity between the first medical image and the plurality of second medical images. It may further include a search unit that searches for the second medical image as a similar medical image.
  • the similarity determination device may further include a display control unit that displays a slice image including an important region in the similar medical image on the display unit as a search result.
  • the display control unit may display a slice image passing through the center of gravity of one important region in the similar medical image on the display unit as a search result.
  • the display control unit may display a slice image in which the area of one important region in the similar medical image is the maximum on the display unit as a search result.
  • the similarity determination device may further include a display control unit that three-dimensionally displays the similar medical image in which the important region is emphasized on the display unit as the search result.
  • a similarity determination method is a similarity determination method for determining a similarity between a three-dimensional first medical image and a three-dimensional second medical image, Classifying each pixel of the first medical image into at least one finding of a plurality of types of findings; The first feature amount is calculated for each finding classified in the first medical image, The first medical image and the second medical image based on the first characteristic amount for each finding calculated in the first medical image and the second characteristic amount for each finding calculated in advance in the second medical image. Derive the degree of similarity with the medical image of In the second medical image, at least one important region including important findings for deriving the degree of similarity is determined.
  • the similarity determination method according to the present disclosure may be provided as a program for causing a computer to execute the method.
  • Another similarity determination device includes a memory that stores an instruction for causing a computer to execute a process of determining the similarity between the first medical image and the second medical image,
  • a processor configured to execute the stored instructions, the processor comprising: Classifying each pixel of the first medical image into at least one finding of a plurality of types of findings; The first feature amount is calculated for each finding classified in the first medical image, The first medical image and the second medical image based on the first characteristic amount for each finding calculated in the first medical image and the second characteristic amount for each finding calculated in advance in the second medical image. Derive the degree of similarity with the medical image of In the second medical image, a process of determining at least one important area including an important finding for deriving the degree of similarity is executed.
  • the features included in the case image can be quickly confirmed.
  • a hardware configuration diagram showing an outline of a diagnosis support system to which the similarity determination device according to the first embodiment of the present disclosure is applied Schematic block diagram showing the configuration of the similarity determination device according to the first embodiment.
  • Diagram showing an example of a multilayer neural network The figure which shows the evaluation value according to the kind of findings about the center pixel of a certain region of interest Figure showing the calculation result of the volume of findings Diagram showing the relationship between findings and weighting factors Diagram showing the relationship between findings and similarity Figure showing the search result list Figure showing the search result display screen Diagram for explaining the fault plane including the important area
  • the flowchart which shows the process performed in 1st Embodiment.
  • Diagram for explaining division of lung region The figure which shows the state which displayed the tomographic image of 3 axis directions.
  • FIG. 1 is a hardware configuration diagram showing an overview of a diagnosis support system to which the similarity determination device according to the first embodiment of the present disclosure is applied.
  • the similarity determination device 1 the three-dimensional image capturing device 2, and the image storage server 3 according to the present embodiment are connected in a communicable state via a network 4. There is.
  • the three-dimensional image capturing device 2 is a device that captures a region of a subject to be diagnosed to generate a three-dimensional image representing the region, and specifically, a CT device, an MRI device, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image composed of a plurality of slice images generated by the three-dimensional image capturing device 2 is transmitted to the image storage server 3 and stored therein.
  • the diagnosis target part of the patient as the subject is the lung
  • the three-dimensional image capturing apparatus 2 is the CT apparatus
  • the CT image of the chest including the lung of the subject is generated as the three-dimensional image. To do.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to send and receive image data and the like.
  • various data including image data of a three-dimensional image generated by the three-dimensional image capturing device 2 is acquired via a network and stored in a recording medium such as a large capacity external storage device for management.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the image storage server 3 stores a three-dimensional image to be examined (hereinafter referred to as an examination image) and a case database DB in which case images are registered. ..
  • the case database DB will be described later.
  • the inspection image is a three-dimensional image composed of one or more slice images (hereinafter referred to as inspection slice images).
  • the case image is also a three-dimensional image including one or more slice images (hereinafter referred to as case slice images).
  • the examination image corresponds to the first medical image and the case image corresponds to the second medical image.
  • the similarity determination device 1 is a computer in which the similarity determination program of the present disclosure is installed.
  • the computer may be a workstation or a personal computer directly operated by a doctor who makes a diagnosis, or a server computer connected to the workstation or personal computer via a network.
  • the similarity determination program is recorded and distributed in a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage so as to be accessible from the outside, and is downloaded and installed in a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of the similarity determination device according to the first embodiment of the present disclosure, which is realized by installing the similarity determination program according to the first embodiment in a computer.
  • the similarity determination device 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration. Further, the similarity determination device 1 is connected to a display unit 14 including a liquid crystal display and the like, and an input unit 15 including a keyboard and a mouse and the like.
  • a CPU Central Processing Unit
  • the similarity determination device 1 is connected to a display unit 14 including a liquid crystal display and the like, and an input unit 15 including a keyboard and a mouse and the like.
  • the storage 13 includes a hard disk, SSD (Solid State Drive), and the like.
  • the storage 13 stores various kinds of information acquired from the image storage server 3 via the network 4 and including an inspection image of the subject and information necessary for processing.
  • the memory 12 also stores a similarity determination program.
  • the similarity determination program is an image acquisition process for acquiring an inspection image to be inspected as a process to be executed by the CPU 11, and a finding classification for classifying each pixel of the inspection image into at least one finding out of a plurality of types of findings.
  • a feature amount calculation process for calculating a first feature amount for each finding classified in the inspection image, a weighting coefficient for each finding classified in the inspection image, the degree of weighting being different depending on the size of each finding
  • a weighting factor setting process for setting the weighting factor based on the weighting factor of the first feature amount for each finding calculated in the examination image and the second feature amount for each finding previously calculated in the case image
  • a similarity deriving process for deriving the similarity between the inspection image and the case image, a region deciding process for deciding at least one important region including an important finding for deriving the similarity in the case image, a derived similarity
  • the CPU 11 executes these processes in accordance with the program, so that the computer obtains the image acquisition unit 21, the finding classification unit 22, the feature amount calculation unit 23, the weight coefficient setting unit 24, the similarity derivation unit 25, and the region determination unit 26. , And functions as the search unit 27 and the display control unit 28.
  • the image acquisition unit 21 acquires the inspection image V0 of the subject to be inspected.
  • the image acquisition unit 21 may acquire the inspection image V0 from the storage 13.
  • the finding classification unit 22 classifies each pixel of the lung region included in the examination image V0 into at least one finding out of a plurality of kinds of findings. Specifically, the finding classification unit 22 calculates a plurality of evaluation values indicating the possibility of being a plurality of types of tissues or lesions (that is, findings) for each pixel of the lung region included in the examination image V0. Then, based on the plurality of evaluation values, each pixel of the inspection image V0 is classified into at least one of the plurality of types of findings. In the present embodiment, the finding classification unit 22 classifies each pixel of the inspection image V0 into one finding.
  • the finding classification unit 22 of the present embodiment has a discriminator composed of a multilayer neural network generated by deep learning (deep learning) which is one of machine learning, and each discriminator of the inspection image V0 is used by using this discriminator. Identify the type of finding to which the pixel belongs.
  • the machine learning method is not limited to deep learning, and other methods such as a support vector machine can also be used.
  • arithmetic processing is performed on various data of different feature amounts obtained by the previous layer using various kernels. Then, by performing further arithmetic processing on the data of the characteristic amount obtained by this arithmetic processing in the subsequent layers, the recognition rate of the characteristic amount is improved and the input data is classified into a plurality of classes.
  • the multi-layer neural network is described as an input of the inspection image V0 and an output of classification results of the lung region into a plurality of types of findings.
  • a plurality of inspection slices forming the inspection image V0 are described. It is also possible to input each of the images and output the classification result of the lung region into a plurality of types of findings.
  • FIG. 3 is a diagram showing an example of a multilayer neural network.
  • the multilayer neural network 40 includes a plurality of layers including an input layer 41 and an output layer 42.
  • the lung region included in the inspection image V0 is, for example, an infiltrated shadow, a tumor shadow, a frosted glass shadow, a centrilobular nodule shadow, a non-lobular centric nodule shadow, a reticular shadow, a linear shadow, and a leaflet interval wall.
  • the multi-layer neural network 40 is made to learn about these findings using a large number of millions of teacher data.
  • a region of interest having a predetermined size for example, 1.5 cm ⁇ 1.5 cm
  • the teacher data is input to the multi-layered neural network 40, and the result of classification processing of the type of finding (hereinafter referred to as classification result) is output.
  • classification result is output.
  • the output result is compared with the teacher data, and a unit included in each layer of the multilayer neural network 40 (shown by a circle in FIG. 3) from the output side to the input side depending on whether the answer is correct or incorrect. Modify the weight of the connection between the layers.
  • the correction of the connection weight is repeated using a large number of teacher data a predetermined number of times or until the correct answer rate of the output classification result reaches 100%, and the learning ends.
  • a predetermined size for example, 1.5 cm
  • a two-dimensional area normalized to ( ⁇ 1.5 cm) is cut out, and the image of the cut out two-dimensional area is used as teacher data.
  • the finding classification unit 22 extracts a lung region that is a target region from the inspection image V0 for classification.
  • a method of extracting the lung region a method of extracting a signal value for each pixel in the inspection image V0 by histogram formation and thresholding the lung, or a region growing method based on a seed point representing the lung (Region Growing) Etc., any method can be used.
  • a discriminator machine-learned so as to extract the lung region may be used.
  • the finding classification unit 22 sequentially cuts out a region of interest having the same size as the teacher data from the lung region of the examination image V0, and inputs the region of interest to the discriminator including the multilayer neural network 40. As a result, with respect to the center pixel of the cut out region of interest, an evaluation value corresponding to each classification of findings is output.
  • the evaluation value corresponding to each classification is an evaluation value indicating the possibility that the central pixel belongs to each classification. The larger the evaluation value, the higher the possibility that the central pixel belongs to the classification.
  • FIG. 4 is a diagram showing evaluation values according to the type of findings regarding the central pixel of a certain region of interest. Note that FIG. 4 shows the evaluation values for some of the findings for the sake of simplicity.
  • the discriminator classifies the central pixel of the region of interest into the finding having the largest evaluation value among the plurality of findings. For example, when the evaluation value as shown in FIG. 4 is acquired, the center pixel of the region of interest is most likely to be a mesh shadow, and is likely to be a ground glass shadow next. On the contrary, there is little possibility of normal lung or low absorption area. Therefore, when the evaluation value as shown in FIG.
  • the central pixel of the region of interest is classified into the mesh-like shadow having the maximum evaluation value of 8.5 by the finding classification process.
  • all the pixels of the lung region included in the inspection image V0 are classified into any of a plurality of types of findings.
  • the finding classification unit 22 sequentially cuts out the same voxel region as the teacher data from the extracted lung region into the discriminator including the multilayer neural network 40 that has been learned as described above, and inputs it. As a result, with respect to the central pixel of the cut out region, a plurality of evaluation values for each of a plurality of types of lesion regions are output.
  • the finding classification unit 22 classifies the central pixel of the region input to the multilayer neural network 40 into the finding having the largest evaluation value among the plurality of evaluation values, and generates the finding classification result. As a result, all the pixels in the lung region included in the inspection image V0 are classified into any of a plurality of types of findings.
  • the feature amount calculation unit 23 calculates the feature amount for each finding classified in the inspection image V0. Specifically, at least one of the size of the area for each finding, the average density for each finding, the variance of the density for each finding, the number of areas for each finding, the average size of the area for each finding, etc. is calculated as a feature amount. To do.
  • the feature amount calculated for the inspection image V0 is referred to as a first feature amount.
  • the size of the area for each finding, the number of areas for each finding, the average size of the area for each finding, and the like are size feature amounts.
  • the volume of the region for each finding can be used as the size of the region for each finding.
  • case database DB a file name, an evaluation value for a plurality of findings in each pixel, and a feature amount for each finding are registered for each of a plurality of case images.
  • the feature amount registered in the case database DB for the case image is referred to as a second feature amount.
  • the first feature amount and the second feature amount are normalized so as to have a value of 0 or more and 1 or less.
  • the evaluation value for a plurality of findings in each pixel and the feature amount for each finding of the examination image V0 are acquired, the examination image V0 is registered as a new case image in the case database DB.
  • the evaluation value and the first feature amount of the inspection image V0 are registered in the case database DB as the evaluation value and the second feature amount of the new case image.
  • the weighting factor setting unit 24 sets, for each finding in which each pixel of the inspection image V0 is classified, a weighting factor having a different degree of weighting according to the size of each finding.
  • the weighting factor is the first feature amount for each finding calculated in the inspection image V0 during the similarity derivation process described later, and for each finding previously calculated in the case image, that is, for each finding registered in the case database DB. It is a weighting coefficient when performing weighting calculation with the second feature amount.
  • the weighting factor set by the weighting factor setting unit 24 is also used when the region determining unit 26 determines the important region.
  • the features of the medical image are diverse, if the appropriate weight is not given to the feature amount in consideration of the importance of the feature amount from the viewpoint of the medical image, the magnitude of the difference in the feature amount will be large.
  • the degree of similarity does not correspond to the medical sense because it does not correspond to the size of the medical image difference. Therefore, if the feature amount is not appropriately weighted, when a case image similar to the inspection image V0 is searched, the search results may be in an inappropriate order of similarity.
  • the two images are medically similar. Further, the larger the finding area is, the more important the finding is for diagnosis. Therefore, the size of the finding is extremely important for judging the similarity between images.
  • the weighting factor setting unit 24 sets, for each of a plurality of findings, a weighting factor having a different degree of weighting according to the size of each finding.
  • the size feature amount included in the first feature amount calculated by the feature amount calculation unit 23 can be used.
  • the volume of findings can be used.
  • the volume of the finding can be calculated by multiplying the number of pixels of each finding included in the three-dimensional inspection image V0 by the volume per voxel of the inspection image V0.
  • FIG. 5 shows the calculation result of the volume of the finding. In FIG. 5, the unit of volume is cubic millimeter. By the way, the size of the lung varies depending on the patient.
  • the finding occupancy rate is used as the finding size.
  • the finding occupancy rate may be included in the first feature amount as the size feature amount.
  • the feature amount calculation unit 23 may calculate the finding occupancy rate.
  • the weighting factor setting unit 24 sets a weighting factor Wi for each finding according to the following equation (1) for each finding of the inspection image V0.
  • i is a type of finding
  • fi is a function with the finding occupancy Pvi for each finding in the inspection image V0 as a parameter.
  • the finding of large size and the finding of small size differ in the number of digits of the volume value. Therefore, it is preferable to reduce the dimension by converting the finding occupancy, which is three-dimensional information, into a two-dimensional equivalent by the function fi. This makes the difference in size of findings consistent with the physician's perception. For this reason, as described above, it is preferable that a finding that is small and has high importance even if it is small in size is non-linearly converted by the function fi in order to increase the importance. Therefore, in the present embodiment, the function fi is set as shown in the following expression (2).
  • a is a constant that determines the difference in overall importance for each finding.
  • c takes a value of 1 or less, and is a constant that determines the effect of emphasizing findings of small size.
  • b is a constant that determines the degree of the effect of the constant c.
  • X (Pvi) 2/3.
  • the weighting factor setting unit 24 sets the weighting factor Wi for each of a plurality of types of findings by setting the function shown in equation (2) for each finding and applying it to equation (1).
  • the similarity deriving unit 25 in accordance with the weighting factor Wi set by the weighting factor setting unit 24, the first feature amount for each finding calculated in the inspection image V0 and the first feature amount for each finding calculated in advance in the case image.
  • a weighting calculation is performed with the feature amount of 2 to derive the degree of similarity between the inspection image V0 and the case image.
  • the similarity deriving unit 25 derives the similarity between the inspection image V0 and all the case images registered in the case database DB.
  • the similarity deriving unit 25 normalizes the first feature amount calculated for the inspection image V0 to a value of 0 or more and 1 or less. Then, as shown in the following expression (3), a difference in distance between the first feature amount and the second feature amount of the case image is calculated as a feature amount difference Ddi for each finding.
  • k represents the type of feature amount
  • Tvk represents the first feature amount of each type in the inspection image V0
  • Tck represents the second feature amount of each type in the case image. Note that the first feature amount and the second feature amount for which the difference is calculated have the same type of feature amount.
  • ⁇ represents that the sum total of (Tvk-Tck) 2 is obtained for all types of feature amounts.
  • the feature amount difference Ddi also becomes a value of 0 or more and 1 or less. If the first feature amount Tvk and the second feature amount Tck match, the feature amount difference Ddi becomes zero. Note that the absolute value of the difference between the first feature amount and the second feature amount may be used instead of the difference in the distance between the first feature amount and the second feature amount.
  • the similarity derivation unit 25 calculates the similarity S0 between the inspection image V0 and the case image using the weighting factor Wi by the following formula (4). That is, the similarity S0 is calculated by multiplying the weight coefficient Wi and the feature amount difference Ddi for each finding and adding the multiplication results for all the findings.
  • the similarity S0 is calculated using the equation (4), the smaller the distance between the first feature amount and the second feature amount, the more similar the inspection image V0 and the case image. For this reason, a negative sign is given to the equation (4) so that the more similar the inspection image V0 and the case image are, the larger the value of the similarity S0 is.
  • the similarity is 0 if the same finding has the same size.
  • the fact is that the larger the lesions, the more similar they are.
  • the degree of similarity is calculated by the above formula (4), there is no difference between the case where the findings having a relatively large size have the same feature amount and the case where the findings having a relatively small size have the same feature amount. However, it cannot reflect the fact that the larger the lesion size is, the more similar it is.
  • the similarity deriving unit 25 further calculates the size difference Dsi for each finding between the inspection image V0 and the case image by the following equation (5).
  • Pvi represents the finding occupancy rate of the finding i of the inspection image V0
  • Pci represents the finding occupancy rate of the finding i of the case image.
  • the similarity deriving unit 25 calculate the similarity S1 between the inspection image V0 and the case image by the following equation (6).
  • Ddi has a smaller value as the feature quantity of the finding is similar in the inspection image V0 and the case image
  • Dsi has a larger value as the size of the finding is similar in the inspection image V0 and the case image. Therefore, by using the formula (6), it is possible to calculate the degree of similarity that takes a larger value as the inspection image V0 and the case image are more similar in consideration of the size of the same finding.
  • the similarity S1 is calculated by the equation (6), the maximum value of the similarity S1 differs depending on the inspection image V0. Therefore, it is preferable to normalize the similarity S1 under the condition that the similarity S1 between the inspection image V0 and the case image is maximum, that is, the condition that there is no difference between the inspection image V0 and the case image.
  • the expression (7) is obtained by normalizing the similarity S1 calculated by the expression (6) under the condition that the similarity S1 between the inspection image V0 and the case image is maximum.
  • S2 is the normalized similarity.
  • Expression (8) is the expression (4) normalized by the condition that the similarity S0 between the inspection image V0 and the case image is maximum.
  • S3 is the normalized similarity.
  • the area determination unit 26 determines at least one important area including an important finding for deriving the degree of similarity in the case image.
  • the important area is determined based on the weighting factor Wi set for each finding set by the weighting factor setting unit 24. Specifically, the region of the finding in which the weighting factor Wi set based on the above equation (1) is equal to or larger than the predetermined threshold Th1 is determined as the important region.
  • FIG. 6 is a diagram showing the relationship between the types of findings and weighting factors.
  • the threshold value Th1 is 0.7
  • the finding that the weighting coefficient is 0.7 or more is the benign lung, and therefore the benign lung region is determined as the important region.
  • the threshold value Th1 may be determined based on the maximum weighting coefficient Wmax of the weighting coefficients Wi. For example, a value obtained by multiplying the maximum weighting coefficient Wmax by 0.75 may be set as the threshold Th1.
  • the maximum weighting coefficient Wmax is 0.81 for the bee lung.
  • the threshold value Th1 is 0.81 ⁇ 0.75 ⁇ 0.61. Therefore, the regions of the reticulated shadow (weighting factor 0.65) and the cavities (weighting factor 0.81) where the weighting factor Wi is 0.61 or more are determined as the important regions.
  • the area determination unit 26 may determine the important area based on the similarity degree derived by the similarity degree derivation unit 25. Specifically, the important region may be determined based on the similarity for each finding based on the first feature amount for each finding and the second feature amount for each finding. For example, when the degree of similarity is derived by the equation (3), the region of the finding in which the difference Ddi of the feature amount for each finding is equal to or less than the predetermined threshold Th2 may be determined as the important region. Further, when the similarity is derived by the equation (6), the region of the finding in which (Dsi-Ddi) is equal to or larger than the predetermined threshold Th3 may be determined as the important region.
  • FIG. 7 is a diagram showing the relationship between the types of findings and the degree of similarity when the degree of similarity is derived by the equation (6).
  • the threshold value Th3 is 0.5
  • the finding that the degree of similarity is 0.5 or more is a reticulated shadow, and thus the reticulated shadow region is determined as the important region.
  • the method of determining the important area based on the similarity is not limited to the above.
  • the threshold values Th2 and Th3 may be determined based on the maximum similarity. For example, a value obtained by multiplying the maximum similarity by 0.75 may be set as the threshold values Th2 and Th3.
  • the maximum similarity is 0.62 of the reticular shadow.
  • the threshold value Th3 is 0.62 ⁇ 0.75 ⁇ 0.47. Therefore, the regions of the reticulated shadow (similarity of 0.62) and the cavities (similarity of 0.48) having the similarity of 0.47 or more are determined as the important regions.
  • the search unit 27 performs a search process of searching a case image similar to the inspection image V0 as a similar case image from the case database DB based on the similarity S2. First, the case database DB will be described.
  • case images consisting of one or more case slice images are registered in the case database DB.
  • the finding classification result and the feature amount (that is, the second feature amount) for each of the plurality of case images are registered in association with each of the plurality of case images.
  • the inspection image V0 is newly acquired, the inspection image V0 is registered in the case database DB as a new case image.
  • the search unit 27 searches for a case image similar to the test image V0 as a similar case image based on the similarity S2 between the test image V0 and all the case images registered in the case database DB. Specifically, the search unit 27 sorts the case images in descending order of the similarity S2 and creates a search result list.
  • FIG. 8 is a diagram showing a search result list. As shown in FIG. 8, in the search result list L0, the case images registered in the case database DB are sorted in descending order of similarity S2. Then, the search unit 27 extracts the case images in the search result list L0 that have a predetermined number of higher sort orders from the case database DB as similar case images. The similar case image corresponds to the similar medical image.
  • FIG. 9 is a diagram showing a search result display screen.
  • the display screen 30 has an inspection image display area 31 and a search result display area 32.
  • an inspection slice image of a desired axial section in the inspection image is displayed.
  • similar case images R1 to R4 are displayed.
  • the case slice image of the axial section including the important region in the similar case images R1 to R4 is displayed as the search result.
  • the desired similar case images R1 to R4 are selected in the search result display area 32, and the tomographic planes of the selected similar case images are switched by the operation from the input unit 15. It is possible to display.
  • FIG. 10 is a diagram for explaining the expansion of the important area in the axial direction.
  • the important region 36 determined in the lung region 35 has a spread in the axial direction.
  • the case slice image of the axial section 38 passing through the center of gravity 37 of the important region 36 in the similar case image is displayed as the search result.
  • a case slice image of an axial cross section passing through the center of gravity of the important area having the maximum size may be displayed.
  • the case slice image in the axial cross section 39 in which the area of the important region 36 in the similar case image shown in FIG. 10 is maximum may be displayed as the search result.
  • FIG. 11 is a diagram showing a state in which case slice images of cross sections in three directions are displayed. As shown in FIG. 11, when the similar case image R1 of the similar case images R1 to R4 is selected on the display screen 30A, the case slice image SL10 of the axial cross section and the sagittal cross section of the selected similar case image R1 are selected.
  • a case slice image SL11 and a case coronal slice image SL12 are displayed in the examination image display area 31.
  • a frame 33 indicating that the similar case image R1 is selected is added to the similar case image R1.
  • the characters above the examination image display area 31 are changed to “similar case image”.
  • any of the case slice images SL10 to SL12 of cross sections in three directions displayed on the display screen 30A is selected, and the case slice image of the selected tomographic plane is input from the input unit 15. It is possible to switch and display by operation.
  • FIG. 12 is a flowchart showing the processing performed in the first embodiment.
  • the image acquisition unit 21 acquires the inspection image V0 (step ST1), and the finding classification unit 22 classifies the lung region included in the inspection image V0 into a plurality of types of lesion regions respectively indicating a plurality of types of findings.
  • the feature amount calculation unit 23 calculates the first feature amount for each finding classified in the inspection image V0 (step ST3).
  • the weighting factor setting unit 24 sets the weighting factor Wi for each finding of the inspection image V0 (step ST4).
  • the similarity deriving unit 25 calculates the first feature amount for each finding calculated in the inspection image V0 and the second feature amount for each finding calculated in advance in the case image according to the weighting factor. Weighting calculation is performed to derive the degree of similarity between the inspection image V0 and the case image (step ST5). As described above, the similarity deriving unit 25 derives the similarity between the inspection image V0 and all the case images registered in the case database DB. Next, the area determination unit 26 determines at least one important area including important findings for deriving the degree of similarity in the case image (step ST6). Further, the search unit 27 performs a search process based on the degree of similarity (step ST7), and the display control unit 28 displays a slice image including an important region on the display unit 14 as a search result (step ST8), and the process is performed. finish.
  • a plurality of evaluation values indicating the possibility of being each of a plurality of types of findings are calculated for each pixel of the inspection image V0, and the inspection is performed based on the plurality of evaluation values.
  • Each pixel of the image V0 is classified into at least one finding of a plurality of types of findings.
  • the first feature amount is calculated for each of the findings classified in the inspection image V0.
  • the similarity between the examination image V0 and the case image is determined. Derived. Further, in the case image, at least one important region including important findings for deriving the degree of similarity is determined.
  • the similar case image includes a region having a diagnostic feature. Therefore, according to the present embodiment, when the case image similar to the inspection image V0 is displayed, the features included in the case image can be quickly confirmed.
  • a weighting coefficient having a different degree of weighting is set according to the size of each finding, and calculated in the inspection image V0 according to the weighting coefficient.
  • the similarity between the inspection image V0 and the case image is derived by performing a weighting operation on the first feature amount for each finding and the second feature amount for each finding calculated in advance in the case image.
  • the similarity may be derived by calculating the first feature amount and the second feature amount without using the weighting factor Wi. In this case, the calculation may be a difference between the first feature amount and the second feature amount, or the like.
  • FIG. 13 is a diagram showing a schematic configuration of the similarity determination device according to the first embodiment of the present disclosure.
  • the similarity determination device 1A according to the second embodiment differs from that of the first embodiment in that it further includes a region dividing unit 29 that divides the lung region in the examination image V0 into a plurality of regions.
  • the area dividing unit 29 divides the lung area into a plurality of areas.
  • FIG. 14 is a diagram for explaining division of the lung region. As shown in FIG. 14, the region dividing unit 29 divides the left and right lung regions into a left central region 50LC, a right central region 50RC, and other regions. Then, the region other than the central region is further divided into three regions of upper, middle, lower, a middle region and an outer region, and a ventral side and a dorsal side. In FIG. 14, the outer area is shaded. In the second embodiment, the region dividing unit 29 divides the left and right lung regions into 13 regions, respectively.
  • the feature amount calculation unit 23 calculates the first feature amount for each finding classified in the inspection image V0 for each divided area.
  • the similarity deriving unit 25 derives the similarity between the inspection image V0 and the case image for each of the divided areas.
  • the similarity for each area is referred to as area similarity.
  • the area determination unit 26 determines an important area based on the area similarity. Specifically, of the 13 areas divided by the area dividing unit 29, the area having the maximum area similarity is determined as the important area.
  • FIG. 15 is a diagram for explaining the determination of the important area in the second embodiment.
  • the important region 60 is shown by hatching in each of the case slice image SL20 of the axial section, the case slice image SL21 of the sagittal section, and the case slice image S22 of the coronal section.
  • the boundaries of the divided areas in the lung area are indicated by broken lines.
  • the axial cross section is shown by a one-dot chain line 61
  • the sagittal cross section is shown by a long broken line 62
  • the coronal cross section is shown by a two-dot chain line 63.
  • the similarity deriving unit 25 derives the similarity between the inspection image V0 and the case image based on the area similarity. For example, the similarity between the inspection image V0 and the case image is derived based on the weighted addition value of the region similarity, the maximum value of the region similarity, the average value of the region similarity, and the like.
  • the display control unit 28 displays the slice image including the important area on the display unit 14 as the search result. Also in the second embodiment, similarly to the first embodiment, a slice image of the axial section 38 passing through the center of gravity 37 of the important region 36 in the similar case image, or a slice image in which the area of the important region is maximum is obtained. It may be displayed as a search result, but is not limited to this.
  • the similar case image may be displayed as a three-dimensional image.
  • a three-dimensional image in which the important area is emphasized may be displayed.
  • FIG. 16 is a diagram showing a three-dimensional image in which an important area is emphasized.
  • the three-dimensional image 65 shown in FIG. 16 only the important area is opaque and the other areas are transparent.
  • the bronchus 66 is opaque in order to clarify the positional relationship in the lung.
  • a case slice image of a tomographic plane including an important area in the similar case image may be displayed. In this case, all the case slice images of the axial section, the sagittal section, and the coronal section may be displayed, or the case slice images of any one section may be displayed.
  • the tomographic image of the inspection image V0 is displayed on the display unit 14, but the present invention is not limited to this.
  • the finding classification unit 22 may generate a mapping image of the inspection image V0 and display the tomographic image of the mapping image on the display unit 14.
  • a mapping image may be generated by assigning a color to each classification area, and the generated mapping image may be displayed.
  • the finding classification unit 22 assigns the same color to the pixels classified into the same classification for all the pixels in the three-dimensional space classified into any of the above-described plural types of findings. By doing so, a three-dimensional mapping image is generated.
  • FIG. 17 is a diagram showing a cross section of a mapping image in which a color corresponding to each of a plurality of types of classification is assigned. Note that, in FIG.
  • FIG. 17 shows only the mapping image of one lung.
  • a plurality of evaluation values representing the possibility of being each of a plurality of types of findings are calculated for each pixel of the inspection image V0, and the inspection image V0 is calculated based on the plurality of evaluation values.
  • the finding classification method is not limited to the method using the evaluation value.
  • case database DB is stored in the image storage server 3, but the case database DB may be stored in the storage 13.
  • the examination image is registered in the case database DB, but images other than the examination image may be registered in the case database as registration target images.
  • the processing unit Processes
  • the various processors in addition to the CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, a circuit after manufacturing an FPGA (Field Programmable Gate Array) etc.
  • Programmable Logic Device which is a processor whose configuration can be changed, and dedicated electrical equipment, which is a processor that has a circuit configuration specifically designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) Circuits etc. are included.
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ). Also, the plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by computers such as clients and servers. There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip is used. is there.
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

所見分類部が、第１の医用画像の各画素を少なくとも１つの所見に分類する。特徴量算出部が、所見毎に第１の特徴量を算出する。類似度導出部が、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出する。領域決定部が、第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する。

Description

類似度決定装置、方法およびプログラム
　本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。
　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
　一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば「Case-based lung image categorization and retrieval　For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011」参照）。Depeursingeらの文献には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。
　また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも１つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域毎の類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特開２０００－３４２５５８号公報参照）。
　ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（「Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7」および「コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌　第４１巻第２号、２０１４年８月」参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
　また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
　ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
　このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれかに分類することが可能となる。
　Depeursingeらの文献に記載された手法を用いることにより、検査画像の肺等の臓器に含まれる病変が類似する症例画像を検索し、検索された症例画像を表示することができる。一方、３次元画像を用いた類似検索では、画像の全体を１つの画像で表現することは困難である。このため、検査画像に類似する症例画像を表示する場合、対象となる臓器を含む特定の断層面のスライス画像が表示されることとなる。しかしながら、表示された症例画像のスライス画像に検査画像に含まれる診断対象の病変と同一の病変が含まれるとは限らない。このため、症例画像における病変等の特徴を確認するためには、症例画像の断層面を順次切り替え表示して、病変を含むスライス画像を表示させる必要がある。このようにして病変を含むスライス画像を順次表示することによっては、表示された症例画像と検査画像の類否を迅速に把握することは困難である。一方、検査画像に含まれる臓器と、症例画像に含まれる臓器とを位置合わせして症例画像を表示することが考えられる。しかしながら、検査画像における病変を含む断層面の位置と、症例画像における病変等の特徴を含む断層面の位置とは必ずしも対応するものではない。このため、位置合わせを行ったとしても、表示された症例画像と検査画像の類否を迅速に把握することは困難である。
　本発明は上記事情に鑑みなされたものであり、検査画像と類似する症例画像を表示した際に、症例画像に含まれる特徴を迅速に確認できるようにすることを目的とする。
　本開示による類似度決定装置は、３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
　第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
　第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
　第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部と、
　第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する領域決定部とを備える。
　なお、本開示による類似度決定装置においては、第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部をさらに備えるものとし、
　領域決定部は、重み係数に基づいて、重要領域を決定するものであってもよい。
　また、本開示による類似度決定装置においては、領域決定部は、所見毎の第１の特徴量と所見毎の第２の特徴量とに基づく所見毎の類似度に基づいて、重要領域を決定するものであってもよい。
　また、本開示による類似度決定装置においては、第１の医用画像における対象領域を複数の領域に分割する領域分割部をさらに備え、
　特徴量算出部は、分割された領域のそれぞれにおいて、第１の医用画像において分類された所見毎に第１の特徴量を算出し、
　類似度導出部は、分割された領域毎に第１の医用画像と第２の医用画像との領域類似度を導出し、複数の領域類似度に基づいて、第１の医用画像と第２の医用画像との類似度を導出し、
　領域決定部は、領域類似度に基づいて、重要領域を決定するものであってもよい。
　また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。
　また、本開示による類似度決定装置においては、類似医用画像における重要領域を含むスライス画像を、検索結果として表示部に表示する表示制御部をさらに備えるものであってもよい。
　また、本開示による類似度決定装置においては、表示制御部は、類似医用画像における１つの重要領域の重心を通るスライス画像を、検索結果として表示部に表示するものであってもよい。
　また、本開示による類似度決定装置においては、表示制御部は、類似医用画像における１つの重要領域の面積が最大となるスライス画像を、検索結果として表示部に表示するものであってもよい。
　また、本開示による類似度決定装置においては、重要領域を強調した類似医用画像を、検索結果として表示部に３次元表示する表示制御部をさらに備えるものであってもよい。
　本開示による類似度決定方法は、３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
　第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
　第１の医用画像において分類された所見毎に第１の特徴量を算出し、
　第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出し、
　第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する。
　なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
　第１の医用画像において分類された所見毎に第１の特徴量を算出し、
　第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出し、
　第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する処理を実行する。
　本開示によれば、検査画像と類似する症例画像を表示した際に、症例画像に含まれる特徴を迅速に確認できる。
本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による類似度決定装置の構成を示す概略ブロック図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に応じた評価値を示す図 所見の体積の算出結果を示す図 所見の種類と重み係数との関係を示す図 所見の種類と類似度との関係を示す図 検索結果リストを示す図 検索結果の表示画面を示す図 重要領域を含む断層面を説明するための図 ３方向の断層面のスライス画像が表示された状態を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態による類似度決定装置の構成を示す概略ブロック図 肺領域の分割を説明するための図 ３軸方向の断層画像を表示した状態を示す図 重要領域を強調した３次元画像を示す図 分類に応じた色が割り当てられたマッピング画像を示す図
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。
　類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに第１の実施形態による類似度決定プログラムをインストールすることにより実現される、本開示の第１の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。
　ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類処理、検査画像において分類された所見毎に第１の特徴量を算出する特徴量算出処理、検査画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定処理、検査画像において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み係数に基づく重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する領域決定処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する表示制御処理を規定する。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、領域決定部２６、検索部２７および表示制御部２８として機能する。
　画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。
　所見分類部２２は、検査画像Ｖ０に含まれる肺領域の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を１つの所見に分類するものとする。
　本実施形態の所見分類部２２は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像Ｖ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。
　多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。
　なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。
　図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、動脈、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
　本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には、所見の種類が既知の断層画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
　なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。
　所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
　所見分類部２２は、所見分類処理を行う際に、検査画像Ｖ０の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク４０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。
　図４は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図４においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図４に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんどない。このため、図４に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。
　所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一のボクセル領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、複数種類の病変領域のそれぞれに対する複数の評価値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。
　特徴量算出部２３は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、検査画像Ｖ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。
　なお、上述した症例データベースＤＢには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称するものとする。第１の特徴量および第２の特徴量は０以上１以下の値となるように正規化される。また、検査画像Ｖ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０についての評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。
　重み係数設定部２４は、検査画像Ｖ０の各画素が分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。重み係数は、後述する類似度導出処理の際に、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された、すなわち症例データベースＤＢに登録された所見毎の第２の特徴量との重み付け演算を行う際の重み係数である。なお、本実施形態においては、重み係数設定部２４が設定した重み係数は、領域決定部２６における重要領域を決定する際にも用いられる。
　ここで、医用画像の特徴は多彩であるため、医用画像の観点での特徴量の重要性を考慮して、特徴量に対して適切な重みを付けしないと、特徴量の違いの大きさが医学的な画像の違いの大きさと対応せず、類似度が医学的な感覚とずれてしまう。したがって、特徴量に対して適切に重み付けをしないと、検査画像Ｖ０に類似する症例画像を検索した場合、検索結果が不適切な類似度順となる可能性がある。
　また、検査画像Ｖ０および症例画像において、同一の所見が略同一の大きさで存在すれば、医学的に２つの画像は類似することとなる。また、所見領域が大きいほど、その所見は診断上重要であるため、所見の大きさが画像間の類似性を判断する上で、極めて重要である。
　一方、所見には、点状影のようにサイズが小さくても疾患の初期状態の特性を表す重要な所見もある。また、高齢化による肺の気腫化が進むと、肺にはやや低吸収の状態が発生してくるが、このような低吸収の所見は高齢患者で頻度が高いため、それほど重要ではない。このような高齢者の低吸収の所見は、サイズが大きくてもそれほど重要ではない。
　このため、点状影の所見および高齢者の低吸収の所見を同等に判断すると、大きな領域の低吸収域の微妙な差異が点状影の差異よりも大きくなる。その結果、点状影の類似性が低吸収域の類似性に埋もれ、医学的に重要な点状影の症例を含む症例画像を検索できないことになる。
　このため、本実施形態においては、重み係数設定部２４は、各所見のサイズに応じて重み付けの程度が異なる重み係数を、複数の所見のそれぞれに対して設定する。所見のサイズとしては、特徴量算出部２３が算出した第１の特徴量に含まれるサイズ特徴量を用いることができる。具体的には、所見の体積を用いることができる。ここで、所見の体積は３次元の検査画像Ｖ０に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図５に所見の体積の算出結果を示す。図５においては体積の単位は立方ミリメートルである。ところで、肺の大きさは患者により異なる。このため、所見の体積を臓器の体積、すなわち肺の体積により正規化した所見占有率（＝所見体積／肺体積）を所見のサイズとして用いることが好ましい。本実施形態においては、所見のサイズとして所見占有率を用いるものとする。なお、所見占有率をサイズ特徴量として第１の特徴量に含めてもよい。この場合、特徴量算出部２３が所見占有率を算出してもよい。
　重み係数設定部２４は、検査画像Ｖ０の各所見について、下記の式（１）により所見毎の重み係数Ｗｉを設定する。なお、式（１）において、ｉは所見の種類、ｆｉは検査画像Ｖ０における所見毎の所見占有率Ｐｖｉをパラメータとする関数である。
　Ｗｉ＝ｆｉ（Ｐｖｉ）　　（１）
　ここで、図５に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（２）に示すように設定する。
　ｆｉ＝ａ・（ｂ・Ｘ＋（１－ｂ）・Ｘc）　　（２）
　なお、式（２）において、ａは所見毎の全体的な重要性の違いを決定する定数である。ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ）2/3 である。所見占有率Ｐｖｉを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。
　重み係数設定部２４は、式（２）に示す関数を所見毎に設定して式（１）に適用することにより、複数種類の所見のそれぞれについての重み係数Ｗｉを設定する。
　類似度導出部２５は、重み係数設定部２４が設定した重み係数Ｗｉに応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する。なお、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。
　このために、類似度導出部２５は、検査画像Ｖ０について算出された第１の特徴量を０以上１以下の値に正規化する。そして、下記の式（３）に示すように、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（３）において、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（３）においてΣはすべての種類の特徴量についての（Ｔｖｋ－Ｔｃｋ）2の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。なお、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。
　Ｄｄｉ＝√（Σ（Ｔｖｋ－Ｔｃｋ）2）　　（３）
　そして、類似度導出部２５は、重み係数Ｗｉを用いて、検査画像Ｖ０と症例画像との類似度Ｓ０を下記の式（４）により算出する。すなわち、所見毎に重み係数Ｗｉと特徴量の差Ｄｄｉとを乗算し、乗算結果をすべての所見について加算することにより、類似度Ｓ０を算出する。なお、式（４）を用いて類似度Ｓ０を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０と症例画像とが類似することとなる。このため、式（４）には負号を付与し、検査画像Ｖ０と症例画像とが類似するほど、類似度Ｓ０の値が大きくなるようにしている。
　Ｓ０＝－Σ（Ｗｉ×Ｄｄｉ）　　（４）
　一方、上記式（４）により類似度を算出した場合、同一の所見が同一のサイズであれば、類似度は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（４）により類似度を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。
　したがって、検査画像Ｖ０および症例画像に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど類似度を大きくすることが好ましい。このため、本実施形態においては、類似度導出部２５は、以下の式（５）により、検査画像Ｖ０と症例画像との間において、所見毎のサイズの差Ｄｓｉをさらに算出する。なお、式（５）において、Ｐｖｉは検査画像Ｖ０の所見ｉの所見占有率、Ｐｃｉは症例画像の所見ｉの所見占有率を示す。
　Ｄｓｉ＝１－｜Ｐｖｉ－Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ）　　（５）
　したがって、類似度導出部２５は、下記の式（６）により検査画像Ｖ０と症例画像との類似度Ｓ１を算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０および症例画像において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０および症例画像において所見のサイズが類似するほど大きい値となる。このため、式（６）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０と症例画像とが類似するほど大きい値となる類似度を算出することができる。
　Ｓ１＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ）　　（６）
　なお、式（６）により類似度Ｓ１を算出した場合、検査画像Ｖ０に応じて類似度Ｓ１の最大値が異なるものとなる。このため、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件、すなわち検査画像Ｖ０と症例画像との差異がないという条件により類似度Ｓ１を正規化することが好ましい。式（７）は式（６）により算出した類似度Ｓ１を、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件により正規化したものである。式（７）においてＳ２は正規化した類似度である。
　Ｓ２＝Ｓ１／ΣＷｉ＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ）／ΣＷｉ　　（７）
　なお、式（４）により類似度を算出する場合も、類似度Ｓ０を正規化することが好ましい。式（８）は式（４）を検査画像Ｖ０と症例画像との類似度Ｓ０が最大となる条件により正規化したものである。式（８）においてＳ３は正規化した類似度である。
　Ｓ３＝Ｓ０／ΣＷｉ＝Σ（Ｗｉ×Ｄｓｉ）／ΣＷｉ　　（８）
　領域決定部２６は、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する。本実施形態においては、重み係数設定部２４が設定した所見毎の重み係数Ｗｉに基づいて、重要領域を決定する。具体的には、上記式（１）に基づいて設定された重み係数Ｗｉが予め定められたしきい値Ｔｈ１以上となる所見の領域を重要領域に決定する。
　図６は所見の種類と重み係数との関係を示す図である。ここで、しきい値Ｔｈ１を０．７とした場合、重み係数が０．７以上となる所見は蜂窩肺であるため、蜂窩肺の領域が重要領域に決定される。
　なお、重み係数Ｗｉに基づく重要領域の決定の手法は上記に限定されるものではない。例えば、重み係数Ｗｉのうちの最大となる重み係数Ｗｍａｘに基づいてしきい値Ｔｈ１を決定してもよい。例えば、最大となる重み係数Ｗｍａｘに０．７５を乗算した値をしきい値Ｔｈ１に設定してもよい。図６においては、最大となる重み係数Ｗｍａｘは蜂窩肺の０．８１である。この場合、しきい値Ｔｈ１は０．８１×０．７５≒０．６１となる。したがって、重み係数Ｗｉが０．６１以上となる網状影（重み係数０．６５）および蜂窩肺（重み係数０．８１）の領域が重要領域に決定される。
　なお、領域決定部２６は、類似度導出部２５が導出した類似度に基づいて、重要領域を決定してもよい。具体的には、所見毎の第１の特徴量と、所見毎の第２の特徴量に基づく、所見毎の類似度に基づいて重要領域を決定してもよい。例えば、類似度が式（３）により導出される場合、所見毎の特徴量の差Ｄｄｉが予め定められたしきい値Ｔｈ２以下となる所見の領域を、重要領域に決定すればよい。また、式（６）により類似度が導出される場合、（Ｄｓｉ－Ｄｄｉ）が予め定められたしきい値Ｔｈ３以上となる所見の領域を重要領域に決定すればよい。
　図７は式（６）により類似度を導出した場合における所見の種類と類似度との関係を示す図である。ここで、しきい値Ｔｈ３を０．５とした場合、類似度が０．５以上となる所見は網状影であるため、網状影の領域が重要領域に決定される。
　また、類似度に基づく重要領域の決定の手法は上記に限定されるものではない。例えば、最大となる類似度に基づいてしきい値Ｔｈ２，Ｔｈ３を決定してもよい。例えば、最大となる類似度に０．７５を乗算した値をしきい値Ｔｈ２，Ｔｈ３に設定してもよい。図７においては、最大となる類似度は網状影の０．６２である。この場合、しきい値Ｔｈ３は０．６２×０．７５≒０．４７となる。したがって、類似度が０．４７以上となる網状影（類似度０．６２）および蜂窩肺（類似度０．４８）の領域が重要領域に決定される。
　検索部２７は、症例データベースＤＢから、類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースＤＢについて説明する。
　症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量（すなわち第２の特徴量）が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。
　検索部２７は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２７は、類似度Ｓ２が大きい順に症例画像をソートして検索結果リストを作成する。図８は検索結果リストを示す図である。図８に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓ２が大きい順にソートされている。そして、検索部２７は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。なお、類似症例画像が類似医用画像に対応する。
　表示制御部２８は、検索部２７による検索結果を表示部１４に表示する。図９は検索結果の表示画面を示す図である。図９に示すように、表示画面３０は、検査画像表示領域３１および検索結果表示領域３２を有する。検査画像表示領域３１は、検査画像における所望とされるアキシャル断面の検査スライス画像が表示される。検索結果表示領域３２には、類似症例画像Ｒ１～Ｒ４が表示される。具体的には、類似症例画像Ｒ１～Ｒ４における重要領域を含むアキシャル断面の症例スライス画像が検索結果として表示される。なお、図９に示す状態においては、検索結果表示領域３２において所望とされる類似症例画像Ｒ１～Ｒ４を選択し、選択された類似症例画像の断層面を、入力部１５からの操作により切り替えて表示することが可能である。
　ここで、重要領域は３次元の領域であるため、アキシャル方向に広がりを有する。図１０は重要領域のアキシャル方向への広がりを説明するための図である。図１０に示すように肺領域３５において決定された重要領域３６はアキシャル方向に広がりを有するものとなる。本実施形態においては、類似症例画像における重要領域３６の重心３７を通るアキシャル断面３８の症例スライス画像を、検索結果として表示するものとする。なお、領域決定部２６において複数の重要領域が決定された場合、サイズが最大となる重要領域の重心を通るアキシャル断面の症例スライス画像を表示してもよい。また、図１０に示す、類似症例画像における重要領域３６の面積が最大となるアキシャル断面３９における症例スライス画像を検索結果として表示してもよい。
　なお、検索結果表示領域３２に表示された類似症例画像Ｒ１～Ｒ４を選択することにより、選択された類似症例画像の、アキシャル断面の症例スライス画像、サジタル断面の症例スライス画像およびコロナル断面の症例スライス画像を検査画像表示領域３１に表示してもよい。図１１は、３方向の断面の症例スライス画像が表示された状態を示す図である。図１１に示すように、表示画面３０Ａにおいて、類似症例画像Ｒ１～Ｒ４のうちの類似症例画像Ｒ１が選択されたとすると、選択された類似症例画像Ｒ１のアキシャル断面の症例スライス画像ＳＬ１０、サジタル断面の症例スライス画像ＳＬ１１および症例コロナル断面のスライス画像ＳＬ１２が検査画像表示領域３１に表示される。なお、類似症例画像Ｒ１にはそれが選択されていることを示す枠３３が付与される。また、検査画像表示領域３１の上方の文字が「類似症例画像」に変更される。ここで、３次元画像においてある１点を通る３方向の断面は一意に規定することが可能である。このため、重要領域の重心を通る３方向の断面は一意に規定することができる。したがって、症例スライス画像ＳＬ１０～ＳＬ１２は、いずれも重要領域の重心を通る断層面を表すものとなる。
　なお、図１１に示すように、表示画面３０Ａに表示された３方向の断面の症例スライス画像ＳＬ１０～ＳＬ１２のいずれかを選択し、選択された断層面の症例スライス画像を、入力部１５からの操作により切り替え表示することが可能である。
　次いで、第１の実施形態において行われる処理について説明する。図１２は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ２）。そして、特徴量算出部２３が、検査画像Ｖ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ３）。さらに、重み係数設定部２４が、検査画像Ｖ０の所見毎の重み係数Ｗｉを設定する（ステップＳＴ４）。
　続いて、類似度導出部２５が、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する（ステップＳＴ５）。なお、上述したように、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。次いで、領域決定部２６が、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する（ステップＳＴ６）。さらに、検索部２７が、類似度に基づいて検索処理を行い（ステップＳＴ７）、表示制御部２８が、重要領域を含むスライス画像を検索結果として表示部１４に表示し（ステップＳＴ８）、処理を終了する。
　このように、本実施形態によれば、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値が算出され、複数の評価値に基づいて、検査画像Ｖ０の各画素が複数種類の所見のうちの少なくとも１つの所見に分類される。また、検査画像Ｖ０において分類された所見毎に第１の特徴量が算出される。さらに、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量とに基づいて、検査画像Ｖ０と症例画像との類似度が導出される。また、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域が決定される。このため、重要領域を含むように類似症例画像を表示することにより、類似症例画像には診断上特徴がある領域が含まれることとなる。このため、本実施形態によれば、検査画像Ｖ０と類似する症例画像を表示した際に、症例画像に含まれる特徴を迅速に確認できる。
　なお、上記実施形態においては、検査画像Ｖ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度が導出しているが、これに限定されるものではない。重み係数Ｗｉを用いることなく、第１の特徴量と第２の特徴量との演算を行って類似度を導出してもよい。この場合、演算は、第１の特徴量と第２の特徴量の差分等であってもよい。
　次いで、本開示の第２の実施形態について説明する。図１３は、本開示の第１の実施形態による類似度決定装置の概略構成を示す図である。なお、図１３において図２と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による類似度決定装置１Ａは、検査画像Ｖ０における肺領域を複数の領域に分割する領域分割部２９をさらに備えた点が第１の実施形態と異なる。
　領域分割部２９は、肺領域を複数の領域に分割する。図１４は肺領域の分割を説明するための図である。領域分割部２９は、図１４に示すように、左右の肺領域を左中枢領域５０ＬＣおよび右中枢領域５０ＲＣとそれ以外の領域とに分割する。そして、中枢領域以外の領域を、さらに上中下の３つの領域、中領域と外領域、および腹側と背側に分割する。図１４において外領域に斜線を付与している。第２の実施形態においては、領域分割部２９は、左右の肺領域をそれぞれ１３個の領域に分割することとなる。
　第２の実施形態において、特徴量算出部２３は、分割された領域毎に、検査画像Ｖ０において分類された所見毎の第１の特徴量を算出する。類似度導出部２５は、分割された領域毎に検査画像Ｖ０と症例画像との類似度を導出する。なお、領域毎の類似度を領域類似度と称するものとする。領域決定部２６は、領域類似度に基づいて、重要領域を決定する。具体的には、領域分割部２９により分割された１３個の領域のそれぞれにおける領域類似度のうち、最大となる領域類似度となる領域を重要領域に決定する。
　図１５は第２の実施形態における重要領域の決定を説明するための図である。なお、図１５においては、アキシャル断面の症例スライス画像ＳＬ２０、サジタル断面の症例スライス画像ＳＬ２１およびコロナル断面の症例スライス画像Ｓ２２のそれぞれにおいて、重要領域６０を斜線を付与して示している。また、図１５においては、肺領域における分割された領域の境界を破線にて示している。また、図１５においては、アキシャル断面を一点鎖線６１、サジタル断面を長い破線６２、コロナル断面を二点鎖線６３で示している。
　なお、第２の実施形態においては、類似度導出部２５は、領域類似度に基づいて、検査画像Ｖ０と症例画像との類似度を導出する。例えば、領域類似度の重み付け加算値、領域類似度の最大値、および領域類似度の平均値等に基づいて、検査画像Ｖ０と症例画像との類似度を導出する。
　表示制御部２８は、重要領域を含むスライス画像を検索結果として表示部１４に表示する。第２の実施形態においても、第１の実施形態と同様に、類似症例画像における重要領域３６の重心３７を通るアキシャル断面３８のスライス画像を、または、重要領域の面積が最大となるスライス画像を検索結果として表示すればよいが、これに限定されるものではない。
　なお、上記第１および第２の実施形態において、類似症例画像を３次元画像として表示してもよい。この場合、重要領域を強調した３次元画像を表示すればよい。図１６は重要領域を強調した３次元画像を示す図である。図１６に示す３次元画像６５おいては、重要領域のみを不透明とし、他の領域を透明とした３次元画像を示している。なお、図１６においては肺内の位置関係を明確なものとするために、気管支６６を不透明としている。また、図１６に示す３次元画像に加えて、類似症例画像における重要領域を含む断層面の症例スライス画像を表示するようにしてもよい。この場合、アキシャル断面、サジタル断面およびコロナル断面のすべての症例スライス画像を表示してもよく、いずれか１つの断面の症例スライス画像を表示してもよい。
　また、上記実施形態においては、検査画像Ｖ０の断層画像を表示部１４に表示しているがこれに限定されるものではない。所見分類部２２において検査画像Ｖ０のマッピング画像を生成し、マッピング画像の断層画像を表示部１４に表示してもよい。
　すなわち、所見分類部２２における所見分類処理の結果に基づいて、各分類の領域に色を割り当てることによってマッピング画像を生成し、生成したマッピング画像を表示してもよい。具体的には、所見分類部２２は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図１７は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図１７においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。また、図１７には片肺のマッピング画像のみを示す。
　なお、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。
　なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。
　また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
　また、上記各実施形態において、例えば、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、領域決定部２６、検索部２７、表示制御部２８および領域分割部２９といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　類似度決定装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　表示部
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　所見分類部
　　　２３　　特徴量算出部
　　　２４　　重み係数設定部
　　　２５　　類似度導出部
　　　２６　　領域決定部
　　　２７　　検索部
　　　２８　　表示制御部
　　　２９　　領域分割部
　　　３０，３０Ａ　　表示画面
　　　３１　　検査画像表示領域
　　　３２　　検索結果表示領域
　　　３５　　肺領域
　　　３６　　重要領域
　　　３７　　重心
　　　３８，３９　　アキシャル断面
　　　４０　　多層ニューラルネットワーク
　　　４１　　入力層
　　　４２　　出力層
　　　５０ＬＣ，５０ＲＣ　　中枢領域
　　　６０　　重要領域
　　　６１～６３　　断面を表す線
　　　６５　　３次元画像
　　　６６　　気管支
　　　Ｌ０　　検査リスト
　　　Ｒ１～Ｒ４　　類似症例画像
　　　ＳＬ１０～ＳＬ１２、ＳＬ２０～ＳＬ２２　　症例スライス画像
　　　Ｖ０　　検査画像

Claims (11)

  1. 　３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
    　前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
    　前記第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
    　前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部と、
    　前記第２の医用画像において、前記類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する領域決定部とを備えた類似度決定装置。
  2. 　前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部をさらに備え、
    　前記領域決定部は、前記重み係数に基づいて、前記重要領域を決定する請求項１に記載の類似度決定装置。
  3. 　前記領域決定部は、前記所見毎の前記第１の特徴量と前記所見毎の前記第２の特徴量とに基づく前記所見毎の類似度に基づいて、前記重要領域を決定する請求項１に記載の類似度決定装置。
  4. 　前記第１の医用画像における対象領域を複数の領域に分割する領域分割部をさらに備え、
    　前記特徴量算出部は、前記分割された領域のそれぞれにおいて、前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、
    　前記類似度導出部は、前記分割された領域毎に前記第１の医用画像と前記第２の医用画像との領域類似度を導出し、複数の前記領域類似度に基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出し、
    　前記領域決定部は、前記領域類似度に基づいて、前記重要領域を決定する請求項１に記載の類似度決定装置。
  5. 　複数の前記第２の医用画像が登録された症例データベースであって、前記複数の第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から４のいずれか１項に記載の類似度決定装置。
  6. 　前記類似医用画像における前記重要領域を含むスライス画像を、検索結果として表示部に表示する表示制御部をさらに備えた請求項５に記載の類似度決定装置。
  7. 　前記表示制御部は、前記類似医用画像における１つの前記重要領域の重心を通るスライス画像を、前記検索結果として前記表示部に表示する請求項６に記載の類似度決定装置。
  8. 　前記表示制御部は、前記類似医用画像における１つの前記重要領域の面積が最大となるスライス画像を、前記検索結果として前記表示部に表示する請求項６に記載の類似度決定装置。
  9. 　前記重要領域を強調した前記類似医用画像を、検索結果として表示部に３次元表示する表示制御部をさらに備えた請求項５に記載の類似度決定装置。
  10. 　３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
    　前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
    　前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、
    　前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出し、
    　前記第２の医用画像において、前記類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する類似度決定方法。
  11. 　３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
    　前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する手順と、
    　前記第１の医用画像において分類された所見毎に第１の特徴量を算出する手順と、
    　前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順と、
    　前記第２の医用画像において、前記類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する手順とをコンピュータに実行させる類似度決定プログラム。
PCT/JP2019/041479 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム WO2020110520A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980077633.3A CN113164141A (zh) 2018-11-27 2019-10-23 相似度确定装置、方法及程序
DE112019005888.6T DE112019005888T5 (de) 2018-11-27 2019-10-23 Ähnlichkeitsbestimmungsvorrichtung, ähnlichkeitsbestimmungsverfahren und ähnlichkeitsbestimmungsprogramm
JP2020558179A JP7091475B2 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム
US17/327,775 US11989880B2 (en) 2018-11-27 2021-05-24 Similarity determination apparatus, similarity determination method, and similarity determination program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018221167 2018-11-27
JP2018-221167 2018-11-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/327,775 Continuation US11989880B2 (en) 2018-11-27 2021-05-24 Similarity determination apparatus, similarity determination method, and similarity determination program

Publications (1)

Publication Number Publication Date
WO2020110520A1 true WO2020110520A1 (ja) 2020-06-04

Family

ID=70853894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041479 WO2020110520A1 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US11989880B2 (ja)
JP (1) JP7091475B2 (ja)
CN (1) CN113164141A (ja)
DE (1) DE112019005888T5 (ja)
WO (1) WO2020110520A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3646240A4 (en) 2017-06-26 2021-03-17 The Research Foundation for The State University of New York SYSTEM, PROCEDURE AND COMPUTER-ACCESSIBLE MEDIUM FOR VIRTUAL PANCREATOGRAPHY

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001155019A (ja) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
WO2007099525A2 (en) * 2006-03-03 2007-09-07 Medic Vision - Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
JP5159242B2 (ja) * 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
JP5597429B2 (ja) 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
CN102958425B (zh) * 2011-06-30 2015-09-23 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
JP5789791B2 (ja) * 2011-07-25 2015-10-07 パナソニックＩｐマネジメント株式会社 類似症例検索装置および読影知識抽出装置
JP5054252B1 (ja) * 2011-11-04 2012-10-24 パナソニック株式会社 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
JP6099593B2 (ja) 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN106560827B (zh) 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置

Also Published As

Publication number Publication date
JPWO2020110520A1 (ja) 2021-10-14
US11989880B2 (en) 2024-05-21
DE112019005888T5 (de) 2021-09-30
JP7091475B2 (ja) 2022-06-27
US20210279879A1 (en) 2021-09-09
CN113164141A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
WO2020110519A1 (ja) 類似度決定装置、方法およびプログラム
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
JP2023114463A (ja) 表示装置、方法およびプログラム
WO2020110520A1 (ja) 類似度決定装置、方法およびプログラム
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP2023545570A (ja) 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること
Thool et al. Artificial Intelligence in Medical Imaging Data Analytics using CT Images
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
US20230088616A1 (en) Progression prediction apparatus, progression prediction method, and progression prediction program
Gia et al. A Computer-Aided Detection to Intracranial Hemorrhage by Using Deep Learning: A Case Study
WO2020262681A1 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
Nguyen et al. A Computer-Aided Detection to Intracranial Hemorrhage by Using Deep Learning: A Case Study

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19889139

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558179

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19889139

Country of ref document: EP

Kind code of ref document: A1