CN105389320A - 相似图像检索装置、以及相似图像检索装置的工作方法 - Google Patents

Abstract

一种相似图像检索装置、以及相似图像检索装置的工作方法，能检索到有可靠性的、与人的外表的相似性相符合的有说服力的相似图像。特征量计算部(61)解析检查图像(19)，计算与病变的图案对应的特征量(Zx)。概率计算部(62)使用计算式(66)，计算在检查图像内存在病变的图案的概率即第1存在概率(Px)。计算式是根据人在视觉上判断出的学习用图像内的病变的图案的有无与特征量的关系，通过统计学的方法来预先创建的。相似度计算部(63)根据第1存在概率、以及与第1存在概率同样地通过统计学的方法计算出的、在病例图像(21)内存在病变的图案的概率即第2存在概率(Py)，来计算检查图像与病例图像的相似度(S)。

Description

相似图像检索装置、以及相似图像检索装置的工作方法

技术领域

本发明涉及相似图像检索装置以及相似图像检索装置的工作方法。

背景技术

以往，进行从多个案例图像中检索与检索图像相似的相似图像的相似图像检索。在相似图像检索中，针对检索图像以及案例图像分别计算与在图像内人在视觉上关注的确定的图案对应的特征量，根据所计算出的特征量，判断检索图像与案例图像的相似性。

相似图像检索特别在医疗领域中被较大程度地利用。具体来说，在医师基于通过CT(Computedtomography，计算机断层扫描)装置、MRI(MagneticResonanceImaging，磁共振成像)装置、一般X射线摄影装置等来对患者进行摄影而得到的检查图像中显现出的病变，来进行疾病的确定这样的诊断时，利用相似图像检索。

在专利文献1中记载了相似图像检索装置，该相似图像检索装置利用相似图像检索，从相当于案例图像的过去的多个病例图像中，检索相当于检索图像的用于患者的诊断的检查图像的相似图像，并向医师提供所检索到的相似图像。

在检查图像中显现出的病变中，存在磨砂玻璃阴影、浸润影、蜂窝组织炎肺等多种，在一张检查图像中显现出的病变不一定限于一种。在存在多种病变的情况下，医师需要识别每个病变的微妙的差异。另外，由于疾病的发展而病变的种类也变化，所以为了让医师仅通过检查图像的解读而在没有什么帮助的情况下做出诊断，医师需要一定程度的经验。因此，如专利文献1那样，通过利用相似图像检索，能够以相似图像作为启示来确定检查图像的病变的种类，即使是经验少的医师，也能够进行准确度更高的诊断。

专利文献1的相似图像检索装置将各种病变设为图案，根据作为检索图像的检查图像与作为案例图像的病例图像分别计算特征量。在特征量中，存在如像素值的平均、方差、最大值、最小值或者直方图这样的与像素值相关的量、位置、轮廓这样的与形状相关的量、以用半径、体积或者面积这样的与大小相关的量等多种量。

在专利文献1的相似图像检索装置中，如[式1]所示，取得根据检查图像计算出的多种特征量Mi(i＝1、2、…，n)、根据病例图像计算出的多种特征量mi(i＝1、2、…，n)的分别的差分|Mi-mi|，计算对各差分乘以适合的加权系数wi(i＝1、2、…，n)而得到的量的总和(Σwi|Mi-mi|)，作为检查图像与病例图像的相似度。

这样计算出的相似度表示了将特征量Mi、mi分别设为要素的2个n维向量(通常称为特征向量)的n维向量空间中的距离。特征量Mi、mi的差分越小(将特征量Mi、mi分别设为要素的2个n维向量的距离越近)，则相似度越小，检查图像与病例图像相似性被判断为越高。另一方面，特征量Mi、mi的差分越大(将特征量Mi、mi分别设为要素的2个n维向量的距离越远)，则相似度越大，检查图像与病例图像相似性被判断为越低。

现有技术文献

专利文献

专利文献1：日本特开2011-118543号公报

如专利文献1的相似图像检索装置那样，在根据特征量计算出检查图像与病例图像的相似度的情况下，相似度的可靠性受到特征量的计算精度的影响。另外，特征量归根结底是数值，并非完全地再现人的外表，所以有时在根据特征量计算出的相似度与人的外表之间产生背离。特别是在特征量存在多种情况下，根据种类而其计算精度也不同，另外，根据种类而与人的外表的背离程度也不同，所以相似度的可靠性更容易被影响。

此外，如专利文献1的相似图像检索装置那样，在根据特征量计算出检查图像与病例图像的相似度的情况下，检查图像与病例图像的特征量在都大的值处大致一致的情况下，以及在检查图像与病例图像的特征量在都低的值处大致一致的情况下，相似度等同。

一般地，与某个图案对应的特征量的值越大，则表示在图像内该图案的存在概率越高。因此，如果出于希望得到检查图像的相似图像这样的相似图像检索的目的，则和检查图像与病例图像的特征量在都低的值处大致一致的情况相比，应该提高在检查图像与病例图像的特征量在都大的值处大致一致的情况下的相似度。然而，在专利文献1中没有考虑到这一点。因此，不一定能够检索到有说服力的相似图像。

发明内容

本发明是鉴于上述课题而完成的，其目的在于，提供一种能够检索到有可靠性的、与人的外表的相似性相符合的有说服力的相似图像的相似图像检索装置、相似图像检索装置的工作方法以及相似图像检索程序。

为了达到上述目的，本发明的相似图像检索装置从多个案例图像中检索与检索图像相似的相似图像，具备：特征量计算部，解析检索图像，计算与预先登记的图案对应的特征量；概率计算部，根据在特征量计算部中计算出的特征量，通过统计学的方法来计算在检索图像内存在图案的第1存在概率；以及相似度计算部，根据在概率计算部中计算出的第1存在概率、以及针对多个案例图像而计算出的、在案例图像内存在图案的第2存在概率，计算检索图像与多个案例图像的分别的相似度。

概率计算部优选使用根据人在视觉上判断出的学习用图像内的图案的有无与特征量的关系通过统计学的方法来预先创建的、将特征量设为变量来计算第1存在概率的计算式。

相似度计算部优选根据第1存在概率以及第2存在概率，计算图案存在于案例图像以及检索图像这两者中的并存概率、或者图案仅独立地存在于案例图像以及检索图像中的一个中的非并存概率中的至少一个。

相似度计算部例如计算并存概率、或者非并存概率，来作为相似度，并存概率越高，则判断为案例图像与检索图像的相似性越高，或者非并存概率越高，则判断为案例图像与检索图像的相似性越低。

相似度计算部例如计算并存概率与非并存概率之比，来作为相似度，比越高，则判断为案例图像与检索图像的相似性越高。

在图案有多种的情况下，相似度计算部计算多种图案的各自的并存概率、或者非并存概率，对所计算出的并存概率的总乘积或者并存概率的对数的总和、或者非并存概率的总乘积或者非并存概率的对数的总和进行计算，来作为相似度，并存概率的总乘积或者并存概率的对数的总和越高，则也可以判断为案例图像与检索图像的相似性越高，或者非并存概率的总乘积或者非并存概率的对数的总和越高，则也可以判断为案例图像与检索图像的相似性越低。

另外，在图案有多种的情况下，相似度计算部也可以计算多种图案的各自的并存概率与非并存概率之比，对所计算出的比的总乘积或者比的对数的总和进行计算，来作为相似度，比的总乘积或者比的对数的总和越高，则判断为案例图像与检索图像的相似性越高。

优选在将第1存在概率设为Px，将第2存在概率设为Py并且将并存概率设为Pxy的情况下，Pxy＝Px×Py。

优选在将第1存在概率设为Px，将第2存在概率设为Py并且将非并存概率设为NPxy的情况下，NPxy＝Px×(1-Py)+(1-Px)×Py。

也可以在将第1存在概率设为Px，将第2存在概率设为Py，将Px与Py中的最小值设为min(Px，Py)并且将并存概率设为Pxy的情况下，Pxy＝Px×min(Px，Py)。

也可以在将第1存在概率设为Px，将第2存在概率设为Py，将Px与Py中的最小值设为min(Px，Py)，将Px与Py中的最大值设为max(Px，Py)并且将非并存概率设为NPxy的情况下，在Px>0.5的情况下，NPxy＝Px×{1-min(Px，Py)}+(1-Px)×Py，在Px≤0.5的情况下，NPxy＝Px×(1-Py)+(1-Px)×max(Px，Py)。

优选具备过滤处理部，该过滤处理部对第2存在概率的排除范围与第2存在概率进行比较，将第2存在概率是排除范围的案例图像从在相似度计算部计算相似度的候补中排除。过滤处理部优选根据将第1存在概率设为变量的、第1存在概率与第2存在概率的关系式，计算排除范围。

特征量计算部例如计算检索图像的一部分的区域的特征量。

特征量计算部也可以还计算案例图像的特征量。另外，概率计算部也可以还计算第2存在概率。

优选具备检索结果输出部，该检索结果输出部作为相似图像的检索结果，输出相似图像与相似度的组。检索结果输出部也可以输出按相似度的顺序对多个相似图像与相似度的组进行排序而得到的列表。

例如，检索图像是在患者的诊断中使用的检查图像，案例图像是作为过去在诊断中使用的检查图像的病例图像，图案是表示患者的疾病的症状的病变的图案。

在本发明的相似图像检索装置的工作方法中，该相似图像检索装置从多个案例图像中检索与检索图像相似的相似图像，该相似图像检索装置的工作方法具备：特征量计算步骤，通过特征量计算部，解析检索图像，计算与预先登记的图案对应的特征量；概率计算步骤，通过概率计算部，根据在特征量计算步骤中计算出的特征量，通过统计学的方法来计算在检索图像内存在图案的第1存在概率；以及相似度计算步骤，通过相似度计算部，根据在概率计算步骤中计算出的第1存在概率、以及针对多个案例图像而计算出的、在案例图像内存在图案的第2存在概率，来计算检索图像与多个案例图像的分别的相似度。

本发明的相似图像检索程序从多个案例图像中检索与检索图像相似的相似图像，使计算机执行以下功能：特征量计算功能，通过解析检索图像，来计算与预先登记的图案对应的特征量；概率计算功能，根据由特征量计算功能计算出的特征量，通过统计学的方法来计算在检索图像内存在图案的第1存在概率；以及相似度计算功能，根据由概率计算功能计算出的第1存在概率、以及针对多个案例图像而计算出的、在案例图像内存在图案的第2存在概率，计算检索图像与多个案例图像的分别的相似度。

根据本发明，根据解析检索图像而计算出的、与预先登记的图案对应的特征量，通过统计学的方法来计算图案存在于检索图像内的第1存在概率，根据该第1存在概率、以及图案存在于案例图像内的第2存在概率，计算检索图像与多个案例图像的各个图像的相似度，所以相似度的可靠性不受特征量的计算精度影响，并且，相似度与人的外表也不产生背离。进而，在检索图像与案例图像的特征量在都大的值处大致一致的情况下、以及在检索图像与案例图像的特征量在都低的值处大致一致的情况下，相似度也不会变得等同。因此，能够提供一种能够检索到有可靠性的、与人的外表的相似性相符合的有说服力的相似图像的相似图像检索装置，相似图像检索装置的工作方法以及相似图像检索程序。

附图说明

图1是示出包括相似图像检索服务器的医疗信息***的结构图。

图2是示出从医疗检查直到明确诊断的流程的说明图。

图3是示出相似图像的取得请求的内容的图。

图4是示出显示检查图像而受理对关注区域ROI的指定的检查图像显示窗口的图。

图5是示出构成相似图像检索服务器的计算机的框图。

图6是示出相似图像检索服务器的CPU的功能的框图。

图7是示出特征量计算部的详细的结构以及功能的框图。

图8是示出特征量与病变的图案的对应关系的图。

图9是示出用于计算第1存在概率Px的计算式的创建方法的说明图。

图10是示出特征量Z与第1存在概率P的关系的示图。

图11是示出相似度计算部的结构以及功能的框图。

图12是示出相似度计算部的详细的结构以及功能的框图。

图13是示出列表的内容的图。

图14是示出显示相似图像的检索结果的检索结果显示窗口的图。

图15是示出相似图像检索服务器的CPU的处理步骤的流程图。

图16是示出相似度计算的处理步骤的流程图。

图17A是示出在使用式(2-A)的情况下的并存概率Pxy的计算结果的说明图。

图17B是示出在使用式(2-B)的情况下的并存概率Pxy的计算结果的说明图。

图18A是示出在使用式(3-A)的情况下的非并存概率NPxy的计算结果的说明图。

图18B是示出使用式(3-B)的情况下的非并存概率NPxy的计算结果的说明图。

图19A是示出使用式(3-A)的情况下的非并存概率NPxy的计算结果的说明图。

图19B是示出使用式(3-C)的情况下的非并存概率NPxy的计算结果的说明图。

图20是示出构筑有过滤处理部的第3实施方式的相似图像检索服务器的CPU的功能的框图。

具体实施方式

[第1实施方式]

在图1中，医疗信息***2在具有诊疗科10、检查科11的医院等医疗施设中构筑，由在诊疗科10中设置的诊疗科终端12、在检查科11中设置的医疗器械13以及指令管理终端14、检查图像数据库(以下，简称为DB(DataBase))服务器15、病例图像DB服务器16、以及相似图像检索服务器17构成。它们经由在医疗施设内敷设的LAN(LocalAreaNetwork，局域网)等网络18而相互连接。

诊疗科终端12除了由诊疗科10的医师进行的电子病历的输入、阅览之外，还用于医师针对检查科11发出用于委托各种医疗检查的检查指令。另外，诊疗科终端12还作为用于阅览由医疗器械13摄影得到的检查图像19、由相似图像检索服务器17检索到的相似图像的图像显示终端发挥功能。

医疗器械13是作为检查图像19而对断层图像进行摄影的CT装置、MRI装置、作为检查图像19而对简单X射线透视图像进行摄影的一般X射线摄影装置等检查图像19的摄影装置。指令管理终端14受理在诊疗科终端12中发出的检查指令，管理所受理的检查指令。检查指令例如具有用于识别各个检查指令的指令ID(Identificationdata，标识数据)、发出该检查指令的诊疗科终端12的ID或者医师的医师ID、作为基于该检查指令的摄影的对象的患者的患者ID、经过观察等的检查目的、头部、胸部等摄影部位、仰卧、俯卧等朝向这样的各种项目。检查科11的工程师在指令管理终端14中确认检查指令的内容，对医疗器械13设定与所确认的检查指令相应的摄影条件而进行检查图像19的摄影。

在通过医疗器械13来进行检查图像19的摄影的情况下，通过工程师输入作为摄影的对象的患者的患者ID、负责摄影的工程师的工程师ID这样的信息。将所输入的信息作为附带信息而与检查图像19关联起来。

检查图像19例如按照DICOM(DigitalImagingandCommunicationsinMedicine，医学数字成像和通信)标准的数据文件形式来创建。在DICOM标准的数据文件中，除了储存检查图像19主体的数据的区域之外，还设置了储存附带信息的区域。在附带信息中，包括患者ID、患者姓名、患者的性别、年龄、身高、体重这样的患者信息、指令ID、医师ID、检查日期时间、检查目的、摄影部位以及朝向、摄影条件、工程师ID、医疗检查的种类(CT、MRI等医疗器械13的种类)这样的检查信息、以及用于识别各个检查图像19的图像ID。图像ID在检查图像19的摄影时通过医疗器械13自动地附加。医疗器械13将检查图像19发送到检查图像DB服务器15。

检查图像DB服务器15是所谓的PACS(PictureArchivingandCommunicationSystem，图像归档与传输***)服务器，具有储存多个来自医疗器械13的检查图像19的检查图像DB20。检查图像DB服务器15受理来自诊疗科终端12的检查图像19的取得请求，从检查图像DB20检索与取得请求对应的检查图像19。然后，向发送了取得请求的诊疗科终端12发送所检索到的检查图像19。取得请求包括检查图像19的附带信息的各种项目、例如指令ID、图像ID，检查图像DB服务器15输出与取得请求的指令ID、图像ID一致的检查图像19，作为检索结果。

病例图像DB服务器16与检查图像DB服务器15同为PACS服务器，具有储存多个病例图像21的病例图像DB22。病例图像21是过去在诊断中使用的检查图像19，相当于案例图像。病例图像DB服务器16也与检查图像DB服务器15同样地，受理来自相似图像检索服务器17的病例图像21的取得请求，从病例图像DB22检索与取得请求对应的病例图像21，将所检索到的病例图像21发送到相似图像检索服务器17。

在病例图像21中，除了与检查图像19相同的附带信息之外，还将在过去的诊断中被指定的关注区域ROI(RegionofInterest，参照图4)的信息即区域信息25(参照图3)、对病例图像21进行解读而创建的解读报告的报告ID、以及在过去的诊断中计算出的、表现疾病的症状的病变的图案存在于病例图像21内的概率即第2存在概率Py(参照图6)作为附带信息而关联起来。解读报告在未图示的报告DB服务器的报告DB中储存。报告DB服务器与各DB服务器15、16相同地，能够检索与来自诊疗科终端12等的取得请求对应的解读报告并发送。当在相似图像检索服务器17中计算检查图像19与病例图像21的相似度S并输出其结果时，利用区域信息25以及第2存在概率Py。以下，如第2存在概率Py那样，对与病例图像21相关的量附加下标“y”。

相似图像检索服务器17相当于本发明的相似图像检索装置。相似图像检索服务器17受理来自诊疗科终端12的相似图像的取得请求。在取得请求中，包括检查图像19。相似图像检索服务器17从在病例图像DB22中储存的多个病例图像21中检索与所受理的检查图像19相似的相似图像。即，检查图像19相当于检索图像。相似图像检索服务器17将相似图像的检索结果发送到诊疗科终端12。

在图2中，如果由医疗器械13实施的摄影结束并将检查图像19储存到检查图像DB20中，则如步骤S1所示，指令管理终端14向发出检查指令的诊疗科终端12发出检查结束通知。在检查结束通知中，附加了检查图像19的图像ID、指令ID。

医师通过诊疗科终端12来确认检查结束通知，将包括在检查结束通知中附加的图像ID、指令ID的检查图像19的取得请求通过诊疗科终端12而发送到检查图像DB服务器15(步骤S2)。根据该取得请求而从检查图像DB服务器15向诊疗科终端12发送检查图像19(步骤S3)。

医师通过诊疗科终端12来阅览来自检查图像DB服务器15的检查图像19。在患者患有某些疾病的情况下，在检查图像19中显现出表现疾病的症状的病变。医师为了取得显现出病变的检查图像19的相似图像，通过诊疗科终端12，将包括显现出病变的检查图像19的相似图像的取得请求发送到相似图像检索服务器17(步骤S4)。

在受理了相似图像的取得请求的情况下，相似图像检索服务器17将病例图像21的取得请求发送到病例图像DB服务器16(步骤S5)。根据该取得请求而从病例图像DB服务器16向相似图像检索服务器17发送病例图像21(步骤S6)。相似图像检索服务器17从病例图像21中检索与检查图像19相似的相似图像，将其检索结果发送到诊疗科终端12(步骤S7)。

医师通过诊疗科终端12，阅览来自相似图像检索服务器17的相似图像的检索结果。另外，根据需要，从报告DB服务器接收与相似图像关联起来的解读报告，通过诊疗科终端12来阅览解读报告。医师根据相似图像的检索结果、解读报告、自己的经验等，做出确定患者的疾病的明确诊断(步骤S8)。

在图3中，在从诊疗科终端12发送到相似图像检索服务器17的相似图像的取得请求中，除了作为检索图像的检查图像19之外，还附上了通过医师指定的检查图像19的关注区域ROI的信息(以下，称为区域信息)25。区域信息25例如是通过二维坐标来表现了构成检查图像19的像素的位置的坐标信息，当在相似图像检索服务器17中计算与病变的图案对应的特征量Zx(参照图6)时被利用。以下，如特征量Zx那样，对与检查图像19相关的量附加下标“x”，和附加有下标“y”的与病例图像21相关的量进行区分。另外，对与检查图像19以及病例图像21这两者相关的量附加下标“xy”。

由医师进行的对关注区域ROI的指定例如通过图4所示的检查图像显示窗口30来进行。检查图像显示窗口30用于医师阅览来自检查图像DB服务器15的检查图像19，显示在诊疗科终端12的显示器中。

在检查图像显示窗口30中，设置了用于输入在检查结束通知中附加的图像ID、指令ID的输入框31、显示来自检查图像DB服务器15的检查图像19的图像显示区域32以及按钮群33等。

在输入框31的旁边设置了检索按钮34。如果在输入框31中输入所期望的图像ID、指令ID并用光标35选择检索按钮34，则将检查图像19的取得请求发送到检查图像DB服务器15。在图像显示区域32中，显示与取得请求对应的检查图像19与图像ID。图像显示区域32例如通过屏幕滚动操作、逐帧播放操作，能够切换检查图像19的显示。

按钮群33具有区域指定按钮36、指定清除按钮37、以及相似图像检索按钮38。区域指定按钮36是用于指定关注区域ROI的操作按钮，指定清除按钮37是用于将所指定的关注区域ROI取除的操作按钮。如果用光标35选择区域指定按钮36，则能够进行指定检查图像19的任意的区域的区域指定操作。例如通过光标35以包围检查图像19内的包括病变的区域的外周的方式来指定多个控制点，由此进行区域指定操作。描绘通过该多个控制点的光滑的曲线的样条曲线(用单点划线来表示)的内侧被指定为关注区域ROI。

在基于样条曲线的对关注区域ROI的指定后，如果用光标35选择相似图像检索按钮38，则将此时在图像显示区域32中显示的检索图像19、以及通过样条曲线指定的关注区域ROI的信息即区域信息25，作为相似图像的取得请求发送到相似图像检索服务器17。

在图5中，构成相似图像检索服务器17的计算机具备存储设备45、存储器46、CPU(CentralProcessingUnit，中央处理单元)47、通信部48、显示器49、以及输入设备50。它们经由数据总线51而相互连接。

存储设备45是在构成相似图像检索服务器17的计算机中内置的、或者通过线缆、网络而连接的硬盘驱动器、或者是联装了多台硬盘驱动器的磁盘阵列。在存储设备45中，存储了操作***等的控制程序、包括相似图像检索程序52的各种应用程序以及在这些程序中附随的各种操作画面的显示数据等。相似图像检索程序52是用于使构成相似图像检索服务器17的计算机作为相似图像检索装置发挥功能的程序。

存储器46是用于CPU47执行处理的工作存储器。CPU47将在存储设备45中存储的程序加载到存储器46，通过执行依照程序的处理，来集中地控制计算机的各部。

通信部48是针对经由网络18而与诊疗科终端12等的各种信息传送进行控制的网络接口。通信部48从病例图像DB服务器16接收病例图像21，从诊疗科终端12接收相似图像的取得请求，并且对病例图像DB服务器16发送病例图像21的取得请求，对诊疗科终端12发送相似图像的检索结果。

显示器49显示与鼠标、键盘等输入设备50的操作相应的各种操作画面。在操作画面中配置GUI(GraphicalUserInterface，图形用户界面)。相似图像检索服务器17通过该GUI受理来自输入设备50的操作指标的输入。

在图6中，CPU47如果起动相似图像检索程序52，则与存储器46协作，作为请求受理部60、特征量计算部61、概率计算部62、相似度计算部63、检索结果输出部64以及输出控制部65发挥功能。

请求受理部60担负受理从诊疗科终端12发送并在通信部48中接收到的相似图像的取得请求的请求受理功能。请求受理部60将所受理的相似图像的取得请求的检查图像19以及区域信息25存储到存储设备45中。

特征量计算部61担负解析检查图像19并计算特征量Zx的特征量计算功能。特征量计算部61从存储设备45读出检查图像19以及区域信息25，根据区域信息25确定在检查图像19中指定的关注区域ROI。然后，计算所确定的关注区域ROI的特征量Zx。特征量计算部61将所计算出的特征量Zx输出到概率计算部62。

概率计算部62担负根据来自特征量计算部61的特征量Zx来计算第1存在概率Px的概率计算功能。第1存在概率Px是在检查图像19的关注区域ROI内存在病变的图案的概率。概率计算部62使用计算式66来进行第1存在概率Px的计算。概率计算部62将所计算出的第1存在概率Px输出到相似度计算部63。

在这里，在特征量计算部61中计算的特征量Zx如后面所述，在表示在检查图像19的关注区域ROI中存在病变的图案的程度这样的意思上，也与在检查图像19的关注区域ROI内存在病变的图案的概率即第1存在概率Px相似。然而，特征量Zx是通过基于图案匹配的检查图像19的图像解析来计算的，并非反映关于医师等人实际通过眼睛看到的病变的图案是否存在的判断。与此相对地，第1存在概率Px是通过基于人的视觉的印象的统计学的方法来计算的，在这一点上特征量Zx与第1存在概率Px有本质的不同。

具体来说，计算第1存在概率Px的计算式66是根据人在视觉上判断出的学习用图像内的病变的图案的有无、与学习用图像的特征量Z的关系，通过统计学的方法来预先创建的，将特征量Zx设为变量。因此，第1存在概率Px表示相对于作为检查图像19的图像解析的结果的特征量Zx的值，在人实际看到具有该值的检查图像19的情况下，判断病变的图案以多大频度而存在或者不存在，与特征量Zx不同，反映了人实际用眼睛看到的病变的图案是否存在的判断。

相似度计算部63担负计算检查图像19、与在病例图像DB22中储存的全部病例图像21的分别的相似度S的相似度计算功能。相似度计算部63根据来自概率计算部62的第1存在概率Px、以及在病例图像21中附加的第2存在概率Py，进行相似度S的计算。相似度计算部63将所计算出的相似度S输出到检索结果输出部64。

检索结果输出部64担负将相似图像与相似度S的组作为检索结果来输出的检索结果输出功能。更具体来说，检索结果输出部64将按相似度S的顺序对相似图像与相似度S的组进行排序而得到的列表67(也参照图13)作为相似图像的检索结果来输出。

输出控制部65从检索结果输出部64接收列表67。输出控制部65根据所接收到的列表67，创建检索结果显示窗口68(也参照图14)。检索结果显示窗口68是通过例如XML(ExtensibleMarkupLanguage，可延伸标记语言)等标记语言来创建的WEB发布用的XML数据。输出控制部65将所创建的检索结果显示窗口68与进行了相似图像的取得请求的诊疗科终端12的信息(例如诊疗科终端12的IP(InternetProtocol，互联网协议)地址的信息)一起输出到通信部48。通信部48向进行了相似图像的取得请求的诊疗科终端12发送检索结果显示窗口68。

在图7中，特征量计算部61具有针对检查图像19的关注区域ROI，分别计算共计8种的第1特征量ZxA、第2特征量ZxB、第3特征量ZxC、第4特征量ZxD、第5特征量ZxE、第6特征量ZxF、第7特征量ZxG、第8特征量ZxH的第1特征量计算器61A、第2特征量计算器61B、第3特征量计算器61C、第4特征量计算器61D、第5特征量计算器61E、第6特征量计算器61F、第7特征量计算器61G、第8特征量计算器61H。如通过“-0.21”、“+5.63”等数值来例示的那样，各特征量ZxA～ZxH正值和负值都能够取到。将这8种各特征量ZxA～ZxH设为要素的8维向量被称为特征向量。以下，如各特征量计算器61A～61H那样，按对与第1特征量ZxA相关的量附加“A”，对与第2特征量ZxB相关的量附加“B”等这样，对与各特征量ZxA～ZxH相关的量附加对应的字母的下标“A”～“H”来区分。

在图8中，各特征量ZxA～ZxH对应于预先登记的典型的多种病变的图案。具体来说，分别对应于以下各种病变的图案，第1特征量ZxA对应于低呼吸区的异常影(气肿、气胸、大疱等)，第2特征量ZxB对应于空洞，第3特征量ZxC对应于支气管的异常影(支气管壁增厚、支气管扩张、牵拉性支气管扩张、支气管透亮图像等)，第4特征量ZxD对应于蜂窝组织炎肺，第5特征量ZxE对应于磨砂玻璃状阴影，第6特征量ZxF对应于点状影(粒状影、TIB(Tree-in-Bud，树芽征)等)，第7特征量ZxG对应于高吸收区的异常影(实变、小结节、支气管粘液腺等)，第8特征量ZxH对应于线状网状影。

各特征量ZxA～ZxH表示对应的各种病变的图案相似度，是表示在关注区域ROI中存在病变的图案的程度的值。因此，各特征量ZxA～ZxH越大，则表示在关注区域ROI中存在对应的病变的图案的程度越高，各特征量ZxA～ZxH越小，则表示在关注区域ROI中存在对应的病变的图案的程度越低。进一步地说，在各特征量ZxA～ZxH为正值的情况下，表示对应的病变的图案在关注区域ROI中存在的概率高，在为负值的情况下，表示对应的病变的图案在关注区域ROI中不存在的概率高。于是，是正值并且该值越大，则表示对应的病变的图案在关注区域ROI中存在的程度越高。

但是，如上所述，特征量Zx并非反映关于人实际通过眼睛看到的病变的图案是否存在的判断，在特征量Zx为正值的情况下，不一定病变的图案实际存在于关注区域ROI中，同样地，在特征量Zx为负值的情况下，不一定病变的图案实际不存在于关注区域ROI中。

在图7的例子中，与空洞的图案对应的第2特征量ZxB、和与高吸收区的异常影的图案对应的第7特征量ZxG示出正值，其他各特征量ZxA、ZxC～ZxF、ZxH示出负值。然后，第2特征量ZxB为“+5.63”，是大于第7特征量ZxG的“+0.80”的值，所以可知在关注区域ROI中，存在空洞与高吸收区的异常影，其中，空洞起支配作用。

各特征量计算器61A～61H能够使用例如“资料名称：ComputerVisionandImageUnderstanding第88卷第119页～151页，发行年份2002年12月UsingHumanPerceptualCategoriesforContent-BasedRetrievalfromaMedicalImageDatabase作者Chi-RenShyu，ChristinaPavlopoulouAvinashC.kak，andCalaE.Brodley”等中记载的公知的特征量，通过“AdaBoost(AdaptiveBoosting)”等机械学习算法来创建。

此外，在本实施方式中，例示了与8种病变的图案对应的8种特征量ZxA～ZxH，但特征量Zx既可以比8种少，也可以比8种多。进一步地说，特征量Zx也可以是1个。另外，将与1个病变的图案对应的特征量Zx设为1个，但也可以将与1个病变的图案对应的特征量Zx设为多个。

在图9中，概率计算部62在第1存在概率Px的计算中使用的计算式66根据视觉判断数据75来创建。视觉判断数据75存储在存储设备45中。视觉判断数据75是针对每个病变的图案而存储作为医师等人针对多个学习用图像1、2、…，在视觉上判断在学习用图像内是否存在病变的图案的结果的图案的有无、以及由特征量计算部61针对学习用图像的关注区域ROI而计算出的特征量Z而得到的数据。例如通过让医师通过诊疗科终端12来定期地作为学习用图像而阅览病例图像21，并让医师输入自己判断出的图案的有无，来创建视觉判断数据75。作为判断图案的有无的医师，例如也可以是接受检查图像19的远程解读的委托的解读中心的解读医师等其他医疗施设的医师。此外，在图9中，作为病变的图案而例示磨砂玻璃状阴影与点状影，其他病变的图案由于空间的制约而省略。

在让医师判断特征量Z为相同值的多个学习用图像的图案的有无的情况下，特征量Z如上所述，并非反映关于人实际通过眼睛看到的病变的图案是否存在的判断。因此，特征量Z即使是相同值，也存在判断为有病变的图案的情况、和判断为无病变的图案的情况。针对该多个学习用图像，医师判断为有病变的图案的学习用图像所占的比例为与该特征量Z相关的第1存在概率P。例如当特征量Z为相同值的多个学习用图像有100张并且在100张中全部判断为有病变的图案的情况下，第1存在概率P＝1(100％)，当在100张中的50张中判断为有病变的图案的情况下，第1存在概率P＝0.5(50％)，然后，当在100张中全部判断为无病变的图案的情况下，第1存在概率P＝0(0％)。

根据这样的医师的判断结果，求出针对各特征量Z的第1存在概率P，如果在以特征量Z为横轴且以第1存在概率P为纵轴的示图中绘制其结果，则例如如图10所示，特征量Z与第1存在概率P的关系为大致S形的曲线C。该曲线C称为逻辑曲线，特征量Z与第1存在概率P的关系能够用被称为逻辑函数的以特征量Z为变量的式子(P＝1/{1+exp(-A0-A1×Z)})来表示。即，第1存在概率P以及特征量Z分别对应于在统计学上提到的目标变量以及解释变量。在这里A0以及A1是系数，通过逻辑回归分析来计算这些系数，从而能够得到计算式66。

具体来说，计算式66通过下式(1-A)来表示。

Px＝1/{1+exp(-A0-A1×Zx)}…(1-A)

A0以及A1如上所述，通过逻辑回归分析来计算。计算式66针对每个病变的图案而创建。在图9中，例示了用于计算磨砂玻璃状阴影的图案存在于检查图像19的关注区域ROI中的第1存在概率PxE的计算式66E(PxE＝1/{1+exp(-AE0-AE1×ZxE)})、以及用于计算点状影的图案存在于检查图像19的关注区域ROI中的第1存在概率PxF的计算式66F(PxF＝1/{1+exp(-AF0-AF1×ZxF)})，省略了其他病变的图案用的计算式66的图示。

例如在AE0＝0.038、AE1＝2.08并且第5特征量ZxE为+1.31的情况下，磨砂玻璃状阴影的图案存在于检查图像19的关注区域ROI中的第1存在概率PxE为：

PxE＝1/{1+exp(-0.038-2.08×1.31)}≈0.94。另外，在AF0＝0.102、AF1＝3.21并且第6特征量ZxF为-1.16的情况下，点状影的图案存在于检查图像19的关注区域ROI中的第1存在概率PxF为：

PxF＝1/{1+exp(-0.102+3.21×1.16)}≈0.03。概率计算部62这样地使用计算式66来计算各种病变的图案的第1存在概率PxA～PxH。

此外，在特征量Z与第1存在概率P的关系为大致直线的情况下，也可以不使用如逻辑回归分析那样的非线性回归分析，而是使用线性回归分析来创建计算式66。

另外，在有多个与1个病变的图案对应的特征量Zx的情况下，计算式66在将多个特征量Zx设为Zx1、Zx2、Zx3、…的情况下，用下式(1-B)来表示。

Px＝1/{1+exp(-A0-A1×Zx1-A2×Zx2-A3×Zx3-…)}…(1-B)

A0、A1、A2、A3、…是系数，与式(1-A)相同地，通过逻辑回归分析来求出。

针对第2存在概率Py，在过去的诊断中，也是在特征量计算部61中计算病例图像21的关注区域ROI的特征量ZyA～ZyH，根据该特征量ZyA～ZyH，通过使用根据视觉判断数据75创建的计算式66的统计学的方法来在概率计算部62中计算各种病变的图案的第2存在概率PyA～PyH。

在图11以及图12中，相似度计算部63具有并存概率计算器80、非并存概率计算器81、比计算器82以及乘法器83。并存概率计算器80根据各存在概率Px、Py，计算病变的图案存在于检查图像19以及病例图像21的关注区域ROI这两者中的概率的并存概率Pxy。具体来说，通过下式(2-A)来计算并存概率Pxy。

Pxy＝Px×Py…(2-A)

非并存概率计算器81根据各存在概率Px、Py，计算病变的图案仅独立地存在于检查图像19以及病例图像21的关注区域ROI中的一个中的概率、即非并存概率NPxy。具体来说，通过下式(3-A)，来计算非并存概率NPxy。

NPxy＝Px×(1-Py)+(1-Px)×Py…(3-A)

各计算部80、81将所计算出的各概率Pxy，NPxy输出到比计算器82。

比计算器82计算并存概率Pxy与非并存概率NPxy之比Pxy/NPxy，将所计算出的比Pxy/NPxy输出到乘法器83。

如图12详细所示，并存概率计算器80为了计算8种病变的图案各自的第1并存概率PxyA～第8并存概率PxyH，设置了第1并存概率计算器80A～第8并存概率计算器80H共计8个(第5并存概率计算器80E～第8并存概率计算器80H未图示)。非并存概率计算器81也同样地，为了计算第1非并存概率NPxyA～第8并存概率NPxyH，设置了第1非并存概率计算器81A～第8非并存概率计算器81H(第5非并存概率计算器81E～第8非并存概率计算器81H未图示)。另外，比计算器82也同样地，设置了第1比计算器82A～第8比计算器82H(第5比计算器82E～第8比计算器82H未图示)。

乘法器83将来自第1比计算器82A～第8比计算器82H的第1并存概率PxyA～第8并存概率PxyH与第1非并存概率NPxyA～第8非并存概率NPxyH的分别的比PxyA/NPxyA～PxyH/NPxyH进行求积运算。相似度计算部63将由该乘法器83进行的比PxyA/NPxyA～PxyH/NPxyH的总乘积的计算结果，作为相似度S来输出。即，相似度S由下式(4-A)表示。

S＝ΠPxy/NPxy＝(PxyA/NPxyA)×(PxyB/NPxyB)×(PxyC/NPxyC)×(PxyD/NPxyD)×(PxyE/NPxyE)×(PxyF/NPxyF)×(PxyG/NPxyG)×(PxyH/NPxyH)…(4-A)

并存概率Pxy是表示各种病变的图案中的每一个图案的检查图像19与病例图像21的相似性的指标，并存概率Pxy越高，则可以说检查图像19与病例图像21的相似性越高。相反地，非并存概率NPxy是表示各种病变的图案中的每一种图案的检查图像19与病例图像21的非相似性的指标，非并存概率NPxy越高，则可以说检查图像19与病例图像21的相似性越低。另外，关于它们的比Pxy/NPxy，分子的并存概率Pxy与分母的非并存概率NPxy相比越大，则值越高，而值越高，则可以说检查图像19与病例图像21的相似性越高。然后，比PxyA/NPxyA～PxyH/NPxyH的总乘积即相似度S是综合性地考虑了各种病变的图案的检查图像19与病例图像21之间的并存概率Pxy和非并存概率NPxy的值，所以是表示检查图像19与病例图像21的综合的相似性的指标。可以说相似度S越高，则检查图像19与病例图像21综合来说相似性越高。

在图13中，列表67在开头具有顺序的项目，并具有病例图像21的图像ID与相似度S的项目。在列表67的各项中，作为相似图像，附上切出了病例图像21的关注区域ROI的ROI图像。列表67是按相似度S的顺序对相似图像与相似度S的组进行排序而得到的，所以当然顺序第1位的图像ID“F0044”的病例图像21的相似度S在全部病例图像21中最高，随着顺序下降而相似度S也变小。

在图14中，检索结果显示窗口68具有显示作为检索图像的检查图像19以及在检查图像显示窗口30中指定的关注区域ROI的图像显示区域90、检索结果显示区域91、以及详细显示按钮92。在检索结果显示区域91中，显示列表67的内容的一部分(例如直到前面5位为止的项)，能够根据需要通过屏幕滚动条93来上下移动显示区域。

在检索结果显示区域91中，设置了用于选择列表67的各项的复选框94。如果选择该复选框94，并选择详细显示按钮92，则在与检索结果显示窗口68不同的窗口中显示关于所选择的列表67的详细的信息、例如不是ROI图像的病例图像21的整体图像、病例图像21的附带信息、特别是对病例图像21进行解读而创建的解读报告的报告ID等。关于该不同的窗口的创建以及向诊疗科终端12的发送，也与检索结果显示窗口68相同地由输出控制部65进行。病例图像21的整体图像、附带信息能够根据图像ID从病例图像DB服务器16引入到相似图像检索服务器17。

下面，参照图15以及图16，说明基于上述结构的相似图像检索服务器17的作用。首先，操作输入设备50，起动相似图像检索程序52。由此，在CPU47中构筑请求受理部60、特征量计算部61、概率计算部62、相似度计算部63、检索结果输出部64以及输出控制部65，构成相似图像检索服务器17的计算机作为相似图像检索装置发挥功能。

医师在检查图像显示窗口30中，阅览检查图像19，在希望取得检查图像19的相似图像的情况下，指定关注区域ROI并选择相似图像检索按钮38。由此，将包括检查图像19并且附上了区域信息25的相似图像的取得请求发送到相似图像检索服务器17。

如图15的步骤S100所示，在相似图像检索服务器17中，来自诊疗科终端12的相似图像的取得请求在通信部48中被接收，在请求受理部60中被受理。被受理的相似图像的取得请求的检查图像19以及区域信息25通过请求受理部60来存储到存储设备45中。

存储设备45的检查图像19以及区域信息25被特征量计算部61读出。然后，通过特征量计算部61，来计算根据区域信息25确定的关注区域ROI的特征量Zx(步骤S110)。将特征量Zx从特征量计算部61输出到概率计算部62。

由于将计算特征量Zx的区域限于如关注区域ROI那样的检查图像19的一部分的区域，所以与将检查图像19的整体设为特征量Zx的计算对象的情况相比，对特征量Zx的计算不造成处理负荷。另外，在关注区域ROI中指定病变显现的区域，所以与还包括病变以外的区域地计算特征量Zx的情况相比，能够计算更加反映了病变的特征的特征量Zx。

通过概率计算部62，根据来自特征量计算部61的特征量Zx，来计算在检查图像19的关注区域ROI内存在病变的图案的概率即第1存在概率Px(步骤S120)。此时，使用根据视觉判断数据75通过统计学的方法来创建的计算式66。将第1存在概率Px从概率计算部62输出到相似度计算部63。

通过相似度计算部63，根据来自概率计算部62的第1存在概率Px以及在病例图像21中附加的第2存在概率Py，计算检查图像19与病例图像21的相似度S(步骤S130)。

在过去的诊断中，在特征量计算部61中计算病例图像21的关注区域ROI的特征量Zy，根据该特征量Zy，通过使用计算式66的统计学的方法，来在概率计算部62中事先计算出第2存在概率Py。因此，在计算相似度S时，省去计算特征量Zy以及第2存在概率Py的时间劳力，能够使相似度S的计算处理高速化。

在示出相似度S的计算步骤的图16中，如步骤S131所示，在相似度计算部63中，通过并存概率计算器80，根据各存在概率Px、Py，使用式(2-A)来计算并存概率Pxy。另外，通过非并存概率计算器81，根据各存在概率Px、Py，使用式(3-A)来计算非并存概率NPxy。将这些并存概率Pxy以及非并存概率NPxy输出到比计算器82。

通过比计算器82，来计算并存概率Pxy与非并存概率NPxy之比Pxy/NPxy(步骤S132)。将比Pxy/NPxy输出到乘法器83。

通过乘法器83，使用式(4-A)计算比Pxy/NPxy的总乘积，来作为相似度S(步骤S133)。针对在病例图像DB22中储存的全部病例图像21而计算相似度S。将相似度S从相似度计算部63输出到检索结果输出部64。

使用根据视觉判断数据75通过统计学的方法来创建的计算式66来计算第1存在概率Px，根据该第1存在概率Px、以及同样地通过统计学的方法计算出的第2存在概率Py，来计算相似度S，所以不会像以往那样相似度S的可靠性受到特征量Zx、Zy的计算精度影响。另外，视觉判断数据75表示医师等人在视觉上判断是否存在病变的图案的结果，所以也没有相似度S与人的外表产生背离的担忧。特别是在如本实施方式那样存在多种特征量Zx、Zy情况下，根据种类而其计算精度也不同，另外，根据种类而与人的外表的背离的程度也不同，所以相似度S的可靠性更容易受到特征量Zx、Zy的计算精度影响，但能够消除这样的忧虑。因此，能够向医师提供有可靠性的相似图像。

进而，不会像以往那样，在特征量Zx以及Zy在都大的值处大致一致的情况下、以及在特征量Zx以及Zy在都低的值处大致一致的情况下相似度S变得等同。具体来说，在特征量Zx以及Zy在都大的值处大致一致的情况下，并存概率Pxy变高，非并存概率NPxy变低，所以相似度S变高。另一方面，在特征量Zx以及Zy在都低的值处大致一致的情况下，并存概率Pxy变低，非并存概率NPxy变高，所以相似度S变低。因此，能够计算与希望得到检查图像19的相似图像这样的相似图像检索的目的相符的相似度S，能够向医师提供有说服力的相似图像。

计算并存概率Pxy、非并存概率NPxy以及它们的比Pxy/NPxy，进而计算比Pxy/NPxy的总乘积并将其计算结果设为相似度S，所以相似度S与并存概率Pxy和非并存概率NPxy这两者都关联，作为表示检查图像19与病例图像21的相似性的指标，能够更一步提高相似度S的可靠性。

在图15中，通过检索结果输出部64，来创建按相似度S的顺序对相似图像与相似度S的组进行排序而得到的列表67，并将所创建的列表67从检索结果输出部64输出到输出控制部65(步骤S140)。

通过输出控制部65，根据列表67来创建检索结果显示窗口68，将该检索结果显示窗口68与进行了相似图像的取得请求的诊疗科终端12的信息输出到通信部48(步骤S150)。由此，经由通信部48，向进行了相似图像的取得请求的诊疗科终端12发送检索结果显示窗口68。医师阅览检索结果显示窗口68，将其作为参考而做出明确诊断。

创建列表67并根据它来创建检索结果显示窗口68，让检索结果显示窗口68供医师的阅览，所以能够为医师做出明确诊断而提供有力的线索，即使是经验少的医师也能够进行准确度更高的诊断。

此外，在特征量Zx为1个情况下，不需要乘法器83，相似度计算部63将并存概率Pxy与非并存概率NPxy之比Pxy/NPxy作为相似度S来输出。或者，也可以将并存概率Pxy或者非并存概率NPxy的某一个作为相似度S来输出。在这种情况下，不需要并存概率计算器80或者非并存概率计算器81的某一个以及比计算器82。

在特征量Zx为多种的情况下，也可以不将并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的总乘积，而是将并存概率Pxy的总乘积(ΠPxy)、或者非并存概率NPxy的总乘积(ΠNPxy)的某一个作为相似度S来输出。

如果以上述第1实施方式为例来说明，则在将并存概率Pxy的总乘积设为相似度S的情况下，使用下式(4-B)来计算相似度S，在将非并存概率NPxy的总乘积设为相似度S的情况下，使用下式(4-C)来计算相似度S。

S＝ΠPxy＝PxyA×PxyB×PxyC×PxyD×PxyE×PxyF×PxyG×PxyH…(4-B)

S＝ΠNPxy＝NPxyA×NPxyB×NPxyC×NPxyD×NPxyE×NPxyF×NPxyG×NPxyH…(4-C)

并存概率Pxy以及非并存概率NPxy是表示检查图像19与病例图像21的相似性以及非相似性的指标，所以即使代替并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的总乘积，而将它们本身或者它们的总乘积作为相似度S也没有关系。在将并存概率Pxy与非并存概率NPxy之比Pxy/NPxy设为相似度S的情况下也一样。此外，在将非并存概率NPxy、其总乘积设为相似度S的情况下，与将并存概率Pxy、其总乘积设为相似度S的情况、将比Pxy/NPxy、其总乘积设为相似度S的情况相反，值越低则表示检查图像19与病例图像21的相似性越高。

另外，也可以代替并存概率Pxy的总乘积、非并存概率NPxy的总乘积、或者并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的总乘积，将并存概率Pxy的对数的总和(ΣlogPxy)、非并存概率NPxy的对数的总和(ΣlogNPxy)、或者并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的对数的总和(Σlog(Pxy/NPxy))作为相似度S来输出。在在这种情况下，代替乘法器83而设置对数加法器。

如果再次以上述第1实施方式为例来说明，则在将并存概率Pxy的对数的总和设为相似度S的情况下，使用下式(4-D)来计算相似度S，在将非并存概率NPxy的对数的总和设为相似度S的情况下，使用下式(4-E)来计算相似度S，在将并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的对数的总和设为相似度S的情况下，使用下式(4-F)来计算相似度S。

S＝ΣlogPxy＝logPxyA+logPxyB+logPxyC+logPxyD+logPxyE+logPxyF+logPxyG+logPxyH…(4-D)

S＝ΣlogNPxy＝logNPxyA+logNPxyB+logNPxyC+logNPxyD+logNPxyE+logNPxyF+logNPxyG+logNPxyH…(4-E)

S＝Σlog(Pxy/NPxy)＝Σ(logPxy-logNPxy)＝(logPxyA-logNPxyA)+(logPxyB-logNPxyB)+(logPxyC-logNPxyC)+(logPxyD-logNPxyD)+(logPxyE-logNPxyE)+(logPxyF-logNPxyF)+(logPxyG-logNPxyG)+(logPxyH-logNPxyH)…(4-F)

并存概率Pxy的对数的总和、非并存概率NPxy的对数的总和以及并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的对数的总和与在总乘积的情况下同样地，是表示检查图像19与病例图像21的相似性的指标，在并存概率Pxy的对数的总和以及并存概率Pxy与非并存概率NPxy之比Pxy/NPxy的对数的总和的情况下，值越高，则可以说检查图像19与病例图像21的相似性越高，在非并存概率NPxy的对数的总和的情况下，相反地值越低，则可以说检查图像19与病例图像21的相似性越高。

在上述第1实施方式中，按照事先在特征量计算部61以及概率计算部62中计算病例图像21的特征量Zy以及第2存在概率Py来进行了说明，但也可以在与相似图像检索服务器17不同的装置中计算病例图像21的特征量Zy或者第2存在概率Py。在这种情况下，既可以通过与第1存在概率Px相同的统计学的方法来计算第2存在概率Py，也可以通过与第1存在概率Px不同的统计学的方法来计算第2存在概率Py。另外，按照将事先计算出的第2存在概率Py作为病例图像21的附带信息储存在病例图像DB22中来进行了说明，但也可以在每次计算相似度S时，计算第2存在概率Py。这样的话，不需要将第2存在概率Py储存到病例图像DB22中，所以相应地在病例图像DB22的容量中产生富余，能够存储更多的病例图像21。

[第2实施方式]

如上述第1实施方式那样，当在并存概率Pxy的计算中使用式(2-A)的情况下，在将第1存在概率Px例如设为0.8时的针对各第2存在概率Py的并存概率Pxy如图17A所示。即，第2存在概率Py越高，则并存概率Pxy越高，检查图像19与病例图像21的相似性也越高。

在这里，各存在概率Px、Py通过统计学的方法来同样地计算，所以可以说在各存在概率Px、Py的值较接近时，检查图像19与病例图像21的相似性较高。进一步地说，如果各存在概率Px、Py的值都较高且相同，则可以说检查图像19与病例图像21大致一致。关于作为各存在概率Px、Py的基础的各特征量Zx、Zy，也可以说大致相同。即，根据各特征量Zx、Zy的值、其范围，有时可以说在各特征量Zx、Zy的值较接近时，检查图像19与病例图像21的相似性较高。特别是在各特征量Zx、Zy的值都较大且接近的情况下，检查图像19与病例图像21的相似性高的可能性大。这样，如果考虑各存在概率Px、Py以及作为它们的基础的各特征量Zx、Zy的值的接近度来判断检查图像19与病例图像21的相似性，则能够进行更适当的相似图像的检索。然而，在图17A所示的例子中，没有考虑各存在概率Px、Py以及各特征量Zx、Zy的值的接近度来判断检查图像19与病例图像21的相似性，所以在第2存在概率Py与第1存在概率Px同为0.8的情况下的并存概率Pxy为0.64，其值低于在第2存在概率Py为1.0的情况下的并存概率Pxy(0.8)、以及在第2存在概率Py为0.9的情况下的并存概率Pxy(0.72)。因此，在第2存在概率Py为0.8的情况下，尽管检查图像19与病例图像21的相似性更高，但仍判断为相似性比在第2存在概率Py为1.0、0.9的情况下更低。

因此，在本实施方式中，考虑各存在概率Px以及Py的值的接近度来判断检查图像19与病例图像21的相似性，计算并存概率Pxy，以便合理地判断与检查图像19的相似性更高的病例图像21。具体来说，通过下式(2-B)，来计算并存概率Pxy。

Pxy＝Px×min(Px，Py)…(2-B)

式(2-B)的右边的min(Px，Py)表示各存在概率Px与Py中的最小值(minimum)、即各存在概率Px与Py中的值较低的一方。在各存在概率Px与Py为相同值的情况下，min(Px，Py)＝Px＝Py。在使用该式(2-B)的情况下，在与图17A相同地将第1存在概率Px设为0.8时的针对各第2存在概率Py的并存概率Pxy如图17B所示。即，在第2存在概率Py为0.8的情况下，以及在第2存在概率Py为1.0、0.9的情况下，并存概率Pxy的值同为0.64。因此，在各存在概率Px、Py为相同值的情况下，能够判断为检查图像19与病例图像21具有与第2存在概率Py高于第1存在概率Px的情况相同的相似性。

与并存概率Pxy同样地，针对非并存概率NPxy，在各存在概率Px、Py为相同值的情况下，也能够判断为检查图像19与病例图像21的相似性更高，所以通过下式(3-B)、(3-C)来计算。

在Px>0.5的情况下，NPxy＝Px×{1-min(Px，Py)}+(1-Px)×Py…(3-B)

在Px≤0.5的情况下，NPxy＝Px×(1-Py)+(1-Px)×max(Px，Py)…(3-C)

式(3-C)的右边的max(Px，Py)表示各存在概率Px与Py中的最大值(maximum)、即各存在概率Px与Py中的值较高的一方。在各存在概率Px、Py为相同值的情况下，max(Px，Py)＝Px＝Py。

图18A、图18B分别示出在使用上述第1实施方式的式(3-A)的情况、以及在使用式(3-B)的情况下的、将第1存在概率Px设为0.8(符合于Px>0.5的情况)时的针对各第2存在概率Py的非并存概率NPxy。在使用式(3-A)的图18A中，非并存概率NPxy在第2存在概率Py为1.0的情况下最低，检查图像19与病例图像21的相似性也最高。与此相对地，在使用式(3-B)的图18B中，非并存概率NPxy在第2存在概率Py与第1存在概率Px同为0.8的情况下最低，检查图像19与病例图像21的相似性也最高。

另外，图19A、图19B分别示出在使用上述第1实施方式的式(3-A)的情况、以及在使用式(3-C)的情况下的、在将第1存在概率Px设为0.3(符合于Px≤0.5的情况)时的针对各第2存在概率Py的非并存概率NPxy。在使用式(3-A)的图19A中，非并存概率NPxy在第2存在概率Py为0.1的情况下最低，检查图像19与病例图像21的相似性也最高。与此相对地，在使用式(3-C)的图19B中，非并存概率NPxy在第2存在概率Py与第1存在概率Px同为0.3的情况下最低，检查图像19与病例图像21的相似性也最高。因此，在各存在概率Px、Py为相同值的情况下，能够判断为检查图像19与病例图像21的相似性最高。

[第3实施方式]

在上述第1实施方式中，计算检查图像19、与在病例图像DB22中储存的全部病例图像21的分别的相似度S。因此，在病例图像21的量较大的情况下，直到输出检索结果为止需要大量的时间。

因此，在本实施方式中，将与检查图像19明显没有相似性的病例图像21从相似度S的计算对象中排除，缩短检索结果的输出所需要的时间。

在图20中，在本实施方式的相似图像检索服务器17的CPU100中，除了上述第1实施方式的各部60～65(除概率计算部62以及相似度计算部63以外未图示)之外，还构筑过滤处理部101。过滤处理部101具有排除范围计算器102与比较判定器103。排除范围计算器102根据关系式104以及阈值ρ，计算第2存在概率Py的排除范围。排除范围计算器102将所计算出的排除范围输出到比较判定器103。

比较判定器103对来自排除范围计算器102的排除范围、与来自病例图像DB服务器16的病例图像21中附加的第2存在概率Py进行比较。比较判定器103将第2存在概率Py是排除范围的病例图像21从在相似度计算部63中计算相似度S的候补中排除。具体来说，比较判定器103将第2存在概率Py是排除范围的病例图像21的图像ID等信息作为判定结果来输出到相似度计算部63。相似度计算部63根据来自比较判定器103的判定结果，将第2存在概率Py是排除范围的病例图像21排除而计算相似度S。

对排除范围计算部102提供的关系式104例如如以下所示。

并存概率Pxy与非并存概率NPxy的差分NPxy-Pxy表示检查图像19与病例图像21的非相似性。如式(5)所示，在该差分大于阈值ρ的情况下，即在检查图像19与病例图像21的非相似性较高的情况下，无需计算相似度S就能够判断为检查图像19与病例图像21的相似性低。

NPxy-Pxy>ρ…(5)

在式(5)中，如果代入式(2-A)以及式(3-A)，并关于第2存在概率Py进行求解，则得到下式(6)。

Py>(ρ-Px)/(1-3Px)…(6)

式(6)在Px＝1/3时为不确定，在Px<1/3时右边的分母为正，在Px>1/3时右边的分母为负，所以区分Px<1/3时和Px>1/3时的情况，设为下式(7-A)以及(7-B)。

在Px<1/3的情况下，Py>(ρ-Px)/(1-3Px)…(7-A)

在Px>1/3的情况下，Py<(ρ-Px)/(1-3Px)…(7-B)

将这些式(7-A)以及(7-B)用作关系式104。

排除范围计算部102通过在式(7-A)以及(7-B)中代入阈值ρ与第1存在概率Px的值来计算排除范围。阈值ρ被预先设定，或者经由输入设备50来输入。第1存在概率Px从概率计算部62提供。例如，在阈值ρ＝0.6、第1存在概率Px＝0.8(符合于Px>1/3的情况)的情况下，根据式(7-B)，第2存在概率Py的排除范围如下。

Py<(0.6-0.8)/(1-3·0.8)≈0.143。在这种情况下，比较判定器103将第2存在概率Py比0.143低的病例图像21从相似度S的计算候补中排除。

另外，在阈值ρ＝0.6、第1存在概率Px＝0.1(符合于Px<1/3的情况)的情况下，根据式(7-A)，第2存在概率Py的排除范围如下。

Py>(0.6-0.1)/(1-3·0.1)≈0.714

在这种情况下，比较判定器103将第2存在概率Py比0.714高的病例图像21从相似度S的计算候补中排除。

此外，虽然省略图示，但排除范围计算器102以及比较判定器103与各特征量计算器61A～61H、各并存概率计算器80A～80H、各非并存概率计算器81A～81H、各比计算器82A～82H同样地，与多种病变对应地设置有多个。排除范围计算部102计算与各种病变的图案对应的第2存在概率PyA、PyB、PyC、…的排除范围，比较判定器103对与各种病变的图案对应的排除范围、和与各种病变的图案对应的第2存在概率PyA、PyB、PyC、…进行比较。比较判定器103当在与各种病变的图案对应的第2存在概率PyA、PyB、PyC，…中即使有1个是排除范围的情况下，也将该病例图像21从相似度S的计算候补中排除。

对排除范围计算部102提供的关系式104是一种，仅有所代入的第1存在概率Px的值根据病变的图案的种类而不同。另外，阈值ρ既可以是无论病变的图案的种类如何都是相同值，也可以根据病变的图案的种类而变更。

将第2存在概率Py是排除范围的病例图像21从相似度S的计算候补中排除，所以能够使相似度S的计算处理高速化。

将在式(5)中代入式(2-A)以及式(3-A)而求出的式(7-A)、(7-B)作为关系式104而提供给排除范围计算器102，但也可以将在式(5)中代入式(2-B)以及式(3-B)、(3-C)而求出的关系式提供给排除范围计算器102。另外，也可以简单地针对第1存在概率Px与第2存在概率Py的差分的绝对值|Px-Py|而设定排除范围。例如，将满足|Px-Py|>0.5的第2存在概率Py的病例图像21从相似度S的计算候补中排除。

在上述各实施方式中，通过基于来自诊疗科终端12的相似图像的取得请求来进行相似图像检索的相似图像检索服务器17的形式来说明了本发明的相似图像检索装置，但也可以取消相似图像检索服务器17，而使诊疗科终端12担负相似图像检索装置的功能。在这种情况下，在诊疗科终端12的CPU中，构筑请求受理部60以外的上述各部61～65，诊疗科终端12访问到病例图像DB服务器16等而进行相似图像的检索处理。

检查图像DB服务器15、病例图像DB服务器16以及相似图像检索服务器17既可以如上述各实施方式那样通过单独的服务器来构成，也可以整合到1个服务器中。

计算机***的硬件结构能够进行各种变形。例如，也能够以提高处理能力、可靠性为目的，由作为硬件而相分离的多台服务器计算机构成相似图像检索服务器17。具体来说，使3台服务器计算机分散地担当特征量计算部61、概率计算部62与相似度计算部63。这样，计算机***的硬件结构能够根据处理能力、安全性、可靠性等所要求的性能而适当变更。进而，不限于硬件，针对相似图像检索程序52等应用程序，当然也能够以确保安全性、可靠性为目的，进行二重化，或者分散地储存在多个存储设备中。

在上述各实施方式中，例示在医疗施设中构筑的医疗信息***2，通过在1个医疗施设内利用相似图像检索服务器17的形式来进行了说明，但也可以将相似图像检索服务器17设为多个医疗施设能够利用的形式。

在上述各实施方式中，相似图像检索服务器17是经由LAN可通信地连接在1个医疗施设内设置的诊疗科终端12等客户终端，根据来自客户终端的请求而提供相似图像检索这样的应用服务的形式。为了能够在多个医疗施设中利用它，使相似图像检索服务器17经由例如因特网、公共通信网等WAN(WideAreaNetwork，广域网)而与在多个医疗施设中设置的各客户终端可通信地连接。然后，经由因特网、公共通信网等WAN而在相似图像检索服务器17中受理来自多个医疗施设的各客户终端的请求，针对各客户终端提供相似图像检索的应用服务。此外，在利用WAN的情况下，考虑信息安全性，优选构筑VPN(VirtualPrivateNetwork，虚拟专用网络)，或者使用HTTPS(HypertextTransferProtocolSecure，安全超文本传输协议)等安全性等级高的通信协议。

在这种情况下的相似图像检索服务器17的设置场所以及运营主体既可以是例如与医疗施设不同的公司运营的数据中心，也可以是多个医疗施设中的一个。

本发明不限于上述各实施方式，只要不脱离本发明的主旨，当然就能够采用各种结构。例如，在相似图像的取得请求中作为检索图像而包括的检查图像19既可以是一个，也可以是多个。在是多个的情况下，针对每个检查图像19而附上区域信息25。

也可以针对1个检查图像19、病例图像21而指定多个关注区域ROI。在这种情况下，针对被指定的多个关注区域ROI而分别计算各特征量Zx、Zy、各存在概率Px、Py以及相似度S，检索结果也针对多个关注区域ROI的每一个而相区分地输出。另外，关注区域ROI既可以如上述各实施方式那样由医师通过手动来指定，也可以对检查图像19进行图像解析而自动地指定关注区域ROI。

进而，作为检查图像也可以是通过超音波探测器、电子内窥镜、***X射线照相这样的其他医疗器械进行摄影得到的图像。

在上述各实施方式中，在相似图像检索服务器17中，受理了包括检查图像19的整体图像与区域信息25的相似图像的取得请求，但也可以代替检查图像19的整体图像与区域信息25，将包括切出了检查图像19的关注区域ROI的ROI图像的相似图像的取得请求从诊疗科终端12发送到相似图像检索服务器17。在这种情况下，不需要在相似图像的取得请求中包括区域信息25。这样，检索图像既可以是检查图像19的整体图像，也可以是切出了检查图像19的一部分的区域的图像。

在上述各实施方式中，作为检索图像例示了检查图像19、作为案例图像例示了病例图像21、作为图案例示了病变的图案，但本发明不限定于此。检索图像以及案例图像也可以是通过数码相机进行摄影得到的图像等任意的图像，图案也可以是脸的部分等任意的图案。

也能够适当组合上述的各种实施方式、各种变形例。另外，本发明除了程序之外，还涉及存储程序的非临时性的计算机可读存储介质。

Claims (20)

1.一种相似图像检索装置，从多个案例图像中检索与检索图像相似的相似图像，所述相似图像检索装置的特征在于，具备：

特征量计算部，通过解析所述检索图像，来计算与预先登记的图案对应的特征量；

概率计算部，根据由所述特征量计算部计算出的所述特征量，通过统计学的方法来计算在所述检索图像内存在所述图案的第1存在概率；以及

相似度计算部，根据由所述概率计算部计算出的所述第1存在概率以及针对所述多个案例图像而计算出的在所述案例图像内存在所述图案的第2存在概率，计算所述检索图像与所述多个案例图像的每一个之间的相似度。

2.根据权利要求1所述的相似图像检索装置，其特征在于，

所述概率计算部使用如下的计算式：根据人在视觉上判断出的学习用图像内的所述图案的有无与所述特征量的关系并通过所述统计学的方法来预先创建，将所述特征量设为变量来计算所述第1存在概率。

3.根据权利要求1或2所述的相似图像检索装置，其特征在于，

所述相似度计算部根据所述第1存在概率以及所述第2存在概率，计算并存概率或者非并存概率中的至少一个，所述并存概率是所述图案存在于所述案例图像以及所述检索图像这两者中的概率，所述非并存概率是所述图案仅独立地存在于所述案例图像以及所述检索图像中的一个的概率。

4.根据权利要求3所述的相似图像检索装置，其特征在于，

所述相似度计算部计算所述并存概率或者所述非并存概率来作为所述相似度，

所述并存概率越高，则判断为所述案例图像与所述检索图像的相似性越高，或者所述非并存概率越高，则判断为所述案例图像与所述检索图像的相似性越低。

5.根据权利要求3所述的相似图像检索装置，其特征在于，

所述相似度计算部计算所述并存概率与所述非并存概率之比来作为所述相似度，

所述比越高，则判断为所述案例图像与所述检索图像的相似性越高。

6.根据权利要求3所述的相似图像检索装置，其特征在于，

所述图案有多种，

所述相似度计算部计算多种所述图案各自的所述并存概率或者所述非并存概率，

对所计算出的所述并存概率的总乘积或所述并存概率的对数的总和、或者所述非并存概率的总乘积或所述非并存概率的对数的总和进行计算来作为所述相似度，

所述并存概率的总乘积或所述并存概率的对数的总和越高，则判断为所述案例图像与所述检索图像的相似性越高，或者所述非并存概率的总乘积或所述非并存概率的对数的总和越高，则判断为所述案例图像与所述检索图像的相似性越低。

7.根据权利要求3所述的相似图像检索装置，其特征在于，

所述图案有多种，

所述相似度计算部计算多种所述图案各自的所述并存概率与所述非并存概率之比，

对所计算出的所述比的总乘积或者所述比的对数的总和进行计算来作为所述相似度，

所述比的总乘积或者所述比的对数的总和越高，则判断为所述案例图像与所述检索图像的相似性越高。

8.根据权利要求3所述的相似图像检索装置，其特征在于，

在将所述第1存在概率设为Px，将所述第2存在概率设为Py并且将所述并存概率设为Pxy的情况下，

Pxy＝Px×Py。

9.根据权利要求3所述的相似图像检索装置，其特征在于，

在将所述第1存在概率设为Px，将所述第2存在概率设为Py并且将所述非并存概率设为NPxy的情况下，

NPxy＝Px×(1-Py)+(1-Px)×Py。

10.根据权利要求3所述的相似图像检索装置，其特征在于，

在将所述第1存在概率设为Px，将所述第2存在概率设为Py，将Px与Py中的最小值设为min(Px，Py)并且将所述并存概率设为Pxy的情况下，

Pxy＝Px×min(Px，Py)。

11.根据权利要求3所述的相似图像检索装置，其特征在于，

在将所述第1存在概率设为Px，将所述第2存在概率设为Py，将Px与Py中的最小值设为min(Px，Py)，将Px与Py中的最大值设为max(Px，Py)并且将所述非并存概率设为NPxy的情况下，

在Px>0.5的情况下，NPxy＝Px×{1-min(Px，Py)}+(1-Px)×Py，

在Px≤0.5的情况下，NPxy＝Px×(1-Py)+(1-Px)×max(Px，Py)。

12.根据权利要求1或2所述的相似图像检索装置，其特征在于，具备：

过滤处理部，对所述第2存在概率的排除范围与所述第2存在概率进行比较，将所述第2存在概率是所述排除范围的所述案例图像从在所述相似度计算部计算所述相似度的候补中排除。

13.根据权利要求12所述的相似图像检索装置，其特征在于，

所述过滤处理部根据将所述第1存在概率设为变量的、所述第1存在概率与所述第2存在概率的关系式，计算所述排除范围。

14.根据权利要求1或2所述的相似图像检索装置，其特征在于，

所述特征量计算部计算所述检索图像的一部分区域的所述特征量。

15.根据权利要求1或2所述的相似图像检索装置，其特征在于，

所述特征量计算部还计算所述案例图像的特征量。

16.根据权利要求1或2所述的相似图像检索装置，其特征在于，

所述概率计算部还计算所述第2存在概率。

17.根据权利要求1或2所述的相似图像检索装置，其特征在于，具备：

检索结果输出部，输出所述相似图像与所述相似度的组来作为所述相似图像的检索结果。

18.根据权利要求17所述的相似图像检索装置，其特征在于，

所述检索结果输出部输出按所述相似度的顺序对多个所述相似图像与所述相似度的组进行排序而得到的列表。

19.根据权利要求1或2所述的相似图像检索装置，其特征在于，

所述检索图像是在患者的诊断中使用的检查图像，所述案例图像是作为过去在诊断中使用的所述检查图像的病例图像，所述图案是表示所述患者的疾病症状的病变图案。

20.一种相似图像检索装置的工作方法，该相似图像检索装置从多个案例图像中检索与检索图像相似的相似图像，所述相似图像检索装置的工作方法的特征在于，具备：

特征量计算步骤，通过特征量计算部，解析所述检索图像，计算与预先登记的图案对应的特征量；

概率计算步骤，通过概率计算部，根据在所述特征量计算步骤中计算出的所述特征量，通过统计学的方法来计算在所述检索图像内存在所述图案的第1存在概率；以及

相似度计算步骤，通过相似度计算部，根据在所述概率计算步骤中计算出的所述第1存在概率以及针对所述多个案例图像而计算出的在所述案例图像内存在所述图案的第2存在概率，来计算所述检索图像与所述多个案例图像的每一个之间的相似度。