CN113712594B - 医用图像处理装置以及医用摄像装置 - Google Patents

Abstract

本发明在乳癌检诊中进行实时且高精度的病变检测辅助，降低医疗从业人员的负担。处理医用图像的图像处理装置具备：检测部，检测病变候选区域；妥当性评价部，使用与检测到的病变候选区域对应的正常组织区域评价病变候选区域的妥当性；以及显示部，使用评价结果决定向用户的显示内容。

Description

医用图像处理装置以及医用摄像装置

技术领域

本发明涉及医用图像诊断装置中的病变检测技术，特别涉及误检测的抑制。

背景技术

在近年的乳癌检诊中，除了以往的乳腺摄影术以外，还正在推进基于超声波诊断装置的检诊的并用。超声波检查需要解读大量的超声波图像，且医疗从业人员的负担大，因此期待基于计算机的检测辅助技术(CADe：Computer-Aided Detection，计算机辅助检测)的开发。

***超声波图像除了病变的种类以外，还根据被检查者的年龄、检查者的经验、摄像装置的机种等呈现各种各样的外观，因此在医用图像中，检测难度也高。特别是，呈现病变状的区域也存在于正常组织内，因此存在误检测多的倾向。为了防止检查者的检诊效率下降，在将CADe应用于***超声波图像时，重要的是抑制机械的误检测。

作为一般的物体检测中的误检测抑制技术，在专利文献1中公开了使用前景和背景的差分、检测矩形的纵横比的变动量来确定误检测的方法。此外，作为抑制***超声波图像中的病变的误检测的技术，在专利文献2中公开了如下的方法，即，在检测病变候选区域的同时掌握***内的解剖学构造，并根据两者的相关性判定是否有对检测结果进行医学诊断的价值。

在先技术文献

专利文献

专利文献1：日本特开2018-190132号公报

专利文献2：日本特开2015-154918号公报

发明内容

发明要解决的课题

在专利文献1所记载的基于背景差分的误检测抑制方法中，使用图像内的前景以外的区域作为背景区域。但是，在***超声波图像中，乳腺仅存在于图像内的特定的区域，因此难以根据检测到的乳腺的病变与除此以外的区域的差分判定误检测，难以进行适当的误检测的抑制。此外，考虑到***超声波图像复杂且不清晰，并且进行如专利文献2所公开的那样的解剖学构造的分析需要处理成本，因此难以进行实时的检测辅助。

用于解决课题的技术方案

本发明考虑到病变组织与其周边的正常组织的构造上的特征，在分析对象图像中，决定与检测到的病变候选区域对应的正常组织区域，并使用决定的正常组织区域的信息评价病变候选区域的妥当性。

即，本发明的医用图像处理装置具备：检测部，检测病变候选区域；以及妥当性评价部，使用与检测到的病变候选区域对应的正常组织区域，评价病变候选区域的妥当性。

例如，本发明的医用图像处理装置具备对医用图像摄像装置所获取的医用图像进行处理的图像处理部，所述图像处理部具备：检测部，从所述医用图像检测病变候选区域；以及妥当性评价部，评价所述检测部的检测结果的妥当性，所述妥当性评价部具有：正常组织提取部，使用所述检测部所检测到的病变候选区域的位置信息，从所述医用图像提取正常组织区域；以及特征提取部，计算表示所述病变候选区域以及所述正常组织区域的特征之差的变动特征量，并使用所述特征提取部所计算出的变动特征量进行所述检测结果的妥当性的评价。

此外，本发明的医用摄像装置具备获取医用图像的摄像部和进行摄像部所获取的医用图像的分析的图像处理部，所述图像处理部具备上述的医用图像处理装置的结构。医用摄像装置例如为超声波摄像装置。

发明效果

根据本发明，能够在医用图像中的病变检测中降低误检测，并能够提高操作者的检诊效率。

附图说明

图1是示出包含本发明的医用图像处理装置的医用摄像装置的整体结构的图。

图2是示出摄像部为超声波摄像装置的情况下的整体结构的图。

图3是示出将超声波摄像装置和图像处理装置经由网络等连接的结构例的图。

图4是示出各实施方式中公共的图像处理装置的结构例的图。

图5是示出医用图像处理装置的处理的概要的图。

图6是示出实施方式1的妥当性评价部的结构例的图。

图7是示出实施方式1的妥当性评价部的处理的流程的图。

图8是用于说明实施方式1中的病变候选区域以及正常组织区域的提取处理以及每个区域的时间序列的差分处理的图。

图9是说明实施方式1中的病变-正常组织变动特征量的计算处理的图。

图10是说明实施方式1中的病变候选区域的妥当性的评价方法的一个例子的图。

图11是示出实施方式1中的显示部的显示例的图。

图12是示出实施方式1中的显示画面的一个例子的图。

图13是说明实施方式1的变形例的图。

图14是示出实施方式2的妥当性评价部的结构例的图。

图15是说明实施方式2中的正常组织区域的提取和其修正处理的图。

图16是示出实施方式3的妥当性评价部的结构例的图。

图17是说明实施方式3中的下层部区域的变动特征量的计算的图。

图18是示出实施方式4的妥当性评价部的结构例的图。

图19是示出实施方式4的处理的流程的图。

图20是示出继图19的处理之后的实施方式4的处理的流程的图。

附图标记说明

100：摄像部；

200：数据处理部；

210：图像处理部；

220：输入部；

230：输出部；

240：存储装置；

410：检测部；

420：妥当性评价部；

430：显示控制部；

421：正常组织区域提取部；

422：特征提取部；

423：评价部；

424：层构造分析部；

425：下层部区域提取部；

426：下层部区域特征提取部；

427：病变候选区域提取部；

71：病变；

710：病变候选区域；

720：正常组织区域。

具体实施方式

以下，参照附图对本发明的实施方式的医用图像处理装置进行说明。在本说明书中参照的全部附图中，对相同的要素标注相同的附图标记，并省略重复的说明。在以下的实施方式中，以医用图像为超声波图像的情况为例进行说明，但是本发明的医用图像处理装置作为对象的医用图像并不限定于超声波图像而能够应用。

最初，对各实施方式中公共的医用摄像装置的实施方式进行说明。

本实施方式的医用摄像装置，如图1所示，大致划分为包含摄像部100和数据处理部200。在本实施方式中，摄像部100是使用超声波描绘出被检测体内部的构造的摄像装置，如图2所示，连接有超声波探头300，并且包含经由超声波探头300对被检测体30发送超声波信号的发送部110、接收超声波探头300所接受到的来自被检测体30的反射回波信号的接收部120、对发送部110以及接收部120的动作进行控制的超声波收发控制部130、进行超声波信号的调相的调相相加部140、超声波图像生成部150等而构成。数据处理部200包含图像处理部210、输入部220、输出部230、存储装置240。

摄像部100例如通过由超声波收发控制部130控制的发送部110经由超声波探头300对被检测体30反复发送超声波，并通过接收部120接收从被检测体30产生的时间序列的反射回波信号。反射回波信号通过调相相加部140变换为时间序列的RF信号帧数据，并通过内置有模拟数字(A/D)变换器(未图示)的超声波图像生成部150变换为超声波图像，发送到数据处理部200的图像处理部210。

图像处理部210对所发送的超声波图像进行分析，进行病变的检测、检测结果的妥当性判断等处理。输入部220包含键盘、鼠标、触摸面板、按钮等输入装置，并受理来自用户的操作。输出部230包含显示器(显示部)、打印机、扬声器等输出装置而构成，并输出由图像处理部210生成的超声波图像以及病变的检测结果。存储装置240包含磁盘、光盘等，并存储数据、所希望的程序。

数据处理部200内部的全部构成要素或包含图像处理部210的一部分构成要素能够构筑在CPU、具备GPU以及存储器的计算机、工作站上，其功能可通过CPU或者GPU读取预先被编程的软件来实现。此外，图像处理部210的一部分的功能也能够通过ASIC、FPGA等硬件来实现。这样的数据处理部200可以设置在与摄像部100相同的超声波诊断装置上，也可以除了设为与摄像部100连接的外部装置以外，还设为网络上的服务器等结构。在设为外部装置或网络上的服务器等结构的情况下，如图3所示，包含有摄像部100的超声波诊断装置10输出的超声波图像通过有线或无线通信向图像处理装置21发送，其结果根据需要再次向超声波诊断装置10内部发送。

将图像处理部210(图像处理装置21)的结构例示于图4。如图4所示，图像处理部210具备：检测部410，针对从摄像部100得到的超声波图像，检测病变候选区域；妥当性评价部420，评价检测部410检测到的病变候选区域的妥当性(检测结果的妥当性)；以及显示控制部430，使用妥当性评价部的评价结果生成病变候选区域的显示内容，并使其显示在输出部230的显示器。

参照图5的流程，对本实施方式的图像处理部210所进行的处理的概要进行说明。首先，若从摄像部100输入超声波图像(S51)，则检测部410从超声波图像检测病变候选区域(S52)。检测的方法没有限定，采用使用机器学习的检测方法。在机器学习方法中，例如已知有CNN(Convolutional Neural Network，卷积神经网络)、SVM(Support Vector Machine，支持向量机)、Adaboost等方法，能够将这些已有的学习方法中的一个或多个组合而使用。例如在CNN的情况下，检测部410通过对所输入的超声波图像重复卷积处理和池化(pooling)处理来进行特征的提取，并计算病变候选区域的位置作为输出值。此外，在CNN中，也能够将病变候选区域的概率分数作为确信度输出。病变候选区域作为包围病变的给定的形状的区域，例如矩形区域而输出。位置信息只要是能够确定病变候选区域的信息即可，如果病变候选区域是矩形，则例如作为各顶点的坐标值、区域的中心坐标与宽度以及高度的组等来获取。

接下来，妥当性评价部420评价检测部410检测到的病变候选区域的妥当性(S53)。为此，妥当性评价部420首先根据病变和产生该病变的组织的构造上的特征，将医用图像中的病变候选区域的周围的组织作为正常组织而提取，并将提取到的正常组织区域的图像的特征和检测到的病变候选区域的图像的特征进行比较，并从两者的差分判断检测结果是否妥当。该差分是表示从正常组织向病变组织的特征量的变化的指标，以下，称为病变-正常组织变动特征量或者简称为变动特征量。妥当性评价部420在变动特征量大的情况下，判断为妥当性高，在变动特征量小的情况下，判断为妥当性低。妥当性的评价可以是“高”、“低”等的定性的评价，也可以利用变动特征量的数值定量地进行评价。此外，在妥当性的判断中，在从检测部410与病变候选区域一起输出确信度的情况下，还可以将确信度也用于妥当性判断中。

显示控制部430若取得妥当性评价部420的结果，则生成在显示器显示的图像(S54)。此外，妥当性评价部420的结果根据需要可用于作为检测部410的输出的确信度的修正、更新(S55)。

以上，说明了图像处理部210所进行的处理的概要，以下，对将***超声波图像作为对象的妥当性评价部420所进行的处理的具体的实施方式进行说明。

<实施方式1>

本实施方式利用乳癌等***的恶性疾病在大多情况下产生在层状的乳腺组织的内部，且病变和正常组织在水平方向上相邻这样的构造上的特征，仅将相对病变候选区域位于水平方向上的区域作为正常组织区域而提取，并评价检测到的病变候选区域的妥当性。

图6是示出本实施方式的妥当性评价部420的结构的一个例子的图。如图所示，妥当性评价部420构成为包含：正常组织区域提取部421，从超声波图像提取用于与病变候选区域进行比较的正常组织区域；特征提取部422，计算表示病变候选区域与正常组织区域的图像特征之差的变动特征量；以及评价部423，使用计算出的变动特征量，对病变候选区域作为病变是否妥当进行评价。

本实施方式的妥当性评价部420如图7所示，在处理步骤S71中，正常组织区域提取部421将相对于检测部410所检测到的病变候选区域位于水平方向上的两侧的区域作为正常组织区域而提取。接着，特征提取部422在处理步骤S72中，计算病变候选区域以及正常组织区域的相邻帧之间的差分，进而，在处理步骤S73中，从计算出的病变候选区域与正常组织区域的差分中提取变动特征量。最后，在处理步骤S74中，评价部423根据计算出的变动特征量评价病变候选区域的妥当性。妥当性评价部420的结果被传递到显示控制部430，生成在显示器显示的显示图像。以下，参照图8～图10对各处理的具体的内容进行说明。在这些附图中，对相同的要素标注相同的附图标记，并省略重复的说明。

[正常组织区域提取：S71]

将在处理步骤S71中从***超声波图像700提取病变候选区域710和正常组织区域720的处理的一个例子示于图8的(A)。如图8的(A)所示，***超声波图像700例如包含皮肤72、脂肪73、乳腺74、胸大肌75、病变71等而构成，并示出层状的构造。病变71典型地存在于乳腺74内。因此，针对***超声波图像700，将相对于检测部410所检测到的病变候选区域710在水平方向上扩展的区域作为正常组织区域720而提取。水平方向上的宽度可以是图像的水平方向上的整个宽度，也可以是与病变候选区域710的宽度对应的给定的宽度。

[特征提取：S72]

处理步骤S72是为了强调病变组织与正常组织的图像的特征之差而特征提取部422进行的处理，如图8的(B)所示，针对病变候选区域710以及正常组织区域720计算与一帧前的超声波图像700B中的同一位置的区域的差分800。若获取帧之间的差分，则亮度值大致成为零，但是在如乳腺组织这样在水平方向上成为层状的组织中，帧之间的变化在水平方向上成为细长的图像而出现。另一方面，在如肿瘤那样的病变组织中没有层状的特征，因此不出现这样的细长的图像。

[变动特征量计算：S73]

在该处理步骤S73中，使用差分图像计算病变-正常组织的变动特征量。在图9示出处理的一个例子。作为用于计算变动特征量的图像的特征量，能够将各区域的亮度分布、边缘、纹理特征、频率特征等中的一个或多个组合而使用，但是在此，利用边缘和亮度来计算变动特征量。如图8所示，在差分800中，边缘主要在乳腺区域(正常组织区域)作为细长的图像而出现。为了强调这样的乳腺的水平方向上的亮度变动，特征提取部422针对差分800在垂直方向上提取边缘。在边缘提取中，能够将一阶微分滤波器、普鲁伊特(Prewitt)滤波器、索贝尔(Sobel)滤波器、二阶微分滤波器、拉普拉斯(Laplacian)滤波器中任一个或者多个滤波器组合而使用。在本实施方式中，使用索贝尔滤波器。

接下来，特征提取部422针对边缘提取后的病变候选区域710计算亮度的平均，并作为病变特征量910。在计算亮度的平均时，可以使用病变候选区域的整体的亮度，但是也可以将计算范围限定在病变存在的病变候选区域710的中心部。由此，能够更稳定地提取病变内部的特征。接着，对边缘提取后的正常组织区域720也计算亮度的平均920。在图示的例子中，由于在病变候选区域710的水平方向两侧存在正常组织区域，所以按每个左右分别计算左方正常组织特征量920-L、右方正常组织特征量920-R。最后，分别计算病变特征量910与左方正常组织特征量920-L的差分、病变特征量910与右方正常组织特征量920-R的差分，并将对它们的绝对值进行了平均后的值作为病变-正常组织变动特征量。

[妥当性评价：S74]

评价部423使用在处理步骤S73中计算出的变动特征量来评价妥当性。评价的方法也可以仅使用变动特征量来判断为变动特征量越大妥当性越高、变动特征量越小妥当性越低，但是在检测部410(例如CNN)与病变候选区域一起输出确信度的情况下，也能够与变动特征量一起评价确信度。

图10作为一个例子示出使用变动特征量和检测部410所输出的确信度来评价妥当性的情况。图10所示的曲线图的横轴为变动特征量，纵轴为确信度，分别是任意单位。在该例子中，对确信度设定上限阈值1002和下限阈值1001，并在从该下限到上限之间，用确信度与变动特征量成为正比例的关系的线段来划分区域，并在确信度与变动特征量分布在上侧的区域1004时评价为妥当性高，在分布在下侧(灰色的区域)1003时评价为妥当性低。通常，在变动特征量高且确信度低的情况下，作为病变候选而检测到的区域是阴影等非病变且误检测(False Positive，假阳性)与左右不同形态的区域的可能性高。在该评价方法中，在确信度方向的范围设置下限阈值1001，由此排除这样的可能性。上限阈值1002以及下限阈值1001取0以上且1以下的值。

此时，在评价为妥当性低(变动特征量小)时，也可以进行确信度的修正(图5：S55)。例如在确信度为80％的情况下，也可以将对作为检测部410的检测结果而显示的确信度的值(80％)乘以与变动特征量成比例的系数a而得到的值作为确信度而显示。

最后，将评价结果和确信度向输出部230(显示器)输出，并提示用户(图5：S54)。向用户的提示的方法没有特别限定，但是以下，将显示的具体例示于图11以及图12。

图11是示出显示控制部430生成的检测结果的显示内容的例子的图。显示控制部430根据评价部423的评价结果决定向用户的显示内容。在评价结果高的情况下，提示表示病变候选区域的存在的标识，在低的情况下，不提示。标识可以使用重叠在病变71的形状或者轮廓形状1101、包围病变71的矩形1102、圆形或椭圆形1103、表示病变的箭头1104等。此外，也可以将确信度作为字符串1105显示在标识的附近。此外，也可以显示将标识的不透明度(％)置换为确信度的百分比的标识1106。此外，代替显示表示位置的标识，也可以显示表示从该图像内检测到病变候选区域710的字符串1107等。

图12是示出显示控制部430生成的妥当性评价结果的显示画面的一个例子的图，在该例子中，与显示超声波图像700的显示画面并列地显示与妥当性评价相关的信息。在超声波图像700显示有表示病变候选区域710的存在的标识1102或者字符串。妥当性的评价结果1201用“妥当性：高”等定性的表现来显示，在获取到位置信息时显示位置信息1202。在图示的例子中，位置信息1202用圆形表示***的形状，并且显示表示左右任一的图形(三角形)，并用四边的块表示作为超声波图像700而映出的区域的位置(或者正常组织区域和病变区域的位置、作为病变候选区域而检测到的位置)。由此，能够确认在左或右***的哪里检测到病变。另外，评价结果1201除了定性的表现以外，如图10所示，在组合变动特征量和确信度来评价妥当性的情况下，也可以用组合了这些数值的数值，例如加权相加后的数值来表示。

此外，也可以显示执行在妥当性的评价中使用的正常组织区域720的显示的乳腺区域显示按钮1203。若按下乳腺区域显示按钮1203，则显示表示正常组织区域720的存在的标识1204。在表示正常组织区域720的存在的标识1204中也能够利用与如图11所示的表示病变候选区域710的存在的标识1101～1106同样的标识。通过显示这样的标识，用户能够确认视为正常组织的组织的妥当性、基于此的妥当性评价结果的可靠性。

如以上说明的那样，根据本实施方式，若存在病变，则针对检测到的区域提取其水平方向上的区域并视为正常组织区域，并根据两者的特征的差分计算变动特征量，由此能够不进行解剖学分析等花费时间的分析而适当地判断包含层状组织的***中的病变检测的妥当性。由此，能够实时地降低误检测，并能够谋求操作者的检诊效率的提高。

<实施方式1的变形例>

在实施方式1中，将病变区域的水平方向上的左右的区域设为正常组织区域，并计算出该区域整体的亮度的平均值，但是为了使水平方向上的亮度特征不受损，也可以在垂直方向上分割正常组织区域，并对每个分割的区域计算亮度平均值。

即使在该情况下，也如图9所示，在帧之间按每个病变候选区域710以及正常组织区域720取得图像的差分后进行提取边缘，这一点与实施方式1相同，但是如图13所示，将病变候选区域710以及正常组织区域720分割为小区域730，并按每个小区域求出边缘提取图像中的亮度值的平均值。计算在各小区域中求出的平均值与病变候选区域的亮度值平均值的差分(绝对值)，根据各小区域的差分的绝对值的平均值计算变动特征量。或者，也可以求出正常组织区域720以及病变候选区域710各自的小区域的值(亮度平均值)的集合或者矢量，计算这些区域间的类似度，由此求出变动特征量。在该情况下，成为如下这样的关系，即，类似度越高变动特征量越小，类似度越低变动特征量越大。另外，在根据矢量计算类似度时，能够利用余弦类似度、皮尔逊(Pearson)的相关系数、斯皮尔曼(Spearman)的顺位相关系数等。此外，在根据集合计算类似度时，除了上述的类似度以外，还能够利用杰卡德(Jaccard)系数、Dice系数、辛普森(Simpson)系数等。

此外，在实施方式1中，作为特征量使用了各区域的边缘，但是作为特征量也可以将亮度分布、边缘、纹理特征、频率特征等中的一个或多个组合而利用。所谓的纹理特征，是指表示图像的某区域的质感的特征量，通过基于统计的方法以表示不均匀性的统计量来表现。

进而，在本实施方式中，作为在提取正常组织区域时考虑的构造上的特征，利用了如层状的乳腺组织那样病变与正常组织在水平方向上相邻的特征，但是在如在脏器内产生的病变那样正常组织包围病变的脏器组织等的情况下，能进行例如提取环状的区域使得包围圆形的病变候选区域并作为正常组织区域等各种变更。

<实施方式2>

即使在本实施方式中，基本上也利用组织的构造为层状来提取正常组织，但是通过考虑超声波图像的层构造的斜率，能够更正确地提取正常组织区域，并进行高精度的误检测抑制。即使在本实施方式中，装置的整体结构也与图1以及图4所示的结构相同。在图14示出本实施方式中的妥当性评价部420的结构的一个例子。在图14中，对于与图6相同的要素标注相同的附图标记，并省略说明。设本实施方式的妥当性评价部420为具备层构造分析部424的结构，该层构造分析部424从正常组织区域提取部421的输出中分析层构造，并将结果向正常组织区域提取部421输出。

妥当性评价部420所进行的处理的流程与图7所示的实施方式1的处理大致相同，但是不同点在于，在提取正常组织区域的步骤S71中，层构造分析部424进行正常组织区域提取部421所提取的区域的分析，并修正正常组织区域。以下，对层构造分析部424所进行的处理进行说明。

层构造分析部424首先对正常组织区域720进行边缘检测，然后进行斜率的计算。边缘检测如在实施方式1中参照图9说明的那样对帧之间的差分使用索贝尔滤波器提取边缘。接下来，计算所提取的边缘的斜率。斜率的计算的方法没有限定，但是作为一个例子，对使用2D-FFT(二维快速傅里叶变换)的情况进行说明。

对边缘实施2D-FFT，变换为频率区域的数据。如图15所示，边缘在频率区域的极坐标(0≤θ≤π)1501中，作为角度方向上的显著的亮度变化而出现。与成为该亮度变化的峰值的角度正交的角度为边缘的方向。因此，对成为峰值的角度减去π/2，由此能够计算层构造的斜率1502。在正常组织区域720存在于病变候选区域710的两侧的情况下，在各个区域中计算斜率。层构造分析部424将该斜率1502的绝对值与预先设定的阈值进行比较，在阈值以上的情况下，判定为在正常组织区域720中层构造倾斜，并对正常组织区域提取部421发送斜率。

正常组织区域提取部421使用所发送的斜率，使正常组织区域720变形为如与病变候选区域710的两端连续的平行四边形，作为新的正常组织区域725。另外，也可以在计算斜率时，对正常组织区域720进行上下2等分，对每一个同样地计算斜率，并将用该斜率来更新了正常组织区域720(长方形)的上下两边的角度的梯形作为新的正常组织区域。然后，根据新的正常组织区域725与病变候选区域710的特征量计算变动特征量并评价妥当性，这与实施方式1相同。

根据本实施方式，由于沿着层构造的斜率提取正常组织区域，所以能够进行精度优良的误检测抑制。

<实施方式3>

在实施方式1以及2中，将在病变区域候选的水平方向上相连的区域作为正常组织区域而提取，但是本实施方式不仅提取在病变候选区域的水平方向上相邻的区域，而且还提取下层的区域，且还利用下层的区域的变动特征量。由此能够使得进行高精度的误检测抑制。即使在本实施方式中，装置的整体结构也与图1以及图4所示的结构相同。

在图16示出本实施方式中的妥当性评价部420的结构的一个例子。在图16中，对于与图4的(B)相同的要素标注相同的附图标记，并省略说明。设本实施方式的妥当性评价部420为如下的结构，即，具备：下层部区域提取部425，从正常组织区域提取部421的输出中提取与病变候选区域的下方相邻的层构造区域；以及下层部区域特征提取部426，从下层部区域计算下层部变动特征量。

本实施方式的妥当性评价部420所进行的处理包含：除了图7所示的实施方式1的处理以外，还追加在正常组织区域的提取后对于病变候选区域以及正常组织区域的下侧也计算变动特征量(下层部变动特征量)的处理的步骤和评价部423除了特征提取部422所计算出的病变-正常组织变动特征量以外，还使用下层部变动特征量来判断检测部410所检测到的病变候选区域的妥当性的步骤。

通常，在超声波图像中，在病变的下侧的区域中，通过回波的衰减或后方散射1601，可观测与周边的组织比较而成为低亮度或高亮度等的亮度变化。因此，通过比较病变的下侧和正常组织的下侧的亮度分布，能够得到判断病变组织检测的妥当性的信息。

具体地，首先，如图17所示，下层部区域提取部425在病变候选区域710以及正常组织区域720、730的下方分别以相同的宽度设定下方区域1710、1720、1730。下方区域的高度(深度)范围可以与病变组织区域710以及正常组织区域720、730相同，也可以是预先设定的值。接下来，下层部区域特征提取部426对下层部区域提取部425所提取到的下方区域1710、1720、1730计算亮度分布的类似度。

为了计算亮度分布的类似度，首先，将病变候选区域710的下侧区域171以及正常组织区域720的下侧区域172、173分别分割为宽度例如为1像素、高度为两区域的高度的小区域，并根据各小区域内的亮度的平均值求出亮度分布1721、1711、1731。接着，对亮度分布1721、1711、1731进行平滑化以及归一化处理。在平滑化中例如可以利用移动平均滤波器、高斯滤波器、中值(Median)滤波器等中的一个或多个组合。作为归一化方法，例如使用原始的亮度平均值i’、各区域的亮度的最大值i_M、最小值i_m，如下定义某位置的被归一化后的亮度平均值i。

i＝(i’-i_m)/(i_M-i_m)

这样，对亮度分布进行了归一化，然后计算区域间的类似度。类似度的计算例如将归一化后的亮度分布(每个像素的亮度值)变换为集合或者矢量，计算类似度。类似度的计算方法能够使用在实施方式1的变形例中例示的方法，例如，如果是矢量间的类似度，则使用余弦类似度、皮尔逊的相关系数、斯皮尔曼的顺位相关系数等，如果是集合的类似度，则除了上述的类似度以外，还使用杰卡德系数、Dice系数、辛普森系数等。

下层部区域特征提取部426将该类似度变换为下层部变动特征量，并输出到评价部423。该变换是类似度越高下层部变动特征量越小，类似度越低下层部变动特征量越大的值的变换。

评价部423使用从特征提取部422得到的病变-正常组织变动特征量以及从下层部特征提取部426得到的下层部变动特征量的两者或者任一者，计算检测部410输出的病变候选区域710的病变的似然度，并评价妥当性。作为似然度的计算方法，可列举两个特征量的简单平均或使加权平均常数倍的处理。加权平均的权重等系数可以是固定值，也可以能够手动进行调整。或者，也可以在评价部423导入使用了CNN等机器学习的小规模的变换器，根据各变动特征量直接计算似然度。

如以上那样，根据本实施方式，除了正常组织区域以外，还能够将下方区域的特征用于妥当性评价中，能够进行更高精度且稳定的误检测抑制。

另外，在本实施方式的妥当性评价部的处理中，对于与实施方式1同样的处理，除了在实施方式1说明的处理以外，也还能够组合作为其变形例而说明的处理、实施方式2的方法。

<实施方式4>

在实施方式1～3中，妥当性评价部420对检测部410所检测到的病变候选组织的妥当性(Positive-true，阳性-真；Positive-false，阳性-假)进行了判断，但是本实施方式的特征在于，追加了对检测遗漏(Negative-false，阴性-假)进行判断的功能。

即使在本实施方式中，图像处理部的整体结构也与图4所示的结构相同。在图18示出本实施方式的妥当性评价部420的结构的一个例子。在本实施方式中，设为如下的结构，即，在正常组织区域提取部421之前设为具备提取病变候选区域的病变候选区域提取部427的结构。

参照图19对本实施方式的妥当性评价部420的处理的流程进行说明。在图19中，与图5相同的处理用相同的附图标记表示，并省略重复的说明。在此，作为前提，设检测部410在其内部保持多个检测结果，例如，按每帧检测到的数据、刚刚之前检测到的数据等。

首先，无论是否检测到病变候选，检测部410都将多个检测结果中确信度最高的病变候选区域的位置和确信度输出到病变候选区域提取部427(S52)。病变候选区域提取部427将这些作为最有效位置信息以及最有效确信度来取得(S531)，并判定最有效确信度是否为预先设定的阈值Th以上(S532)，如果是阈值Th以上，则将最有效位置信息直接作为病变候选区域向正常组织区域提取部421输出(向S534前进)。在最有效确信度为阈值以下的情况下且在检测部引0到之前的帧为止固定数量连续地进行了病变候选区域的检测的情况下或者存在刚刚之前的检测结果的情况下，将最有效确信度与在之前的帧检测到的病变候选的确信度或者在刚刚之前检测到的病变候选的确信度进行比较(S533)。在步骤S533中，在判断为与在此以前检测到的病变候选的确信度的差分超过固定范围的情况下，跳过步骤S534以下的步骤，转移到下一超声波图像的获取(S51)。

另一方面，在步骤S533中，在差分在固定的范围内的情况下，将在步骤S531中取得的最有效位置信息作为病变候选区域向正常组织区域提取部421输出。此时，也同时输出最有效确信度。正常组织区域提取部421使用该最有效位置信息提取正常组织区域，并与实施方式1同样地，进行基于特征提取部422的变动特征量的计算和基于评价部423的妥当性判断(S534～S536)。然后，显示控制部230根据评价结果决定向用户的显示内容(S54)。这样，即使在确信度低的情况下也不会直接跳过处理，而通过增加对与上次的差分进行判定的步骤来防止检测遗漏。

进而，在基于评价部423的判断后，病变候选区域提取部427取得评价部423的结果，根据需要进行在进行处理的跳过(超声波图像的重新获取)后使用的确信度的阈值Th的更新(S55)。将更新处理(S55)的详情示于图20。即，取得妥当性的评价结果(S551)，在评价为妥当性高的病变候选区域的确信度为给定的阈值以下的情况下(S552、S553)，在病变候选区域提取部427中将在处理的跳过的决定(S532)中使用的阈值Th更新为与确信度相同的值(S555)。由此，防止检测遗漏。但是，为了减少因阈值Th低而引起的误检测，该更新在病变候选区域提取部427中连续进行了两次跳过处理的时刻被重置(S554)，阈值返回到初始值(S556)。另外，在步骤S552、S533中，在妥当性高且确信度比给定的阈值大的情况下，如果不继续检查则结束(S556、S557)。

如以上那样，根据本实施方式，能够进行检测遗漏的抑制，并能够进行稳定的检测辅助。另外，即使在本实施方式中，步骤S534～S536的妥当性评价处理也能够将实施方式1、其变形例或者实施方式2的方法适当组合而实施。

以上，以超声波***图像的处理为例说明了本发明的医用图像处理装置以及医用摄像装置的实施方式，但是本发明的医用图像处理装置以及医用摄像装置不仅能够应用于处理超声波图像的装置，而且只要是使用CADe进行病变检测的装置，则还能够应用于X射线摄像装置、CT装置等医用图像处理装置或者医用摄像装置，能够得到同样的效果。

Claims (14)

1.一种医用图像处理装置，具备图像处理部，该图像处理部对医用图像摄像装置获取到的医用图像进行处理，所述医用图像处理装置的特征在于，

所述图像处理部具备：

检测部，从所述医用图像检测病变候选区域；以及

妥当性评价部，评价所述检测部的检测结果的妥当性，

所述妥当性评价部具有正常组织提取部和特征提取部，并使用所述特征提取部计算出的变动特征量进行所述检测结果的妥当性的评价，其中所述正常组织提取部使用所述检测部检测到的病变候选区域的位置信息，从所述医用图像提取正常组织区域，所述特征提取部计算表示所述病变候选区域以及所述正常组织区域的特征之差的所述变动特征量，

所述妥当性评价部还具备：层构造分析部，分析所述正常组织提取部提取到的正常组织区域相对于水平方向的斜率，

所述正常组织提取部使用所述层构造分析部获取到的斜率，修正正常组织区域，并传递到所述特征提取部。

2.根据权利要求1所述的医用图像处理装置，其特征在于，

所述正常组织提取部将与所述病变候选区域相邻的区域作为正常组织区域而提取。

3.根据权利要求1所述的医用图像处理装置，其特征在于，

所述正常组织提取部将针对所述病变候选区域在水平方向上相邻的区域作为正常组织区域而提取。

4.根据权利要求1所述的医用图像处理装置，其特征在于，

所述妥当性评价部具备下层部区域提取部和下层部区域特征提取部，并使用下层部变动特征量进行所述检测结果的妥当性的评价，其中所述下层部区域提取部提取所述检测部检测到的病变候选区域以及所述正常组织提取部提取到的正常组织区域的下侧的区域，所述下层部区域特征提取部对所述下层部区域提取部提取到的下层部区域，计算表示病变候选区域下层以及正常组织区域下层的特征之差的所述下层部变动特征量。

5.根据权利要求1所述的医用图像处理装置，其特征在于，

所述特征提取部将所述病变候选区域以及所述正常组织区域分别分割为小区域，并计算表示每个小区域的特征的集合或矢量，并根据针对所述病变候选区域计算出的集合或矢量与针对所述正常组织区域计算出的集合或矢量的类似度计算所述变动特征量。

6.根据权利要求1所述的医用图像处理装置，其特征在于，

所述医用图像是超声波摄像装置获取到的超声波图像。

7.根据权利要求6所述的医用图像处理装置，其特征在于，

所述特征提取部使用帧之间的所述超声波图像的差分提取所述病变候选区域以及所述正常组织区域的特征。

8.根据权利要求1所述的医用图像处理装置，其特征在于，

所述妥当性评价部还具备病变候选区域提取部，基于所述检测部的检测结果提取病变候选区域。

9.根据权利要求8所述的医用图像处理装置，其特征在于，

所述病变候选区域提取部比较针对在时间上前后获取到的医用图像的检测结果，并对评价妥当性的评价基准进行变更。

10.根据权利要求1所述的医用图像处理装置，其特征在于，

所述特征提取部通过所述医用图像的亮度、时间序列图像间的差分、边缘特征、纹理特征、频率特征中的任一个或多个的组合来计算所述变动特征量。

11.根据权利要求1所述的医用图像处理装置，其特征在于，

所述检测部包含卷积神经网络，该卷积神经网络包含多个卷积处理，该卷积神经网络输出检测到的病变候选区域的位置信息以及检测结果的确信度。

12.根据权利要求11所述的医用图像处理装置，其特征在于，

所述妥当性评价部一起使用所述变动特征量和所述检测部输出的确信度，评价所述检测结果的妥当性。

13.根据权利要求1所述的医用图像处理装置，其特征在于，

所述医用图像处理装置还具备显示控制部，该显示控制部使显示装置显示所述妥当性评价部的评价结果，

所述显示控制部使基于所述妥当性评价部的评价结果与基于所述检测部的检测结果一起显示。

14.一种医用摄像装置，具备：

摄像部，获取被检测体的医用图像；以及

图像处理部，对所述摄像部获取到的医用图像进行处理，

所述医用摄像装置的特征在于，

所述图像处理部具备：

检测部，从所述医用图像检测病变候选区域；以及

妥当性评价部，评价所述检测部的检测结果的妥当性，

所述妥当性评价部具有正常组织提取部和特征提取部，并使用所述特征提取部计算出的变动特征量进行所述检测结果的妥当性的评价，其中所述正常组织提取部使用所述检测部检测到的病变候选区域的位置信息，从所述医用图像提取正常组织区域，所述特征提取部计算表示所述病变候选区域以及所述正常组织区域的特征之差的所述变动特征量，

所述妥当性评价部还具备：层构造分析部，分析所述正常组织提取部提取到的正常组织区域相对于水平方向的斜率，

所述正常组织提取部使用所述层构造分析部获取到的斜率，修正正常组织区域，并传递到所述特征提取部。