CN109493343A - 医疗图像异常区域分割方法及设备 - Google Patents

Abstract

本发明提供一种医疗图像异常区域分割方法及设备，所述方法包括：获取医疗图像；将所述医疗图像划分为多个待分类图像块，并利用第一机器学习模型分别对各个所述待分类图像块进行分类，分类结果为正常图像块或异常图像块；分别基于所述异常图像块在所述医疗图像中取待分割图像块，并利用第二机器学习模型分别对各个所述待分割图像块进行语义分割，分割结果为异常像素点；在所述医疗图像中标注所述异常像素点。

Description

医疗图像异常区域分割方法及设备

技术领域

本发明涉及医学影像处理领域，具体涉及一种医疗图像异常区域分割方法及设备。

背景技术

在计算机视觉领域，目前热点的研究方向主要有图像识别，目标定位与检测，语义分割等。图像分割是计算机视觉至关重要的组成部分，是由图像处理到图像分析的关键步骤。

图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。语义分割是在图像分割的基础上，识别出每一块区域的语义。图像语义分割是AI领域中一个重要的分支，目前被广泛应用在地理信息***、无人车驾驶、医疗影像分析、机器人等领域中。

在一些医学图像的分析任务中，需要检测出一些病灶的区域，对该病灶区域进行分割，统计出面积等信息，能够帮助医生对疾病做出更准确的诊断。端到端的卷积神经网络依靠强大的表达能力在图像分割领域能够得到比较准确的结果。但是对于卷积神经网络等机器学习模型而言，如果前景信息只占图像区域很小的比例，则比较难训练出性能优秀的表达模型，模型的识别准确性会比较低。

医疗图像的尺寸通常较大，而一些异常区域只占非常小的比率，有些甚至小于百万分之一。现有技术利用卷积神经网络等机器学习模型对医疗图像进行识别，找到较小异常区域的准确性比较差。

发明内容

有鉴于此，本发明提供一种医疗图像异常区域分割方法，包括如下步骤：

获取医疗图像；

将所述医疗图像划分为多个待分类图像块，并利用第一机器学习模型分别对各个所述待分类图像块进行分类，分类结果为正常图像块或异常图像块；

分别基于所述异常图像块在所述医疗图像中取待分割图像块，并利用第二机器学习模型分别对各个所述待分割图像块进行语义分割，分割结果为异常像素点；

在所述医疗图像中标注所述异常像素点。

可选地，相邻的所述待分类图像块有部分重叠。

可选地，将所述医疗图像划分为多个待分类图像块，包括：

利用第一设定尺寸的滑动窗口遍历所述医疗图像取得待分类图像块，遍历过程中的滑动方向包括水平方向和竖直方向，在两个所述方向中的滑动步长均小于所述滑动窗口的长度和宽度。

可选地，所述第一机器学习模型输出二值图像块，用于表示所述正常图像块和所述异常图像块。

可选地，分别基于所述异常图像块在所述医疗图像中取待分割图像块，包括：

识别由至少一个所述异常图像块组成的异常连通区域；

以所述异常连通区域为中心在所述医疗图像中取第二设定尺寸的待分割图像块。

可选地，所述第二机器学习模型输出的是至少一个通道的异常像素点掩图，其中包括至少一种异常像素点。

可选地，所述第二机器学习模型输出的是二通道的异常像素点掩图，其中包括至少两种异常像素点。

可选地，在所述医疗图像中标注所述异常像素点，包括：

分别在各个所述待分割图像块中标注相应的语义分割结果；

将全部标注结果映射回所述医疗图像中。

可选地，所述医疗图像为眼底图像，所述方法用于分割眼底图像中的出血点和/或渗出点。

相应地，本发明还提供一种医疗图像异常区域分割设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像异常区域分割方法。

根据本发明提供的医疗图像异常区域分割方法，首先将医疗图像划分为多个待分类图像块，并利用一个机器学习模型分别对各个待分类图像块进行分类确定正常图像块和异常图像块，实现对异常部位的粗定位，排除背景内容，使得后续处理过程中可以不再对背景内容进行识别处理，提高识别效率；然后根据异常图像块在医疗图像中取得待分割图像块，这些待分割图像块中包含异常像素点，异常像素点在待分割图像块中的占比要远远大于在整张医疗图像中的占比，在此基础上使用另一个机器学习模型对待分割图像块进行语义分割，找到异常像素点，由此可以提高对异常区域识别的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的医疗图像异常区域分割方法的流程图；

图2为本发明实施例中的眼底图像异常区域分割方法的流程图；

图3为本发明实施例中的眼底图像；

图4是对图3所示眼底图像进行增强处理后的结果；

图5是在眼底图像中去除了部分区域的结果；

图6是本发明实施例中使用滑动窗口获取待分类图像块的示意图；

图7是本发明实施例中基于连通区域确定取图范围的示意图；

图8是本发明实施例中基于连通区域获取待分割图像块的示意图；

图9是本发明实施例中在待分割图像块中标注语义分割结果的示意图；

图10是利用本发明实施例提供的技术方案得到的语义分割结果的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种医疗图像异常区域分割方法，该方法可以由计算机和服务器等电子设备执行。在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是多种类型和结构的神经网络。如图1所示该方法包括如下步骤：

S1A，获取医疗图像。在一个实施例中，获取的是单通道图像，例如CT(ComputedTomography，电子计算机断层扫描)图像、超声波检测图像等等；在另一个实施例中，获取的是多通道图像，例如是眼底照片。

医疗图像可以是由医用检测设备采集的原始图像，也可以是经过加工或处理后的图像。

S2A，将医疗图像划分为多个待分类图像块，并利用第一机器学习模型分别对各个待分类图像块进行分类，分类结果为正常图像块或者异常图像块。待分类图像块的尺寸可根据医疗图像的尺寸进行设定，对于多数情况，待分类图像块的尺寸应当明显小于整个医疗图像的尺寸。例如医疗图像的尺寸为1000*1000(像素)，所划分出的待分类图像块的尺寸可以是100*100(像素)。

不同待分类图像块的尺寸可以是相同的或者不同的。相邻的待分类图像块边界可以相互紧邻，也可以有部分重叠。

在使用第一机器学习模型之前应当使用样本数据对其进行训练使其具备一定的分类能力。具体可以使用大量已知为正常的图像块和已知为异常的图像块对初始的模型进行训练，训练数据包括异常和正常两个类别，经过训练后的模型即可分辨输入的图像块属于正常类或是异常类。

此步骤中的第一机器学习模型只需要对图像块进行二分类，针对一个待分类图像块输出为正常或者异常这两种分类结果中的一个。正常图像块中不包含任何病灶内容，异常图像块中包含至少部分可能是病灶的内容，但第一机器学习模型不必识别具体病灶位置，也不必识别病灶类型。经过此步骤进行分类后可以去掉大部分背景内容。

第一机器学习模型输出用于表达待分类图像块类型的信息，例如可以是图像、描述信息等等。

S3A，分别基于异常图像块在医疗图像中取待分割图像块，并利用第二机器学习模型分别对各个待分割图像块进行语义分割，分割结果为异常像素点。异常图像块和待分割图像块的尺寸可以是相同或者不同的，例如可以直接对异常图像块的医疗图像内容进行语义分割，进一步确定其中的异常像素；也可以将一个或多个连通的异常图像块作为基础确定一个包含这些异常图像块的取图范围，然后以这个取图范围在医疗图像中取待分割图像块，这样得到的待分割图像块中包括与异常图像块对应的图像内容以及正常图像块对应的图像内容。

对于一张医疗图像，可能会取得多个待分割图像块，这些待分割图像块可以有重叠的部分。

在使用第二机器学习模型之前应当使用样本数据对其进行训练使其具备一定的语义分割能力，具体可使用人工标记了异常区域的样本图像块训练得到。这一步骤中的第二机器学习模型会识别异常像素点的位置，以及异常的类型。第二机器学习模型输出用于表达异常像素点的信息，例如是各种色彩的掩图、线条、线框等直观的图像信息，也可以是像素点坐标、类型等描述性的信息。

异常具体内容根据不同类型的医学图像而定，例如对于CT图像，异常可以是肿块、癌变区、增生组织等；对于眼底照片，异常可以是出血点、渗出点等等。

S4A，在医疗图像中标注异常像素点。将所有待分割图像块的异常像素点标记在医疗图像中即可展现出全部异常的位置和类型。对于多个待分割图像块存在重叠的情况可以取并集，像素点在任一个待分割图像块中被分割为异常，则在医疗图像标记该像素点。标注形式有多种，例如可以使用各种色彩的掩图标记异常像素点，也可以使用线条、线框标注异常像素点等等形式。

根据本发明实施例提供的医疗图像异常区域分割方法，首先将医疗图像划分为多个待分类图像块，并利用一个机器学习模型分别对各个待分类图像块进行分类确定正常图像块和异常图像块，实现对异常部位的粗定位，排除背景内容，使得后续处理过程中可以不再对背景内容进行识别处理，提高识别效率；然后根据异常图像块在医疗图像中取得待分割图像块，这些待分割图像块中包含异常像素点，异常像素点在待分割图像块中的占比要远远大于在整张医疗图像中的占比，在此基础上使用另一个机器学习模型对待分割图像块进行语义分割，找到异常像素点，由此可以提高对异常区域识别的准确性。

结合图2-图10，本发明实施例提供一种眼底图像异常区域分割方法，该方法用于识别眼底图像中的出血点和渗出点。如图2所示，该方法包括如下步骤：

S1B，对眼底图像进行预处理以增强像素点特征。例如针对图3所示图像，可以加强其对比度得到图4所示图像。具体可以将原始眼底图像高斯平滑之后再进行高斯增强，拉升异常点的区域的对比度。高斯增强使用的算法是自适应对比度增强算法，采用反锐化掩模技术：首先眼底图像被分成两个部分，一是低频的反锐化掩模部分，可以通过图像的低通滤波(平滑，模糊技术)获得；二是高频成分，可以过原图减去反锐化掩模获取。然后高频部分被放大并加入到反锐化掩模中去，最后得到如图4所示的增强图像。

处理过后的图片出血点以及渗出点会在整个眼底图像上对比度更强，并呈现出更明显的特征。

S2B，在增强对比度的眼底图像中排除部分区域，其中所述部分区域可以是非眼底区域(***的背景区域)以及某些已知一定不包含最终识别目标的区域。例如是***的背景和视盘区域，它们的形状、位置和像素值特征在整个图像中具有比较明显的特征，可以通过设置像素阈值找到并排除这些区域。当然也可以使用更复杂和精确的方法，例如使用一个经过训练的机器学习模型来识别这些干扰区域。

在本发明实施例中最终目的是分割出出血点和渗出点，由于视盘中不会出现这些病灶，因此选择将视盘区域排除得到如图5所示的图像。

S3B，利用滑动窗口遍历眼底图像取得待分类图像块，遍历过程中的滑动方向包括水平方向和竖直方向，在两个方向中的滑动步长均小于滑动窗口的长度和宽度。

在本实施例中滑动窗口的尺寸为128*128(像素)，由此取得的待分类图像块的尺寸为128*128(像素)，远小于整个眼底图像的尺寸。图6示出了滑动窗口遍历眼底图像的过程示意图，利用滑动窗口取得待分类图像块a后向右移动窗口，步长为64(像素)，取得待分类图像块b，使得水平方向相邻的待分类图像块有部分重叠(本实施例中有一半重叠)；类似地，在竖直方向向下移动窗口，步长为64(像素)，取得待分类图像块c，竖直向相邻的待分类图像块有部分重叠(本实施例中有一半重叠)，同时待分类图像块b与待分类图像块c也有部分重叠(本实施例中有四分之一重叠)。按照这种方式遍历图像后可以将整个眼底图像划分成多个图像块，部分重叠的待分类图像块在后续分类时可以消除边界效应对分类结果的影响。

在其它实施例中，也可以使滑动步长与图像块长宽相同，使得待分类图像块没有重叠，或者使用其他方式取得重叠或不重叠的待分类图像块。

S4B，利用第一卷积神经网络分别对各个待分类图像块进行分类，输出二值图像块，用于表示正常图像块和异常图像块。本实施例中的第一卷积神经网络输出的是像素值为0的图像块或者像素值为255的图像块。对所有待分类图像块进行分类后可以得到如图7所示的掩图，其中白色是异常图像块、黑色是正常图像块。这一图像是为了清楚地说明而示出的中间结果，实际应用时不必展示此图像。

S5B，识别由至少一个异常图像块组成的异常连通区域。例如图7所示图像中有一些面积较大的白色区域，这种区域是由多个异常图像块组成的，它们组成了一个大的连通区域；同时也有一些面积较小的白色区域，最小的白色区域是一个异常图像块，也被视为一个连通区域。

S6B，以异常连通区域为中心在眼底图像中取待分割图像块。在此以图7中一个较大的连通区域为例，以该连通区域为中心可以确定一个取图范围(图中白色虚线框)，在本实施例中取图范围是预先设定的，也即待分割图像块的尺寸是预先设定的，其尺寸为224*224(像素)。图8是在眼底图像中按照取图范围取得待分割图像块81的示意图。对于其它连通区域，无论其尺寸大小，都以连通区域为中心取224*224(像素)的待分割图像块。这使得一些待分割图像块之间也存在相互重叠的情况。

在本实施中待分割图像块81的尺寸是224*224(像素)，实际应用时可以根据最终要分割的内容设置其尺寸，该尺寸应当至少大于一个待分类图像块的尺寸。

S7B，利用第二卷积神经网络对各个待分割图像块进行语义分割，输出异常像素点掩图。为了清楚地表示眼底图像中的出血点和渗出点，本实施例中的第二卷积神经网络输出的是二通道图像，它可以通过丰富的色值展示两种异常像素点。在其它实施例中，也可以输出单通道的掩图，例如二值图可以标识出一种异常像素点，单通道的图像可采用不同的灰度标识出多种异常像素点。

第二卷积神经网络由卷积层、激活层、池化层和上采样层组成。卷积层是采用尺寸为3*3的卷积核与输入数据内一个窗口内的局部数据进行加权运算，然后在图像上滑动卷积窗口，直到卷积完所有的输入数据；激活层是采用ReLu线性整流函数，给神经元引入了非线性因素，通过激活函数max{0，x}对输入数据进行处理；池化层采用最大池化法。网络的输入是三通道的待分割图像块，输出是二通道的掩图，对应图像每个像素是前景(异常)和背景(正常)的概率值。

S8B，分别在各个待分割图像块中标注相应的语义分割结果。以待分割图像块81为例，将第二卷积神经网络输出的掩图与待分割图像块81结合后可得到图9所示的结果。

S9B，将全部标注结果映射回眼底图像中。对每个待分割图像块分别处理后，将结果映射回原图中，得到最终的眼底图的异常区域的准确分割结果。如图10所示，其中深色(实际为红色)区域代表出血区域、浅色(实际为绿色)区域代表渗出区域。

根据本发明实施例提供的眼底图像异常区域分割方法，在预处理阶段，去除边界和视盘区域，保留感兴趣区域可以减少部分伪区域的生成，减少噪声干扰；在预处理阶段，采用自适应对比度增强算法，能够拉升图像的对比度，凸显异常点的对比度，提高后续的目标检测的准确率；在异常点区域的粗定位处理中，使用滑动窗口操作，可以有效遍历图像中的所有区域，提高对异常区域的召回率；在异常点区域的粗定位模块中，使用卷积神经网络模型进行分类，能够运用深度学习的强大表达能力，准确判断每个图像块的类别；在对区域进行语义分割模的处理中，使用卷积神经网络模型进行分割，能够运用深度学习的强大表达能力，准确判断图像块中的每个像素点所属的类别；使用粗定位处理和语义分割处理相结合的方式，能够使得分割模型的训练中，异常内容占比大，容易训练出分割准确性较高的网络，从而提高对眼底图像异常区域分割的准确性。

本发明的一个实施例还提供了一种医疗图像异常区域分割装置，包括：

获取单元，用于获取医疗图像；

划分单元，用于将所述医疗图像划分为多个待分类图像块；

第一机器学习模型，用于分别对各个所述待分类图像块进行分类，分类结果为正常图像块或异常图像块；

取图单元，用于分别基于所述异常图像块在所述医疗图像中取待分割图像块；

第二机器学习模型，用于分别对各个所述待分割图像块进行语义分割，分割结果为异常像素点；

标注单元，用于在所述医疗图像中标注所述异常像素点。

作为一个优选的实施方式，取图单元包括：

连通区域识别单元，用于识别由至少一个所述异常图像块组成的异常连通区域；

连通区域取图单元，用于以所述异常连通区域为中心在所述医疗图像中取第二设定尺寸的待分割图像块。

作为一个优选的实施方式，标注单元包括：

图像块标注单元，用于分别在各个所述待分割图像块中标注相应的语义分割结果；

映射单元，用于将全部标注结果映射回所述医疗图像中。

本发明的一个实施例还提供了一种医疗图像异常区域分割设备，包括：

至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像或者眼底图像异常区域分割方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种医疗图像异常区域分割方法，其特征在于，包括如下步骤：

获取医疗图像；

将所述医疗图像划分为多个待分类图像块，并利用第一机器学习模型分别对各个所述待分类图像块进行分类，分类结果为正常图像块或异常图像块；

分别基于所述异常图像块在所述医疗图像中取待分割图像块，并利用第二机器学习模型分别对各个所述待分割图像块进行语义分割，分割结果为异常像素点；

在所述医疗图像中标注所述异常像素点。

2.根据权利要求1所述的方法，其特征在于，相邻的所述待分类图像块有部分重叠。

3.根据权利要求2所述的方法，其特征在于，将所述医疗图像划分为多个待分类图像块，包括：

利用第一设定尺寸的滑动窗口遍历所述医疗图像取得待分类图像块，遍历过程中的滑动方向包括水平方向和竖直方向，在两个所述方向中的滑动步长均小于所述滑动窗口的长度和宽度。

4.根据权利要求1所述的方法，其特征在于，所述第一机器学习模型输出二值图像块，用于表示所述正常图像块和所述异常图像块。

5.根据权利要求1-4中任一项所述的方法，其特征在于，分别基于所述异常图像块在所述医疗图像中取待分割图像块，包括：

识别由至少一个所述异常图像块组成的异常连通区域；

以所述异常连通区域为中心在所述医疗图像中取第二设定尺寸的待分割图像块。

6.根据权利要求1所述的方法，其特征在于，所述第二机器学习模型输出的是至少一个通道的异常像素点掩图，其中包括至少一种异常像素点。

7.根据权利要求6所述的方法，其特征在于，所述第二机器学习模型输出的是二通道的异常像素点掩图，其中包括至少两种异常像素点。

8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述医疗图像中标注所述异常像素点，包括：

分别在各个所述待分割图像块中标注相应的语义分割结果；

将全部标注结果映射回所述医疗图像中。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述医疗图像为眼底图像，所述方法用于分割眼底图像中的出血点和/或渗出点。

10.一种医疗图像异常区域分割设备，其特征在于，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-9中任一项所述的医疗图像异常区域分割方法。