CN107665491B - 病理图像的识别方法及*** - Google Patents

Abstract

本申请提供一种病理图像的识别***及方法。其中所述识别***包括：图像接收装置，用于接收待识别的病理图像；特征提取装置，用于利用卷积神经网络中设置的多级特征处理单元对所述病理图像进行特征提取；识别装置，用于对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息。本申请既能有效保留低维度和高维度的病理特征，以准确识别病变特征，又能准确地将病变特征对应到病理图像的像素位置，以提高辅助诊断的准确性。

Description

病理图像的识别方法及***

技术领域

本申请涉及计算机处理技术领域，特别是涉及一种病理图像的识别方法及***。

背景技术

病理图像是对患者病变部位的组织进行切片，在显微镜下进行放大成像得到的图像。病理图像能够揭示疾病的原因及严重程度，是临床诊断的重要手段。随着病人数量的增加，加之专业病理学医师数量的匮乏，计算机辅助病理图像识别成为了一个重要的发展方向。

已知的计算机辅助检测技术是利用病理特征对病理图像进行识别。例如，利用卷积将病理特征矩阵对病理图像进行过滤，再利用分类算法对过滤后的病理特征图像进行具有病变信息或不具有病变信息进行分类以得到病理图像的识别结果。然而，已知的检测技术或者因为特征提取不足而无法得到足够多的病理特征，或者因为过度过滤而无法准确还原病理位置。如此计算机辅助检测技术无法在临床中有效推广。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种病理图像的识别***及方法，用于解决计算机辅助检测病理图像准确度低的问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种病理图像的识别***，包括：图像接收装置，用于接收待识别的病理图像；特征提取装置，用于利用卷积神经网络中设置的多级特征处理单元对所述病理图像进行特征提取；识别装置，用于对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息。

在本申请的第一方面的某些实施方式中，所述特征处理单元包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构；其中，所述第一过滤器按照预设步长对所接收的图像进行病理特征提取。

在本申请的第一方面的某些实施方式中，所述第一过滤器采用空洞卷积对所接收的图像进行病理特征提取。

在本申请的第一方面的某些实施方式中，包含所述第一结构的特征处理单元位于所述卷积神经网络的末端。

在本申请的第一方面的某些实施方式中，所述特征处理单元中包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构。

在本申请的第一方面的某些实施方式中，所述第一合并模块合并所接收的至少两个所述归一化模块输出的特征图像；或者所述第一合并模块合并所述归一化模块输出的特征图像和前一级特征处理单元所输出的特征图像。

在本申请的第一方面的某些实施方式中，所述特征提取装置还包括位于两级特征处理单元之间的下采样单元，用于将所接收的特征图像进行下采样处理。

在本申请的第一方面的某些实施方式中，所述识别装置包括：与各所述特征单元单独连接的第三过滤器；每个第三过滤器对所接收的特征图像进行分类处理；上采样模块，与所述过滤器单独连接，用于将相应过滤器所输出的图像恢复至所述病理图像的尺寸；第二合并模块，与每个所述上采样模块相连，用于合并各恢复后的特征图像。

在本申请的第一方面的某些实施方式中，所述识别装置包括：识别模块，用于基于合并后的特征图像中各像素点所对应的病理特征评价所述病理图像中的病理信息。

本申请的第二方面提供一种肿瘤病理图像的识别***，包括：图像存储装置，用于存储待识别的肿瘤病理图像；如上任一所述的识别***，用于对所述肿瘤病理图像中的病理信息进行识别；显示装置，用于将所识别的包含病理信息的肿瘤病理图像予以显示。

本申请的第三方面提供一种病理图像的识别方法，包括：获取待识别的病理图像；利用卷积神经网络中设置的多级特征处理单元对所述原始图像进行特征提取；对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息。

在本申请的第三方面的某些实施方式中，所述特征处理单元包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构；其中，所述第一过滤器按照预设步长对所接收的图像进行病理特征提取。

在本申请的第三方面的某些实施方式中，所述第二结构中包含按照预设的空洞步长对所接收的图像进行病理特征提取的第一过滤器。

在本申请的第三方面的某些实施方式中，包含所述第一结构的特征处理单元位于所述卷积神经网络的至少最后一级。

在本申请的第三方面的某些实施方式中，所述特征处理单元中包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构。

在本申请的第三方面的某些实施方式中，所述第一合并模块合并所接收的至少两个所述归一化模块输出的图像；或者所述第一合并模块合并所述归一化模块输出的图像和前一级特征处理单元所输出的特征图像。

在本申请的第三方面的某些实施方式中，还包括将所述特征处理单元所输出的特征图像进行下采样处理的步骤。

在本申请的第三方面的某些实施方式中，所述对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息的方式包括：利用与各级特征单元对应的过滤器对各特征图像进行单独卷积处理；将相应第三过滤器所输出的图像恢复至所述病理图像的尺寸，并合并各放大后的特征图像。

在本申请的第三方面的某些实施方式中，还包括基于合并后的特征图像中各像素点所对应的病理特征评价所述病理图像中的病理信息的步骤。

本申请的第四方面提供一种肿瘤病理图像的识别方法，包括：利用如权上任一所述的识别方法识别肿瘤病理图像；将所识别的包含病理信息的肿瘤病理图像予以显示。

如上所述，本申请的病理图像的识别***及方法，具有以下有益效果：通过对卷积神经网络中至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息，既能有效保留低维度和高维度的病理特征，以准确识别病变特征，又能准确地将病变特征对应到病理图像的像素位置，以提高辅助诊断的准确性。

附图说明

图1显示为本申请卷积神经网络中特征处理单元在一实施方式中的结构示意图。

图2显示为本申请卷积神经网络中特征处理单元在又一实施方式中的结构示意图。

图3显示为本申请识别***在一实施方式中的结构示意图。

图4显示为本申请特征处理单元中第二结构在一实施方式中的结构示意图。

图5显示为本申请特征处理单元中第二结构在又一实施方式中的结构示意图。

图6显示为本申请特征处理单元在一实施方式中的结构示意图。

图7显示为本申请识别***在又一实施方式中的结构示意图。

图8显示为本申请识别***在另一实施方式中的结构示意图。

图9显示为本申请识别***中的识别装置在一实施方式中的结构示意图。

图10显示为本申请肿瘤病理图像的识别***在一实施方式中的结构示意图。

图11显示为本申请识别方法在一实施方式中的流程图。

图12显示为本申请肿瘤病理图像的识别方法在一实施方式中的流程图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和 /或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/ 或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

为了提高医生的诊断效率，一方面，医生利用联网的计算机设备来获取相应患者的病理图像以便于通过放大病理图像局部来进行诊断；另一方面医生可利用计算机辅助识别***快速锁定病变区域。其中，由于已知的病理特征的识别算法无法兼顾病变区域识别能力和病变区域检测准确性，因此，本申请提供一种病理图像的识别方法及***。所述识别***包括安装在计算机设备上的硬件和软件。其中，所述计算机设备中的硬件包含：输入单元，处理单元、存储单元、缓存、和显示单元等，其中，所述处理单元中可以包含专用于卷积神经网络的芯片或集成电路以及包含有卷积神经网络算法的计算机程序。所述处理单元通过程序设定的时序分配各硬件的运行，以执行下述各装置的功能。其中，所述计算机设备包括但不限于：单台服务器、多个服务器配合运行的服务器集群、个人电脑，甚至如平板电脑等手持终端等。

所述病理图像的识别***包括：图像接收装置、特征提取装置和识别装置。

所述图像接收装置用于接收待识别的病理图像。其中，所述病理图像可以为病理切片图像、或辐射设备扫描获得的病理图像等。在此，所述图像接收装置可以包含处理单元、缓存以及与存储病理图像的图像库相连的接口。所述图像接收装置中的处理单元按照程序的时序指示，通过接口从图像库中读取预先拍摄或扫描的病理图像。所述接口包括但不限于计算机设备与图像库所在存储设备的数据接口，或者计算机设备与图像库所在存储设备之间通信的网络接口。

所述特征提取装置用于利用卷积神经网络中设置的多级特征处理单元对所述病理图像进行特征提取。

在此，所述卷积神经网络可由特征处理单元级联构成，其中，各特征处理单元按照病理特征维度由低到高逐级设置。所述特征提取装置可为单独的能够处理卷积神经网络算法的计算设备，或包含为能够处理卷积神经网络算法的处理单元及与之匹配的缓存单元。该处理单元可与图像接收装置中的处理单元共用，也可以是指包含有专用于卷积神经网络的芯片或集成电路的单元等。

在此，第一级特征处理单元接收原始的病理图像并进行最低维度的病理特征处理，后级各特征处理单元接收前一级特征处理单元所输出的特征图像，以进行更高维度的病理特征处理。其中，每个特征处理单元可将经病理特征提取后的特征图像输出至下一级特征处理单元。在此，下一级特征处理单元基于所级联的前级特征处理单元的特征图像进行特征提取。每级特征处理单元可利用同一维度的多个病理特征所对应的卷积核进行遍历以得到特征提取后的特征图像。

所述识别装置用于对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息。

在此，所述识别装置可以与特征提取装置共用计算机设备的处理单元、或单独配置有能够处理神经网络数据能力的处理器等。

所述识别装置从特征提取装置的至少两个特征处理单元处接收特征图像，并将所接收的各特征图像进行上采样以得到与原图尺寸一致的特征图像；再对上采样后的特征图像进行合并，如此得到与原图像素点一一对应的、且用于反映原图像中每个像素点的病理特征分布的特征图像。其中，由于各特征图像来自不同级联位置的特征处理单元，故而各特征图像上各点所对应的病理特征可藉由相应特征处理单元来确定。例如，来自第一级特征处理单元的特征图像中各点的值反映了第一级特征处理单元所提取的病理特征。又如，来自第三级特征处理单元的特征图像中各点的值反映了第一级至第三级特征处理单元各自所提取的病理特征。

藉由所合并的特征图像的病理分布识别原图像中的病理信息。例如，所述识别装置利用预设的病理特征评价算法确定合并后的特征图像中第(x,y)像素点(或图像区域)的病理特征包含a1％的细胞良性特征M1、a2％的细胞肿瘤特征M2和a3％的细胞良性特征M3，经所述识别装置评价后确定对应原图(病理图像)中的(x,y)像素点(或图像区域)的病理信息为良性肿瘤。所述识别***通过评价病理图像中各像素点的病理信息得到所拍摄的病理图像的精准病理分布，并由此帮助医生快速划定重点观察区域。

在一些实施方式中，请参阅图1所示，其显示为特征处理单元中一种实施方式中的结构示意图，至少一部分所述特征处理单元1可包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构。在所述第一结构11中第一第一过滤器111中可包含一个或多个卷积核 M_i*N_i，i为自然数，a_i为卷积核数量，每个卷积核对应一种病理特征。所述卷积核可表示病变细胞轮廓特征、病变细胞纹路特征、病变细胞形状特征，甚至高维度的抽象的病理特征中的一种。所述卷积核可由机器学习得到，或通过其他途径对病理图像进行特征分析而得。所述第一过滤器根据所接收的图像的尺寸、卷积核的尺寸、和神经网络模型中各级联关系等多种因素设置遍历步长。例如，对位于神经网络前端的至少一级特征处理单元中各第一过滤器的步长大于1。为了使每个病理图像的像素点的病理特征被识别出来，后级特征处理单元中各第一过滤器的步长可略小，如后级特征处理单元中各第一过滤器的步长设为1、或大于1 且小于前级第一过滤器的步长。

在每个第一结构中，第一过滤器按照步长将卷积核遍历所接收的病变图像或特征图像并将所得到的特征图像提供给归一化模块进行归一化处理，再由激活模块对归一化后的特征图像进行激活处理。其中，所述归一化模块举例将所述特征图像中的像素值归一化到[0,1]之间。为了防止病理特征随级联阶数增加而梯度削弱的问题，由激活模块利用非线性的激活函数将归一化后的特征图像进行激活处理，经激活处理后的特征图像中标记了所过滤的病理特征的特征点。其中，所述非线性激活函数包括但不限于：Relu函数、sigmoid函数、tanh函数等。例如，归一化后的特征图像的矩阵表示为

经激活处理后的特征图像的矩阵表示为

其中，矩阵中大于0.5的点表示为具有相应病理特征，反之则不具有相应病理特征。

需要说明的是，上述矩阵中各点数值仅用于表示激活处理前后数值分类和变化趋势，而非对激活函数使用的限制。

还需要说明的是，各特征处理单元可根据设计需要选择将已过滤且未归一化、已归一化且未激活、或已激活的特征图像输出至后级特征处理单元或识别装置。

在又一些实施方式中，受梯度影响以及病灶区域本身尺寸较小，后级特征处理单元中的第一过滤器所处理的特征图像能反映的病变特征可能不到1个像素，这样会给图像分割带来困难。所述卷积神经网络中的后级特征处理单元中的至少部分第一过滤器采用空洞卷积对所接收的图像进行病理特征提取。例如，在卷积神经网络的末端至少一个特征处理单元中包含采用空洞卷积的第一过滤器。

其中，所述空洞卷积是将卷积核进行扩充，所扩充的数值通常为0。例如将2*2的卷积核中相邻数值之间填充1个0，得到3*3的卷积核。采用空洞卷积的第一过滤器可通过调整步长以确保特征提取的有效性。例如，采用空洞卷积的第一过滤器相比于同一特征处理单元钟的其他第一过滤器的步长较大。在一个第一结构中可包含上述任一种第一过滤器或两种第一过滤器的组合。例如，请参阅图2所示，其显示为特征处理单元中各第一结构在又一种实施方式中的结构示意图，其中第一结构11中第一过滤器111为采用未经扩充的卷积核进行卷积以提取病理特征，第一结构12中第一过滤器121为采用空洞卷积以提取病理特征。

在一些具体示例中，所构建的卷积神经网络中包含多级特征处理单元，且每个特征处理单元包含一个或多个级联的所述第一结构。其中，请参阅图3，其显示为卷积神经网络中级联的特征处理单元的结构示意图。位于卷积神经网络的前端至少一个特征处理单元11中各第一结构111的第一过滤器均采用未扩充的卷积核进行病理特征提取，位于卷积神经网络的末端至少一个特征处理单元12中各第一结构121的第一过滤器包含采用空洞卷积进行病变特征提取。所述特征提取装置利用该卷积神经网络将病理图像进行逐级的特征提取。识别装置13 从至少两个特征处理单元获取特征图像，由于各特征处理单元(11,12)所输出的特征图像尺寸未必相同，所述识别装置13可先对各特征图像进行上采样至所述病理图像的尺寸；再根据预设的各特征处理单元的权重，对上采样后的各特征图像进行合并。合并后的特征图像与病理图像的像素点一一对应。所述识别装置13可将合并后特征图像各像素点所标记的病理特征对应到病理图像的各像素点上。由于识别装置13所合并的特征图像中同时包含了低维度和高维度的病理特征，识别装置13能够综合前级和后级的病理特征识别各像素点的病理特征，因此所识别出的病理图像的病变区域更准确。

在又一些实施方式中，至少部分所述特征处理单元包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构。

其中，所述第二结构中的第二过滤器用于利用卷积调整特征图像的维度。例如，在一个特征处理单元中包含第一结构和第二结构，其中，第二结构中包含两个第二过滤器filter 1、 filter 2分别接收所述第一结构所输出的特征图像P1和特征处理单元输入端的特征图像P2，其中，第二过滤器filter 1利用卷积运算将特征图像P1从m1维度调整为n维度；第二过滤器 filter 2利用卷积运算将特征图像P2从m2维度调整为n维度。由此便于第一合并模块对两幅特征图像进行拼接处理。在此，第二结构中的第二过滤器可以仅用于调整特征图像的维度，甚至还可以在调整维度的同时进行特征提取。

第二过滤器第二过滤器第二过滤器第二过滤器为了便于后续特征分布的统计，第二结构中各第二过滤器输出的特征图像经由归一化模块进行归一处理后提供给第一合并模块。

与所述第一结构不同的是，第二结构中还包括第一合并模块。所述第一合并模块设置在激活模块的输入侧，用于将所在特征处理单元中的至少两个特征图像并予以合并。其中，所述第一合并模块所接收的特征图像可来自于所在特征处理单元的输入端和所述第二结构中归一化模块的输出端。例如，请参阅图4，其显示为第二结构在一实施方式中的结构示意图。第二结构21中包含两组第二过滤器(211,211’)和归一化模块(212,212’)，该两组第二过滤器(211,211’)和归一化模块(212,212’)分别调整各自接收的图像的维度以便于所输出的两个特征图像的维度相同，再由第一合并模块214将该两组第二过滤器(211,211’)和归一化模块(212,212’)所输出的两特征图像进行对应点的加权取和，以将量特征图像合二为一，再交由激活模块213进行激活处理。又如，请参阅图5，其显示为第二结构在又一实施方式中的结构示意图。第二结构31中包含一组第二过滤器311和归一化模块312，第一合并模块314 将该组第二过滤器311和归一化模块312所输出的特征图像与特征处理单元所接收的图像进行合并，再交由激活模块313进行激活处理。再如，请参阅图6，其显示为特征处理单元在另一实施方式中的结构示意图。特征处理单元包含多个级联的第一结构41、和与所述第一结构和特征处理单元输入端相连的第二结构42。

其中，所述第二结构中的激活模块与第一结构中的激活模块的激活处理方式相通或相似，在此不再详述。

在卷积神经网络中使用所述第二结构能够更精细化同时保留低维度和高维度的病理特征。在一具体示例中，所构建的卷积神经网络包含多级特征处理单元，其中，前端的至少一个特征处理单元中仅包含第一结构，后续级联的各特征处理单元中包含第一结构和第二结构。例如，请参阅图7所示，其显示为特征提取装置所采用的卷积神经网络在一种实施方式中的结构示意图。所构建的卷积神经网络中包含一个仅由第一结构组成的特征处理单元51和多个包含第一结构和第二结构的特征处理单元52，由此确保在病变特征提取期间维度逐渐增高的情况下尽量减少病变特征损失。其中，在多个级联的特征处理单元52中，可交错的选用包含类似于图4和图5所示的第二结构。在此基础上，最后两级特征处理单元52中包含采用空洞卷积的第一过滤器，以有效消除散斑现象。所述特征提取装置利用所述卷积神经网络对病理图像进行病理特征提取，并将所述卷积神经网络中的多个特征处理单元所输出的特征图像输送至识别装置，由所述识别装置53进行病理识别。在此，所述识别装置53识别病理的方式可与前述示例相同或相似，在此不予赘述。

为了进一步减少计算机设备的运算量并兼具对病理特征提取的准确性，所述特征提取装置还包括位于两级特征处理单元之间的下采样单元，用于将所接收的特征图像进行下采样处理。

在此，所构建的卷积神经网络中，可设置至少一个所述下采样单元。为了减少特征损失，在卷积神经网络的前端设置所述下采样单元。例如，请参阅图8，其显示为包含上述卷积神经网络的识别***在一实施方式中的结构示意图。所述下采样单元54位于第一级特征处理单元51和第二级特征处理单元52之间。其中，所述下采样单元54可采用最大值下采样等方式进行下采样处理。

在一些具体示例中，所述识别装置选择对下采样前的至少一个特征处理单元和下采样后的至少一个特征处理单元的特征图像进行融合处理。例如，如图8所示，所述识别装置53所连接的特征处理单元51位于下采样单元54的前级，所连接的特征处理单元52位于下采样单元54的后级且包含第一结构和第二结构，所连接的特征处理单元52位于卷积神经网络的末端，所述识别装置53通过对三个特征处理单元所输出的特征图像进行融合处理并识别病理信息。

在此，所述识别装置所接收的各特征图像可以是相应特征处理单元经激活处理后的、相应特征处理单元经过滤且未归一化处理的、以及经归一化处理且未激活处理的中至少一种。

在一些实施方式中，请参阅图9，其显示为识别装置在一实施方式中的框架结构示意图。所述识别装置包括：第三过滤器631、上采样模块632和第二合并模块633。

所述第三过滤器631的数量与所述识别装置所接收的特征图像的数量相关。为了提高识别效率，所述识别装置采用每个第三过滤器631单独接收一个特征图像的方式，以便于计算机设备予以并行处理。所述第三过滤器631将所接收的特征图像进行分类处理。各第三过滤器631可采用步长为1的遍历方式对所接收特征图像进行遍历的分类处理。

在此，所述第三过滤器631中预设有多个用于分类的过滤窗，通过将各过滤窗分别遍历所接收的特征图像，对特征图像中各点进行分类处理。例如，所述第三过滤器中包含病理分类的过滤窗和非病理分类的过滤窗，并将所接收的特征图像分别与该两过滤窗进行遍历的叠加运算，所输出的两特征图像中同一像素点分别表示属于病变分类和不属于病变分类的可能性。又如，所述第三过滤器中包含第一病理分类的过滤窗、第二病理分类的过滤窗、…、第 N病理分类的过滤窗和非病变分类的过滤窗，并将所接收的特征图像分别与各窗进行遍历的叠加运算，所输出的各特征图像中同一像素点分别表示属于各病理分类和不属于病变分类的可能性。我们将每个病理分类、病变分类作为病理特征为后续识别作为依据。

各第三过滤器631将分类处理后的各特征图像输送至所单独连接的上采样模块632。所述上采样模块632用于将相应第三过滤器631所输出的图像恢复至所述病理图像的尺寸。

需要说明的是，所述第三过滤器还可以先根据过滤后各像素点的分类概率对各像素点进行分类以得到一幅特征图像，再由上采样模块632对该特征图像进行放大处理。

其中，每个上采样模块632根据所接收的特征图像尺寸单独配置上采样的窗口尺寸，并通过遍历所述窗口以对特征图像进行填充。例如，所述上采样模块632可采用二次插值方式或复制方式进行恢复。

所述第二合并模块633连接所有上采样模块632，用于合并各恢复后的特征图像。在此，所述第二合并模块可直接将各恢复后的特征图像进行合并。在一些实施方式中，所述第二合并模块633根据预设的权重合并各恢复后的特征图像。其中，各权重可根据特征处理单元在神经网络中的位置、所提取的病理特征的维度等多个方面的评价而设定。各权重还可基于预先的机器学习而设定。

合并后的特征图像中每个像素上均描述了所有分类的概率，根据加权后概率比重最大的分类所表示的病理信息对应标记在病理图像的各像素点上即可得到所述病理图像中的病理信息。

所述识别装置还可以包含识别模块634，其用于基于合并后的特征图像中各像素点所对应的病理特征评价所述病理图像中的病理信息。

所述识别模块634中包含有各病理特征的评价权重，通过对像素点所对应的各病理特征进行加权处理来确定该像素点的病理信息。进一步地，所述识别模块634可利用热度预测的绘制方式将各病理信息所对应的颜色描绘在病理图像上，由此便于医生进行诊断参考。

本申请还提供一种肿瘤病理图像的识别***。其中，所述肿瘤病理图像的识别***可应用在医院的就诊***中，医生可藉由操作就诊***获取对应患者的肿瘤病理图像，并由所述识别***对肿瘤病理图像进行病理识别。其中，所述肿瘤病理图像包括但不限于：乳腺肿瘤病理图像、肺部肿瘤病理图像等。所述肿瘤病理图像的识别***中的部分或全部可安装于医院的、或第三方提供的计算机设备中。所述计算机设备包括但不限于医院或第三方服务端、或医生所使用的个人电脑。其中，所述服务端包括但不限于：单台服务器、服务器集群或基于云架构的服务端。

其中，请参照图10，其显示为肿瘤病理图像的识别***的一种实施方式的框架示意图。所述肿瘤病理图像的识别***7包括图像存储装置71、识别***72和显示装置73。

所述图像存储装置71用于存储待识别的肿瘤病理图像。其可与医院的病理检测***相连，将病理检测***所拍摄的病理图像分类保存。其中，所述病理检测***所拍摄的病理图像包括但不限于：由B超设备、CT设备、细胞样本培养设备等所拍摄的病理图像。

所述图像存储装置71将标记有患者信息和肿瘤类型的病理图像进行对应保存。所述图像存储装置可以是单独的存储服务器或存储阵列，再或者为多个可数据通信的存储服务器。例如，肿瘤病理图像被保存在单独的存储服务器上，与肿瘤病理图像关联的患者信息和病理类型被保存在配置有数据库的服务器中，利用数据库将各肿瘤病理图像和信息关联。

所述识别***72可与图像存储装置位于同一计算机设备，或为单独配置的计算机设备且与所述图像存储装置71数据通信，以从图像存储装置71中获取肿瘤病理图像。

为此，所述识别***72包括：图像接收装置、特征提取装置和识别装置。

所述图像接收装置用于接收待识别的肿瘤病理图像。其中，所述肿瘤病理图像可以为肿瘤病理切片图像、或辐射设备扫描获得的肿瘤病理图像等。在此，所述图像接收装置可以包含处理单元、缓存以及与存储肿瘤病理图像的图像库相连的接口。所述图像接收装置中的处理单元按照程序的时序指示，通过接口从图像库中读取预先拍摄或扫描的肿瘤病理图像。所述接口包括但不限于计算机设备与图像存储装置的数据接口，或者计算机设备与图像存储装置之间通信的网络接口。

所述特征提取装置用于利用卷积神经网络中设置的多级特征处理单元对所述肿瘤病理图像进行特征提取；其中，每级特征处理单元用于输出标记有肿瘤病理特征的特征图像。

在此，所述卷积神经网络可由特征处理单元级联构成，其中，各特征处理单元按照肿瘤病理特征维度由低到高逐级设置。所述特征提取装置可为单独的能够处理卷积神经网络算法的计算设备，或包含为能够处理卷积神经网络算法的处理单元及与之匹配的缓存单元。该处理单元可与图像接收装置中的处理单元共用，也可以是指包含有专用于卷积神经网络的芯片或集成电路的单元等。

在此，第一级特征处理单元接收原始的肿瘤病理图像并进行最低维度的肿瘤病理特征处理，后级各特征处理单元接收前一级特征处理单元所输出的特征图像，以进行更高维度的肿瘤病理特征处理。其中，每个特征处理单元可将经肿瘤病理特征提取后的特征图像输出至下一级特征处理单元。在此，下一级特征处理单元基于所级联的前级特征处理单元的特征图像进行特征提取。每级特征处理单元可利用同一维度的多个病理特征所对应的卷积核进行遍历以得到特征提取后的特征图像。

所述识别装置用于对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的肿瘤病理特征识别所述肿瘤病理图像中的肿瘤病理信息。

在此，所述识别装置可以与特征提取装置共用计算机设备的处理单元、或单独配置有能够处理神经网络数据能力的处理器等。

所述识别装置从特征提取装置的至少两个特征处理单元处接收特征图像，并将所接收的各特征图像进行上采样以得到与原图尺寸一致的特征图像；再对上采样后的特征图像进行合并，如此得到与原图像素点一一对应的、且用于反映原图像中每个像素点的肿瘤病理特征分布的特征图像。其中，由于各特征图像来自不同级联位置的特征处理单元，故而各特征图像上各点所对应的肿瘤病理特征可藉由相应特征处理单元来确定。例如，来自第一级特征处理单元的特征图像中各点的值反映了第一级特征处理单元所提取的肿瘤病理特征。又如，来自第三级特征处理单元的特征图像中各点的值反映了第一级至第三级特征处理单元各自所提取的肿瘤病理特征。

藉由所合并的特征图像的肿瘤病理分布识别原图像中的肿瘤病理信息。例如，所述识别装置利用预设的病理特征评价算法确定合并后的特征图像中第(x,y)像素点(或图像区域)的肿瘤病理特征包含a1％的细胞良性特征M1、a2％的细胞肿瘤特征M2和a3％的细胞良性特征 M3，经所述识别装置评价后确定对应原图(肿瘤病理图像)中的(x,y)像素点(或图像区域) 的肿瘤病理信息为良性肿瘤。所述识别***通过评价肿瘤病理图像中各像素点的肿瘤病理信息得到所拍摄的肿瘤病理图像的精准肿瘤病理分布，并由此帮助医生快速划定重点观察区域。

在一些实施方式中，如图1所示，至少一部分所述特征处理单元1可包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构。在所述第一结构11中过滤器111中可包含一个或多个卷积核M_i*N_i，i为自然数，a_i为卷积核数量，每个卷积核对应一种病理特征。所述卷积核可表示病变细胞轮廓特征、病变细胞纹路特征、病变细胞形状特征，甚至高维度的抽象的肿瘤病理特征中的一种。所述卷积核可由机器学习得到，或通过其他途径对肿瘤病理图像进行特征分析而得。所述第一过滤器根据所接收的图像的尺寸、卷积核的尺寸、和神经网络模型中各级联关系等多种因素设置遍历步长。例如，对位于神经网络前端的至少一级特征处理单元中各第一过滤器的步长大于1。为了使每个肿瘤病理图像的像素点的肿瘤病理特征被识别出来，后级特征处理单元中各第一过滤器的步长可略小，如后级特征处理单元中各第一过滤器的步长设为1、或大于1且小于前级第一过滤器的步长。

在每个第一结构中，第一过滤器按照步长将卷积核遍历所接收的病变图像或特征图像并将所得到的特征图像提供给归一化模块进行归一化处理，再由激活模块对归一化后的特征图像进行激活处理。其中，所述归一化模块举例将所述特征图像中的像素值归一化到[0,1]之间。为了防止肿瘤病理特征随级联阶数增加而梯度削弱的问题，由激活模块利用非线性的激活函数将归一化后的特征图像进行激活处理，经激活处理后的特征图像中标记了所过滤的肿瘤病理特征的特征点。其中，所述非线性激活函数包括但不限于：Relu函数、sigmoid函数、tanh 函数等。例如，归一化后的特征图像的矩阵表示为

经激活处理后的特征图像的矩阵表示为

其中，矩阵中大于0.5的点表示为具有相应肿瘤病理特征，反之则不具有相应肿瘤病理特征。

需要说明的是，上述矩阵中各点数值仅用于表示激活处理前后数值分类和变化趋势，而非对激活函数使用的限制。

还需要说明的是，各特征处理单元可根据设计需要选择将已过滤且未归一化、已归一化且未激活、或已激活的特征图像输出至后级特征处理单元或识别装置。在又一些实施方式中，受梯度影响以及病灶区域本身尺寸较小，后级特征处理单元中的第一过滤器所处理的特征图像能反映的病变特征可能不到1个像素，这样会给图像分割带来困难。所述卷积神经网络中的后级特征处理单元中的至少部分第一过滤器采用空洞卷积对所接收的图像进行肿瘤病理特征提取。例如，在卷积神经网络的末端至少一个特征处理单元中包含采用空洞卷积的第一过滤器。

其中，所述空洞卷积是将卷积核进行扩充，所扩充的数值通常为0。例如将2*2的卷积核中相邻数值之间填充1个0，得到3*3的卷积核。采用空洞卷积的第一过滤器可通过调整步长以确保特征提取的有效性。例如，采用空洞卷积的第一过滤器相比于同一特征处理单元钟的其他第一过滤器的步长较大。在一个第一结构中可包含上述任一种第一过滤器或两种第一过滤器的组合。例如，如图2所示，其中第一结构11中第一过滤器111为采用未经扩充的卷积核进行卷积以提取肿瘤病理特征，第一结构12中第一过滤器121为采用空洞卷积以提取肿瘤病理特征。

在一些具体示例中，所构建的卷积神经网络中包含多级特征处理单元，且每个特征处理单元包含一个或多个级联的所述第一结构。如图3所示，位于卷积神经网络的前端至少一个特征处理单元中各第一结构的第一过滤器均采用未扩充的卷积核进行肿瘤病理特征提取，位于卷积神经网络的末端至少一个处理单元中各第一结构的第一过滤器包含采用空洞卷积进行病变特征提取。所述特征提取装置利用该卷积神经网络将肿瘤病理图像进行逐级的特征提取。识别装置从至少两个特征处理单元获取特征图像，由于各特征处理单元所输出的特征图像尺寸未必相同，所述识别装置可先对各特征图像进行上采样至所述肿瘤病理图像的尺寸；再根据预设的各特征处理单元的权重，对上采样后的各特征图像进行合并。合并后的特征图像与肿瘤病理图像的像素点一一对应。所述识别装置可将合并后特征图像各像素点所标记的肿瘤病理特征对应到肿瘤病理图像的各像素点上。由于识别装置所合并的特征图像中同时包含了低维度和高维度的肿瘤病理特征，识别装置能够综合前级和后级的肿瘤病理特征识别各像素点的肿瘤病理特征，因此所识别出的肿瘤病理图像的病变区域更准确。

在又一些实施方式中，至少部分所述特征处理单元包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构。

其中，所述第二结构中的第二过滤器用于利用卷积调整特征图像的维度。例如，在一个特征处理单元中包含第一结构和第二结构，其中，第二结构中包含两个第二过滤器filter 1、 filter 2分别接收所述第一结构所输出的特征图像P1和特征处理单元输入端的特征图像P2，其中，第二过滤器filter 1利用卷积运算将特征图像P1从m1维度调整为n维度；第二过滤器 filter 2利用卷积运算将特征图像P2从m2维度调整为n维度。由此便于第一合并模块对两幅特征图像进行拼接处理。在此，第二结构中的第二过滤器可以仅用于调整特征图像的维度，甚至还可以在调整维度的同时进行特征提取。

第二过滤器第二过滤器第二过滤器第二过滤器为了便于后续特征分布的统计，第二结构中各第二过滤器输出的特征图像经由归一化模块进行归一处理后提供给第一合并模块。

与所述第一结构不同的是，第二结构中还包括第一合并模块。所述第一合并模块设置在激活模块的输入侧，用于将所在特征处理单元中的至少两个特征图像并予以合并。其中，所述第一合并模块所接收的特征图像可来自于所在特征处理单元的输入端和所述第二结构中归一化模块的输出端。例如，如图4所示，第二结构21中包含两组第二过滤器(211,211’)和归一化模块(212,212’)，该两组第二过滤器(211,211’)和归一化模块(212,212’)分别调整各自接收的图像的维度以便于所输出的两个特征图像的维度相同，再由第一合并模块214将该两组第二过滤器(211,211’)和归一化模块(212,212’)所输出的两特征图像进行对应点的加权取和，以将量特征图像合二为一，再交由激活模块213进行激活处理。又如，如图5所示，第二结构31中包含一组第二过滤器311和归一化模块312，第一合并模块314将该组第二过滤器311和归一化模块312所输出的特征图像与特征处理单元所接收的图像进行合并，再交由激活模块313进行激活处理。再如，如图6所示，特征处理单元包含多个级联的第一结构41、和与所述第一结构和特征处理单元输入端相连的第二结构42。

其中，所述第二结构中的激活模块与第一结构中的激活模块的激活处理方式相通或相似，在此不再详述。

在卷积神经网络中使用所述第二结构能够更精细化同时保留低维度和高维度的肿瘤病理特征。在一具体示例中，所构建的卷积神经网络包含多级特征处理单元，其中，前端的至少一个特征处理单元中仅包含第一结构，后续级联的各特征处理单元中包含第一结构和第二结构。例如，如图7所示，所构建的卷积神经网络中包含一个仅由第一结构组成的特征处理单元51和多个包含第一结构和第二结构的特征处理单元52，由此确保在病变特征提取期间维度逐渐增高的情况下尽量减少病变特征损失。其中，在多个级联的特征处理单元52中，可交错的选用包含类似于图4和图5所示的第二结构。在此基础上，最后两级特征处理单元52中包含采用空洞卷积的过滤器，以有效消除散斑现象。所述特征提取装置利用所述卷积神经网络对肿瘤病理图像进行肿瘤病理特征提取，并将所述卷积神经网络中的多个特征处理单元所输出的特征图像输送至识别装置，由所述识别装置53进行肿瘤病理识别。在此，所述识别装置53识别肿瘤病理的方式可与前述示例相同或相似，在此不予赘述。

为了进一步减少计算机设备的运算量并兼具对肿瘤病理特征提取的准确性，所述特征提取装置还包括位于两级特征处理单元之间的下采样单元，用于将所接收的特征图像进行下采样处理。

在此，所构建的卷积神经网络中，可设置至少一个所述下采样单元。为了减少特征损失，在卷积神经网络的前端设置所述下采样单元。例如，如图8所示，所述下采样单元54位于第一级特征处理单元51和第二级特征处理单元52之间。其中，所述下采样单元54可采用最大值下采样等方式进行下采样处理。

在一些具体示例中，所述识别装置选择对下采样前的至少一个特征处理单元和下采样后的至少一个特征处理单元的特征图像进行融合处理。例如，如图8所示，所述识别装置53所连接的特征处理单元51位于下采样单元54的前级，所连接的特征处理单元52位于下采样单元54的后级且包含第一结构和第二结构，所连接的特征处理单元52位于卷积神经网络的末端，所述识别装置53通过对三个特征处理单元所输出的特征图像进行融合处理并识别肿瘤病理信息。

在此，所述识别装置所接收的各特征图像可以是相应特征处理单元经激活处理后的、相应特征处理单元经过滤且未归一化处理的、以及经归一化处理且未激活处理的中至少一种。

在一些实施方式中，如图9，所述识别装置包括：第三过滤器631、上采样模块632和合并模块633。

所述第三过滤器631的数量与所述识别装置所接收的特征图像的数量相关。为了提高识别效率，所述识别装置采用每个第三过滤器631单独接收一个特征图像的方式，以便于计算机设备予以并行处理。所述第三过滤器631将所接收的特征图像进行分类处理。各第三过滤器631可采用步长为1的遍历方式对所接收特征图像进行遍历的分类处理。

在此，所述第三过滤器631中预设有多个用于分类的过滤窗，通过将各过滤窗分别遍历所接收的特征图像，对特征图像中各点进行分类处理。例如，所述第三过滤器中包含病理分类的过滤窗和非病理分类的过滤窗，并将所接收的特征图像分别与该两过滤窗进行遍历的叠加运算，所输出的两特征图像中同一像素点分别表示属于病变分类和不属于病变分类的可能性。又如，所述第三过滤器中包含第一病理分类的过滤窗、第二病理分类的过滤窗、…、第 N病理分类的过滤窗和非病变分类的过滤窗，并将所接收的特征图像分别与各窗进行遍历的叠加运算，所输出的各特征图像中同一像素点分别表示属于各病理分类和不属于病变分类的可能性。我们将每个病理分类、病变分类作为病理特征为后续识别作为依据。

各第三过滤器631将分类处理后的各特征图像输送至所单独连接的上采样模块632。所述上采样模块632用于将相应第三过滤器631所输出的图像恢复至所述病理图像的尺寸。

需要说明的是，所述第三过滤器还可以先根据过滤后各像素点的分类概率对各像素点进行分类以得到一幅特征图像，再由上采样模块632对该特征图像进行放大处理。

其中，每个上采样模块632根据所接收的特征图像尺寸单独配置上采样的窗口尺寸，并通过遍历所述窗口以对特征图像进行填充。例如，所述上采样模块632可采用二次插值方式或复制方式进行恢复。

所述第二合并模块633连接所有上采样模块632，用于合并各恢复后的特征图像。在此，所述第二合并模块可直接将各恢复后的特征图像进行合并。在一些实施方式中，所述第二合并模块633根据预设的权重合并各恢复后的特征图像。其中，各权重可根据特征处理单元在神经网络中的位置、所提取的肿瘤病理特征的维度等多个方面的评价而设定。各权重还可基于预先的机器学习而设定。

合并后的特征图像中每个像素上均描述了所有分类的概率，根据加权后概率比重最大的分类所表示的病理信息对应标记在肿瘤病理图像的各像素点上即可得到所述肿瘤病理图像中的肿瘤病理信息。

所述识别装置还可以包含识别模块634，其用于基于合并后的特征图像中各像素点所对应的肿瘤病理特征评价所述肿瘤病理图像中的肿瘤病理信息。

所述识别模块634中包含有各肿瘤病理特征的评价权重，通过对像素点所对应的各肿瘤病理特征进行加权处理来确定该像素点的肿瘤病理信息。进一步地，所述识别模块634可利用热度预测的绘制方式将各肿瘤病理信息所对应的颜色描绘在肿瘤病理图像上，由此便于医生进行诊断参考。

所述识别装置所识别出的肿瘤病理信息可叠加在肿瘤病理图像上以新图像保存在图像存储装置中。或者，所述识别装置将所识别出的肿瘤病理信息以类似于地图数据的方式与肿瘤病理图像打包成单独文件并保存在图像存储装置中。

所述肿瘤病理图像的识别***7还包括医生查看病理图像所使用的显示装置73。所述显示装置73可连接于医生就诊的计算机设备上，或者医生会诊所在的会议***。所述显示装置 73通过读取图像存储装置将带有肿瘤病理信息的肿瘤病理图像显示给医生等相关人员。

例如，所述显示装置73按照识别装置所标记的各肿瘤病理信息所对应的颜色，在肿瘤病理图像上渲染各颜色，使得医生可根据颜色来诊断病变。

请参阅11，其显示为本申请提供的一种病理图像的识别方法。所述识别方法主要由识别***来执行。其中，所述识别***包括计算机设备中的软件和硬件。所述计算机设备包括但不限于个人电脑、单台服务器、服务器集群、或基于云架构的服务端等。所述识别***利用计算机设备中的存储单元、处理单元、接口单元、甚至显示单元等硬件，通过执行预设的识别程序时序地调用各装置以执行以下步骤：

在步骤S110中，获取待识别的病理图像。其中，所述病理图像可以为病理切片图像、或辐射设备扫描获得的病理图像等。所述病理图像可以从本地存储单元获取，或通过网络自其它存储设备获取。

在步骤S120中，利用卷积神经网络中设置的多级特征处理单元对所述病理图像进行特征提取；其中，每级特征处理单元用于输出标记有病理特征的特征图像。

在此，所述卷积神经网络可由特征处理单元级联构成，其中，各特征处理单元按照病理特征维度由低到高逐级设置。本步骤可由单独的能够处理卷积神经网络算法的计算设备来执行，或包含为能够处理卷积神经网络算法的处理单元及与之匹配的缓存单元来执行。

在此，第一级特征处理单元接收原始的病理图像并进行最低维度的病理特征处理，后级各特征处理单元接收前一级特征处理单元所输出的特征图像，以进行更高维度的病理特征处理。其中，每个特征处理单元可将经病理特征提取后的特征图像输出至下一级特征处理单元。在此，下一级特征处理单元基于所级联的前级特征处理单元的特征图像进行特征提取。每级特征处理单元可利用同一维度的多个病理特征所对应的卷积核进行遍历以得到特征提取后的特征图像。

在步骤S130中，对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息。

在此，本步骤可以由计算机设备的处理单元、或单独配置有能够处理神经网络数据能力的处理器来执行。

本步骤从步骤S120中所述的至少两个特征处理单元处接收特征图像，并将所接收的各特征图像进行上采样以得到与原图尺寸一致的特征图像；再对上采样后的特征图像进行合并，如此得到与原图像素点一一对应的、且用于反映原图像中每个像素点的病理特征分布的特征图像。其中，由于各特征图像来自不同级联位置的特征处理单元，故而各特征图像上各点所对应的病理特征可藉由相应特征处理单元来确定。例如，来自第一级特征处理单元的特征图像中各点的值反映了第一级特征处理单元所提取的病理特征。又如，来自第三级特征处理单元的特征图像中各点的值反映了第一级至第三级特征处理单元各自所提取的病理特征。

藉由所合并的特征图像的病理分布识别原图像中的病理信息。例如，利用预设的病理特征评价算法确定合并后的特征图像中第(x,y)像素点(或图像区域)的病理特征包含a1％的细胞良性特征M1、a2％的细胞肿瘤特征M2和a3％的细胞良性特征M3，经评价后确定对应原图(病理图像)中的(x,y)像素点(或图像区域)的病理信息为良性肿瘤。通过评价病理图像中各像素点的病理信息得到所拍摄的病理图像的精准病理分布，并由此帮助医生快速划定重点观察区域。

在一些实施方式中，如图1所示，至少一部分所述特征处理单元1可包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构。在所述第一结构11中第一过滤器111中可包含一个或多个卷积核M_i*N_i，i为自然数，a_i为卷积核数量，每个卷积核对应一种病理特征。所述卷积核可表示病变细胞轮廓特征、病变细胞纹路特征、病变细胞形状特征，甚至高维度的抽象的病理特征中的一种。所述卷积核可由机器学习得到，或通过其他途径对病理图像进行特征分析而得。所述第一过滤器根据所接收的图像的尺寸、卷积核的尺寸、和神经网络模型中各级联关系等多种因素设置遍历步长。例如，对位于神经网络前端的至少一级特征处理单元中各第一过滤器的步长大于1。为了使每个病理图像的像素点的病理特征被识别出来，后级特征处理单元中各第一过滤器的步长可略小，如后级特征处理单元中各第一过滤器的步长设为1、或大于1且小于前级第一过滤器的步长。

在每个第一结构中，第一过滤器按照步长将卷积核遍历所接收的病变图像或特征图像并将所得到的特征图像提供给归一化模块进行归一化处理，再由激活模块对归一化后的特征图像进行激活处理。其中，所述归一化模块举例将所述特征图像中的像素值归一化到[0,1]之间。为了防止病理特征随级联阶数增加而梯度削弱的问题，由激活模块利用非线性的激活函数将归一化后的特征图像进行激活处理，经激活处理后的特征图像中标记了所过滤的病理特征的特征点。其中，所述非线性激活函数包括但不限于：Relu函数、sigmoid函数、tanh函数等。例如，归一化后的特征图像的矩阵表示为

经激活处理后的特征图像的矩阵表示为

其中，矩阵中大于0.5的点表示为具有相应病理特征，反之则不具有相应病理特征。

需要说明的是，上述矩阵中各点数值仅用于表示激活处理前后数值分类和变化趋势，而非对激活函数使用的限制。

还需要说明的是，各特征处理单元可根据设计需要选择将已过滤且未归一化、已归一化且未激活、或已激活的特征图像输出至后级特征处理单元或识别装置。

在又一些实施方式中，受梯度影响以及病灶区域本身尺寸较小，后级特征处理单元中的第一过滤器所处理的特征图像能反映的病变特征可能不到1个像素，这样会给图像分割带来困难。所述卷积神经网络中的后级特征处理单元中的至少部分第一过滤器采用空洞卷积对所接收的图像进行病理特征提取。例如，在卷积神经网络的末端至少一个特征处理单元中包含采用空洞卷积的第一过滤器。

其中，所述空洞卷积是将卷积核进行扩充，所扩充的数值通常为0。例如将2*2的卷积核中相邻数值之间填充1个0，得到3*3的卷积核。采用空洞卷积的第一过滤器可通过调整步长以确保特征提取的有效性。例如，采用空洞卷积的第一过滤器相比于同一特征处理单元钟的其他第一过滤器的步长较大。在一个第一结构中可包含上述任一种第一过滤器或两种第一过滤器的组合。例如，如图2所示，第一结构11中第一过滤器111为采用未经扩充的卷积核进行卷积以提取病理特征，第一结构12中第一过滤器121为采用空洞卷积以提取病理特征。

在一些具体示例中，所构建的卷积神经网络中包含多级特征处理单元，且每个特征处理单元包含一个或多个级联的所述第一结构。其中如图3所示，位于卷积神经网络的前端至少一个特征处理单元11中各第一结构111的第一过滤器均采用未扩充的卷积核进行病理特征提取，位于卷积神经网络的末端至少一个特征处理单元12中各第一结构121的第一过滤器包含采用空洞卷积进行病变特征提取。步骤S120中利用该卷积神经网络将病理图像进行逐级的特征提取。再由步骤S130从至少两个特征处理单元(11,12)获取特征图像，由于各特征处理单元所输出的特征图像尺寸未必相同，故而可先对各特征图像进行上采样至所述病理图像的尺寸；再根据预设的各特征处理单元的权重，对上采样后的各特征图像进行合并。合并后的特征图像与病理图像的像素点一一对应。再将合并后特征图像各像素点所标记的病理特征对应到病理图像的各像素点上。由于置所合并的特征图像中同时包含了低维度和高维度的病理特征，故而本方法能够综合前级和后级的病理特征识别各像素点的病理特征，因此所识别出的病理图像的病变区域更准确。

在又一些实施方式中，至少部分所述特征处理单元包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构。

其中，所述第二结构中的第二过滤器用于利用卷积调整特征图像的维度。例如，在一个特征处理单元中包含第一结构和第二结构，其中，第二结构中包含两个第二过滤器filter 1、 filter 2分别接收所述第一结构所输出的特征图像P1和特征处理单元输入端的特征图像P2，其中，第二过滤器filter 1利用卷积运算将特征图像P1从m1维度调整为n维度；第二过滤器 filter 2利用卷积运算将特征图像P2从m2维度调整为n维度。由此便于第一合并模块对两幅特征图像进行拼接处理。在此，第二结构中的第二过滤器可以仅用于调整特征图像的维度，甚至还可以在调整维度的同时进行特征提取。

第二过滤器第二过滤器第二过滤器第二过滤器为了便于后续特征分布的统计，第二结构中各第二过滤器输出的特征图像经由归一化模块进行归一处理后提供给第一合并模块。

与所述第一结构不同的是，第二结构中还包括第一合并模块。所述第一合并模块设置在激活模块的输入侧，将所在特征处理单元中的至少两个特征图像并予以合并。其中，所述第一合并模块所接收的特征图像可来自于所在特征处理单元的输入端和所述第二结构中归一化模块的输出端。例如，如图4所示，第二结构21中包含两组第二过滤器(211,211’)和归一化模块(212,212’)，该两组第二过滤器(211,211’)和归一化模块(212,212’)分别调整各自接收的图像的维度以便于所输出的两个特征图像的维度相同，再由第一合并模块214将该两组第二过滤器(211,211’)和归一化模块(212,212’)所输出的两特征图像进行对应点的加权取和，以将量特征图像合二为一，再交由激活模块213进行激活处理。又如，请参阅图5，其显示为第二结构在又一实施方式中的结构示意图。第二结构31中包含一组第二过滤器311 和归一化模块312，第一合并模块314将该组第二过滤器311和归一化模块312所输出的特征图像与特征处理单元所接收的图像进行合并，再交由激活模块313进行激活处理。再如，请参阅图6，其显示为特征处理单元在另一实施方式中的结构示意图。特征处理单元包含多个级联的第一结构41、和与所述第一结构和特征处理单元输入端相连的第二结构42。

其中，所述第二结构中的激活模块与第一结构中的激活模块的激活处理方式相通或相似，在此不再详述。

在卷积神经网络中使用所述第二结构能够更精细化同时保留低维度和高维度的病理特征。在一具体示例中，所构建的卷积神经网络包含多级特征处理单元，其中，前端的至少一个特征处理单元中仅包含第一结构，后续级联的各特征处理单元中包含第一结构和第二结构。例如，如图7所示，所构建的卷积神经网络中包含一个仅由第一结构组成的特征处理单元51 和多个包含第一结构和第二结构的特征处理单元52，由此确保在病变特征提取期间维度逐渐增高的情况下尽量减少病变特征损失。其中，在多个级联的特征处理单元52中，可交错的选用包含类似于图4和图5所示的第二结构。在此基础上，最后两级特征处理单元52中包含采用空洞卷积的第一过滤器，以有效消除散斑现象。所述步骤S130利用所述卷积神经网络对病理图像进行病理特征提取，并将所述卷积神经网络中的多个特征处理单元所输出的特征图像进行病理识别。在此，识别病理的方式可与前述示例相同或相似，在此不予赘述。

为了进一步减少计算机设备的运算量并兼具对病理特征提取的准确性，所述方法还包括将所述特征处理单元所输出的特征图像进行下采样处理的步骤。

在此，所构建的卷积神经网络中，可设置至少一个所述下采样单元。为了减少特征损失，在卷积神经网络的前端设置所述下采样单元。例如，如图8所示，下采样单元54位于第一级特征处理单元51和第二级特征处理单元52之间。其中，所述下采样单元54可采用最大值下采样等方式进行下采样处理。

在一些具体示例中，步骤S130中所选择的特征图像可以来自于下采样前的至少一个特征处理单元和下采样后的至少一个特征处理单元的特征图像，并对其进行融合处理。例如，如图8所示，接收的特征处理单元51位于下采样单元54的前级，所连接的特征处理单元52位于下采样单元54的后级且包含第一结构和第二结构，所连接的特征处理单元52位于卷积神经网络的末端，再通过对三个特征处理单元所输出的特征图像进行融合处理并识别病理信息。

在此，所步骤S130所接收的各特征图像可以是相应特征处理单元经激活处理后的、相应特征处理单元经过滤且未归一化处理的、以及经归一化处理且未激活处理的中至少一种。

在一些实施方式中，如图9所示，所述步骤S130由包含第三过滤器631、上采样模块632 和第二合并模块633的识别装置来执行。

所述第三过滤器631的数量与所述识别装置所接收的特征图像的数量相关。为了提高识别效率，所述识别装置采用每个第三过滤器631单独接收一个特征图像的方式，以便于计算机设备予以并行处理。所述第三过滤器631将所接收的特征图像进行分类处理。各第三过滤器631可采用步长为1的遍历方式对所接收特征图像进行遍历的分类处理。

在此，所述第三过滤器631中预设有多个用于分类的过滤窗，通过将各过滤窗分别遍历所接收的特征图像，对特征图像中各点进行分类处理。例如，所述第三过滤器中包含病理分类的过滤窗和非病理分类的过滤窗，并将所接收的特征图像分别与该两过滤窗进行遍历的叠加运算，所输出的两特征图像中同一像素点分别表示属于病变分类和不属于病变分类的可能性。又如，所述第三过滤器中包含第一病理分类的过滤窗、第二病理分类的过滤窗、…、第 N病理分类的过滤窗和非病变分类的过滤窗，并将所接收的特征图像分别与各窗进行遍历的叠加运算，所输出的各特征图像中同一像素点分别表示属于各病理分类和不属于病变分类的可能性。我们将每个病理分类、病变分类作为病理特征为后续识别作为依据。

各第三过滤器631将分类处理后的各特征图像输送至所单独连接的上采样模块632。所述上采样模块632用于将相应第三过滤器631所输出的图像恢复至所述病理图像的尺寸。

需要说明的是，所述第三过滤器还可以先根据过滤后各像素点的分类概率对各像素点进行分类以得到一幅特征图像，再由上采样模块632对该特征图像进行放大处理。

其中，每个上采样模块632根据所接收的特征图像尺寸单独配置上采样的窗口尺寸，并通过遍历所述窗口以对特征图像进行填充。例如，所述上采样模块632可采用二次插值方式或复制方式进行恢复。

所述第二合并模块633连接所有上采样模块632，用于合并各恢复后的特征图像。在此，所述第二合并模块可直接将各恢复后的特征图像进行合并。在一些实施方式中，所述第二合并模块633根据预设的权重合并各恢复后的特征图像。其中，各权重可根据特征处理单元在神经网络中的位置、所提取的病理特征的维度等多个方面的评价而设定。各权重还可基于预先的机器学习而设定。

合并后的特征图像中每个像素上均描述了所有分类的概率，根据加权后概率比重最大的分类所表示的病理信息对应标记在病理图像的各像素点上即可得到所述病理图像中的病理信息。

所述步骤S130还包括：基于合并后的特征图像中各像素点所对应的病理特征评价所述病理图像中的病理信息的步骤。

预设有各病理特征的评价权重，通过对像素点所对应的各病理特征进行加权处理来确定该像素点的病理信息。进一步地，可利用热度预测的绘制方式将各病理信息所对应的颜色描绘在病理图像上，由此便于医生进行诊断参考。

本申请还提供一种肿瘤病理图像的识别方法。其中，所述肿瘤病理图像的识别方法主要由肿瘤病理图像的识别***来执行。其中，所述肿瘤病理图像包括但不限于：乳腺肿瘤病理图像、肺部肿瘤病理图像等。所述肿瘤病理图像的识别***可应用在医院的就诊***中，医生可藉由操作就诊***获取对应患者的肿瘤病理图像，并由所述识别***对肿瘤病理图像进行病理识别。所述肿瘤病理图像的识别***中的部分或全部可安装于医院的、或第三方提供的计算机设备中。所述计算机设备包括但不限于医院或第三方服务端、或医生所使用的个人电脑。其中，所述服务端包括但不限于：单台服务器、服务器集群或基于云架构的服务端。

其中，所述肿瘤病理图像的识别方法包括以下步骤：

在步骤210中，获取待识别的肿瘤病理图像。其中，所述肿瘤病理图像可以为肿瘤病理切片图像、或辐射设备扫描获得的肿瘤病理图像等。所述肿瘤病理图像可获取自本地存储装置，或者从网络中的存储设备获取。

在步骤S220中，利用卷积神经网络中设置的多级特征处理单元对所述肿瘤病理图像进行特征提取；其中，每级特征处理单元用于输出标记有肿瘤病理特征的特征图像。

在此，所述卷积神经网络可由特征处理单元级联构成，其中，各特征处理单元按照肿瘤病理特征维度由低到高逐级设置。本步骤可由单独的能够处理卷积神经网络算法的计算设备来执行，或由包含为能够处理卷积神经网络算法的处理单元及与之匹配的缓存单元来执行。该处理单元可与图像接收装置中的处理单元共用，也可以是指包含有专用于卷积神经网络的芯片或集成电路的单元等。

在此，第一级特征处理单元接收原始的肿瘤病理图像并进行最低维度的肿瘤病理特征处理，后级各特征处理单元接收前一级特征处理单元所输出的特征图像，以进行更高维度的肿瘤病理特征处理。其中，每个特征处理单元可将经肿瘤病理特征提取后的特征图像输出至下一级特征处理单元。在此，下一级特征处理单元基于所级联的前级特征处理单元的特征图像进行特征提取。每级特征处理单元可利用同一维度的多个病理特征所对应的卷积核进行遍历以得到特征提取后的特征图像。

在步骤S230中，对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的肿瘤病理特征识别所述肿瘤病理图像中的肿瘤病理信息。

在此，本步骤可由计算机设备的处理单元、或单独配置有能够处理神经网络数据能力的处理器等执行。

从步骤S220中的至少两个特征处理单元处接收特征图像，并将所接收的各特征图像进行上采样以得到与原图尺寸一致的特征图像；再对上采样后的特征图像进行合并，如此得到与原图像素点一一对应的、且用于反映原图像中每个像素点的肿瘤病理特征分布的特征图像。其中，由于各特征图像来自不同级联位置的特征处理单元，故而各特征图像上各点所对应的肿瘤病理特征可藉由相应特征处理单元来确定。例如，来自第一级特征处理单元的特征图像中各点的值反映了第一级特征处理单元所提取的肿瘤病理特征。又如，来自第三级特征处理单元的特征图像中各点的值反映了第一级至第三级特征处理单元各自所提取的肿瘤病理特征。

藉由所合并的特征图像的肿瘤病理分布识别原图像中的肿瘤病理信息。例如，利用预设的肿瘤病理特征评价算法确定合并后的特征图像中第(x,y)像素点(或图像区域)的肿瘤病理特征包含a1％的细胞良性特征M1、a2％的细胞肿瘤特征M2和a3％的细胞良性特征M3，经所述识别装置评价后确定对应原图(肿瘤病理图像)中的(x,y)像素点(或图像区域)的肿瘤病理信息为良性肿瘤。通过评价肿瘤病理图像中各像素点的肿瘤病理信息得到所拍摄的肿瘤病理图像的精准肿瘤病理分布，并由此帮助医生快速划定重点观察区域。

在一些实施方式中，如图1所示，至少一部分所述特征处理单元1可包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构。在所述第一结构11中第一过滤器111中可包含一个或多个卷积核M_i*N_i，i为自然数，a_i为卷积核数量，每个卷积核对应一种病理特征。在所述第一结构中，第一过滤器中可包含一个或多个卷积核，其中每个卷积核对应一种肿瘤病理特征。所述卷积核可表示病变细胞轮廓特征、病变细胞纹路特征、病变细胞形状特征，甚至高维度的抽象的肿瘤病理特征中的一种。所述卷积核可由机器学习得到，或通过其他途径对肿瘤病理图像进行特征分析而得。所述第一过滤器根据所接收的图像的尺寸、卷积核的尺寸、和神经网络模型中各级联关系等多种因素设置遍历步长。例如，对位于神经网络前端的至少一级特征处理单元中各第一过滤器的步长大于1。为了使每个肿瘤病理图像的像素点的肿瘤病理特征被识别出来，后级特征处理单元中各第一过滤器的步长可略小，如后级特征处理单元中各第一过滤器的步长设为1、或大于1且小于前级第一过滤器的步长。

在每个第一结构中，第一过滤器按照步长将卷积核遍历所接收的病变图像或特征图像并将所得到的特征图像提供给归一化模块进行归一化处理，再由激活模块对归一化后的特征图像进行激活处理。其中，所述归一化模块举例将所述特征图像中的像素值归一化到[0,1]之间。为了防止肿瘤病理特征随级联阶数增加而梯度削弱的问题，由激活模块利用非线性的激活函数将归一化后的特征图像进行激活处理，经激活处理后的特征图像中标记了所过滤的肿瘤病理特征的特征点。其中，所述非线性激活函数包括但不限于：Relu函数、sigmoid函数、tanh 函数等。例如，归一化后的特征图像的矩阵表示为

经激活处理后的特征图像的矩阵表示为

其中，矩阵中大于0.5的点表示为具有相应肿瘤病理特征，反之则不具有相应肿瘤病理特征。

需要说明的是，上述矩阵中各点数值仅用于表示激活处理前后数值分类和变化趋势，而非对激活函数使用的限制。

还需要说明的是，各特征处理单元可根据设计需要选择将已过滤且未归一化、已归一化且未激活、或已激活的特征图像输出至后级特征处理单元或识别装置。

在又一些实施方式中，受梯度影响以及病灶区域本身尺寸较小，后级特征处理单元中的第一过滤器所处理的特征图像能反映的病变特征可能不到1个像素，这样会给图像分割带来困难。所述卷积神经网络中的后级特征处理单元中的至少部分第一过滤器采用空洞卷积对所接收的图像进行肿瘤病理特征提取。例如，在卷积神经网络的末端至少一个特征处理单元中包含采用空洞卷积的第一过滤器。

其中，所述空洞卷积是将卷积核进行扩充，所扩充的数值通常为0。例如将2*2的卷积核中相邻数值之间填充1个0，得到3*3的卷积核。采用空洞卷积的第一过滤器可通过调整步长以确保特征提取的有效性。例如，采用空洞卷积的第一过滤器相比于同一特征处理单元钟的其他第一过滤器的步长较大。在一个第一结构中可包含上述任一种第一过滤器或两种第一过滤器的组合。例如，如图2所示，其中第一结构11中第一过滤器111为采用未经扩充的卷积核进行卷积以提取肿瘤病理特征，第一结构12中第一过滤器121为采用空洞卷积以提取肿瘤病理特征。

在一些具体示例中，所构建的卷积神经网络中包含多级特征处理单元，且每个特征处理单元包含一个或多个级联的所述第一结构。如图3所示，位于卷积神经网络的前端至少一个特征处理单元中各第一结构的第一过滤器均采用未扩充的卷积核进行肿瘤病理特征提取，位于卷积神经网络的末端至少一个处理单元中各第一结构的第一过滤器包含采用空洞卷积进行病变特征提取。所述特征提取装置利用该卷积神经网络将肿瘤病理图像进行逐级的特征提取。识别装置从至少两个特征处理单元获取特征图像，由于各特征处理单元所输出的特征图像尺寸未必相同，所述识别装置可先对各特征图像进行上采样至所述肿瘤病理图像的尺寸；再根据预设的各特征处理单元的权重，对上采样后的各特征图像进行合并。合并后的特征图像与肿瘤病理图像的像素点一一对应，再将合并后特征图像各像素点所标记的肿瘤病理特征对应到肿瘤病理图像的各像素点上。由于所合并的特征图像中同时包含了低维度和高维度的肿瘤病理特征，故而能够综合前级和后级的肿瘤病理特征识别各像素点的肿瘤病理特征，因此所识别出的肿瘤病理图像的病变区域更准确。

在又一些实施方式中，至少部分所述特征处理单元包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构。

其中，所述第二结构中的第二过滤器用于利用卷积调整特征图像的维度。例如，在一个特征处理单元中包含第一结构和第二结构，其中，第二结构中包含两个第二过滤器filter 1、 filter 2分别接收所述第一结构所输出的特征图像P1和特征处理单元输入端的特征图像P2，其中，第二过滤器filter 1利用卷积运算将特征图像P1从m1维度调整为n维度；第二过滤器 filter 2利用卷积运算将特征图像P2从m2维度调整为n维度。由此便于第一合并模块对两幅特征图像进行拼接处理。在此，第二结构中的第二过滤器可以仅用于调整特征图像的维度，甚至还可以在调整维度的同时进行特征提取。

第二过滤器第二过滤器第二过滤器第二过滤器为了便于后续特征分布的统计，第二结构中各第二过滤器输出的特征图像经由归一化模块进行归一处理后提供给第一合并模块。

与所述第一结构不同的是，第二结构中还包括第一合并模块。所述第一合并模块设置在激活模块的输入侧，用于将所在特征处理单元中的至少两个特征图像并予以合并。其中，所述第一合并模块所接收的特征图像可来自于所在特征处理单元的输入端和所述第二结构中归一化模块的输出端。例如，如图4所示，第二结构21中包含两组第二过滤器(211,211’)和归一化模块(212,212’)，该两组第二过滤器(211,211’)和归一化模块(212,212’)分别调整各自接收的图像的维度以便于所输出的两个特征图像的维度相同，再由第一合并模块214将该两组第二过滤器(211,211’)和归一化模块(212,212’)所输出的两特征图像进行对应点的加权取和，以将量特征图像合二为一，再交由激活模块213进行激活处理。又如，如图5所示，第二结构31中包含一组第二过滤器311和归一化模块312，第一合并模块314将该组第二过滤器311和归一化模块312所输出的特征图像与特征处理单元所接收的图像进行合并，再交由激活模块313进行激活处理。再如，如图6所示，特征处理单元包含多个级联的第一结构41、和与所述第一结构和特征处理单元输入端相连的第二结构42。

其中，所述第二结构中的激活模块与第一结构中的激活模块的激活处理方式相通或相似，在此不再详述。

在卷积神经网络中使用所述第二结构能够更精细化同时保留低维度和高维度的肿瘤病理特征。在一具体示例中，所构建的卷积神经网络包含多级特征处理单元，其中，前端的至少一个特征处理单元中仅包含第一结构，后续级联的各特征处理单元中包含第一结构和第二结构。例如，如图7所示，所构建的卷积神经网络中包含一个仅由第一结构组成的特征处理单元51和多个包含第一结构和第二结构的特征处理单元52，由此确保在病变特征提取期间维度逐渐增高的情况下尽量减少病变特征损失。其中，在多个级联的特征处理单元52中，可交错的选用包含类似于图4和图5所示的第二结构。在此基础上，最后两级特征处理单元52中包含采用空洞卷积的第一过滤器，以有效消除散斑现象。依步骤S220和S230，利用所述卷积神经网络对肿瘤病理图像进行肿瘤病理特征提取，并将所述卷积神经网络中的多个特征处理单元所输出的特征图像进行肿瘤病理识别。在此，识别肿瘤病理的方式可与前述示例相同或相似，在此不予赘述。为了进一步减少计算机设备的运算量并兼具对肿瘤病理特征提取的准确性，所述方法还包括将所接收的特征图像进行下采样处理的步骤。

在此，所构建的卷积神经网络中，可设置至少一个所述下采样单元。为了减少特征损失，在卷积神经网络的前端设置所述下采样单元。例如，如图8所示，所述下采样单元54位于第一级特征处理单元51和第二级特征处理单元52之间。其中，所述下采样单元54可采用最大值下采样等方式进行下采样处理。

在一些具体示例中，所述步骤S230可选择对下采样前的至少一个特征处理单元和下采样后的至少一个特征处理单元的特征图像进行融合处理。

例如，如图8所示，所述步骤S230所接收的图像分别来自位于下采样单元54前级的：特征处理单元51、位于下采样单元54后级且包含第一结构和第二结构的特征处理单元52、以及位于卷积神经网络的末端的特征处理单元52，通过对三个特征处理单元所输出的特征图像进行融合处理以识别肿瘤病理信息。

在此，所述步骤S230所接收的各特征图像可以是相应特征处理单元经激活处理后的、相应特征处理单元经过滤且未归一化处理的、以及经归一化处理且未激活处理的中至少一种。

在一些实施方式中，如图9所示，所述步骤S230由包括第三过滤器631、上采样模块632 和第二合并模块633的识别装置来执行。

所述第三过滤器631的数量与所述识别装置所接收的特征图像的数量相关。为了提高识别效率，所述识别装置采用每个第三过滤器631单独接收一个特征图像的方式，以便于计算机设备予以并行处理。所述第三过滤器631将所接收的特征图像进行分类处理。各第三过滤器631可采用步长为1的遍历方式对所接收特征图像进行遍历的分类处理。

在此，所述第三过滤器631中预设有多个用于分类的过滤窗，通过将各过滤窗分别遍历所接收的特征图像，对特征图像中各点进行分类处理。例如，所述第三过滤器中包含肿瘤病理分类的过滤窗和非肿瘤病理分类的过滤窗，并将所接收的特征图像分别与该两过滤窗进行遍历的叠加运算，所输出的两特征图像中同一像素点分别表示属于病变分类和不属于病变分类的可能性。又如，所述第三过滤器中包含第一肿瘤病理分类的过滤窗、第二肿瘤病理分类的过滤窗、…、第N肿瘤病理分类的过滤窗和非病变分类的过滤窗，并将所接收的特征图像分别与各窗进行遍历的叠加运算，所输出的各特征图像中同一像素点分别表示属于各肿瘤病理分类和不属于病变分类的可能性。我们将每个肿瘤病理分类、病变分类作为肿瘤病理特征为后续识别作为依据。

各第三过滤器631将分类处理后的各特征图像输送至所单独连接的上采样模块632。所述上采样模块632用于将相应第三过滤器631所输出的图像恢复至所述肿瘤病理图像的尺寸。

需要说明的是，所述第三过滤器还可以先根据过滤后各像素点的分类概率对各像素点进行分类以得到一幅特征图像，再由上采样模块632对该特征图像进行放大处理。

其中，每个上采样模块632根据所接收的特征图像尺寸单独配置上采样的窗口尺寸，并通过遍历所述窗口以对特征图像进行填充。其中，所述上采样模块632可采用二次插值方式或复制方式进行恢复。

所述第二合并模块633连接所有上采样模块632，用于合并各恢复后的特征图像。在此，所述第二合并模块可直接将各恢复后的特征图像进行合并。在一些实施方式中，所述第二合并模块633根据预设的权重合并各恢复后的特征图像。其中，各权重可根据特征处理单元在神经网络中的位置、所提取的肿瘤病理特征的维度等多个方面的评价而设定。各权重还可基于预先的机器学习而设定。

合并后的特征图像中每个像素上均描述了所有分类的概率，根据加权后概率比重最大的分类所表示的病理信息对应标记在肿瘤病理图像的各像素点上即可得到所述肿瘤病理图像中的肿瘤病理信息。

所述步骤S230还可以包含基于合并后的特征图像中各像素点所对应的肿瘤病理特征评价所述肿瘤病理图像中的肿瘤病理信息的步骤。

预设有各肿瘤病理特征的评价权重，通过对像素点所对应的各肿瘤病理特征进行加权处理来确定该像素点的肿瘤病理信息。进一步地，可利用热度预测的绘制方式将各肿瘤病理信息所对应的颜色描绘在肿瘤病理图像上，由此便于医生进行诊断参考。

所述步骤S230所识别出的肿瘤病理信息可叠加在肿瘤病理图像上以新图像保存。或者，将所识别出的肿瘤病理信息以类似于地图数据的方式与肿瘤病理图像打包成单独文件并保存。

所述肿瘤病理图像的识别方法还执行步骤S240：显示所识别的包含病理信息的肿瘤病理图像。

其中，所述肿瘤病理图像的识别***包括医生查看病理图像所使用的显示装置。所述显示装置可连接于医生就诊的计算机设备上，或者医生会诊所在的会议***。所述显示装置通过读取图像存储装置将带有肿瘤病理信息的肿瘤病理图像显示给医生等相关人员。

例如，按照步骤S230所标记的各肿瘤病理信息所对应的颜色，在肿瘤病理图像上渲染各颜色，使得医生可根据颜色来诊断病变。

需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。

本申请可用于众多通用或专用的计算***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，本领域技术人员可以理解，上述部分组件可以是可编程逻辑器件，包括：可编程阵列逻辑(Programmable Array Logic，PAL)、通用阵列逻辑(Generic ArrayLogic， GAL)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、复杂可编程逻辑器件 (Complex Programmable Logic Device，CPLD)中的一种或多种，本发明/发明对此不做具体限制。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (15)

1.一种病理图像的识别***，其特征在于，包括：

图像接收装置，用于接收待识别的病理图像；

特征提取装置，用于利用卷积神经网络中设置的多级特征处理单元对所述病理图像进行特征提取；

其中，所述特征处理单元中包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构，其中，所述第一合并模块设置在激活模块的输入侧，用于将所在特征处理单元中的至少两个特征图像予以合并；其中，所述第二过滤器至少用于调整特征图像的维度；

识别装置，用于对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息；

其中，所述识别装置包括：

与各所述特征处理单元单独连接的第三过滤器；每个第三过滤器对所接收的特征图像进行分类处理；

上采样模块，与所述第三过滤器单独连接，用于将相应第三过滤器所输出的图像恢复至所述病理图像的尺寸；

第二合并模块，与每个所述上采样模块相连，用于合并各恢复后的特征图像。

2.根据权利要求1所述的病理图像的识别***，其特征在于，所述特征处理单元包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构；其中，所述第一过滤器按照预设步长对所接收的图像进行病理特征提取。

3.根据权利要求2所述的病理图像的识别***，其特征在于，所述第一过滤器采用空洞卷积对所接收的图像进行病理特征提取。

4.根据权利要求3所述的病理图像的识别***，其特征在于，包含所述第一结构的特征处理单元位于所述卷积神经网络的末端。

5.根据权利要求1所述的病理图像的识别***，其特征在于，所述第一合并模块合并所接收的至少两个所述归一化模块输出的特征图像，其中，所述至少两个归一化模块来自于同一个或不同的特征处理单元；或者

所述第一合并模块合并所述归一化模块输出的特征图像和前一级特征处理单元所输出的特征图像。

6.根据权利要求1所述的病理图像的识别***，其特征在于，所述特征提取装置还包括位于两级特征处理单元之间的下采样单元，用于将所接收的特征图像进行下采样处理。

7.根据权利要求1所述的病理图像的识别***，其特征在于，所述识别装置包括：识别模块，用于基于合并后的特征图像中各像素点所对应的病理特征评价所述病理图像中的病理信息。

8.一种肿瘤病理图像的识别***，其特征在于，包括：

图像存储装置，用于存储待识别的肿瘤病理图像；

如权利要求1-7中任一所述的识别***，用于对所述肿瘤病理图像中的病理信息进行识别；

显示装置，用于将所识别的包含病理信息的肿瘤病理图像予以显示。

9.一种病理图像的识别方法，其特征在于，包括：

从图像库中获取待识别的病理图像；

利用卷积神经网络中设置的多级特征处理单元对所述病理图像进行特征提取；其中，所述特征处理单元中包括至少一组由第二过滤器、归一化模块、第一合并模块和激活模块组成的第二结构，其中，所述第一合并模块将所在特征处理单元中的至少两个特征图像予以合并并输出至所述激活模块；其中，所述第二过滤器至少用于调整特征图像的维度；

对至少两级特征处理单元所输出的特征图像进行融合处理，并基于融合后图像中的病理特征识别所述病理图像中的病理信息，由此帮助医生快速划定重点观察区域；其包括：利用与各级特征单元对应的第三过滤器对各特征图像单独进行分类处理；将相应第三过滤器所输出的图像恢复至所述病理图像的尺寸，并合并各放大后的特征图像。

10.根据权利要求9所述的病理图像的识别方法，其特征在于，所述特征处理单元包括至少一组由第一过滤器、归一化模块和激活模块组成的第一结构；其中，所述第一过滤器按照预设步长对所接收的图像进行病理特征提取。

11.根据权利要求10所述的病理图像的识别方法，其特征在于，所述第一结构中包含按照预设的空洞步长对所接收的图像进行病理特征提取的第一过滤器。

12.根据权利要求11所述的病理图像的识别方法，其特征在于，包含所述第一结构的特征处理单元位于所述卷积神经网络的至少最后一级。

13.根据权利要求9所述的病理图像的识别方法，其特征在于，所述第一合并模块合并所接收的至少两个所述归一化模块输出的图像，其中，所述至少两个归一化模块来自于同一个或不同的特征处理单元；或者

所述第一合并模块合并所述归一化模块输出的图像和前一级特征处理单元所输出的特征图像。

14.根据权利要求9所述的病理图像的识别方法，其特征在于，还包括将所述特征处理单元所输出的特征图像进行下采样处理的步骤。

15.一种肿瘤病理图像的识别方法，其特征在于，包括：

利用如权利要求9-14中任一所述的识别方法识别肿瘤病理图像；

将所识别的包含病理信息的肿瘤病理图像予以显示。

Images