CN112270662A - 图像处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、设备和存储介质，该方法包括：获得组织切块的至少一幅反射光图像，反射光图像包括组织切块对第一光源的反射光经摄像设备转换后的成像，第一光源和摄像设备位于组织切块的同侧；获得组织切块的至少一幅透射光图像，透射光图像包括组织切块经第二光源透射的透射光通过摄像设备转换后的成像，其中，第二光源和摄像设备位于组织切块的不同侧；依据已学习出的病变组织的光吸收特征，以及，组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的组织切块中不同位置处的光吸收特征，确定组织切块中的病灶区域。本申请的方案可以较为准确的识别出组织切块中的病灶区域。

Description

图像处理方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备和存储介质。

背景技术

病理检查(pathological examination)已经大量应用于临床工作及科学研究。如，肿瘤患者的术后组织分析可以有利于准确诊断肿瘤情况。

其中，病理检查是指，在将人体或者动物体中某个部位的组织切下后，将切下的组织分成适当体积的多个组织块，由医生挑选出包含病灶的组织块并制成病理切片，通过在显微镜观察病理切片的形态，以检查病变。为了得到准确的病变信息，选取包含病灶的组织块制成病理切片这一过程尤为重要。

然而，医生们主要是通过裸眼观察组织块和触摸组织块，来分辨组织块中病灶区，该种方式对医生的经验要求较高，且很容易出现病灶辨别错误。而且，如果病灶隐匿在组织块内部，仅凭医生裸眼观察也无法辨识出组织块中的病灶，而医生触摸组织块的手感来辨别病灶具有较强的主观性，准确性并不高。

发明内容

有鉴于此，本申请提供了一种图像处理方法、装置、设备和存储介质，以能够较为准确的识别出组织切块中的病灶区域。

为实现上述目的，本申请提供了如下技术方案：

一方面，本申请提供了一种图像处理方法，包括：

获得组织切块的至少一幅反射光图像，所述反射光图像包括所述组织切块对第一光源的反射光经摄像设备转换后的成像，所述第一光源和所述摄像设备位于所述组织切块的同侧；

获得所述组织切块的至少一幅透射光图像，所述透射光图像包括所述组织切块经第二光源透射的透射光通过所述摄像设备转换后的成像，其中，所述第二光源和所述摄像设备位于所述组织切块的不同侧；

依据已学习出的病变组织的光吸收特征，以及，所述组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的所述组织切块中不同位置处的光吸收特征，确定所述组织切块中的病灶区域。

在一种可能的实现方式中，所述依据已学习出的病变组织的光吸收特征，以及，所述组织切块的至少一幅反射光图像和至少一幅透射光图像所表征的所述组织切块中不同位置处的光吸收特征，确定所述组织切块中的病灶区域，包括：

依据所述组织切块的至少一幅反射光图像和至少一幅透射光图像，并利用病灶识别模型，确定所述组织切块中的病灶区域；

其中，所述病灶识别模型为利用多个标注有实际病灶区域的组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，通过深度学习训练得到，所述病灶识别模型已学习出病变组织的光吸收特征。

在又一种可能的实现方式中，所述获得组织切块的至少一幅反射光图像，包括：

获得组织切块的至少一幅第一反射光图像和至少一幅第二反射光图像，其中，所述第一反射光图像包括所述组织切块对第一光源的反射光经第一摄像设备转换后的成像，所述第二反射光图像包括所述组织切块对所述第一光源的反射光经第二摄像设备转换后的成像，所述第一摄像设备为感光范围包括可见光光谱的摄像设备，所述第二摄像设备为感光范围包括短波红外波段光谱的摄像设备，所述第一摄像设备和第二摄像设备和所述第一光源位于所述组织切块的同侧；

所述获得所述组织切块的至少一幅透射光图像，包括：

获得组织切块的至少一幅第一透射光图像和至少一幅第二透射光图像，所述第一透射光图像包括所述组织切块经第二光源透射的透射光通过所述第一摄像设备转换后的成像，所述第二透射光图像包括所述组织切块经第二光源透射的透射光通过所述第二摄像设备转换后的成像，所述第一摄像设备和所述第二摄像设备均与所述第二光源位于所述组织切块的不同侧。

又一方面，本申请还提供了一种图像处理装置，包括：

第一图像获得单元，用于获得组织切块的至少一幅反射光图像，所述反射光图像包括所述组织切块对第一光源的反射光经摄像设备转换后的成像，所述第一光源和所述摄像设备位于所述组织切块的同侧；

第二图像获得单元，用于获得所述组织切块的至少一幅透射光图像，所述透射光图像包括所述组织切块经第二光源透射的透射光通过所述摄像设备转换后的成像，其中，所述第二光源和所述摄像设备位于所述组织切块的不同侧；

病灶确定单元，用于依据已学习出的病变组织的光吸收特征，以及，所述组织切块的至少一幅反射光图像和至少一幅透射光图像所表征的所述组织切块中不同位置处的光吸收特征，确定所述组织切块中的病灶区域。

又一方面，本申请还提供了一种计算机设备，包括存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上任意一项所述的图像处理方法。

又一方面，本申请还提供了一种存储介质，用于存储程序，所述程序被执行时，用于实现如上任意一项所述图像处理方法。

由以上内容可知，基于组织切块的反射光图像和透射光图像的成像方式，组织切块的反射光图像可以反映出组织切块表面对光的吸收特征，而组织切块的透射光图像反映的是组织切块内部对光的吸收特征，因此，基于组织切块的反射光图像和透射光图像可以较为全面的反映出组织切块表面以及内部的组织特征。在此基础上，由于病变组织以及正常组织等不同类型组织对光的吸收特征也会有所不同，本申请结合病变组织所呈现的光吸收特征，并依据组织切块表面以及内部不同位置处的光吸收特征，可以较为全面分析出组织切块中存在病灶的区域，也减少由于病灶隐匿在组织切块内部而无法被识别出的情况，从而提高了识别组织切块中病灶区域的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请所适用的一种***架构示意图；

图2示出了本申请提供的图像处理方法一个实施例的流程示意图；

图3为本申请提供的图像处理方法又一个实施例的流程示意图；

图4为本申请的图像处理方法的一种实现原理示意图；

图5为本申请的图像处理方法中提升第二反射光图像的分辨率的一种实现原理示意图；

图6为本申请中训练病灶识别模型的一种流程示意图；

图7为本申请提供的一种图像处理装置一个实施例的组成结构示意图；

图8示出了本申请提供计算机设备的一种组成结构示意图。

具体实施方式

本申请的方案适用于利用个人计算机、服务器或者云平台中对人体或者动物的组织切块的图像进行分析处理，以确定出组织切块中的病灶区域，并提高确定组织切块中的病灶区域的准确性。

在本申请中为了提高病灶区域确定的准确性，在对组织切块进行反射照明和透射照明的情况下分别获得组织切块的图像，并对这两种情况的图像进行分析。

为了便于理解，下面先对本申请的方案所适用的***架构进行介绍。

如图1，其示出了本申请的方案所适用的一种***架构的组成结构示意图。

在图1的***架构中包括：图像采集***10和图像分析***20；

其中，图像采集***10包括：摄像设备11、第一光源12、第二光源13以及用于承载组织切块的玻璃板14。

由图1可以看出，第一光源12和摄像设备11位于玻璃板14的一侧，而第二光源13位于玻璃板14的另一侧。可见，在玻璃块放置有组织切块的情况下，第一光源12和摄像设备11位于组织切块的一侧，而第二光源13位于组织切块的另一侧。

其中，该组织切块可以为从人体或者动物体上取下的组织块。当然，虽然本申请称为组织块但是实际上该组织块的厚度也较薄，因此也可以称为组织切片。

其中，摄像设备11可以有一台或者多台，摄像设备可以为相机、摄像头或者智能摄像机等等。如，摄像设备可以为任意能够采集高光谱图像的摄像设备。

在摄像设备有更多台的情况下，这多台摄像设备可以相同。或者是，这多台摄像设备至少包括两种不同感光范围的摄像设备。如，多台摄像设备可以包括至少一台感光范围包括可见光光谱范围的摄像设备以及至少一台感光范围包括短波红外波段范围的摄像设备。例如，感光范围包括可见光光谱范围的摄像设备可以为感光范围为400nm-1000nm的高光谱相机；感光范围包括短波红外波段范围的摄像设备可以为感光范围为900nm-1700nm的高光谱相机。

其中，该第一光源和第二光源可以为同一种发光设备所输出的光源，只不过第一光源和第二光源对应的发光设备需要部署在组织切块的不同侧。

如，该第一光源和第二光源可以为卤素灯，即通过卤素灯产生光源，其中，在采用卤素灯照射组织切块时，可以实现组织切块的无损失，也不会产生无电离辐射。当然，该第一光源和第二光源可以白炽灯或者LED光源。

在一种可能的实现方式中，第一光源输出的光线与组织切块(如图1中玻璃板)的表面不垂直，即，第一光源输出的光线与组织切块的表面的夹角小于90度，以使得第一光源的光线照射到组织切块上，在组织切块的表面会产生反射光(光线的反射)。例如，该第一光源输出的光线与组织切块的表面的夹角为45度。

在一种可能的实现方式中，第二光源输出的光线垂直于该组织切块的表面，且第二光源的光线可投射到该组织切块上，以使得第二光源的光线可以在组织切块内产生透射光(光线的透射)。如，在图1中第二光源处于组织切块的正下方。

在本申请中，在本申请中玻璃板为可用于光扩散的高透过材料。

如，在一种实现方式中可以为半透明的毛玻璃。光线透过毛玻璃后可以为毛玻璃上的组织切块提供更为均匀的光照，可以有利于第二光源为组织切块提供更为均匀的照明。

当然，该玻璃板还可以为磨砂亚克力板、聚碳酸酯板(PC板)，白纸等可用于光扩散的高透过性材料。

可以理解的是，如果能够通过其他方式固定组织切块，使得第一光源和第二光源分别位于组织切块的两侧即可，那么也可以无需玻璃板。

在本申请实施例中，为了能够获得组织切块表面的质地信息，本申请可以采用第一光源照射该组织切块，并通过摄像设备获得该组织切块的反射光图像。其中，组织切块的反射光图像是指组织切块对第一光源的反射光经摄像设备转换后的成像。

由于第一光源照射该组织切块后，第一光源的光线会在该组织切块的表面产生反射光，因此，该反射光图像实际上是在采用第一光源照射该组织切块且该第一光源的光线在该组织切块上产生反射的情况下，采用摄取到的该组织切块的图像。

其中，该第一光源有多个时，可以采用多个第一光源同时照射该组织切块。

可以理解的是，在第一光源照射该组织切块时，为了避免干扰，第二光源可以关闭，使得第二光源不发出光线。

可以理解的是，由于组织切块的反射光图像是第一光源的光线在组织切块表面发生反射的情况下所采集到的该组织切块的情况，因此，该反射光图像可以反映出组织切块表面不同位置点对于光的吸收情况。而不同类型组织的组织对光的吸收情况不同，因此，通过反射光图像可以反映出组织切块表面的质地信息。

另一方面，为了能够获得组织切块的内部信息，可以采用第二光源照射组织切块，并通过摄像设备获得组织切块的透射光图像。其中，透射光图像包括组织切块经第二光源透射的透射光通过该摄像设备转换后的成像。

可以理解的是，由于第二光源位于组织切块的下方，而组织切块的厚度通常在2mm-8mm之间，因此，在第二光源照射下会有部分光能够透过该组织切块。具体的，在第二光源照射组织切块的情况下，第二光源的光线会入射该组织切块表面，因此存在入射光经过折射穿过该组织切块后的出射现象，即透射现象。由此可知，在采用第二光源照射该组织切块，且第二光源的光线在组织切块存在透射的情况下，通过摄像设备获得的该组织切块的图就是该组织切块的透射光图像。

可以理解的是，在第二光源照射该组织切块时，为了避免干扰，第一光源可以关闭，使得第一光源不发出光线。

可以理解的是，而不同类型组织的组织对光的吸收情况不同，通过该透射光图像可以反映出组织切块内部不同位置点对于光的吸收情况，因此，通过透射光图像可以反映出组织切块的内部信息。如，透射光图像中晶莹透亮的部分一般为组织切块中的脂肪。

需要说明的是，由于摄像设备可以有一个或者多个，因此，本申请可以通过至少一个摄像设备获得该组织切块的至少一幅反射光图像；相应的，可以获得组织切块的至少一幅透射光图像。

在获得组织切块的至少一幅反射光图像和至少一幅透射光图像之后，可以由图像分析***20来分析该至少一幅反射光图像和至少一幅透射光图像，以确定出组织切块中的病灶区域。

其中，该图像分析***20包括至少一台计算机设备21，如，图像分析***可以是独立的一台个人计算机或者服务器，还可以是多台服务器构成的集群或者云平台等。

在一种实现方式中，在本申请实施例中，为了确定组织切块的病灶区域，图像分析***会基于人工智能技术进行图像分析以及模型的机器学习等处理。

其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，至少会基于机器学习进行模型的训练。其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

可以理解的是，通过图像采集***20得到该组织切块的透射光图像和反射光图像之后，可以由用户输入到图像分析***的计算机设备，或者是用户通过用户终端传输给该图像分析***的计算机设备。

当然，在图像分析***的摄像设备具有通信功能的情况下，也可以是由摄像设备将摄取到的透射光图像和反射光图像传输给该图像分析***的计算机设备。

结合以上内容，下面结合流程图对本申请的图像处理方法进行介绍。

本申请的图像处理方法可以由计算机设备执行，如上面提到的图像分析***中的个人计算机、服务器或者云平台等。

如图2所示，其示出了本申请一种图像处理方法一个实施例的流程示意图，本实施例的方法可以包括：

S201，获得组织切块的至少一幅反射光图像。

由前面介绍可知，该反射光图像包括组织切块对第一光源的反射光经摄像设备转换后的成像。如，摄像头有多个的情况下，可以得到多幅反射光图像。

其中，第一光源和该摄像设备位于组织切块的同侧。如果摄像设备有多台，那么这多台摄像设备与该第一光源同样位于组织切块的同侧。

其中，关于反射光图像、第一光源和摄像设备可以参见前面实施例的相关介绍。

S202，获得组织切块的至少一幅透射光图像。

其中，透射光图像包括组织切块经第二光源透射的透射光通过摄像设备转换后的成像。第二光源和摄像设备位于组织切块的不同侧。

可以理解的是，关于透射光图像以及第二光源也可以参见前面实施例的相关介绍，在此不再赘述。

S203，依据已学习出的病变组织的光吸收特征，以及，组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的组织切块中不同位置处的光吸收特征，确定组织切块中的病灶区域。

其中，组织(人体或者动物体的病变组织或者正常组织)的光吸收特征是指组织对不同波段的光的吸收程度等特征。

病变组织是指发生病变的人体或者动物体组织，也就是存在病灶的病灶组织。

本申请中，该病变组织的光吸收特征可以基于多个病变组织切片的光吸收特征得到。如，可以通过对多个病变组织切片的透射光图像和反射光图像进行特征分析，提取出病变组织的光吸收特征。又如，依据多个病变组织切片的透射光图像和反射光图像进，并利用机器学习或者深度学习技术确定病变组织的光吸收特征。

其中，针对不同种疾病，可以学习每种疾病下的病变组织的光吸收特征，也可以是学习适用于不同种疾病的病变组织的光吸收特征，对此不加限制。

由前面关于透射光图像和反射光图像的介绍可知，反射光图像可以反映出组织切块表面不同位置处的光吸收特征，实际上也就反映了组织切块表面的质地信息；而透射光图像反映的是组织切块内部不同位置处的光吸收特征，也即组织切块内部不同位置处的组织结构特性。

可以理解的是，不存在病灶的正常动物组织中不同类型的组织的光吸收特征不同，而且，存在病灶的动物组织对光的光吸收特征也与正常动物组织的光吸收特征有着明显差别。基于此，在一种可能的实现方式中，结合已学习出的病变组织的光吸收特征以及该组织切块各个位置处的光吸收特征，可以从组织切块中确定出光吸收特征异常(如，与病变组织的光吸收特征相符)的病灶区域。

在一种可能的实现方式中，本申请可以预先训练用于识别组织切块的病灶区域的病灶识别模型。在此基础上，可以依据组织切块的至少一幅反射光图像和至少一幅透射光图像，利用该病灶识别模型，确定该组织切块中的病灶区域。

其中，该病灶识别模型为利用多个标注有实际病灶区域的组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，通过深度学习训练得到。

该病灶识别模型可以为由卷积神经网络(Convolutional Neural Networks,CNN)、生成式对抗网络(Generative Adversarial Networks，GAN)或者U-net等网络模型训练得到，对此不加限制。本申请对于采用深度学习训练该病灶模型的具体过程不加限制，后续会以一种可能的方式为例进行介绍。

可以理解的是，通过训练病灶识别模型，可以使得病灶识别模型学习出病变组织的光吸收特征。

其中，确定组织切块的病灶区域可以是输出组织切块中病灶区域的位置区域信息。确定病灶区域还可以是确定该组织切块的反射光图像或者透射光图像中的病灶区域。如，采用热力图、指定颜色填充或者轮廓线勾勒等方式标示出该病灶区域，以使得用户直观查看病灶区域位置。当然，还可以是基于透射光图像和反射光图像生成该组织切块的二维或者三维图像，并确定组织切块的二维或者三维图像中的病灶区域。

由以上内容可知，基于组织切块的反射光图像和透射光图像的成像方式，组织切块的反射光图像可以反映出组织切块表面对光的吸收特征，而组织切块的透射光图像反映的是组织切块内部对光的吸收特征，因此，基于组织切块的反射光图像和透射光图像可以较为全面的反映出组织切块表面以及内部的组织特征。在此基础上，由于病变组织以及正常组织等不同类型组织对光的吸收特征也会有所不同，本申请结合病变组织所呈现的光吸收特征，并依据组织切块表面以及内部不同位置处的光吸收特征，可以较为全面分析出组织切块中存在病灶的区域，也减少由于病灶隐匿在组织切块内部而无法被识别出的情况，从而提高了识别组织切块中病灶区域的准确性。

可以理解的是，在可见光中人体或者生物中有些组织对于光的吸收情况所呈现出的差异不大，而在短波红外光波段却可能看到较为明显的强度或者光颜色差异。

基于此，为了使得组织切块的反射光图像和透射光图像能够更直观反映出组织切块的光吸收特征，本申请可以设置至少一个感光范围包括可见光光谱的第一摄像设备以及至少一个感光范围包括短波红外波段光谱的第二摄像设备。

如，第一摄像设备为感光范围为400nm-1000nm的高光谱相机；第二摄像设备为感光范围为900nm-1700nm的高光谱相机。

其中，该第一摄像设备和第二摄像设备同样与第一光源位于组织切块的同侧。第一摄像设备和第二摄像设备均与第二光源位于组织切块的不同侧。

在该种情况下，本申请获得组织切块的至少一幅第一反射光图像、至少一幅第二反射光图像、至少一幅第一透射光图像以及至少一幅第二透射光图像。

具体的，本申请在第一光源照射该组织切块(第二光源未发光)的情况下，通过至少一个第一摄像设备和至少一个第二摄像设备采集该组织切块的图像。

由于第一光源照射组织切块的情况下，在组织切块的表面会存在反射光，因此，第一摄像设备和第二摄像设备采集到的都是组织切块对第一光源的反射光的成像，只不过第一摄像设备和第二摄像设备采集到的是该组织切块在不同光波波段内的反射光图像。

为了便于区分，将第一摄像设备采集到的该组织切块的反射光图像称为第一反射光图像，而将第二摄像设备采集到的该组织切块的反射光图像称为第二反射光图像。可见，第一反射光图像可以包括组织切块对第一光源的反射光在可见光范围内(也即在第一摄像设备内转换)的成像。第二反射光图像可以包括组织切块对第一光源的反射光在短波红外波段范围内(也即在第二摄像设备内转换)的成像。

图1所示，可以假设图1中两个摄像头一个为400nm-1000nm的高光谱相机，另一个为900nm-1700nm的高光谱相机，则在至少一个第一光源12打开后，可以通过400nm-1000nm的高光谱相机采集到组织切块的反射光处于400nm-1000nm波段内的高光谱图像，得到第一反射光图像；同时，通过900nm-1700nm的高光谱相机采集到组织切块的反射光在900nm-1700nm波段的高光谱图像，得到第二反射光图像。

其中，为使得900-1700nm的摄像设备获得更好拍摄效果，还可以在该摄像设备前加入一块红外长通滤波片。

类似的，本申请在采集第二光源照射组织切块(第一光源未发光)的情况下，可以分别利用第一摄像头采集组织切块的第一透射光图像，并利用第二摄像头采集组织切块的第二透射光图像。可见，第二透射光图像包括：组织切片经第二光源透射的透射光在可见光波段范围内的成像；第二透射光图像包括组织切块经第二光源透射的透射光通在短波红外波段范围内的成像。

由于第一反射光图像和第二反射光图像可以分别反映出在可见光和短红外波段光波段范围内该组织切块表面对光的反射情况，从而可以全面反映组织切块表面的光吸收情况，通过第一反射光图像和第二反射光图像可以较为全面的反映出组织切块表面的质地信息。

相应的，通过第一透射光图像和第二透射光图像可以分别反映出在可见光和短红外波段光经该组织切块透射的情况下，组织切块内部的光吸收情况，从而更为全面反映出组织切块内部的组织结构特征。

在此基础上，依据组织切块的第一反射光图像、第二反射光图像、第一透射光图像和第二透射光图像，能更为准确的确定组织切块的病灶区域。

可以理解的是，为了获得如上几种高光谱图像，可以采用内置光栅推扫结构的第一摄像设备和第二摄像设备。如果第一摄像设备和第二摄像设备不具有内置光栅推扫结构，可以在这两个摄像设备前添加液晶可调谐滤波器，或者是，在摄像设备外置推扫结构，并通过移动放置组织切块的玻璃板所在的移动台来进行摄像。

在本申请中摄像设备的镜头可以是定焦镜头，在该种情况下，为了保证完整拍摄组织切块，可以利用光学升降支架的升降量程选取合适的焦距。或者是，本申请可以选取具有变焦镜头的摄像设备。

需要说明的是，以上是以通过诸如400nm-1000nm的高光谱相机等感光范围包括可见光范围的第一摄像设备和诸如900nm-1700nm的高光谱相机等感光范围包括短波红外波段范围的第二摄像设备来获得反射光图像和透射光图像为例。

但是，如果摄像设备的感光范围同时涵盖可见光范围和短波红外波段范围，那么本申请也可以仅仅设置一个或者多个该种摄像设备，并在第一光源或者第二光源照射该组织切块时，通过摄像设备采集组织切块的反射光图像或者透射光图像，则该反射光图像可以包含组织切块对第一光源的反射光在可见光范围和短波红外范围内的成像；而透射光图像包含组织切块对第二光源的透射光在可见光范围和短波红外范围内的成像。

在本申请中，为了能进一步提高确定组织切块中病灶区域的准确度，在获得组织切块的反射光图像和透射光图像的前提下，还可以将机器学习应用于确定组织切块中的病灶识别中。如前面所述本申请可以结合采用机器学习训练出的病灶识别模型来进一步提高确定病灶区域的准确性。

为了便于理解，下面以利用训练出的病灶识别模型来确定组织切块的病灶区域为例，对本申请的图像处理方法进行介绍。

如图3所示，其示出了本申请一种图像处理方法又一个实施例的流程示意图，本实施例的方法应用于图像分析***中的计算机设备，本实施例可以包括：

S301，获得组织切块的至少一幅第一反射光图像和至少一幅第二反射光图像。

S302，获得组织切块的至少一幅第一透射光图像和至少一幅第二透射光图像。

如，在一种可选方式中，第一反射光图像为采用第一光源照射组织切块且第一光源的光线在该组织切块的表面发生反射的情况下，通过400nm-1000nm的高光谱相机采集到的第一高光谱图像。第二反射光图像是在采用第一光源照射组织切块且第一光源在该组织切块的表面发生反射的情况下，通过在900nm-1700nm的高光谱相机采集到的第二高光谱图像。

类似的，第一透射光图像在采用第二光源垂直照射组织切块且第二光源的光线透射该组织切块情况下，通过400nm-1000nm的高光谱相机采集到的第三高光谱图像。第二透射光图像在采用第二光源垂直照射组织切块且第二光源的光线透射该组织切块情况下，通过900nm-1700nm的高光谱相机采集到的第四高光谱图像。

其中，400nm-1000nm的高光谱相机和900nm-1700nm的高光谱相机与第一光源位于组织切块的同侧，与第二光源位于组织切块的不同侧。

其中，以上反射光图像和透射光图像的获得可以参见前面实施例的相关介绍，在此不再赘述。

需要说明的是，本实施例是以获得组织切块的两种反射光图像和两种透射光图像为例说明，如果仅仅获得一种反射光图像和一种透射光图像也同样适用于本实施例。

S303，将组织切块的第一反射光图像、第二反射光图像、第一透射光图像和第二透射光图像输入病灶识别模型，得到病灶识别模型输出的组织切块的病灶预测图像。

其中，病灶预测图像为组织切块的图像，且在病灶预测图像中标示有预测出的组织切块中的病灶区域。

在本申请实施例中，为了直观看到了解到病灶区域在组织切块中的位置，本申请利用训练出的病灶识别模型会输出标示有病灶区域的组织切块图像，即病灶预测图像。

其中，病灶识别模型输出的病灶预测图像可以是在该至少一幅反射光图像(如第一反射光图像和第二反射光图像)和至少一幅透射光图像(如，第一透射光图像和第二透射光图像)中选择一幅图像作为基准图像，并在基准图像中标示出预测出的病灶区域。

病灶识别模型还可以是根据输入的反射光图像和透射光图像合成组织切块的图像，并在合成的组织切块中标注出该病灶区域，得到病灶预测图像。当然，还可以有其他得到病灶预测图像的方式，对此不加限制。

其中，在病灶预测图像中标注病灶区域的方式也可以多种，如，可以在病灶预测图像中标注出组织切块中病灶区域的轮廓线；在病灶预测图像中采用特定颜色填充该病灶区域。或者是，在病灶预测图像中采用热力图的方式标示出该病灶区域等。

如，参见图4，本申请输入病灶识别模型的图像包括：由400nm-1000nm的高光谱相机采集到该组织切块的400nm-1000nm反射光图像(第一反射光图像)401，900nm-1700nm的高光谱相机采集到的该组织切块的900nm-1700nm的高光谱相机反射光图像(第二反射光图像)402，由400nm-1000nm的高光谱相机采集到的该组织切块的400nm-1000nm的透射光图像(第一透射光图像)403以及由900nm-1700nm的高光谱相机采集到的该组织切块的900nm-1700nm的透射光图像(第二透射光图像)404。

将这四幅高光谱图像输入到基于机器学习得到的病灶识别模型405之后，该病灶识别模型405输出的是该组织切块的病灶预测图像406。其中，在该病灶预测图像406中标注有该组织切块的病灶区域407。

在一种可能的实现方式中，考虑到目前有些感光范围为短波红外波段的摄像设备摄取到的图像的分辨率可能会较低，因此，为了提升第二反射光图像的分辨率，本申请在该步骤S303之前，还可以针对组织切块的每个第二反射光图像，依据第二反射光图像和该组织切块的第一反射光图像，并利用第一图像合成模型，将该第二反射光图像转换为合成后的第二反射光图像。相应的，在步骤S303向病灶识别模型输入的为第一反射光图像和该合成后的第二反射光图像。

其中，合成后的第二反射光图像与合成前的该第二反射光图像中的内容相同，且合成后的第二反射光图像的分辨率高于合成前的第二反射光图像的分辨率。通过第一图像合成模型提升了组织切块对第一光源的反射光在短波红外波段内的成像的分辨率，从而有利于提高病灶识别模型识别组织切块中病灶区域的精准度。

该第一图像合成模型为依据多个组织切块样本各自对应的高分辨率反射光图像，并利用该多个组织切块样本各自的第一反射光图像和第二反射光图像训练得到。

其中，高分辨率反射光图像为组织切块样本对应的短红外波段范围内的反射光图像，且该高分辨率反射光图像的分辨率高于该组织切块样本的第二反射光图像的分辨率。即，高分辨率反射光图像表征的是在第一光源照射组织切块样本的情况下，组织切块针对该第一光源的反射光在短红外波段上的成像。

如，组织切块样本的高分辨率反射光图像可以为在采用第一光源照组织切块样本的情况下，利用感光范围处于短红外波段且像素超过设定设定值摄像设备采集的该组织切块的图像。

又如，组织切块样本的高分辨率反射光图像可以为由组织切块样本的多个块区的反射光图像拼接的。其中，组织切块样本可以划分为该多个块区。其中，每个块区的反射光图像为在采用第一光源照组织切块样本的情况下，通过第一摄像设备采集到的该块区的图像。

可以理解的是，针对同一对象，缩小摄像设备对该对象的摄像范围可以提升摄取到的图像中对象部分的分辨率，因此，通过将组织切块样本各个区块的反射光图像拼接成的图像的分辨率要高于直接利用第一摄像设备采集到的该组织区块样本的反射光图像。

其中，第一图像合成模型可以为GAN网络模型等网络模型，训练该第一图像合成模型是以第一图像合成模型针对组织切块样本得到的合成后的第二反射光图像与该组织切块样本的高分辨率反射光图像相似为训练目标，具体训练过程可以有多种可能，对此不加限制。

如图5所示，本申请可以获得组织切块样本对第一光源的反射光在400nm-1000nm范围内的高光谱图像501以及在900nm-1700nm范围的高光谱图像502。其中，这两个高光谱图像是在采用第一光源照射组织切片样本的情况下，分别通过400nm-1000nm的高光谱相机和900nm-1700nm的高光谱相机获得到的反射光图像。

其中，由于400nm-1000nm的高光谱相机的分辨率普遍偏高，因此，400nm-1000nm范围内的高光谱图像501具有较高的分辨率。而900nm-1700nm的高光谱相机的分辨率有些会相对较低，因此，900nm-1700nm范围内的高光谱图像502的分辨率相对较低。在此基础上，本申请可以将高光谱图像501和高光谱图像502输入到通过机器学习训练得到的第一图像合成模型503，从而可以得到该组织切块样本对应的900nm-1700nm范围内的高光谱图像504，该900nm-1700nm范围内的高光谱图像504的分辨率高于该900nm-1700nm范围内的高光谱图像504的分辨率。

类似的，为了提升第二透射光图像的分辨率，在步骤S303之前，本申请还可以针对组织切块的每个第二透射光图像，依据第二透射光图像和该组织切块的第一透射光图像，并利用第二图像合成模型，将该第二透射光图像转换为合成后的第二透射光图像。相应的，在步骤S303向病灶识别模型输入的为第一透射光图像和该合成后的第二透射光图像。

其中，合成后的第二透射光图像与合成前的该第二透射光图像中的内容相同，且合成后的第二透射光图像的分辨率高于合成前的第二透射光图像的分辨率。

其中，该第二图像合成模型为依据多个组织切块样本各自对应的高分辨率透射光图像，并利用该多个组织切块样本各自的第一透射光图像和第二透射光图像训练得到。

该高分辨率透射光图像为组织切块样本对应的短红外波段范围内的透射光图像，且该高分辨率透射光图像的分辨率高于该组织切块样本的第二透射光图像的分辨率。

其中，得到该高分辨率透射光图像的方式与得到高分辨率反射光图像的过程类似，且训练该第二图像合成模型的过程与训练第一图像合成模型的过程相似，在此不再赘述。

为了便于理解本申请的病灶识别模型的训练过程，下面以一种训练过程为例进行介绍。如图6所示，其示出了本申请中训练病灶识别模型的一种流程示意图，本流程可以包括：

S601，获得多个组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像。

其中，每个组织切块样本对应有一幅标注有实际病灶区域的切块样本图像。

其中，组织切块样本是用于训练病灶识别模型的组织切块。相应的，组织切块样本的反射光图像是指作为训练样本的组织切块的反射光图像，而组织切块样本的透色光图像为作为训练样本的组织切块的透射光图像。基于此可知，组织切块样本的反射光图像和透射光图像的获得方式可以参见前面组织切块的反射光图像和透射光图像的获得方式。

在一种可能的实现方式中，本申请可以获得组织切块样本的至少一幅第一反射光图像、至少一幅第二反射光图像、至少一幅第一透射光图像以及至少一幅第二透射光图像。

其中，切块样本图像也是组织切块样本的一种图像，只不过通过人工在该图像中标注出该组织切块中的实际病灶区域。因此，获得切块样本图像的方式也可以有多种。

在一种可能的实现方式中，为了提高训练精准度，该切块样本图像可以为该组织切块样本的全玻片数字扫描(whole slide imaging，WSI)图像，其中，WSI是在数字扫描仪(实际上是一种电动显微镜结构)下采集的该组织切块样本的图像。

S602，针对每个组织切块样本，分别将组织切块样本的切块样本图像与该组织切块样本的各反射光图像和各透射光图像进行配准，并结合配准结果，分别在反射光图像和透射光图像中标示出切块样本图像中对应的实际病灶区域。

其中，不同的图像配准是指将不同图像进行匹配和叠加，可以理解的是，通过将组织切块样本图像与组织切块样本的反射光图像进行配准，可以确定组织切块样本中实际病灶区域在该反射光图像中的位置区域，从而在该反射光图像中标注出该组织切块样本的实际病灶区域。类似的，可以在透射光图像中标示出该组织切块样本的实际病灶区域。

S603，针对每个组织切块样本，将组织切块样本对应的标注有实际病灶区域的至少一幅反射光图像和至少一幅透射光图像输入到待训练的网络模型，得到网络模型输出的组织切块样本的病灶预测图像。

其中，组织切块样本的病灶预测图像标示有实际病灶区域和预测病灶区域。

可以理解的是，考虑到感光范围为短红外波段的摄像装置采集到的图像的分辨率可能较低，在组织切块样本的至少一幅反射光图像包括组织切块样本的第一反射光图像和第二反射光图像的情况下，本申请还可以利用前面提到的第一图像合成模型将该组织切块样本的第二反射光图像转换为合成后的第二反射光图像，然后再向待训练的病灶识别模型输入该组织切块样本对应的合成后的第二反射光图像。

类似的，在组织切块样本的至少一幅透射光图像包括组织切块样本的第一透射光图像和第二透射光图像的情况下，还可以利用第二图像合成模型将第二透射光图像转换为合成后的第二透射光图像，得到分辨率相对较高的第二透射光图像。相应的，可以向待训练的病灶识别模型输入该组织切块样本对应的合成后的第二透射光图像。

S604，基于各个组织切块样本的病灶预测图像中的实际病灶区域和预测病灶区域，判断网络模型的预测准确度是否符合训练要求，如果是，则将训练得到的网络模型确定为病灶识别模型，训练结束；如果否，则调整网络模型的内部参数后，返回步骤S603，直至该网络模型的预测准确度符合训练要求为止。

其中，判断网络模型的预测准确度是否符合训练要求的方式可以有多种可能。如，基于各个组织切块样本的病灶预测图像中的实际病灶区域和预测病灶区域，计算该网络模型预测病灶区域的准确度；例如，计算实际病灶区域和预测病灶区域之间的相似度，将各个组织切块样本的相似度的均值作为网络模型预测病灶区域的准确度等。其中，实际病灶区域和预测病灶区域的相似度主要关注实际病灶区和预测病灶区在病灶预测图像中位置区域是否相同，可以结合任意图像相似度的算法计算这两个区域之间的相似度，如可以采用余弦相似度算法或者直方图算法等计算相似度，对此不加限制。相应的，如网络模型预测病灶区域的准确度超过设定阈值，则确定满足训练要求。

又如，可以是依据设定的损失函数，并结合各个组织切块样本的病灶预测图像中的实际病灶区域和预测模型区域，计算损失函数值，如果损失函数值达到收敛，则确认满足训练要求。当然，网络模型的预测准确度是否符合训练要求还可以有其他可能，对此不加限制。

需要说明的是，图6仅仅是本申请训练病灶识别模型的一种实现方式，对于通过其他方式训练该病灶识别模型也同样适用于本申请。

对应本申请的一种图像处理方法，本申请还提供了一种图像处理装置。

如图7所示，其示出了本申请一种图像处理装置一个实施例的组成结构示意图，该装置可以包括：

第一图像获得单元701，用于获得组织切块的至少一幅反射光图像，该反射光图像包括该组织切块对第一光源的反射光经摄像设备转换后的成像，该第一光源和该摄像设备位于该组织切块的同侧；

第二图像获得单元702，用于获得该组织切块的至少一幅透射光图像，该透射光图像包括该组织切块经第二光源透射的透射光通过该摄像设备转换后的成像，其中，该第二光源和该摄像设备位于该组织切块的不同侧；

病灶确定单元703，用于依据已学习出的病变组织的光吸收特征，以及，该组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的该组织切块中不同位置处的光吸收特征，确定该组织切块中的病灶区域。

在一种可能的实现方式中，该病灶确定单元，包括：

病灶模型处理单元，用于依据该组织切块的至少一幅反射光图像和至少一幅透射光图像，并利用病灶识别模型，确定该组织切块中的病灶区域；其中，该病灶识别模型为利用多个标注有实际病灶区域的组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，通过深度学习训练得到，该病灶识别模型已学习出病变组织的光吸收特征。

作为一种可选方式，该病灶模型处理单元，具体为，用于将该组织切块的至少一幅反射光图像和至少一幅透射光图像输入病灶识别模型，得到该病灶识别模型输出的该组织切块的病灶预测图像，该病灶预测图像为该组织切块的图像，且在该病灶预测图像中标示有预测出的该组织切块中的病灶区域。

在又一种可能的实现方式中，该第一图像获得单元具体为，用于获得组织切块的至少一幅第一反射光图像和至少一幅第二反射光图像，其中，该第一反射光图像包括该组织切块对第一光源的反射光经第一摄像设备转换后的成像，该第二反射光图像包括该组织切块对该第一光源的反射光经第二摄像设备转换后的成像，该第一摄像设备为感光范围包括可见光光谱的摄像设备，该第二摄像设备为感光范围包括短波红外波段光谱的摄像设备，该第一摄像设备和第二摄像设备和该第一光源位于该组织切块的同侧；

该第二图像获得单元具体为，用于获得组织切块的至少一幅第一透射光图像和至少一幅第二透射光图像，该第一透射光图像包括该组织切块经第二光源透射的透射光通过该第一摄像设备转换后的成像，该第二透射光图像包括该组织切块经第二光源透射的透射光通过该第二摄像设备转换后的成像，该第一摄像设备和该第二摄像设备均与该第二光源位于该组织切块的不同侧。

在一种可选方式中，该装置还包括：

第一分辨率提升单元，用于在病灶识别模型确定该组织切块中的病灶区域之前，针对该组织切块的每个第二反射光图像，依据该第二反射光图像和该组织切块的第一反射光图像，并利用第一图像合成模型，将该第二反射光图像转换为合成后的第二反射光图像；

其中，该合成后的第二反射光图像与合成前的该第二反射光图像中的内容相同，且该合成后的第二反射光图像的分辨率高于合成前的该第二反射光图像的分辨率；

该第一图像合成模型为依据该多个组织切块样本各自对应的高分辨率反射光图像，并利用该多个组织切块样本各自的第一反射光图像和第二反射光图像训练得到，该高分辨率反射光图像为该组织切块样本对应的短红外波段范围内的反射光图像，且该高分辨率反射光图像的分辨率高于该组织切块样本的第二反射光图像的分辨率。

在又一种可选方式中，该装置还可以包括：

第二分辨率提升单元，用于在病灶识别模型确定该组织切块中的病灶区域之前，针对该组织切块的每个第二透射光图像，依据该第二透射光图像和该组织切块的第一透射光图像，并利用第二图像合成模型，将该第二透射光图像转换为合成后的第二透射光图像；

其中，该合成后的第二透射光图像与合成前的该第二透射光图像中的内容相同，且该合成后的第二透射光图像的分辨率高于合成前的该第二透射光图像的分辨率；

该第二图像合成模型为依据该多个组织切块样本各自对应的高分辨率透射光图像，并利用该多个组织切块样本各自的第一透射光图像和第二透射光图像训练得到，该高分辨率透射光图像为该组织切块样本对应的短红外波段范围内的透射光图像，且该高分辨率透射光图像的分辨率高于该组织切块样本的第二透射光图像的分辨率。

在又一种可能的实现方式中，该装置还包括：识别模型训练单元，用于通过如下方式训练病灶识别模型：

获得多个组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，其中，每个组织切块样本对应有一幅标注有实际病灶区域的切块样本图像；

针对每个组织切块样本，分别将该组织切块样本的切块样本图像与该组织切块样本的各反射光图像和各透射光图像进行配准，并结合配准结果，分别在该反射光图像和透射光图像中标示出该切块样本图像中对应的实际病灶区域；

针对每个组织切块样本，将该组织切块样本对应的标注有实际病灶区域的至少一幅反射光图像和至少一幅透射光图像输入到待训练的网络模型，得到该网络模型输出的该组织切块的病灶预测图像，该病灶预测图像中标示有实际病灶区域和预测病灶区域；

基于各个组织切块样本的病灶预测图像中的实际病灶区域和预测病灶区域，判断网络模型的预测准确度是否符合训练要求；

如该网络模型的预测准确度符合训练要求，则将训练得到的网络模型确定为病灶识别模型；

如该网络模型的预测准确度不符合训练要求，则调整该网络模型的内部参数后，返回执行该将该组织切块样本对应的标注有实际病灶区域的至少一幅反射光图像和至少一幅透射光图像输入到待训练的网络模型的操作，直至该网络模型的预测准确度符合训练要求为止。

又一方面，本申请还提供了一种计算机设备，该计算机设备可以为图像处理***中的个人计算机、服务器、服务器集群中的服务器或者云平台中的节点等等。如图8，其示出了本申请提供的计算机设备的一种组成架构示意图。在图8中，该计算机设备800可以包括：处理器801和存储器802。

可选的，该计算机设备还可以包括：通信接口803、输入单元804和显示器805和通信总线806。

其中，处理器801、存储器802、通信接口803、输入单元804和显示器805均通过通信总线806完成相互间的通信。

在本申请实施例中，该处理器801，可以为中央处理器，特定应用集成电路等。

该处理器可以调用存储器802中存储的程序，具体的，处理器可以执行以上实施例中图像分析***中计算机设备所执行的操作。

存储器802中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以上任意一个实施例中图像处理方法的程序。

在一种可能的实现方式中，该存储器802可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、以上所提到的程序，以及图像处理功能所需的应用程序等；存储数据区可存储根据计算机设备的使用过程中所创建的数据。

该通信接口803可以为通信模块的接口。

本申请还可以包括输入单元804，该输入单元可以包括触摸感应单元、键盘等等。

该显示器805包括显示面板，如触摸显示面板等。

当然，图8所示的计算机设备结构并不构成对本申请实施例中计算机设备的限定，在实际应用中计算机设备可以包括比图8所示的更多或更少的部件，或者组合某些部件。

另一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任意一个实施例中的图像处理方法。

本申请还提出了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法方面或图像处理装置方面的各种可选实现方式中所提供方法，具体实现过程可以参照上述相应实施例的描述，不做赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获得组织切块的至少一幅反射光图像，所述反射光图像包括所述组织切块对第一光源的反射光经摄像设备转换后的成像，所述第一光源和所述摄像设备位于所述组织切块的同侧；

获得所述组织切块的至少一幅透射光图像，所述透射光图像包括所述组织切块经第二光源透射的透射光通过所述摄像设备转换后的成像，其中，所述第二光源和所述摄像设备位于所述组织切块的不同侧；

依据已学习出的病变组织的光吸收特征，以及，所述组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的所述组织切块中不同位置处的光吸收特征，确定所述组织切块中的病灶区域。

2.根据权利要求1所述的方法，其特征在于，所述依据已学习出的病变组织的光吸收特征，以及，所述组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的所述组织切块中不同位置处的光吸收特征，确定所述组织切块中的病灶区域，包括：

依据所述组织切块的至少一幅反射光图像和至少一幅透射光图像，并利用病灶识别模型，确定所述组织切块中的病灶区域；

其中，所述病灶识别模型为利用多个标注有实际病灶区域的组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，通过深度学习训练得到，所述病灶识别模型已学习出病变组织的光吸收特征。

3.根据权利要求2所述的方法，其特征在于，所述依据所述组织切块的至少一幅反射光图像和至少一幅透射光图像，并利用病灶识别模型，确定所述组织切块中的病灶区域，包括：

将所述组织切块的至少一幅反射光图像和至少一幅透射光图像输入病灶识别模型，得到所述病灶识别模型输出的所述组织切块的病灶预测图像，所述病灶预测图像为所述组织切块的图像，且在所述病灶预测图像中标示有预测出的所述组织切块中的病灶区域。

4.根据权利要求1或2所述的方法，其特征在于，所述获得组织切块的至少一幅反射光图像，包括：

获得组织切块的至少一幅第一反射光图像和至少一幅第二反射光图像，其中，所述第一反射光图像包括所述组织切块对第一光源的反射光经第一摄像设备转换后的成像，所述第二反射光图像包括所述组织切块对所述第一光源的反射光经第二摄像设备转换后的成像，所述第一摄像设备为感光范围包括可见光光谱的摄像设备，所述第二摄像设备为感光范围包括短波红外波段光谱的摄像设备，所述第一摄像设备和第二摄像设备和所述第一光源位于所述组织切块的同侧；

所述获得所述组织切块的至少一幅透射光图像，包括：

获得组织切块的至少一幅第一透射光图像和至少一幅第二透射光图像，所述第一透射光图像包括所述组织切块经第二光源透射的透射光通过所述第一摄像设备转换后的成像，所述第二透射光图像包括所述组织切块经第二光源透射的透射光通过所述第二摄像设备转换后的成像，所述第一摄像设备和所述第二摄像设备均与所述第二光源位于所述组织切块的不同侧。

5.根据权利要求4所述的方法，其特征在于，在所述确定所述组织切块中的病灶区域之前，还包括：

针对所述组织切块的每个第二反射光图像，依据所述第二反射光图像和所述组织切块的第一反射光图像，并利用第一图像合成模型，将所述第二反射光图像转换为合成后的第二反射光图像；

其中，所述合成后的第二反射光图像与合成前的所述第二反射光图像中的内容相同，且所述合成后的第二反射光图像的分辨率高于合成前的所述第二反射光图像的分辨率；

所述第一图像合成模型为依据所述多个组织切块样本各自对应的高分辨率反射光图像，并利用所述多个组织切块样本各自的第一反射光图像和第二反射光图像训练得到，所述高分辨率反射光图像为所述组织切块样本对应的短红外波段范围内的反射光图像，且所述高分辨率反射光图像的分辨率高于所述组织切块样本的第二反射光图像的分辨率。

6.根据权利要求4所述的方法，其特征在于，在所述确定所述组织切块中的病灶区域之前，还包括：

针对所述组织切块的每个第二透射光图像，依据所述第二透射光图像和所述组织切块的第一透射光图像，并利用第二图像合成模型，将所述第二透射光图像转换为合成后的第二透射光图像；

其中，所述合成后的第二透射光图像与合成前的所述第二透射光图像中的内容相同，且所述合成后的第二透射光图像的分辨率高于合成前的所述第二透射光图像的分辨率；

所述第二图像合成模型为依据所述多个组织切块样本各自对应的高分辨率透射光图像，并利用所述多个组织切块样本各自的第一透射光图像和第二透射光图像训练得到，所述高分辨率透射光图像为所述组织切块样本对应的短红外波段范围内的透射光图像，且所述高分辨率透射光图像的分辨率高于所述组织切块样本的第二透射光图像的分辨率。

7.根据权利要求2或3所述的方法，其特征在于，所述病灶识别模型通过如下方式训练得到：

获得多个组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，其中，每个组织切块样本对应有一幅标注有实际病灶区域的切块样本图像；

针对每个组织切块样本，分别将所述组织切块样本的切块样本图像与所述组织切块样本的各反射光图像和各透射光图像进行配准，并结合配准结果，分别在所述反射光图像和透射光图像中标示出所述切块样本图像中对应的实际病灶区域；

针对每个组织切块样本，将所述组织切块样本对应的标注有实际病灶区域的至少一幅反射光图像和至少一幅透射光图像输入到待训练的网络模型，得到所述网络模型输出的所述组织切块的病灶预测图像，所述病灶预测图像中标示有实际病灶区域和预测病灶区域；

基于各个组织切块样本的病灶预测图像中的实际病灶区域和预测病灶区域，判断网络模型的预测准确度是否符合训练要求；

如所述网络模型的预测准确度符合训练要求，则将训练得到的网络模型确定为病灶识别模型；

如所述网络模型的预测准确度不符合训练要求，则调整所述网络模型的内部参数后，返回执行所述将所述组织切块样本对应的标注有实际病灶区域的至少一幅反射光图像和至少一幅透射光图像输入到待训练的网络模型的操作，直至所述网络模型的预测准确度符合训练要求为止。

8.一种图像处理装置，其特征在于，包括：

第一图像获得单元，用于获得组织切块的至少一幅反射光图像，所述反射光图像包括所述组织切块对第一光源的反射光经摄像设备转换后的成像，所述第一光源和所述摄像设备位于所述组织切块的同侧；

第二图像获得单元，用于获得所述组织切块的至少一幅透射光图像，所述透射光图像包括所述组织切块经第二光源透射的透射光通过所述摄像设备转换后的成像，其中，所述第二光源和所述摄像设备位于所述组织切块的不同侧；

病灶确定单元，用于依据已学习出的病变组织的光吸收特征，以及，所述组织切块的至少一幅反射光图像和至少一幅透射光图像各自表征的所述组织切块中不同位置处的光吸收特征，确定所述组织切块中的病灶区域。

9.根据权利要求8所述的装置，其特征在于，所述病灶确定单元，包括：

病灶模型处理单元，用于依据所述组织切块的至少一幅反射光图像和至少一幅透射光图像，并利用病灶识别模型，确定所述组织切块中的病灶区域；其中，所述病灶识别模型为利用多个标注有实际病灶区域的组织切块样本各自的至少一幅反射光图像和至少一幅透射光图像，通过深度学习训练得到，所述病灶识别模型已学习出病变组织的光吸收特征。

10.根据权利要求8或9所述的装置，其特征在于，所述第一图像获得单元具体为，用于获得组织切块的至少一幅第一反射光图像和至少一幅第二反射光图像，其中，所述第一反射光图像包括所述组织切块对第一光源的反射光经第一摄像设备转换后的成像，所述第二反射光图像包括所述组织切块对所述第一光源的反射光经第二摄像设备转换后的成像，所述第一摄像设备为感光范围包括可见光光谱的摄像设备，所述第二摄像设备为感光范围包括短波红外波段光谱的摄像设备，所述第一摄像设备和第二摄像设备和所述第一光源位于所述组织切块的同侧；

所述第二图像获得单元具体为，用于获得组织切块的至少一幅第一透射光图像和至少一幅第二透射光图像，所述第一透射光图像包括所述组织切块经第二光源透射的透射光通过所述第一摄像设备转换后的成像，所述第二透射光图像包括所述组织切块经第二光源透射的透射光通过所述第二摄像设备转换后的成像，所述第一摄像设备和所述第二摄像设备均与所述第二光源位于所述组织切块的不同侧。

11.一种计算机设备，其特征在于，包括存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如权利要求1至7任意一项所述的图像处理方法。

12.一种存储介质，其特征在于，用于存储程序，所述程序被执行时，用于实现如权利要求1至7任意一项所述图像处理方法。

Images