CN114187515A - 图像分割方法和图像分割装置 - Google Patents

Abstract

本公开提供了一种图像分割方法和图像分割装置。该方法包括：获取针对指定对象的多通道图像，其中，多通道图像至少包括红色通道和红外通道；基于红色通道和红外通道确定针对指定对象的植被指数；将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图；基于增强特征图对多通道图像进行图像分割。

Description

图像分割方法和图像分割装置

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像分割方法和图像分割装置。

背景技术

图像分割问题是指对图像进行像素点级别的分类，进而实现将图像分割成不同的区域。相关技术的图像分割技术的分割准确度有待提升。

发明内容

鉴于上述技术问题，本公开提供了一种图像分割方法和图像分割装置，通过在特征图中增加通道以输入领域知识，有效提升图像分割的准确率。

本公开的第一个方面提供了一种图像分割方法，提取方法包括：获取针对指定对象的多通道图像，其中，多通道图像至少包括红色通道和红外通道；基于红色通道和红外通道确定针对指定对象的植被指数；将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图；基于增强特征图对多通道图像进行图像分割。

根据本公开的实施例，多通道图像还包括绿色通道和蓝色通道。相应地，将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图包括：将植被指数作为一个增强通道，并且将增强通道与红外通道、红色通道、绿色通道和蓝色通道进行拼接，得到具有至少五个通道的增强特征图。

根据本公开的实施例，在得到增强特征图之后，上述方法还包括：对增强特征图进行归一化处理，得到归一化增强特征图；基于增强特征图对多通道图像进行图像分割包括：基于归一化增强特征图对多通道图像进行图像分割。

根据本公开的实施例，基于增强特征图对多通道图像进行图像分割包括：将增强特征图输入经训练的图像分割模型，得到针对多通道图像中各像素的分类结果，以对多通道图像进行图像分割。

根据本公开的实施例，图像分割模型包括：特征提取网络，特征提取网络包括多个成组的卷积层和池化层，特征提取网络的输入包括增强特征图，特征提取网络的输出包括针对多通道图像的多尺度特征；特征融合网络，特征融合网络的输入包括针对多通道图像的多尺度特征，特征融合网络的输出包括多通道图像中各像素所属类别的概率。

根据本公开的实施例，特征融合网络具体用于将针对多通道图像的多尺度特征以同一个像素的不同维度像素特征相加融合或者拼接融合中任意一种融合方式进行融合。

本公开的第二方面提供了一种图像分割装置，上述装置包括：多通道图像获取模块、植被指数确定模块、通道拼接模块和图像分割模块。其中，多通道图像获取模块用于获取针对指定对象的多通道图像，其中，多通道图像至少包括红色通道和红外通道；植被指数确定模块用于基于红色通道和红外通道确定针对指定对象的植被指数；通道拼接模块用于将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图；图像分割模块用于基于增强特征图对多通道图像进行图像分割。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述一种图像分割方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述一种图像分割方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述一种图像分割方法。

与相关技术相比，本公开提供的一种图像分割方法和图像分割装置，在构造的特征图中，以植被指数作为先验知识，通过添加一个增强通道的方式加入该先验知识，有效提升了像素级分类结果的准确度，提升图像分割结果的准确度。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用图像分割的方法、装置和电子设备的示例性***架构；

图2示意性示出了相关技术中的一种人工智能视频图像识别方法的流程图；

图3示意性示出了根据本公开实施例的增强特征图的示意图；

图4示意性示出了根据本公开实施例的图像分割模型的结构示意图；

图5示意性示出了根据本公开实施例的一种图像分割装置的结构框图；以及

图6示意性示出了实现本公开实施例的一种用于图像分割方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。

在对本公开的技术方案进行描述之前，先对本领域的技术术语进行说明如下。

图像分割：区别于图像分类，是对图像中的每个像素做分类，实现像素级别的分类，将图片分割成不同的区域。

遥感影像：是指记录各种地物电磁波大小的胶片或照片，主要分为航空像片和卫星相片。

特征图：是指在深度学习的卷积计算后得到的图层，是经过特征提取得到的图。

归一化差异植被指数(NDVI)：通过测量近红外(植被强烈反射)和红光(植被吸收)之间的差异来量化图像中植被覆盖情况。

图像分割问题，例如针对遥感图像的场景，是指对图像进行像素点级别的分类，将图像分割成不同的区域。图像分割方法包括人工特征法和深度学习法。

其中，人工特征法是指的利用遥感学科的先验知识，如光谱特征等信息，人工构建特征，再利用如阈值分割，边缘检测等图像处理法，完成图像分割的任务。该方法依赖人工的先验知识，分割效果不够理想。

深度学习方法是将图片输入到卷积神经网络，利用深度学习自动提取特征的优势，图像分割结果相对于人工特征法较好。但是，申请人发现深度学习法的输入相对固定，与人工特征相比缺乏领域知识。例如，相关技术中的基于深度学习的遥感影像输入就是红绿蓝(R/G/B)3通道，此外，还可以加上1个通道的光谱波段信息。在深度学习理论中，数据决定了模型的识别结果的上线，算法只是逼近这个上线，如果训练数据处理的越好，即提供给机器学习的数据越好，则上线越高。申请人尝试在模型输入中加进一些领域知识，以进一步提升模型的图像分割效果。

本申请旨在实现能够同时利用深度学习的自动提取最优特征的优势，又能加入遥感领域的先验知识，以提升图像分割的效果。

本公开实施例提供的图像分割的方法、装置和电子设备可用于图像识别在图像分割的相关方面，如遥感图像分割等领域。此外，也可用于除遥感图像分割领域之外的多种领域，如图像识别领域等，本公开实施例提供的图像分割的方法、装置和电子设备的应用领域不做限定。

图1示意性示出了根据本公开实施例的可以应用图像分割的方法、装置和电子设备的示例性***架构。需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。

如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104可以包括多个网关、路由器、集线器、网线等，用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与其他终端设备和服务器105进行交互，以接收或发送信息等，如发送图像信息、图像分割请求，接收图像分割结果等。终端设备101、102、103可以安装有各种通讯客户端应用。例如，网页浏览器应用、图像处理类应用、软件开发类应用、银行类应用、监控类应用、搜索类应用、办公类应用、即时通信工具、邮箱客户端、社交平台软件等应用(仅为示例)。例如，用户可以使用终端设备101上传图像和发送图像分割请求。例如，用户可以使用终端设备102查看图像分割结果等。

终端设备101、102、103包括但不限于能够使用网页浏览器或者客户端的智能手机、虚拟现实设备、增强现实设备、平板电脑、膝上型便携计算机、台式电脑等等。

服务器105可以接收请求，并对请求进行处理，具体可以为存储服务器、后台管理服务器、服务器集群等。例如，服务器105可以存储有图像分割模型。服务器106可以用于对图像分割模型进行训练。服务器105可以存储图像分割结果等。

需要说明的是，本公开实施例所提供的图像分割的方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像分割的装置一般可以设置于服务器105中。本公开实施例所提供的图像分割的方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。

应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将通过图2-图5对本公开实施例的一种图像分割方法和图像分割装置进行详细描述。

图2示意性示出了相关技术中的一种人工智能视频图像识别方法的流程图。

如图2所示，该实施例提供了一种图像分割方法，上述方法包括操作S210-操作S240，具体如下。

在操作S210中，获取针对指定对象的多通道图像，其中，多通道图像至少包括红色通道和红外通道。

在本实施例中，多通道图像可以是由遥感拍摄设备拍摄的图像，例如，遥感拍摄设备可以具有镜头、可见光传感器、红外传感器等，使得遥感拍摄设备可以拍摄到彩色图像和红外图像。

例如，获取到的遥感影像图片可以包括4个通道，红绿蓝(RGB)三通道再加上近红外光(NIR)通道。红色灰度值(Red，简称R)就是红色通道的值。具体计算时，就是将遥感影像图片用如python函数打开成矩阵时，第一通道就是红色通道(Red)，第四通道就是近红外通道(NIR)。

在操作S220中，基于红色通道和红外通道确定针对指定对象的植被指数。

在本实施例中，植被指数可以为归一化植被指数(NDVI)。NDVI是用测量近红外(植被强烈反射)和红光(植被吸收)之间的差异来量化植被，计算公式如式(1)所示。

NDVI＝(NIR-Red)/(NIR+Red)式(1)

归一化差异植被指数(NDVI)通过测量近红外(植被强烈反射的波段)和红光(植被吸收)之间的差异来量化植被。NDVI是在-1到+1之间。但是没有明确的界限(each type ofland cover)。例如，当有负值时，很可能是水。另一方面，如果ndvi值接近+1，则很可能是密集的绿叶。但当NDVI接近零时，就没有绿叶，甚至可能成为一个城市化地区。

归一化差分植被指数可以使用NIR和红色通道的灰度值来得到。例如，与其他波长相比，健康的植被(叶绿素)反射更多的近红外(NIR)和绿光。但它能吸收更多的红光和蓝光。这就是为什么人眼将植物视为绿色。如果人眼能看到近红外，那么植物反射的近红外也会很强。

NDVI的值介于-1和+1之间的值。如果红色通道的反射率较低(或较低值)，NIR通道的反射率较高，则会产生较高的NDVI值，反之亦然。总体而言，NDVI是衡量健康植被的标准化方法。当你有较高的NDVI值时，植被会更健康。当NDVI值低时，植被就会减少或消失。

在操作S230中，将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图。

在本实施例中，可以将操作S220中得到的NDVI矩阵与至少原图像的红色通道矩阵按照第一维进行拼接，形成至少两通道矩阵，这样就构造出至少两通道的可输入的特征图。

在操作S240中，基于增强特征图对多通道图像进行图像分割。

在本实施例中，可以将上述增强特征图输入经训练的图像分割模型，得到图像分割结果。其中，图像分割模型可以为多种深度学习神经网络。具体地，图像分割模型的输入可以包括上述增强特征图，图像分割模型的输出可以包括图像分割的结果。例如，图像分割的结果包括多通道图像中各像素类别。这样就可以将相同类别的像素划分在同一类中，并且将图像分割成多个区域，每个区域对应属于同一类的多个像素。

本公开实施例为了优化图像分割问题，生成特征图的过程是在深度学习卷积操作之前的，因此能同时利用深度学习自动提取特征的优势，又能加入遥感领域的先验知识，有效提升图像分割效果。

在某些实施例中，多通道图像还可以包括绿色通道和蓝色通道。

相应地，将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图可以包括如下操作。

将植被指数作为一个增强通道，并且将增强通道与红外通道、红色通道、绿色通道和蓝色通道进行拼接，得到具有至少五个通道的增强特征图。

彩色图像可以通过多种彩色空间进行表示。颜色空间也称彩色模型(又称彩色空间或彩色***)，用于在某些标准下用通常可接受的方式对彩色加以说明。颜色空间包括有RGB颜色空间、CMY颜色空间、HSV颜色空间以及HSI颜色空间等。可以理解地，设定颜色空间则是指预先定义的颜色空间。由于在本实施例中，需要将彩色图像转化为只由几种颜色的图像，以得到多个通道的颜色数据。因此，将原始颜色数据转换为设定颜色空间中对应的设定颜色数据，以便实现能够计算像素点的NDVI。

需要说明的是，由于RGB颜色空间是显示器的物理色彩模式，只要是在显示器上显示的，图像最终是以RGB颜色空间出现的，因此，原始颜色数据为RGB颜色数据。也就是说，原始图像中像素点的原始颜色数据为RGB颜色数据。RGB颜色空间是从颜色发光的原理来设计定的，RGB颜色空间可以包括红、绿、蓝三种颜色通道，每种颜色各分为256阶亮度，在0时该颜色通道的亮度最弱——该颜色通道处于熄灭状态，而在255时该颜色通道的亮度最亮。当三色灰度数值相同时，产生不同灰度值的灰色调，即三色灰度都为0时，是最暗的黑色调；三色灰度都为255时，是最亮的白色调。RGB值是指亮度，并使用整数来表示。通常情况下，RGB各有256级亮度，用数字表示为从0、1、2...254、255。

例如，当高色阶显示屏上具有成阵列排布的多个显示单元，每个显示单元中可以包括三个像素(如红色像素、绿色像素和蓝色像素)时，每个像素可以具有256种显示亮度。如红色可以使用颜色值[255,0,0]来进行表示。如白色可以使用颜色值[255,255,255]来进行表示。如黑色可以使用颜色值[0,0,0]来进行表示。为了便于对颜色值中的各取值进行表示，以下以灰阶值进行表示。

还需要说明的是，不同颜色空间的参数可以相互之间进行转换。例如，在HSV颜色空间中，红色、橙色、黄色、绿色、蓝色5种颜色的饱和度S和明度V都是100％，根据H值，可以锁定饱和度和明度都为100％时，红色、橙色、黄色、绿色和蓝色的分布范围。当H＝0时，表示红色；H＝30时，表示橙色；H＝60时，表示黄色；H＝120时，表示绿色；H＝240时，表示蓝色。当0<H<30时，可由红色和橙色交替出现得到中间色，且随着H值的增大，红色出现概率减少，橙色出现概率增加。当30<H<60时，可由橙色和黄色交替出现得到间色，且随着H值增大，橙色出现概率减少，黄色出现概率增加。依次类推，相邻两种颜色的间色，即相邻两种颜色的中间混合色应该由相邻的两种颜色交替混合而成，且根据H值的远近确定混合的比例。此外，随着饱和度S的减少，白色出现比例增加，随着V值的减少，黑色出现比例增加。因此，可以根据设定颜色的色调数据H、饱和度数据S以及明度数据V计算出RGB颜色空间中每种标准颜色所占的比例，实现HSV颜色空间和RGB颜色空间之间的转换。

图3示意性示出了根据本公开实施例的增强特征图的示意图。

如图3所示，由于彩色图像需要在显示屏上进行显示，可以以RGB色彩空间进行表示。其中，红色通道对应的矩阵的各阵元是图3中各像素的取值，该取值表示各像素中的红色子像素的灰度值，如0、1、2...254、255中一个值。蓝色通道对应的矩阵的各阵元是图3中各像素的取值，该取值表示各像素中的蓝色子像素的灰度值，如0、1、2...254、255中一个值。绿色通道对应的矩阵的各阵元是图3中各像素的取值，该取值表示各像素中的绿色子像素的灰度值，如0、1、2...254、255中一个值。红外通道对应的矩阵的各阵元是红外传感器确定的各像素的取值，该取值表示各像素中的红外像素的灰度值，红外像素的灰度值同样可以为0、1、2...254、255中一个值，此外，红外像素的灰度值的灰阶个数可以与红色子像素的灰阶个数相同或不同。植被指数通道对应的矩阵的各阵元，是基于红色像素灰度值和对应的红外像素灰度值来确定的，该取值表示各像素的植被指数灰度值，植被指数灰度值可以是基于式(1)计算得到的。

具体地，在构建增强特征图时，可以将利用式(1)计算得到的NDVI矩阵与原图像的4个通道矩阵按照第一维进行拼接，形成5通道矩阵，将其作为构造出的5通道的可以输入的特征图。

在某些实施例中，在得到增强特征图之后，上述方法还可以包括如下所示的操作：对增强特征图进行归一化处理，得到归一化增强特征图。

具体地，在输入到深度学习网络之前需要对输入矩阵进行归一化操作，对所有的输入图片，计算出均值和方差，然后进行标准化操作即可。

相应地，基于增强特征图对多通道图像进行图像分割包括：基于归一化增强特征图对多通道图像进行图像分割。

具体地，归一化不改变图像信息，只是把像素的灰度值从0-255转变成0～1的范围，加快训练网络的收敛性。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1—+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的。归一化是同一在0-1之间的统计概率分布。当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。需要说明的是，根据实际需要，可以不进行归一化处理。

此外，归一化还可以因为激活函数(如sigmoid)的取值是0到1之间的，网络最后一个节点的输出也是如此，所以可以对样本的输出归一化处理。例如，做分类的问题时用[0.90.1 0.1]就要比用[1 0 0]要好。

在某些实施例中，基于增强特征图对多通道图像进行图像分割可以包括：将增强特征图输入经训练的图像分割模型，得到针对多通道图像中各像素的分类结果，以对多通道图像进行图像分割。

在本实施例中，可以采用多种深度学习模型。例如，可以采用卷积神经网络、全卷积神经网络(FCN)、U型网络(U-net)、自编码神经网络、深度置信网络(DBN)。

在某些实施例中，图像分割模型包括：特征提取网络和特征融合网络。

其中，特征提取网络包括多个成组的卷积层和池化层，特征提取网络的输入包括增强特征图，特征提取网络的输出包括针对多通道图像的多尺度特征。

特征融合网络的输入包括针对多通道图像的多尺度特征，特征融合网络的输出包括多通道图像中各像素所属类别的概率。多尺度可以是基于不同尺寸的卷积核对各通道的图像数据进行处理后得到的不同尺寸的图像特征。

例如，可以采用U-net网络结构的图像分割模型，也可以根据需要换成不同结构的分割模型。

图4示意性示出了根据本公开实施例的图像分割模型的结构示意图。

如图4所示，U-net网络结构如下图所示，前半部分作用是特征提取，后半部分是上采样。在一些文献中也把这样的结构叫做编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，因此称为U-net。在最后还需要使用激活函数softmax将这两个类别转换为概率图。针对某个像素点，如输出是[0.1,0.9]，则判定这个像素点是第二类的概率更大。图4中572×572可以是指的特征图尺寸是572像素×572像素。卷积核3×3可以是指卷积核的尺寸是3像素×3像素。

U-net网络与采用了特殊的特征融合方式：拼接，U-net采用将特征在通道(channel)维度拼接在一起，形成更厚的特征。而全卷积网络(Full y ConvolutionalNetworks，简称FCN)融合时使用的对应点相加，并不形成更厚的特征。其中，FCN是深度学习英语在图像分割的代表作，是一种端到端(end to end)的图像分割方法，让网络做像素级别的预测直接得出标签图(label map)。

在某些实施例中，特征融合网络具体用于将针对多通道图像的多尺度特征以同一个像素的不同维度像素特征相加融合或者拼接融合中任意一种融合方式进行融合。

所以语义分割网络在特征融合时有如下所示的两种方式。

例如，FCN网络采用的对应点相加，对应于TensorFlow中的tf.add()函数。

例如，U-net网络采用的通道(channel)维度拼接融合，对应于TensorFlow的tf.concat()函数，比较占显存。

本公开的实施例在应用到遥感图像分割，采用U-net时，还有如下所示的优点。

例如，5个池化层(pooling layer)实现了网络对图像特征的多尺度特征识别。

上采样部分会融合特征提取部分的输出，这样做实际上是将多尺度特征融合在了一起。以最后一个上采样为例，它的特征既来自第一个卷积块(block)的输出(同尺度特征)，也来自上采样的输出(大尺度特征)，这样的连接是贯穿整个网络的，如图所示的网络中有四次融合过程，相对应的FCN网络只在最后一层进行融合。

需要说明的是，图像分割模型可以采用反向传播算法进行模型训练，例如，训练数据可以是具有分割标注信息的图像，通过调整模型参数，使得模型输出的分割信息与分割标注信息趋近一致。

以遥感图像分割为例，其需要对遥感图像进行像素点级别的分类，将图像分割成不同的区域。遥感图像分割方法包括人工特征法和深度学习法。其中，人工特征法利用遥感学科的先验知识，如光谱特征等信息，人工构建特征；再利用如阈值分割，边缘检测等图像法，完成图像分割的任务。人工特征法的结果依赖人工的先验知识，不能利用到深度学习自动提取特征的优势，分割效果不够理想。深度学习法将图片输入到卷积神经网络，利用深度学习自动提取特征的优势，结果较好，不足点是输入相对固定，与人工特征相比缺乏领域知识，例如基于深度学习的遥感影像输入就是RGB的3通道再加上1个通道的光谱波段信息。训练数据决定了模型的上线，算法只是逼近这个上线，如果事先数据与处理的越好，即提供给机器的数据越好，则上线越高。如果在模型输入中能加进一些领域知识，则能提升模型效果。

本公开实施例提供的图像分割方法，能利用深度学习的自动提取最优特征的优势，同时，又能加入具体领域(如遥感测绘领域)的先验知识，有效提升了图像分割效果。并且由于是一种数据处理策略，因此可以适用于任意的遥感分割模型。

图5示意性示出了根据本公开实施例的一种图像分割装置的结构框图。

如图5所示，上述装置500包括：多通道图像获取模块510、植被指数确定模块520、通道拼接模块530和图像分割模块540。

多通道图像获取模块510用于获取针对指定对象的多通道图像，其中，多通道图像至少包括红色通道和红外通道。

植被指数确定模块520用于基于红色通道和红外通道确定针对指定对象的植被指数。

通道拼接模块530用于将植被指数作为一个增强通道，并且将增强通道至少与红外通道和红色通道进行拼接，得到增强特征图。

图像分割模块540用于基于增强特征图对多通道图像进行图像分割。

需要说明的是，装置部分实施例中各模块/单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再一一赘述。

图6示意性示出了实现本公开实施例的一种用于图像分割方法的电子设备的方框图。

如图6所示，根据本公开实施例的电子设备600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。电子设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时，该程序代码用于使计算机***实现本公开实施例所提供的物品推荐方法。

在该计算机程序被处理器601执行时执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例，上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的***中限定的上述功能。根据本公开的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：

获取针对指定对象的多通道图像，其中，所述多通道图像至少包括红色通道和红外通道；

基于所述红色通道和所述红外通道确定针对所述指定对象的植被指数；

将所述植被指数作为一个增强通道，并且将所述增强通道至少与所述红外通道和所述红色通道进行拼接，得到增强特征图；

基于所述增强特征图对所述多通道图像进行图像分割。

2.根据权利要求1所述的方法，其特征在于，所述多通道图像还包括绿色通道和蓝色通道；

所述将所述植被指数作为一个增强通道，并且将所述增强通道至少与所述红外通道和所述红色通道进行拼接，得到增强特征图包括：

将所述植被指数作为一个增强通道，并且将所述增强通道与所述红外通道、所述红色通道、所述绿色通道和所述蓝色通道进行拼接，得到具有至少五个通道的增强特征图。

3.根据权利要求1所述的方法，其特征在于，在得到增强特征图之后，所述方法还包括：

对所述增强特征图进行归一化处理，得到归一化增强特征图；

所述基于所述增强特征图对所述多通道图像进行图像分割包括：基于所述归一化增强特征图对所述多通道图像进行图像分割。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述增强特征图对所述多通道图像进行图像分割包括：

将所述增强特征图输入经训练的图像分割模型，得到针对所述多通道图像中各像素的分类结果，以对所述多通道图像进行图像分割。

5.根据权利要求4所述的方法，其特征在于，所述图像分割模型包括：

特征提取网络，所述特征提取网络包括多个成组的卷积层和池化层，所述特征提取网络的输入包括所述增强特征图，所述特征提取网络的输出包括针对所述多通道图像的多尺度特征；

特征融合网络，所述特征融合网络的输入包括针对所述多通道图像的多尺度特征，所述特征融合网络的输出包括所述多通道图像中各像素所属类别的概率。

6.根据权利要求5所述的方法，其特征在于，所述特征融合网络具体用于将针对所述多通道图像的多尺度特征以同一个像素的不同维度像素特征相加融合或者拼接融合中任意一种融合方式进行融合。

7.一种图像分割装置，其特征在于，所述装置包括：

多通道图像获取模块，用于获取针对指定对象的多通道图像，其中，所述多通道图像至少包括红色通道和红外通道；

植被指数确定模块，用于基于所述红色通道和所述红外通道确定针对所述指定对象的植被指数；

通道拼接模块，用于将所述植被指数作为一个增强通道，并且将所述增强通道至少与所述红外通道和所述红色通道进行拼接，得到增强特征图；

图像分割模块，用于基于所述增强特征图对所述多通道图像进行图像分割。

8.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images