CN111784707A - 图像分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像分割方法、装置、电子设备、存储介质、轻量级的图像分割方法，涉及人工智能中深度学习、云计算以及计算机视觉技术领域。具体实现方案为：获取待分割图像，根据预先设置的图像分割模型对待分割图像进行分割，其中，图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且上采样的输入特征包括样本图像经过下采样的高维特征和低维特征，通过结合下采样和上采样，且上采样的输入特征包括下采样的高维特征和低维特征生成图像分割模型，可以大大减少网络参数的量，降低图像分割模型的计算量，从而当在采用图像分割模型对待分割图像进行分割时，可以提高分割效率，节约计算资源的技术效果。

Description

图像分割方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能中深度学习、云计算以及计算机视觉计算领域，具体涉及一种图像分割方法、装置、电子设备、存储介质、轻量级的图像分割方法。

背景技术

随着终端设备的发展和普及，图像分割的技术被广泛地应用。

在现有技术中，图像分割通常采用的方式为：通过样本图像对神经网络模型进行训练，生成用于对图像进行分割的网络模型，并根据网络模型对待分割图像进行分割。

然而发明人在实现本申请的过程中，发现至少存在如下问题：简单的通过样本图像对神经网络模型进行训练，计算量大。

发明内容

提供了一种用于减小计算量的图像分割方法、装置、电子设备、存储介质、轻量级的图像分割方法。

根据第一方面，提供了一种一种图像分割方法，包括：

获取待分割图像；

根据预先设置的图像分割模型对所述待分割图像进行分割，其中，所述图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征。

在本申请实施例中，通过对样本图像依次进行下采样和上采样，并将样本图像经过下采样的高维特征和低维特征均作为上采样的输入，可以避免计算量大的问题，实现了提高训练的效率，节约计算资源的技术效果。

根据第二方面，本申请实施例提供了一种图象分割装置，包括：

第一获取模块，用于获取待分割图像；

分割模块，用于根据预先设置的图像分割模型对所述待分割图像进行分割，其中，所述图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征。

根据第三方面，本申请实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一实施例所述的方法。

根据第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。

根据第五方面，本申请实施例提供了一种轻量级的图像分割方法，应用于移动终端，包括：

获取移动终端采集到的待分割图像；

根据预先设置的轻量级的图像分割模型对所述待分割图像进行分割，其中，所述轻量级的图像分割模型是由预先设置的神经网络模型中的编码组件对预先设置的样本图像进行下采样，并由所述神经网络模型中的解码组件对下采样后的样本图像进行上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征，且所述编码组件和所述解码组件之间采用跳跃连接的方式连接，且所述高维特征通过跳跃连接的方式作为上采样的输入特征；

在所述移动终端上对分割后的图像进行显示。

根据本申请的由预先设置的图像分割模型对待分割图像进行分割，且图像分割模型为对样本图像依次进行下采样和上采样，并将样本图像经过下采样的高维特征和低维特征均作为上采样的输入的方式生成的技术，解决了相关技术中分割时计算量大的问题，提高了分割的效率和可靠性的技术效果。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例的应用场景的示意图；

图2为本申请一个实施例的图像分割方法的流程示意图；

图3为本申请另一实施例的图像分割方法的流程示意图；

图4为本申请实施例的根据神经网络模型对旋转后的样本图像依次进行下采样和上采样，生成图像分割模型的方法的流程示意图；

图5为本申请另一实施例的图像分割方法的流程示意图；

图6为本申请实施例的待分割图像的示意图；

图7为本申请实施例的分割后的图像的示意图；

图8为本申请一个实施例的图像分割装置的示意图；

图9为本申请另一实施例的图像分割装置的示意图；

图10为本申请实施例的电子设备的框图；

图11为本申请实施例的轻量级的图像分割方法的流程示意图。

具体实施方式

以下结合附图对本申请实施例的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请实施例的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例的图像分割方法可以应用于终端设备中，例如，本申请实施例的图像分割方法可以应用于如图1所示的应用场景。

也就是说，本申请实施例的图像分割方法可以应用于如图1所示的手机、笔记本电脑、台式电脑、智能手表及服务器(包括本地服务器和云端服务器)。

当然，在另一些实施例中，本申请实施例的方法还可以应用于基于图1中的多种终端设备组成的***构架中，如***构架可以由图1中的手机和服务器组成，又如，***构架可以由图1中的智能手表和服务器组成，等等。

现从两个维度对本申请实施例的图像分割方法的应用场景进行示范性地阐述。

以单个终端设备的维度，且具体以手机为例进行阐述如下：

手机可以基于用户的需求对图像进行采集，并对采集到的图像进行分割，得到分割后的图像，并可以控制手机界面对分割后的图像进行显示。

以多个终端设备的维度，且具体以手机+云端服务器为例进行阐述如下：

手机可以基于用户的需求对图像进行采集，并将采集到的图像发送至云端服务器，云端服务器对手机发送的图像进行分割，得到分割后的图像，并将分割后的图像发送至手机，手机可以控制手机界面对服务器发送的分割后的图像进行显示。

当从多个终端设备的维度，如从手机+云端服务器的维度对图像进行分割，即当由云端服务器对图像进行分割时，可以降低手机进行图像分割时的计算资源消耗，提高手机的运行速度，且通过云端服务器对图像进行分割，可以提高图像分割的效率，从而提高手机对分割的图像的显示速度，满足用户的视觉体验的技术效果。

值得说明的是，上述示例只是用于示范性地说明，而不能理解为对本申请实施例的图像分割方法的应用场景，以及对本申请实施例的图像分割方法的内容限定。

上述终端设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备。

且上述终端设备可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据；终端设备还可以是个人通信业务(PersonalCommunication Service，PCS)电话、无绳电话、会话发起协议(Session InitiationProtocol，SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal Digital Assistant，PDA)，平板型电脑、无线调制解调器(modem)、手持设备(handset)、膝上型电脑(laptop computer)、机器类型通信(Machine TypeCommunication,MTC)终端等设备；终端设备也可以称为***、订户单元(SubscriberUnit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，等等，在此不作限定。

在相关技术中，通过对神经网络模型进行训练，对目标区域进行预测，并基于目标区域对待分割图像进行分割。

然而，通过相关技术中的分割方法，容易导致神经网络模型的计算量大的问题。

本申请的发明人在经过创造性地劳动之后，想到了本申请的发明构思：训练一种轻量级的图像分割模型，基于该轻量级的图像分割模型对待分割图像进行分割。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

根据本申请实施例的一个方面，本申请实施例提供了一种图像分割方法。

请参阅图2，图2为本申请一个实施例的图像分割方法的流程示意图。

如图2所示，该方法包括：

S101：获取待分割图像。

其中，本申请实施例的执行主体可以为图像分割装置(下文简称分割装置)，且分割装置可以为终端设备，且具体可以为如图1中所示的终端设备，如分割装置可以为如图1中所示的手机、笔记本电脑、台式电脑、智能手表及服务器(包括本地服务器和云端服务器)，本申请实施例不做限定。

本申请实施例对分割装置获取待分割图像的方式不做限定，例如，分割装置可以为具有图像采集功能的装置，并通过图像采集功能获取待分割图像，如当分割装置为手机时，手机具有图像采集功能，如在手机上设置的摄像头，手机通过摄像头获取待分割图像；又如，分割装置可以为具有与其他装置进行通信功能的装置，并通过通信功能从其他装置获取待分割图像，如当分割装置为服务器时，服务器具有与手机进行通信的功能，并基于该通信功能从手机中获取待分割图像，等等。

S102：根据预先设置的图像分割模型对待分割图像进行分割，其中，图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且上采样的输入特征包括样本图像经过下采样的高维特征和低维特征。

其中，下采样(subsampled)也可以称为降采样(downsampled)，可以用于表征对样本图像进行缩放处理，使得样本图像符合预先设置的显示区域的大小，从而得到样本图像对应的缩略图。

例如，对于一个尺寸为M*N的样本图像，对该样本图像进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率的图像。其中，s为M和N的公约数。

其中，上采样(upsampling)也可以称为图像插值(interpolating)，可以用于表征对样本图像进行放大处理，使得样本图像可以显示在更高分辨率的显示设备上。

例如，可以通过内插值方法对样本图像进行上采样，即可以在样本图像的基础上在像素点之间采用合适的插值算法***新的元素等。

其中，高维特征和低维特征为神经网络模型中基于特征的信息量等衍生出的两个相对概念，高维特征中包括的噪音数据较多，且具有一些冗余的特征。在一些实施例中，可以通过对高维特征进行降维处理，得到低维特征。

在本申请实施例中，通过对样本图像依次进行下采样和上采样，并将样本图像经过下采样的高维特征和低维特征均作为上采样的输入，可以避免相关技术中直接基于样本图像对神经网络模型进行训练生成的网络模型的计算量大的问题，且减少网络参数的量，从而实现了提高训练的效率，节约计算资源的技术效果。

基于上述分析可知，本申请实施例提供了一种图像分割方法，该方法包括：获取待分割图像，根据预先设置的图像分割模型对待分割图像进行分割，其中，图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且上采样的输入特征包括样本图像经过下采样的高维特征和低维特征，通过结合下采样和上采样，且上采样的输入特征包括下采样的高维特征和低维特征生成图像分割模型，可以大大减少网络参数的量，降低图像分割模型的计算量，从而当在采用图像分割模型对待分割图像进行分割时，可以提高分割效率，节约计算资源的技术效果。

为使读者从图像分割模型的训练的维度对本申请实施例的图像分割方法进行更为透彻地理解，现结合图3对本申请实施例的图像分割方法进行更为详细地阐述。其中，图3为本申请另一实施例的图像分割方法的流程示意图。

S201：获取样本图像。

同理，本申请实施例对获取样本图像的方式不做限定，且本申请实施例对样本图像的数量不做限定。

其中，分割装置可以基于需求、历史记录和试验等选择一定数量的样本图像。

现以样本图像的数量基于需求进行选择为例，进行如下阐述：

其中，需求可以用于表征，预先设置于分割装置中的对分割结果的可靠性的需求，则分割装置针对可靠性相对较高的需求，可以选择相对较多数量的样本图像，以提高图像分割模型的准确性，从而提高分割的可靠性；反之，分割装置针对可靠性相对较低的需求，可以选择相对较少数量的样本图像。

现以样本图像的数量基于历史记录进行选择为例，进行如下阐述：

分割装置基于历史记录可知，样本图像的数量为某数量区间时，图像分割模型的准确性相对比较高，能够满足预设的分割需求，则分割装置可以基于该数量区间的选择样本图像的数量。

现以样本图像的数量基于试验进行选择为例，进行如下阐述：

在试验阶段，分割装置中预先设置多个数量区间。分割装置选择各数量区间的样本图像，基于各数量区间，分别生成试验阶段的图像分割模型，基于各试验阶段的图像分割模型的准确度，选择样本图像的数量。

值得说明地是，上述示例只是用于示范性地说明，选择样本图像的数量的可能实现方式，而不能理解为对本申请实施例的限定。

S202：基于预先设置的方向和/或角度对样本图像进行旋转。

其中，该步骤可以包括：基于预先设置的方向对样本图像进行旋转；也可以包括：基于预先设置的角度对样本图像进行旋转；还可以包括：基于预先设置的方向和角度对样本图像进行旋转。

在该步骤中，通过基于预先设置的方向和/或角度对样本图像进行旋转，可以提高网络模型训练的随机性和灵活性，从而提高训练生成的图像分割模型的灵活性和可靠性的技术效果。

S203：根据神经网络模型对旋转后的样本图像依次进行下采样和上采样，生成图像分割模型。

本申请实施例对神经网络模型不做限定，如神经网络模型可以为卷积神经网络模型、前馈(Feed Forward，FF)神经网络模型、递归(Recurrent Neural Network，RNN)神经网络模型及长短时记忆(Long/Short Term Memory，LSTM)网络模型，等等。

结合图4可知，在一些实施例中，S203可以包括：

S31：基于神经网络模型对旋转后的样本图像进行下采样，生成高维特征。

在该步骤中，在对旋转后的样本图像进行下采样后，可以生成样本图像的高维特征。

S32：基于神经网络模型生成与高维特征对应的低维特征。

其中，本申请实施例对基于高维特征生成低维特征的方法不做限定，例如，可以通过降维的方式基于高维特征生成低维特征，也可以基于归一化处理的方式基于高维特征生成低维特征，还可以通过由分离卷积的方式基于高维特征生成低维特征，等等。

在本申请实施例中，当通过分离卷积的方式基于高维特征生成低维特征时，可以满足分割后的图像的多尺寸的适应性需求。

S33：基于神经网络模型对高维特征和低维特征进行上采样，生成图像分割模型。

在本申请实施例中，通过获取两个维度的特征(即高维特征和低维特征)，并基于两个维度的特征对神经网络模型进行训练，可以提高训练生成的图像分割模型的可靠性和准确性的技术效果，且通过考虑结合下采样和上采样的方式对神经网络模型进行训练，可以实现减少网络模型的参数的量，节约计算资源和成本的技术效果。

在一些实施例中，可以对图像分割模型的参数进行适应性地调整，如将图像分割模型的浮点(float)类型的参数调整为整数(int)类型的参数，以提高图像分割模型的分割效率。

S204：获取待分割图像。

其中，关于S204的描述可以参见S101，此处不再赘述。

S205：根据图像分割模型对待分割图像进行分割，其中，图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且上采样的输入特征包括样本图像经过下采样的高维特征和低维特征。

其中，关于S205的描述可以参见S102，此处不再赘述。

为使读者从应用的维度对本申请实施例的图像分割方法进行更为透彻地理解，现结合图5对本申请实施例的图像分割方法进行更为详细地阐述。其中，图5为本申请另一实施例的图像分割方法的流程示意图。

如图5所示，该方法包括：

S301：获取待分割图像。

其中，关于S301的描述可以参见S101，此处不再赘述。

S302：基于预先设置的方向和/或角度对待分割图像进行旋转。

在一些实施例中，分割装置可以接收用户输入的旋转需求，并根据该旋转需求对待分割图像进行旋转，其中，旋转需求可以为预先设置的方向，也可以为预先设置的角度，还可以为预先设置的方法和角度。

在另一些实施例中，分割装置可以确定待分割图像的方向和/或角度(以世界坐标系为基础)，或者，分割装置可以确定待分割图像中待分割目标的方向和/或角度(以图像坐标系为基础)，并根据确定出的待分割图像的方向和/或角度确定进行旋转的方向和/或角度，并根据该旋转的方向和/或角度对待分割图像进行旋转。

在本申请实施例中，通过对待分割图像进行旋转，可以提高用户对分割后的图像的观看体验。

S303：根据图像分割模型对旋转后的待分割图像进行分割。

其中，图像分割模型的生成方法可以参见上述示例的S201至S203，此处不再赘述。

其中，该步骤可以具体包括：分割装置基于图像分割模型对旋转后的待分割图像进行下采样，并基于图像分割模型对下采样生成的旋转后的待分割图像的高维特征和低维特征进行上采样，并生成分割后的图像。

在本申请实施例中，由于分割后的图像是基于旋转后的待分割图像的高维特征和低维特征生成的，因此，可以提高分割后的图像的可靠性和准确性的技术效果，具体待分割图像的示意图可以参阅图6，分割后的图像的示意图可以参阅图7。

根据本申请实施例的另一个方面，本申请实施例还提供了一种图像分割装置，用于执行如上述任一实施例所述的方法，如用于执行如图2至图5中任一实施例所示的方法。

请参阅图8，图8为本申请一个实施例的图像分割装置的示意图。

如图8所示，该装置包括：

第一获取模块11，用于获取待分割图像；

分割模块12，用于根据预先设置的图像分割模型对所述待分割图像进行分割，其中，所述图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征。

结合图9可知，在一些实施例中，还包括：

第二获取模块13，用于获取所述样本图像；

生成模块14，用于根据预先设置的神经网络模型对所述样本图像依次进行下采样和上采样，生成所述图像分割模型。

在一些实施例中，所述生成模块14用于，对所述样本图像进行下采样，生成所述高维特征，生成与所述高维特征对应的所述低维特征，对所述高维特征和所述低维特征进行上采样，生成所述图像分割模型。

在一些实施例中，所述生成模块14用于，根据所述神经网络模型中的可分离卷积生成所述低维特征。

结合图9可知，在一些实施例中，还包括：

第一旋转模块15，用于基于预先设置的方向和/或角度对所述样本图像进行旋转；

以及，所述生成模块14用于，根据所述神经网络模型对旋转后的样本图像依次进行下采样和上采样，生成所述图像分割模型。

在一些实施例中，所述图像分割模型中的参数的类型为整数类型。

结合图9可知，在一些实施例中，还包括：

第二旋转模块16，用于基于预先设置的方向和/或角度对待分割图像进行旋转；

以及，所述分割模块12用于，根据所述图像分割模型对旋转后的待分割图像进行分割。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

请参阅图10，图10为本申请实施例的电子设备的框图。

其中，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。

如图10所示，该电子设备包括：一个或多个处理器101、存储器102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图10中以一个处理器101为例。

存储器102即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的图像分割方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的图像分割方法。

存储器102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的程序指令/模块。处理器101通过运行存储在存储器102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像分割方法。

存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、区块链服务网络(Block-chain-based Service Network，BSN)、移动通信网及其组合。

电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接，图10中以通过总线连接为例。

输入装置103可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、区块链服务网络(Block-chain-based Service Network，BSN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的另一个方面，本申请实施例还提供了一种轻量级的图像分割方法，该方法应用于移动终端，移动终端可以为手机等。

请参阅图11，图11为本申请实施例的轻量级的图像分割方法的流程示意图。

如图11所示，该方法包括：

S1：获取移动终端采集到的待分割图像。

在本申请实施例中，轻量级的图像分割方法的执行主体可以为移动终端，且移动终端可以为手机。

在该步骤中，移动终端可以通过其上设置的摄像头获取待分割图像。

S2：根据预先设置的轻量级的图像分割模型对待分割图像进行分割，其中，轻量级的图像分割模型是由预先设置的神经网络模型中的编码组件对预先设置的样本图像进行下采样，并由神经网络模型中的解码组件对下采样后的样本图像进行上采样生成的，且上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征，且编码组件和所述解码组件之间采用跳跃连接的方式连接，且高维特征通过跳跃连接的方式作为上采样的输入特征。

值得说明的是，由于轻量级的图像分割方法应用于移动终端，而移动终端的内存和负载能力相对较小，因此，在申请实施例中，采用的为轻量级的图像分割模型对待分割图像进行分割，以提高移动终端的稳定性和可靠性。

具体的，在本申请实施例中，轻量级的图像分割模型包括编码组件和解码组件，且编码组件和解码组件之间通过跳跃连接的方式连接，且在编码组件中，可以采样待交换信息的可分离卷积嵌入至神经网络模型ResNet(Residual Neural Network)的瓶颈层(bottleneck)结构里，以减少参与训练的参数的量。

且在基于编码组件通过下采样得到样本图像的高维特征之后，可以通过跳跃连接将高维特征输入至解码组件，并将高维特征输入至与编码组件连接的分离卷积组成的空间金字塔汇集(Atrous Spatial Pyramid Pooling，ASPP)结构，得到样本图像的低维特征，并将低维特征输入至解码组件。

在一些实施例中，编码组件与解码组件的连接处使用位操作替换拼接(concat)操作，以减小神经网络模型的通道数，进一步实现轻量级的图像分割模型的轻量性。

S3：在移动终端上对分割后的图像进行显示。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种图像分割方法，包括：

获取待分割图像；

根据预先设置的图像分割模型对所述待分割图像进行分割，其中，所述图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征。

2.根据权利要求1所述的方法，还包括：

获取所述样本图像；

根据预先设置的神经网络模型对所述样本图像依次进行下采样和上采样，生成所述图像分割模型。

3.根据权利要求2所述的方法，其中，所述根据预先设置的神经网络模型对所述样本图像依次进行下采样和上采样，生成所述图像分割模型包括：

对所述样本图像进行下采样，生成所述高维特征；

生成与所述高维特征对应的所述低维特征；

对所述高维特征和所述低维特征进行上采样，生成所述图像分割模型。

4.根据权利要求3所述的方法，其中，所述生成与所述高维特征对应的所述低维特征包括：

根据所述神经网络模型中的可分离卷积生成所述低维特征。

5.根据权利要求2所述的方法，还包括：

基于预先设置的方向和/或角度对所述样本图像进行旋转；

以及，所述根据预先设置的神经网络模型对所述样本图像依次进行下采样和上采样，生成所述图像分割模型包括：根据所述神经网络模型对旋转后的样本图像依次进行下采样和上采样，生成所述图像分割模型。

6.根据权利要求1至5中任一项所述的方法，其中，所述图像分割模型中的参数的类型为整数类型。

7.根据权利要求1至5中任一项所述的方法，还包括：

基于预先设置的方向和/或角度对待分割图像进行旋转；

以及，所述根据预先设置的图像分割模型对旋转后的待分割图像进行分割包括：根据所述图像分割模型对旋转后的待分割图像进行分割。

8.一种图象分割装置，包括：

第一获取模块，用于获取待分割图像；

分割模块，用于根据预先设置的图像分割模型对所述待分割图像进行分割，其中，所述图像分割模型是对预先设置的样本图像进行下采样和上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征。

9.根据权利要求8所述的装置，还包括：

第二获取模块，用于获取所述样本图像；

生成模块，用于根据预先设置的神经网络模型对所述样本图像依次进行下采样和上采样，生成所述图像分割模型。

10.根据权利要求9所述的装置，其中，所述生成模块用于，对所述样本图像进行下采样，生成所述高维特征，生成与所述高维特征对应的所述低维特征，对所述高维特征和所述低维特征进行上采样，生成所述图像分割模型。

11.根据权利要求10所述的装置，其中，所述生成模块用于，根据所述神经网络模型中的可分离卷积生成所述低维特征。

12.根据权利要求9所述的装置，包括：

第一旋转模块，用于基于预先设置的方向和/或角度对所述样本图像进行旋转；

以及，所述生成模块用于，根据所述神经网络模型对旋转后的样本图像依次进行下采样和上采样，生成所述图像分割模型。

13.根据权利要求8至12中任一项所述的装置，其中，所述图像分割模型中的参数的类型为整数类型。

14.根据权利要求8至12中任一项所述的装置，还包括：

第二旋转模块，用于基于预先设置的方向和/或角度对待分割图像进行旋转；

以及，所述分割模块用于，根据所述图像分割模型对旋转后的待分割图像进行分割。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

17.一种轻量级的图像分割方法，应用于移动终端，包括：

获取移动终端采集到的待分割图像；

根据预先设置的轻量级的图像分割模型对所述待分割图像进行分割，其中，所述轻量级的图像分割模型是由预先设置的神经网络模型中的编码组件对预先设置的样本图像进行下采样，并由所述神经网络模型中的解码组件对下采样后的样本图像进行上采样生成的，且所述上采样的输入特征包括所述样本图像经过下采样的高维特征和低维特征，且所述编码组件和所述解码组件之间采用跳跃连接的方式连接，且所述高维特征通过跳跃连接的方式作为上采样的输入特征；

在所述移动终端上对分割后的图像进行显示。

Images