CN112446888A - 图像分割模型的处理方法和处理装置 - Google Patents

图像分割模型的处理方法和处理装置 Download PDF

Info

Publication number
CN112446888A
CN112446888A CN201910845625.0A CN201910845625A CN112446888A CN 112446888 A CN112446888 A CN 112446888A CN 201910845625 A CN201910845625 A CN 201910845625A CN 112446888 A CN112446888 A CN 112446888A
Authority
CN
China
Prior art keywords
feature extraction
submodel
model
image segmentation
binarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910845625.0A
Other languages
English (en)
Inventor
韩凯
闻长远
舒晗
陈翼翼
苏霞
王云鹤
许春景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910845625.0A priority Critical patent/CN112446888A/zh
Priority to PCT/CN2020/100058 priority patent/WO2021042857A1/zh
Publication of CN112446888A publication Critical patent/CN112446888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能领域中的图像分割技术，提供了图像分割模型的处理方法和处理装置。所述图像分割模型包括特征提取子模型和图像分割子模型，特征提取子模型用于提取图像的特征，图像分割子模型用于根据所述提取的特征对所述图像进行分割。所述处理方法包括：对所述特征提取子模型进行层宽调整，以得到第一特征提取子模型；根据第一特征提取子模型和图像分割子模型得到目标图像分割模型。本申请提供图像分割模型的处理方法和处理装置，有助于提高图像分割模型的分割精度，从而有助于在边缘设备上实现图像分割技术。

Description

图像分割模型的处理方法和处理装置
技术领域
本申请涉及图像处理领域，并且更具体地，涉及图像分割模型的处理方法和处理装置。
背景技术
图像分割，在边缘设备，例如车辆或手机上，也具有应用需求。但是，由于边缘设备的计算性能以及缓存受限，使得在这些边缘设备上使用神经网络对图像进行处理存在困难。
因此，如何得到能够适用于边缘设备的图像分割模型，是一个亟待解决的技术问题。
发明内容
本申请提供图像分割模型的处理方法和处理装置，有助于提高图像分割模型的分割精度，以使得可以在边缘设备上实现图像分割。
第一方面，提供了一种图像分割模型的处理方法，该图像分割模型包括特征提取子模型和图像分割子模型，所述特征提取子模型用于提取图像的特征，所述图像分割子模型用于根据所述提取的特征对所述图像进行分割，该方法包括：对特征提取子模型进行层宽调整，以得到第一特征提取子模型；根据所述第一特征提取子模型和所述图像分割子模型得到目标图像分割模型。
其中，该图像分割模型可以是训练过的，也可以是没有训练过的。
该方法中，对特征提取子模型的层宽进行调整，有助于提高特征提取子模型的精度，从而提高目标图像分割模型的分割精度，进而使得图像分割模型更易于在边缘设备上应用。
尤其在特征提取子模型为二值化神经网络模型的场景下，可以降低因特征提取子模型为二值化神经网络模型而导致的精度损失，从而提高图像分割模型的分割精度。
在第一方面的一些可能的实现方式中，所述对所述特征提取子模型进行层宽调整，包括：增大所述特征提取子模型的通道数量，得到第二特征提取子模型；为所述第二特征提取子模型生成K个不同的第一二值化编码，所述第一二值化编码包括多个二值化数值，所述多个二值化数值与所述第二特征提取子模型的多个通道一一对应，所述多个二值化数值中的每个二值化数值用于指示所述每个二值化数值对应的通道保留还是去除，K为大于1的整数；根据所述K个不同的第一二值化编码保留或者去除所述第二特征提取子模型的通道，得到K个第三特征提取子模型；根据所述K个第三特征提取子模型中每个第三特征提取子模型对图像进行特征提取时的交并比和计算量，从所述K个第三特征提取子模型中选择M个第三特征提取子模型，M为大于1的整数；对所述M个第三特征提取子模型对应的M个第一二值化编码进行交叉和/或变异处理，得到S个第二二值化编码，S为大于1整数；根据所述S个第二二值化编码中的每个第二二值化编码保留或者去除所述第二特征提取子模型的通道，得到S个第四特征提取子模型；将所述第四特征提取子模型作为所述第三特征提取子模型，取K＝S，重复执行上述第四个操作至第六个操作T次；将最后一次得到的S个第四特征提取子模型的一个作为所述第一特征提取子模型。
可选地，所述M个第三特征提取子模型中的第j个第三特征提取子模型被选择的概率满足如下公式：
Figure BDA0002188477490000021
其中，Pr(bj)表示所述第j个第三特征提取子模型被选择的概率，f(bj)满足以下公式：
f(bj)＝mIoU(j)+α/N(j)
其中，mIoU(j)表示所述第j个第三特征提取子模型对图像进行特征提取时的交并比，N(j)表示所述第个j第三特征提取子模型对所述图像进行特征提取时的计算量，α是一个预设参数。
在第一方面的一些可能的实现方式中，所述根据所述第一特征提取子模型和所述图像分割子模型得到目标图像分割模型，包括：使用教师特征提取模型对所述第一特征提取模型进行知识蒸馏，得到第五特征提取子模型；根据所述第五特征提取子模型和所述图像分割子模型得到所述目标图像分割模型。
其中，教师模型可以包括使用常规方法训练得到的特征提取模型。
该实现方式中，通过训练好的教师模型来对图像分割模型中的特征提取子模型进行知识蒸馏，可以降低因二值化带来的精度损耗，从而降低图像分割的精度损耗。
可选地，所述第五特征提取子模型的损失函数满足如下关系：
Figure BDA0002188477490000022
其中，Gti表示所述教师特征提取模型输出的T个尺度特征中的第i个尺度特征，Gsi表示所述第五特征提取子模型输出T个尺度特征中的第i个尺度特征，T为正整数，所述教师特征提取模型输出的第i个尺度特征与所述第五特征提取子模型输出的第i个尺度特征的尺度相同，“|| ||”表示矩阵范数。
在第一方面的一些可能的实现方式中，所述根据所述第五特征提取子模型和所述图像分割子模型得到所述目标图像分割模型，包括：根据教师图像分割模型对所述图像分割子模型进行知识蒸馏，得到目标图像分割子模型，其中，所述目标图像分割模型包括所述第五特征提取子模型和所述目标图像分割子模型。
其中，教师模型可以包括使用常规方法训练得到的图像分割模型。
该实现方式中，通过训练好的教师模型来对图像分割子模型进行知识蒸馏，可以提高图像分割模型的精度。
尤其在特征提取子模型为二值化神经网络模型的场景下，可以降低因特征提取子模型为二值化神经网络模型而导致的精度损失，从而提高图像分割模型的精度。
可选地，所述目标图像分割子模型的损失函数满足如下关系：
τ(PT)＝soft max(aT/τ)，τ(PS)＝soft max(aS/τ)，Lτ＝H(y,PS)+λ*H(τ(PT),τ(PS))
其中，PT表示教师图像分割模型的分割结果，PS表示所述目标图像分割子模型的分割结果，H表示交叉熵损失函数，y用于指示所述目标图像分割子模型的分割结果的是否正确，λ为预设的权衡系数，softmax表示柔性最大函数。
可选地，特征提取子模型可以是二值化神经网络模型，这可以降低图像分割模型的参数量和计算量，从而有助于图像分割模型应用在边缘设备上。
第二方面，提供了一种图像分割模型的处理装置，该图像分割模型包括特征提取子模型和图像分割子模型，所述特征提取子模型用于提取图像的特征，所述图像分割子模型用于根据所述提取的特征对所述图像进行分割，该处理装置包括：层宽调整模块和知识蒸馏模块。
层宽调整模块用于对图像分割模型中的特征提取子模型进行层宽调整，以得到第一特征提取子模型；知识蒸馏模块用于根据所述第一特征提取子模型和所述图像分割子模型得到目标图像分割模型。
该装置对特征提取子模型的层宽进行调整，有助于提高特征提取子模型的精度，从而提高图像分割模型的分割精度，进而有助于图像分割模型应用在边缘设备上。
尤其在特征提取子模型为二值化神经网络模型的场景下，可以降低因特征提取子模型为二值化神经网络模型而导致的精度损失，从而提高图像分割模型的分割精度。
在第二方面的一些可能的实现方式中，所述层宽调整模块具体用于：增大所述特征提取子模型的通道数量，得到第二特征提取子模型；为所述第二特征提取子模型生成K个不同的第一二值化编码，所述第一二值化编码包括多个二值化数值，所述多个二值化数值与所述第二特征提取子模型的多个通道一一对应，所述多个二值化数值中的每个二值化数值用于指示所述每个二值化数值对应的通道保留还是去除，K为大于1的整数；根据所述K个不同的第一二值化编码保留或者去除所述第二特征提取子模型的通道，得到K个第三特征提取子模型；根据所述K个第三特征提取子模型中每个第三特征提取子模型对图像进行特征提取时的交并比和计算量，从所述K个第三特征提取子模型中选择M个第三特征提取子模型，M为大于1的整数；对所述M个第三特征提取子模型对应的M个第一二值化编码进行交叉和/或变异处理，得到S个第二二值化编码，S为大于1整数；根据所述S个第二二值化编码中的每个第二二值化编码保留或者去除所述第二特征提取子模型的通道，得到S个第四特征提取子模型；将所述第四特征提取子模型作为所述第三特征提取子模型，取K＝S，重复执行上述第四个操作至第六个操作T次；将最后一次得到的S个第四特征提取子模型的一个作为所述第一特征提取子模型。
可选地，所述M个第三特征提取子模型中的第j个第三特征提取子模型被选择的概率满足如下公式：
Figure BDA0002188477490000031
其中，Pr(bj)表示所述第j个第三特征提取子模型被选择的概率，f(bj)满足以下公式：
f(bj)＝mIoU(j)+α/N(j)
其中，mIoU(j)表示所述第j个第三特征提取子模型对图像进行特征提取时的交并比，N(j)表示所述第个j第三特征提取子模型对所述图像进行特征提取时的计算量，α是一个预设参数。
在第二方面的一些可能的实现方式中，所述知识蒸馏模块具体用于：使用教师特征提取模型对所述第一特征提取模型进行知识蒸馏，得到第五特征提取子模型；根据所述第五特征提取子模型和所述图像分割子模型得到所述目标图像分割模型。
其中，教师模型可以包括使用常规方法训练得到的特征提取模型。
该实现方式中，通过训练好的教师模型来对图像分割模型中的特征提取子模型进行知识蒸馏，可以提高图像分割的精度。
尤其在特征提取子模型为二值化神经网络模型的场景下，可以降低因特征提取子模型为二值化神经网络模型而导致的精度损失，从而提高图像分割模型的精度。
可选地，所述第五特征提取子模型的损失函数满足如下关系：
Figure BDA0002188477490000041
其中，Gti表示所述教师特征提取模型输出的T个尺度特征中的第i个尺度特征，Gsi表示所述第五特征提取子模型输出T个尺度特征中的第i个尺度特征，T为正整数，所述教师特征提取模型输出的第i个尺度特征与所述第五特征提取子模型输出的第i个尺度特征的尺度相同，“|| ||”表示矩阵范数。
在第二方面的一些可能的实现方式中，所述知识蒸馏模块具体用于：根据教师图像分割模型对所述图像分割子模型进行知识蒸馏，得到目标图像分割子模型，其中，所述目标图像分割模型包括所述第五特征提取子模型和所述目标图像分割子模型。
其中，教师模型可以包括使用常规方法训练得到的图像分割模型。
该实现方式中，通过训练好的教师模型来对图像分割子模型进行知识蒸馏，可以降低因二值化带来的精度损耗，从而降低图像分割的精度损耗。
可选地，所述目标图像分割子模型的损失函数满足如下关系：
τ(PT)＝soft max(aT/τ)，τ(PS)＝soft max(aS/τ)，Lτ＝H(y,PS)+λ*H(τ(PT),τ(PS))
其中，PT表示教师图像分割模型的分割结果，PS表示所述目标图像分割子模型的分割结果，H表示交叉熵损失函数，y用于指示所述目标图像分割子模型的分割结果的是否正确，λ为预设的权衡系数，softmax表示柔性最大函数。
可选地，特征提取子模型可以是二值化神经网络模型，这可以降低图像分割模型的参数量和计算量，从而有助于图像分割模型应用在边缘设备上。
第三方面，提供了一种图像分割模型的处理装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述第一方面中的任意一种实现方式中的方法。
上述第三方面中的处理器既可以是中央处理器(central processing unit，CPU)，也可以是CPU与神经网络运算处理器的组合，这里的神经网络运算处理器可以包括图形处理器(graphics processing unit，GPU)、神经网络处理器(neural-networkprocessing unit，NPU)和张量处理器(tensor processing unit，TPU)等等。其中，是谷歌(***)为机器学习全定制的人工智能加速器专用集成电路。
第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面中的任意一种实现方式中的方法。
第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的任意一种实现方式中的方法。
第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的任意一种实现方式中的方法。
上述芯片具体可以是现场可编程门阵列(field－programmable gate array，FPGA)或者专用集成电路(application-specific integrated circuit，ASIC)。
第七方面，提供了一种电子设备，该电子设备包括上述第二方面中的处理装置，或者，该电子设备包括上述第三方面中的处理装置。
附图说明
图1是本申请的处理装置的部署示意图；
图2是本申请的计算设备的示意性结构图；
图3是本申请一个实施例的处理装置的示意性结构图；
图4是本申请一个实施例的处理方法的示意性流程图；
图5是本申请一个实施例的芯片的示意性结构图。
具体实施方式
本申请实施例涉及了大量神经网络的相关应用，为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和其他相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以如公式(1-1)所示：
Figure BDA0002188477490000051
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
Figure BDA0002188477490000052
其中，
Figure BDA0002188477490000053
是输入向量，
Figure BDA0002188477490000054
是输出向量，
Figure BDA0002188477490000055
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
Figure BDA0002188477490000056
经过如此简单的操作得到输出向量
Figure BDA0002188477490000057
由于DNN层数多，系数W和偏移向量
Figure BDA0002188477490000058
的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0002188477490000059
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA0002188477490000061
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(5)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
(6)二值化神经网络
二值化神经网络是将部分层或全部层的权值和激活值二值化为1或-1的神经网络。二值化神经网络通常只是将浮点型神经网络的权值和激活值二值化，并不改变网络的结构。
二值化神经网络中的权值和激活值可以占用更小的存储空间，理论上内存消耗减少为浮点型神经网络内存消耗的1/32倍。此外，二值化神经网络利用位操作来代替浮点型神经网络中的乘加运算，大大降低运算时间。二值化神经网络也可以称为二值神经网络或二值网络。
(7)知识蒸馏
一个复杂的神经网络模型是若干个单独神经网络模型组成的集合，或者是一些很强的约束条件(比如随机失活率很高)下训练得到的一个较大和较复杂的网络模型。根据该较大和较复杂网络模型训练训练出较小和较简单的网络模型(例如，可以配置在应用端的缩小模型)的方式即称为知识蒸馏。其中，较大和较复杂的网络模型称为教师网络(teachernetwork)，较小和较简单的网络模型称为学生网络(student network)。教师网络相比于学生网络而言，可以提供更加准确的监督信息。学生网络相比于教师网络，具有更大的运算吞吐量和更少的模型参数。
(8)神经网络模型
神经网络模型是一类模仿生物神经网络(动物的中枢神经***)的结构和功能的数学计算模型。一个神经网络模型可以包括多种不同功能的神经网络层，每层包括参数和计算公式。根据计算公式的不同或功能的不同，神经网络模型中不同的层有不同的名称，例如：进行卷积计算的层称为卷积层，所述卷积层常用于对输入信号(例如：图像)进行特征提取。
一个神经网络模型也可以由多个已有的神经网络模型组合构成。不同结构的神经网络模型可用于不同的场景(例如：分类、识别或图像分割)或在用于同一场景时提供不同的效果。神经网络模型结构不同具体包括以下一项或多项：神经网络模型中网络层的层数不同、各个网络层的顺序不同、每个网络层中的权重、参数或计算公式不同。
业界已存在多种不同的用于识别或分类或图像分割等应用场景的具有较高准确率的神经网络模型。其中，一些神经网络模型可以被特定的训练集进行训练后单独完成一项任务或与其他神经网络模型(或其他功能模块)组合完成一项任务。一些神经网络模型也可以被直接用于单独完成一项任务或与其他神经网络模型(或其他功能模块)组合完成一项任务。
(9)边缘设备
边缘设备是指在数据产生源头和云中心之间任一具有计算资源和网络资源的设备。比如，手机就是人与云中心之间的边缘设备，网关是智能家居和云中心之间的边缘设备。在理想环境中，边缘设备指是指在数据产生源附近分析或处理数据的设备。由于没有数据的流转，进而减少网络流量和响应时间。
本申请实施例中的边缘设备可以是具有计算能力的移动电话、平板个人电脑(tablet personal computer，TPC)、媒体播放器、智能家居、笔记本电脑(laptopcomputer，LC)、个人数字助理(personal digital assistant，PDA)、个人计算机(personalcomputer，PC)、照相机、摄像机、智能手表、可穿戴式设备(wearable device，WD)或者自动驾驶的车辆等。可以理解的是，本申请实施例对边缘设备的具体形式不作限定。
图像处理，例如图像分割或图像分类(识别)，在边缘设备，例如车辆或手机上，也具有应用需求。但是，由于边缘设备的计算性能以及缓存受限，使得在这些边缘设备上使用神经网络对图像进行处理存在困难。要在边缘设备上使用神经网络对图像进行处理，则需要对神经网络构成的图像处理模型进行缩减处理，这会降低图像处理模型的精度。本申请的实施例中的图像处理模型的示例为图像分割模型或图像分类模型。
针对此问题，本申请提出了图像分割模型的处理方法和处理装置。该处理方法和处理装置通过调整图像分割模型中的特征提取子模型的层宽，来提高特征提取模型的精度。进一步地，该处理方法和处理装置还通过对图像分割模型中的提特征提取子模型和图像分割子模型进行知识蒸馏处理的方式来提高精度。也就是说，本申请提出的处理方法和处理装置，有助于提高图像分割模型的分割精度，从而有助于在边缘设备上应用图像分割模型。
图1是本申请实施例提供的一种处理装置的部署示意图，处理装置可部署在云环境中，云环境是云计算模式下利用基础资源向用户提供云服务的实体。云环境包括云数据中心和云服务平台，所述云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源)，云数据中心包括的计算资源可以是大量的计算设备(例如服务器)。处理装置可以是云数据中心中用于对图像分割模型进行调整的服务器；处理装置也可以是创建在云数据中心中的用于对图像处理模型进行调整的虚拟机；处理装置还可以是部署在云数据中心中的服务器或者虚拟机上的软件装置，该软件装置用于对图像分割模型进行调整，该软件装置可以分布式地部署在多个服务器上、或者分布式地部署在多个虚拟机上、或者分布式地部署在虚拟机和服务器上。
如图1所示，处理装置可以由云服务提供商在云服务平台抽象成一种调整图像处理模型的云服务提供给用户，用户在云服务平台购买该云服务后，云环境利用该云服务向用户提供调整图像处理模型云服务，用户可以通过应用程序接口(application programinterface，API)或者通过云服务平台提供的网页界面上传待调整的图像处理模型至云环境，由处理装置接收待调整的图像处理模型，对待调整的图像处理模型进行调整，调整结果由处理装置返回至用户所在的边缘设备，或者调整结果存储在云环境，例如：呈现在云服务平台的网页界面上供用户查看。
当处理装置为软件装置时，处理装置也可以单独部署在任意环境的一个计算设备上，例如，单独部署在一个边缘设备上或者单独部署在数据中心中的一个计算设备上。如图2所示，计算设备200包括总线201、处理器202、通信接口203和存储器204。
处理器202、存储器204和通信接口203之间通过总线201通信。其中，处理器202可以为中央处理器(central processing unit，CPU)。存储器204可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。存储器204还可以包括非易失性存储器(2non-volatile memory，2NVM)，例如只读存储器(2read-onlymemory，2ROM)，快闪存储器，硬盘驱动器(hard disk drive，HDD)或固态启动器(solidstate disk，SSD)。存储器204中存储有检测装置所包括的可执行代码，处理器202读取存储器204中的该可执行代码以执行视频相似检测的方法。存储器204中还可以包括操作***等其他运行进程所需的软件模块。操作***可以为LINUXTM，UNIXTM，WINDOWSTM等。
图3为本申请一个实施例的处理装置300的结构示意图。处理装置用于对图像分割模型进行处理，从而得到计算量相对较少且精度损耗较小的目标图像分割模型。这可以使得目标图像分割模型更适于应用在边缘设备上。
处理装置300包括层宽调整模块310和知识蒸馏模块320。其中，待调整的图像分割模型可以包括特征提取子模型和图像分割子模型，该特征提取子模型用于提取图像的特征，该图像分割子模型用于根据所述提取的特征对所述图像进行分割。
该特征提取子模型的一种示例为卷积神经网络；该图像分割子模型的一种示例为卷积神经网络。
可以理解，本申请实施例仅是对处理装置300的结构和功能模块的一种示例性划分，本申请并不对其具体划分做任何限定。
图4是本申请实施例的图像分割模型的处理方法的示意性流程图。图4所示的方法包括S410和S420。下面以该处理方法由图3所示的处理装置为例，介绍本申请的处理方法。
S410，对图像分割模型中的特征提取子模型进行层宽调整，得到第一特征提取子模型。该步骤可以由层宽处理模块310执行。
此处所述的对特征提取子模型进行层宽调整，可以理解为对特征提取子模型全部层或部分层的通道进行调整，例如先增加一些通道，然后再根据合理的方法去除一些通道，以降低特征提取子模型提取特征时的精度损耗，从而可以提高图像分割模型的分割精度。
该特征提取子模型可以对图像进行不同尺度的特征提取。
在一些可能的实现方式中，可以利用遗传算法来调整特征提取子模型的层宽，
利用遗传算法来调整特征提取子模型的层宽对特征提取子模型进行层宽调整时，一种实现方式包括以下几个操作。
增大特征提取子模型的通道数量，得到第二特征提取子模型。
将第二特征提取子模型的多个通道二值化K次，得到K个不同的第一二值化编码，第一二值化编码包括多个二值化数值，多个二值化数值与多个通道一一对应，多个二值化数值中的每个二值化数值用于指示每个二值化数值对应的通道保留还是去除，K为大于1的整数。
根据K个不同的第一二值化编码保留或者去除第二特征提取子模型的通道，得到K个第三特征提取子模型。
根据K个第三特征提取子模型中每个第三特征提取子模型对图像(例如验证图像集中的图像)进行特征提取时的交并比和计算量，从K个第三特征提取子模型中选择M个第三特征提取子模型，M为正整数。此时，若M为1，即仅选出了一个第三特征提取子模型，则可以将该第三特征提取子模型当作第一特征提取子模型。若M大于1，则可以继续执行下面的操作。
对M个第三特征提取子模型对应的M个第一二值化编码进行交叉和/或变异处理，得到S个第二二值化编码，S为大于1整数。S的值可以是预先根据经验设置的。
根据S个第二二值化编码中的每个第二二值化编码保留或者去除第二特征提取子模型的通道，得到S个第四特征提取子模型。
将第四特征提取子模型当作第三特征提取子模型，取K＝S，重复执行第四个操作至第六个操作。
其中，将第二特征提取子模型的多个通道二值化，以得到第一二值化编码，可以理解为：生成一串数值，该串数值包括多个数值，每个数值的取值均为预设的两个数值中的任意一个，这串数值的数量与第二特征提取子模型的这多个通道的总数量相同，且这串数值中的多个数值与第二特征提取子模型中的多个通道一一对应，这串数值中的每个数值用于指示其对应的通道是保留还是去除。这串数值即为二值化编码。
例如，预设两个数值“0”和“1”，“0”表示去除对应通道，“1”表示保留对应通道，对第二特征提取子模型的10个通道进行一次二值化时，随机生成一串编码，例如“1001101101”，这串编码即为第二特征提取子模型进行一次二值化得到的第一二值化编码。
在一些可能的设计中，可以预设第四个操作至第六个操作的重复执行次数。当执行完所有次数时，若得到的所有第四特征子模型为多个，则可以从中选择一个作为第一特征提取子模型，例如选择概率最高的第四特征子模型为第一特征提取子模型。
在另一些可能的设计中，重复执行第四个操作至第六个操作，直到S个第二二值化编码相同，并将根据第二二值化编码得到的第四特征提取子模型作为第一特征提取子模型作为第一特征提取子模型。
根据K个第三特征提取子模型中每个第三特征提取子模型对图像进行特征提取时的交并比和计算量，从K个第三特征提取子模型中选择M个第三特征提取子模型时，可以先根据每个第三特征提取子模型对图像进行特征提取时的交并比和计算量计算该第三特征子模型的适应度，然后根据该适应度计算该第三特征提取子模型被选中的概率。
这M个第三特征提取子模型中的第j个第三特征提取子模型的适应度f(bj)满足以下公式：
f(bj)＝mIoU(j)+α/N(j)
其中，mIoU(j)表示所述第j个第三特征提取子模型对图像进行特征提取时的交并比，N(j)表示所述第个j第三特征提取子模型对所述图像进行特征提取时的计算量，α是一个预设参数，也叫作超参数。
所述第j个第三特征提取子模型被选择的概率Pr(bj)满足如下公式：
Figure BDA0002188477490000101
计算得到K个第三特征提取子模型分别被选择的概率之后，一些可能的实现方式中，可以将这K个第三特征子模型按照概率值从大到小的顺序进行排序，然后选择前M个第三特征子模型作为第四特征提取子模型，M的大小可以是根据经验预设的。
由于调整后的特征提取子模型的平均交并比与层宽调整前保持一致，因此可以降低精度损耗。
对M个第三特征提取子模型对应的M个第一二值化编码进行交叉处理的一种实现方式中，每次交叉处理时，从M个第一二值化编码中选择任意两个第一二值化编码，然后将这两个第一二值化编码中相同长度的部分编码交换，从而得到两个新的二值化编码。例如，一个第一二值化编码为0101011100100101，另一个第一二值化编码为0101101010110110，将这两个第一二值化编码中第六个至第12个值交换，分别得到0101001010110101和0101111100100110。
对M个第一二值化编码进行交叉处理得到的S个二值化编码进行变异处理的一种实现方式中，针对一个二值化编码而言，将其中任意长度的值替换成其他的值，从而得到一个不一样的二值化编码。例如，针对二值化编码10010010101101010而言，选取其中的第四位至第十一位值10010101，将并其替换为01101010，从而得到二值化编码10001101010101010。对S个二值化编码进行变异处理，可以得到S个新的二值化编码。为了后续描述方便，将变异得到的二值化编码称为第二二值化编码。
可选地，可以直接对M个第三特征提取子模型对应的M个第一二值化编码直接进行交叉处理，得到M个第二二值化编码，此时，M等于S。
可选地，可以对M个第三特征提取子模型对应的M个第一二值化编码进行交叉处理，得到S个新的二值化编码之后，可以不进行变异处理。此时，这S个二值化编码即为S个第二二值化编码。
S420，根据所述第一特征提取子模型和所述图像分割模型中的图像分割子模型得到目标图像分割模型。步骤可以由知识蒸馏模块320执行。
在一些可能的实现方式中，可以将第一特征提取子模型和图像分割子模型构成的图像分割模型作为目标图像分割模型。
在另一些可能的实现方式中，可以通过训练好的教师图像分割模型来对图像分割模型进行知识蒸馏，该并将蒸馏得到图像分割模型作为目标图像分割模型。这种实现方式可以提高目标图像分割模型的分割精度。
可选地，该实现方式中，可以根据教师图像分割模型中的特征提取子模型来对第一特征提取子模型进行知识蒸馏，可以根据教师图像分割模型中的图像分割子模型来对待训练图像分割模型中的图像分割子模型进行知识蒸馏。教师模型中的特征提取子模型可以称为教师特征提取子模型，教师模型中的图像分割子模型可以称为教师图像分割子模型。
下面以第一特征提取子模型能够对图像进行多尺度特征提取为例，介绍教师图像分割模型对图像分割模型进行知识蒸馏的实现方式。其中，知识蒸馏也称为指导训练。
将教师特征提取子模型提取的第i个尺度的特征图记为
Figure BDA0002188477490000111
第一特征提取子模型提取的第i个尺度的特征图记为
Figure BDA0002188477490000112
其中，cti和csi是通道数，hi和wi是特征图的高和宽，
Figure BDA0002188477490000113
表示cti×hi×wi维矩阵，
Figure BDA0002188477490000114
表示csi×hi×wi维矩阵，i从1取到4。
将教师特征提取子模型输出的第i个尺度特征图的所有通道上的特征值相加，得到
Figure BDA0002188477490000115
将第一特征提取子模型输出的第i个尺度特征图的所有通道上的特征值相加得到和
Figure BDA0002188477490000116
则第一特征提取子模型在第i个尺度上的损失函数为
Figure BDA0002188477490000117
其中，|| ||可以是矩阵的任意范数。i的值分别从1取到4，得到四个不同尺度的损失函数。
根据第一特征提取子模型的上述四个损失函数指导第一特征提取子模型进行训练，即进行知识蒸馏，以得到第五特征提取子模型。
将教师图像分割子模型的输出记为
Figure BDA0002188477490000118
图像分割子模型的输出记为
Figure BDA0002188477490000119
则图像分割子模型的损失函数满足如下公式：
τ(PT)＝soft max(aT/τ)，τ(PS)＝soft max(aS/τ)，Lτ＝H(y,PS)+λ*H(τ(PT),τ(PS))
其中，PT表示教师图像分割模型的分割结果，PS表示图像分割子模型的分割结果，H表示交叉熵损失函数，y用于指示图像分割子模型的分割结果的是否正确，λ为预设的权衡系数，softmax表示柔性最大函数。
根据图像分割子模型的损失函数指导图像分割子模型进行训练，以得到目标图像分割子模型。
第五特征提取子模型与目标图像分割子模型即构成目标图像分割模型。通过知识蒸馏得到的目标图像分割模型，可以大大提升即输出结果的精度，即分割结果的精度。
在另一些可能的实现方式中，可以只对第一特征提取子模型进行知识蒸馏，并将蒸馏得到的特征提取子模型与图像分割子模型构成的图像分割模型作为目标图像分割模型。这种实现方式也可以提高目标图像分割模型的分割精度。
在另一些可能的实现方式中，可以只对图像分割子模型进行知识蒸馏，并将蒸馏得到的图像分割子模型与第一特征提取子模型构成的图像分割模型作为目标图像分割模型。这种实现方式也可以提高目标图像分割模型的分割精度。
本申请实施例中的特征提取子模型可以是二值化的神经网络模型。这可以降低特征提取子模型的参数量和计算量，从而降低目标图像分割模型的参数量和计算量，有助于在边缘设备上应用图像分割模型。
虽然二值化的神经网络模型可能会降低特征提取子模型的精度，但是因为本申请实施例中会对特征提取子模型进行层宽调整，从而可以降低该精度的损耗。此外，本申请实施例中通过教师模型来对图像分割模型进行知识蒸馏，可以进一步降低该精度的损耗。
本申请还提供了一种图像分割方法，该图像分割方法包括：使用S410中的处理方法得到的图像分割模型来对待处理图像进行分割，得到分割结果。
本申请还提供了一种图像分割模型，该图像分割模型包括：使用S410中的处理方法得到的图像分割模型。
本申请还提供一种如图2所示的计算设备200，计算设备200中的处理器202读取存储器204存储的可执行代码以执行前述图4中所述的处理方法。
本申请还提供一种如图5所示的芯片500，芯片500可以包括处理器502，处理器502读取存储器存储的可执行代码，以执行层宽调整模块310和知识蒸馏模块320所执行的步骤，从而实现前述图4中所述的处理方法。
芯片500还可以包括存储器504，用于存储可执行代码。
芯片500还可以包括通信接口503，用于输入待训练图像分割模型和/或输出目标图像分割模型。可选地，还可以用于输入教师模型。
本申请还提供一种神经网络模型的处理方法，该神经网络模型可以是图像分类模型、图像识别模型、语音识别模型等。
可选地，该神经网络模型中可以包括二值化的神经网络子模型。
该处理方法包括：对该神经网络模型进行层宽调整。其中，对该神经网络模型进行层宽调整的方式可以参考S410。
进一步地，该处理方法还可以包括，根据教师模型对该神经网络模型进行知识蒸馏。实现知识蒸馏的方式可以参考S420。
本申请还提供类似计算设备200的计算设备，该计算设备中的处理器读取存储器存储的可执行代码以执行前述神经网络模型的处理方法。
本申请还提供一种类似处理装置300的处理装置，该处理装置用于执行前述神经网络模型的处理方法。
本申请还提供一种类似芯片500的芯片，该芯片用于执行前述神经网络模型的处理方法。
上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。视频相似检测的计算机程序产品包括一个或多个视频相似检测的计算机指令，在计算机上加载和执行这些计算机程序指令时，全部或部分地产生按照本申请实施例图4所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质存储有视频相似检测的计算机程序指令的可读存储介质。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)。

Claims (19)

1.一种图像分割模型的处理方法，所述图像分割模型包括特征提取子模型和图像分割子模型，所述特征提取子模型用于提取图像的特征，所述图像分割子模型用于根据所述提取的特征对所述图像进行分割，其特征在于，包括：
对所述特征提取子模型进行层宽调整，以得到第一特征提取子模型；
根据所述第一特征提取子模型和所述图像分割子模型得到目标图像分割模型。
2.如权利要求1所述的处理方法，其特征在于，所述对所述特征提取子模型进行层宽调整，包括：
增大所述特征提取子模型的通道数量，得到第二特征提取子模型；
为所述第二特征提取子模型生成K个不同的第一二值化编码，所述第一二值化编码包括多个二值化数值，所述多个二值化数值与所述第二特征提取子模型的多个通道一一对应，所述多个二值化数值中的每个二值化数值用于指示所述每个二值化数值对应的通道保留还是去除，K为大于1的整数；
根据所述K个不同的第一二值化编码保留或者去除所述第二特征提取子模型的通道，得到K个第三特征提取子模型；
根据所述K个第三特征提取子模型中每个第三特征提取子模型对图像进行特征提取时的交并比和计算量，从所述K个第三特征提取子模型中选择M个第三特征提取子模型，M为大于1的整数；
对所述M个第三特征提取子模型对应的M个第一二值化编码进行交叉和/或变异处理，得到S个第二二值化编码，S为大于1整数；
根据所述S个第二二值化编码中的每个第二二值化编码保留或者去除所述第二特征提取子模型的通道，得到S个第四特征提取子模型；
将所述第四特征提取子模型作为所述第三特征提取子模型，取K＝S，重复执行上述第四个操作至第六个操作T次；
将最后一次得到的S个第四特征提取子模型的一个作为所述第一特征提取子模型。
3.根据权利要求2所述的处理方法，其特征在于，所述M个第三特征提取子模型中的第j个第三特征提取子模型被选择的概率满足如下公式：
Figure FDA0002188477480000011
其中，Pr(bj)表示所述第j个第三特征提取子模型被选择的概率，f(bj)满足以下公式：
f(bj)＝mIoU(j)+α/N(j)
其中，mIoU(j)表示所述第j个第三特征提取子模型对图像进行特征提取时的交并比，N(j)表示所述第个j第三特征提取子模型对所述图像进行特征提取时的计算量，α是一个预设参数。
4.根据权利要求1至3中任一项所述的处理方法，其特征在于，所述根据所述第一特征提取子模型和所述图像分割子模型得到目标图像分割模型，包括：
使用教师特征提取模型对所述第一特征提取模型进行知识蒸馏，得到第五特征提取子模型；
根据所述第五特征提取子模型和所述图像分割子模型得到所述目标图像分割模型。
5.如权利要求4所述的处理方法，其特征在于，所述第五特征提取子模型的损失函数满足如下关系：
Figure FDA0002188477480000021
其中，Gti表示所述教师特征提取模型输出的T个尺度特征中的第i个尺度特征，Gsi表示所述第五特征提取子模型输出T个尺度特征中的第i个尺度特征，T为正整数，所述教师特征提取模型输出的第i个尺度特征与所述第五特征提取子模型输出的第i个尺度特征的尺度相同，“|| ||”表示矩阵范数。
6.如权利要求4或5所述的处理方法，其特征在于，所述根据所述第五特征提取子模型和所述图像分割子模型得到所述目标图像分割模型，包括：
根据教师图像分割模型对所述图像分割子模型进行知识蒸馏，得到目标图像分割子模型，其中，所述目标图像分割模型包括所述第五特征提取子模型和所述目标图像分割子模型。
7.如权利要求6所述的处理方法，其特征在于，所述目标图像分割子模型的损失函数满足如下关系：
τ(PT)＝soft max(aT/τ)，τ(PS)＝soft max(aS/τ)，Lτ＝H(y,PS)+λ*H(τ(PT),τ(PS))
其中，PT表示教师图像分割模型的分割结果，PS表示所述目标图像分割子模型的分割结果，H表示交叉熵损失函数，y用于指示所述目标图像分割子模型的分割结果的是否正确，λ为预设的权衡系数，softmax表示柔性最大函数。
8.如权利要求1至7中任一项所述的处理方法，其特征在于，所述特征提取子模型为二值化神经网络模型。
9.一种图像分割模型的处理装置，所述图像分割模型包括特征提取子模型和图像分割子模型，所述特征提取子模型用于提取图像的特征，所述图像分割子模型用于根据所述提取的特征对所述图像进行分割，其特征在于，包括：
层宽调整模块，用于对所述特征提取子模型进行层宽调整，以得到第一特征提取子模型；
知识蒸馏模块，用于根据所述第一特征提取子模型和所述图像分割子模型得到目标图像分割模型。
10.如权利要求9所述的处理装置，其特征在于，所述层宽调整模块具体用于：
增大所述特征提取子模型的通道数量，得到第二特征提取子模型；
为所述第二特征提取子模型生成K个不同的第一二值化编码，所述第一二值化编码包括多个二值化数值，所述多个二值化数值与所述第二特征提取子模型的多个通道一一对应，所述多个二值化数值中的每个二值化数值用于指示所述每个二值化数值对应的通道保留还是去除，K为大于1的整数；
根据所述K个不同的第一二值化编码保留或者去除所述第二特征提取子模型的通道，得到K个第三特征提取子模型；
根据所述K个第三特征提取子模型中每个第三特征提取子模型对图像进行特征提取时的交并比和计算量，从所述K个第三特征提取子模型中选择M个第三特征提取子模型，M为大于1的整数；
对所述M个第三特征提取子模型对应的M个第一二值化编码进行交叉和/或变异处理，得到S个第二二值化编码，S为大于1整数；
根据所述S个第二二值化编码中的每个第二二值化编码保留或者去除所述第二特征提取子模型的通道，得到S个第四特征提取子模型；
将所述第四特征提取子模型作为所述第三特征提取子模型，取K＝S，重复执行上述第四个操作至第六个操作T次；
将最后一次得到的S个第四特征提取子模型的一个作为所述第一特征提取子模型。
11.根据权利要求10所述的处理装置，其特征在于，所述M个第三特征提取子模型中的第j个第三特征提取子模型被选择的概率满足如下公式：
Figure FDA0002188477480000031
其中，Pr(bj)表示所述第j个第三特征提取子模型被选择的概率，f(bj)满足以下公式：
f(bj)＝mIoU(j)+α/N(j)
其中，mIoU(j)表示所述第j个第三特征提取子模型对图像进行特征提取时的交并比，N(j)表示所述第个j第三特征提取子模型对所述图像进行特征提取时的计算量，α是一个预设参数。
12.根据权利要求9至11中任一项所述的处理装置，其特征在于，所述知识蒸馏模块具体用于：
使用教师特征提取模型对所述第一特征提取模型进行知识蒸馏，得到第五特征提取子模型；
根据所述第五特征提取子模型和所述图像分割子模型，确定所述目标图像分割模型。
13.如权利要求12所述的处理装置，其特征在于，所述第五特征提取子模型的损失函数满足如下关系：
Figure FDA0002188477480000032
其中，Gti表示所述教师特征提取模型输出的T个尺度特征中的第i个尺度特征，Gsi表示所述第五特征提取子模型输出T个尺度特征中的第i个尺度特征，T为正整数，所述教师特征提取模型输出的第i个尺度特征与所述第五特征提取子模型输出的第i个尺度特征的尺度相同，“|| ||”表示矩阵范数。
14.如权利要求12或13所述的处理装置，其特征在于，所述知识蒸馏模块具体用于：
根据教师图像分割模型对所述图像分割子模型进行知识蒸馏，得到目标图像分割子模型，其中，所述目标图像分割模型包括所述第五特征提取子模型和所述目标图像分割子模型。
15.如权利要求14所述的处理装置，其特征在于，所述目标图像分割子模型的损失函数满足如下关系：
τ(PT)＝soft max(aT/τ)，τ(PS)＝soft max(aS/τ)，Lτ＝H(y,PS)+λ*H(τ(PT),τ(PS))
其中，PT表示教师图像分割模型的分割结果，PS表示所述目标图像分割子模型的分割结果，H表示交叉熵损失函数，y用于指示所述目标图像分割子模型的分割结果的是否正确，λ为预设的权衡系数，softmax表示柔性最大函数。
16.如权利要求9至15中任一项所述的处理装置，其特征在于，所述特征提取子模型为二值化神经网络模型。
17.一种图像分割模型的处理装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至8中任一项所述的处理方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储指令，所述指令用于实现如权利要求1至8中任一项所述的处理方法。
19.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1至8中任一项所述的处理方法。
CN201910845625.0A 2019-09-02 2019-09-02 图像分割模型的处理方法和处理装置 Pending CN112446888A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910845625.0A CN112446888A (zh) 2019-09-02 2019-09-02 图像分割模型的处理方法和处理装置
PCT/CN2020/100058 WO2021042857A1 (zh) 2019-09-02 2020-07-03 图像分割模型的处理方法和处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845625.0A CN112446888A (zh) 2019-09-02 2019-09-02 图像分割模型的处理方法和处理装置

Publications (1)

Publication Number Publication Date
CN112446888A true CN112446888A (zh) 2021-03-05

Family

ID=74732997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845625.0A Pending CN112446888A (zh) 2019-09-02 2019-09-02 图像分割模型的处理方法和处理装置

Country Status (2)

Country Link
CN (1) CN112446888A (zh)
WO (1) WO2021042857A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120420A (zh) * 2021-12-01 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN117726541A (zh) * 2024-02-08 2024-03-19 北京理工大学 一种基于二值化神经网络的暗光视频增强方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358206B (zh) * 2022-01-12 2022-11-01 合肥工业大学 二值神经网络模型训练方法及***、图像处理方法及***
CN114549296B (zh) * 2022-04-21 2022-07-12 北京世纪好未来教育科技有限公司 图像处理模型的训练方法、图像处理方法及电子设备
CN115906651B (zh) * 2022-12-06 2024-05-31 中电金信软件有限公司 二值神经网络的更新方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492286A (zh) * 2018-03-13 2018-09-04 成都大学 一种基于双通路u型卷积神经网络的医学图像分割方法
CN109544556A (zh) * 2017-09-21 2019-03-29 江苏华夏知识产权服务有限公司 一种图像特征提取方法
CN109741348A (zh) * 2019-01-07 2019-05-10 哈尔滨理工大学 一种糖尿病视网膜图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3129896B1 (en) * 2014-04-09 2024-02-14 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544556A (zh) * 2017-09-21 2019-03-29 江苏华夏知识产权服务有限公司 一种图像特征提取方法
CN108492286A (zh) * 2018-03-13 2018-09-04 成都大学 一种基于双通路u型卷积神经网络的医学图像分割方法
CN109741348A (zh) * 2019-01-07 2019-05-10 哈尔滨理工大学 一种糖尿病视网膜图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120420A (zh) * 2021-12-01 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114120420B (zh) * 2021-12-01 2024-02-13 北京百度网讯科技有限公司 图像检测方法和装置
CN117726541A (zh) * 2024-02-08 2024-03-19 北京理工大学 一种基于二值化神经网络的暗光视频增强方法及装置

Also Published As

Publication number Publication date
WO2021042857A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN112446888A (zh) 图像分割模型的处理方法和处理装置
US11915128B2 (en) Neural network circuit device, neural network processing method, and neural network execution program
CN111507378A (zh) 训练图像处理模型的方法和装置
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
US20160224903A1 (en) Hyper-parameter selection for deep convolutional networks
CN112883149B (zh) 一种自然语言处理方法以及装置
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN113705769A (zh) 一种神经网络训练方法以及装置
US20220261659A1 (en) Method and Apparatus for Determining Neural Network
CN113298096B (zh) 训练零样本分类模型的方法、***、电子设备及存储介质
CN114255361A (zh) 神经网络模型的训练方法、图像处理方法及装置
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
WO2022252455A1 (en) Methods and systems for training graph neural network using supervised contrastive learning
CN114283316A (zh) 一种图像识别方法、装置、电子设备和存储介质
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
EP4318313A1 (en) Data processing method, training method for neural network model, and apparatus
CN111738403A (zh) 一种神经网络的优化方法及相关设备
CN114819050A (zh) 训练用于图像识别的神经网络的方法和设备
CN114861859A (zh) 神经网络模型的训练方法、数据处理方法及装置
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
US20230410465A1 (en) Real time salient object detection in images and videos
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination