CN113159301B - 一种基于二值化量化模型的图像处理方法 - Google Patents

一种基于二值化量化模型的图像处理方法 Download PDF

Info

Publication number
CN113159301B
CN113159301B CN202110569275.7A CN202110569275A CN113159301B CN 113159301 B CN113159301 B CN 113159301B CN 202110569275 A CN202110569275 A CN 202110569275A CN 113159301 B CN113159301 B CN 113159301B
Authority
CN
China
Prior art keywords
layer
sub
binarization
quantization model
output end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110569275.7A
Other languages
English (en)
Other versions
CN113159301A (zh
Inventor
刘启和
但毅
周世杰
张准
董婉祾
王钰涵
严张豹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110569275.7A priority Critical patent/CN113159301B/zh
Publication of CN113159301A publication Critical patent/CN113159301A/zh
Application granted granted Critical
Publication of CN113159301B publication Critical patent/CN113159301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于二值化量化模型的图像处理方法，属于图像处理技术领域，其包括以下步骤：S1、对图像集进行预处理，得到每张图像的初始输入数据；S2、构建二值化量化模型；S3、采用每张图像的初始输入数据对二值化量化模型进行训练，得到训练完成的二值化量化模型；S4、将一张图像的初始输入数据输入训练完成的二值化量化模型，得到图像中物体的边界和属性，完成对图像的处理；本发明解决了无人机存储内存很小，无法存储现有的全精度模型的问题。

Description

一种基于二值化量化模型的图像处理方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于二值化量化模型的图像处理方法。
背景技术
卷积神经网络(Convolutional Neural Networks,CNN)在无人机领域应用十分广泛，尤其是在图像处理方面。目前有研究人员提出了对于航拍图像的CNN算法，例如进行图像分类和目标跟踪任务。但是，将全精度的CNN模型应用到无人机领域会遇到一些困难。全精度的CNN模型需要大量的存储空间和计算资源，目前市面上的无人机存储内存很小，无法将训练好的全精度模型移植上去，而且，无人机搭载的计算组件耗能非常严重，根据现有的电池容量，无人机的续航骤减。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于二值化量化模型的图像处理方法解决了无人机存储内存很小，无法存储现有的全精度模型的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于二值化量化模型的图像处理方法，包括以下步骤：
S1、对图像集进行预处理，得到每张图像的初始输入数据；
S2、构建二值化量化模型；
S3、采用每张图像的初始输入数据对二值化量化模型进行训练，得到训练完成的二值化量化模型；
S4、将一张图像的初始输入数据输入训练完成的二值化量化模型，得到图像中物体的边界和属性，完成对图像的处理。
进一步地，步骤S1包括以下分步骤：
S11、对图像集中每一张图像进行归一化处理，得到归一化后的图像像素点值；
S12、将归一化后的图像像素点值缩放到[-128,128]，得到每一张图像的初始输入数据。
进一步地，步骤S11中对图像进行归一化处理的方法为：将图像中所有像素点的均值调整为0，方差调整为1；
归一化处理的公式为：
Figure BDA0003081999770000021
其中，
Figure BDA0003081999770000022
为第i个归一化后的图像像素点值，xi为第i个像素点值，m为像素点总数，∈为防止分母为零的参数；
步骤S12中将归一化后的图像像素点值缩放到[-128,128]的具体方法为：将每个归一化后的图像像素点值均用一个256位的一维二值化向量I＝(i1,i2,...,in,...,i256)表示，其中，i1,i2,...,in,...,i256为二值化向量I的256个分量，每个分量的取值范围{+1，-1}。
上述进一步方案的有益效果为：归一化是保证所有的维度上数据都在一个变化幅度上，归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。目的是为了保证输出数据中数值小的不被吞食。
图像像素点值缩放到[-128,128]的目的是进一步转化为256维的向量，方便第一卷积层
Figure BDA0003081999770000023
的处理。
进一步地，二值化量化模型包括：第一子二值化量化模型、第二子二值化量化模型、第三子二值化量化模型、第四子二值化量化模型、第五子二值化量化模型、第六子二值化量化模型和第七子二值化量化模型；
所述第一子二值化量化模型的输入端作为二值化量化模型的输入端，其A输出端与第二子二值化量化模型的输入端连接，其B输出端分别与第六子二值化量化模型的输出端和第七子二值化量化模型的输入端连接；所述第二子二值化量化模型的A输出端与第三子二值化量化模型的输入端连接，其B输出端分别与第六子二值化量化模型的输入端和第五子二值化量化模型的输出端连接；所述第三子二值化量化模型的A输出端与第四子二值化量化模型的输入端连接，其B输出端分别与第五子二值化量化模型的输入端和第四子二值化量化模型的输出端连接；所述第七子二值化量化模型的输出端作为二值化量化模型的输出端。
进一步地，第一子二值化量化模型包括：第一卷积层、第一线性整流层、第二卷积层、第二线性整流层、第一最大池化层、第一归一化层和第一量化层；
所述第一卷积层的输入端作为第一子二值化量化模型的输入端，其输出端与第一线性整流层的输入端连接；所述第二卷积层的输入端与第一线性整流层的输出端连接，其输出端与第二线性整流层的输入端连接；所述第二线性整流层的输出端与第一最大池化层的输入端连接，并作为第一子二值化量化模型的B输出端；所述第一最大池化层的输出端与第一归一化层的输入端连接；所述第一量化层的输入端与第一归一化层的输出端连接，其输出端作为第一子二值化量化模型的A输出端；
所述第一卷积层的卷积核大小为3×3，其公式为：L1(I)＝I*Wb，Wb＝Binariz e(W)，
Figure BDA0003081999770000031
其中，W为待训练的权重矩阵，Wb为二值化后的权重矩阵，Binariz e()为二值化函数，I为二值化向量，L1(I)为第一卷积层的输出，*为卷积操作；
所述第一线性整流层的公式为：L2(I)＝ReLU(L1(I))，其中，ReLU()为激活函数，
Figure BDA0003081999770000041
L2(I)为第一线性整流层的输出，；
所述第二卷积层的卷积核大小为3×3，其公式为：L3(I)＝L2(I)*Wb，其中，L3(I)为第二卷积层的输出；
所述第二线性整流层的公式为：L4(I)＝ReLU(L3(I))，其中，L4(I)为第二线性整流层的输出；
所述第一最大池化层上设置有1个2×2的滤波器，其步长为2，其公式为：L5(I)＝MaxPool(L4(I))，其中，MaxPool()为最大池化函数，L5(I)为第一最大池化层的输出；
所述第一归一化层的公式为：L6(I)＝BN(L5(I))，其中，BN()为BatchNormalization函数，L6(I)为第一归一化层的输出；
所述第一量化层的公式为：L7(I)＝Binarize(L6(I))，其中，Binarize()为量化函数，L7(I)为第一量化层的输出；
在第一量化层的正向传播时：
Figure BDA0003081999770000042
在第一量化层的反向传播时：
Figure BDA0003081999770000043
进一步地，第二子二值化量化模型包括：第三卷积层、第三线性整流层、第四卷积层、第四线性整流层、第二最大池化层、第二归一化层和第二量化层；
所述第三卷积层的输入端作为第二子二值化量化模型的输入端，其输出端与第三线性整流层的输入端连接；所述第四卷积层的输入端与第三线性整流层的输出端连接，其输出端与第四线性整流层的输入端连接；所述第四线性整流层的输出端与第二最大池化层的输入端连接，并作为第二子二值化量化模型的B输出端；所述第二最大池化层的输出端与第二归一化层的输入端连接；所述第二量化层的输入端与第二归一化层的输出端连接，其输出端作为第二子二值化量化模型的A输出端；
所述第三卷积层与第一卷积层的结构相同，第三线性整流层与第一线性整流层的结构相同，第四卷积层与第二卷积层的结构相同，第四线性整流层与第二线性整流层的结构相同，第二最大池化层与第一最大池化层的结构相同，第二归一化层与第一归一化层的结构相同，第二量化层与第一量化层的结构相同。
进一步地，第三子二值化量化模型包括：第五卷积层、第五线性整流层、第六卷积层、第六线性整流层、第三最大池化层、第三归一化层和第三量化层；
所述第五卷积层的输入端作为第三子二值化量化模型的输入端，其输出端与第五线性整流层的输入端连接；所述第六卷积层的输入端与第五线性整流层的输出端连接，其输出端与第六线性整流层的输入端连接；所述第六线性整流层的输出端与第三最大池化层的输入端连接，并作为第三子二值化量化模型的B输出端；所述第三最大池化层的输出端与第三归一化层的输入端连接；所述第三量化层的输入端与第三归一化层的输出端连接，其输出端作为第三子二值化量化模型的A输出端；
所述第五卷积层与第一卷积层的结构相同，第五线性整流层与第一线性整流层的结构相同，第六卷积层与第二卷积层的结构相同，第六线性整流层与第二线性整流层的结构相同，第三最大池化层与第一最大池化层的结构相同，第三归一化层与第一归一化层的结构相同，第三量化层与第一量化层的结构相同。
进一步地，第四子二值化量化模型包括依次连接的第七卷积层、第七线性整流层、第八卷积层、第八线性整流层和第一反池化层；所述第七卷积层的输入端作为第四子二值化量化模型的输入端；所述第一反池化层的输出端作为第四子二值化量化模型的输出端；
所述第五子二值化量化模型包括依次连接的第九卷积层、第九线性整流层、第十卷积层、第十线性整流层和第二反池化层；所述第九卷积层的输入端作为第五子二值化量化模型的输入端；所述第二反池化层的输出端作为第五子二值化量化模型的输出端；
所述第六子二值化量化模型包括依次连接的第十一卷积层、第十一线性整流层、第十二卷积层、第十二线性整流层和第三反池化层；所述第十一卷积层的输入端作为第六子二值化量化模型的输入端；所述第三反池化层的输出端作为第六子二值化量化模型的输出端；
所述第七子二值化量化模型包括依次连接的第十三卷积层、第十三线性整流层、第十四卷积层、第十四线性整流层和第十五卷积层；所述第十三卷积层的输入端作为第七子二值化量化模型的输入端；所述第十五卷积层的输出端作为第七子二值化量化模型的输出端；
所述第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层和第十四卷积层的结构均与第一卷积层相同；
所述第十五卷积层的运算公式与第一卷积层相同，其卷积核大小为1*1；
所述第七线性整流层、第八线性整流层、第九线性整流层、第十线性整流层、第十一线性整流层、第十二线性整流层、第十三线性整流层和第十四线性整流层的结构均与第一线性整流层相同；
所述第一反池化层、第二反池化层和第三反池化层的结构相同，其均采用反池化函数UnPool()。
上述进一步方案的有益效果为：本发明通过多层的卷积层来进行特征提取，在最后一层卷积层，采用1*1的卷积核将图像维度压缩；通过引入量化层，压缩了参数的字节大小；通过多层整流层，使输出结果不再与输入线性相关；通过多层池化层，使参数数量缩减为原数量的1/4，从而进一步起到压缩模型的目的。
进一步地，步骤S3包括以下分步骤：
S31、构建损失函数；
S32、对二值化量化模型随机输入一张图像的初始输入数据，采用损失函数计算梯度；
S33、根据梯度，对二值化量化模型中二值化后的权重矩阵和学习率进行更新；
S34、重复执行步骤S32至步骤S33，直到二值化后的权重矩阵和学习率达到最优，得到训练完成的二值化量化模型。
进一步地，步骤S31中损失函数为：
Figure BDA0003081999770000071
其中，
Figure BDA0003081999770000072
为损失函数，ytrue为训练过程的二值化量化模型的输出，ypred为预测输出；
所述步骤S32中对二值化后的权重矩阵和学习率进行更新的公式为：
Figure BDA0003081999770000073
Figure BDA0003081999770000074
其中，Wb t为第t次训练过程得到的二值化后的权重矩阵，Wb t-1为第t-1次训练过程得到的二值化后的权重矩阵，η为超参数，Wb为二值化后的权重矩阵，ηt为第t次训练过程的学习率，ηt-1为第t-1次训练过程的学习率，
Figure BDA0003081999770000081
为第t-1次训练过程的一阶矩估计的指数衰减率。
上述进一步方案的有益效果为：损失函数对于最后一层权重的梯度不再跟激活函数的导数相关，只跟输出值和真实值的差值成正比，而此时收敛较快。又因为反向传播是连乘的，因此整个权重矩阵和学习率的更新都会加快。
二值化后的权重矩阵和学习率更新公式使学习率随权重值更新的目的是不断减小学习率，加快参数收敛速度。
综上，本发明的有益效果为：本发明设计一种轻量化的图像处理模型，该模型具有模型小，占用内存少，且图像处理精度高，在减少存储空间的同时提高了计算速度。本发明通过改变模型的层级结构以及修改量化函数，可以将压缩后的模型顺利迁移到无人机计算组件进行计算。
附图说明
图1为一种基于二值化量化模型的图像处理方法的流程图；
图2为二值化量化模型的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于二值化量化模型的图像处理方法，包括以下步骤：
S1、对图像集进行预处理，得到每张图像的初始输入数据；
步骤S1包括以下分步骤：
S11、对图像集中每一张图像进行归一化处理，得到归一化后的图像像素点值；
步骤S11中对图像进行归一化处理的方法为：将图像中所有像素点的均值调整为0，方差调整为1；
归一化处理的公式为：
Figure BDA0003081999770000091
其中，
Figure BDA0003081999770000092
为第i个归一化后的图像像素点值，xi为第i个像素点值，m为像素点总数，∈为防止分母为零的参数；
S12、将归一化后的图像像素点值缩放到[-128,128]，得到每一张图像的初始输入数据。
步骤S12中将归一化后的图像像素点值缩放到[-128,128]的具体方法为：将每个归一化后的图像像素点值均用一个256位的一维二值化向量I＝(i1,i2,...,in,...,i256)表示，其中，i1,i2,...,in,...,i256为二值化向量I的256个分量，每个分量的取值范围{+1，-1}，归一化后的图像像素点值与二值化向量I的关系为：
Figure BDA0003081999770000093
S2、构建二值化量化模型；
如图2所示，二值化量化模型的具体结构包括：第一子二值化量化模型、第二子二值化量化模型、第三子二值化量化模型、第四子二值化量化模型、第五子二值化量化模型、第六子二值化量化模型和第七子二值化量化模型；
所述第一子二值化量化模型的输入端作为二值化量化模型的输入端，其A输出端与第二子二值化量化模型的输入端连接，其B输出端分别与第六子二值化量化模型的输出端和第七子二值化量化模型的输入端连接；所述第二子二值化量化模型的A输出端与第三子二值化量化模型的输入端连接，其B输出端分别与第六子二值化量化模型的输入端和第五子二值化量化模型的输出端连接；所述第三子二值化量化模型的A输出端与第四子二值化量化模型的输入端连接，其B输出端分别与第五子二值化量化模型的输入端和第四子二值化量化模型的输出端连接；所述第七子二值化量化模型的输出端作为二值化量化模型的输出端。
第五子二值化量化模型的输入为第三子二值化量化模型B输出端的输出和第四子二值化量化模型的输出。
第六子二值化量化模型的输入为五子二值化量化模型的输出和第二子二值化量化模型B输出端的输出。
第七子二值化量化模型的输入为第六子二值化量化模型的输出和第一子二值化量化模型B输出端的输出。
第一子二值化量化模型包括：第一卷积层、第一线性整流层、第二卷积层、第二线性整流层、第一最大池化层、第一归一化层和第一量化层；
所述第一卷积层的输入端作为第一子二值化量化模型的输入端，其输出端与第一线性整流层的输入端连接；所述第二卷积层的输入端与第一线性整流层的输出端连接，其输出端与第二线性整流层的输入端连接；所述第二线性整流层的输出端与第一最大池化层的输入端连接，并作为第一子二值化量化模型的B输出端；所述第一最大池化层的输出端与第一归一化层的输入端连接；所述第一量化层的输入端与第一归一化层的输出端连接，其输出端作为第一子二值化量化模型的A输出端；
所述第一卷积层的卷积核大小为3×3，其公式为：L1(I)＝I*Wb，Wb＝Binariz e(W)，
Figure BDA0003081999770000111
其中，W为待训练的权重矩阵，Wb为二值化后的权重矩阵，Binariz e()为二值化函数，I为二值化向量，L1(I)为第一卷积层的输出，*为卷积操作；
所述第一线性整流层的公式为：L2(I)＝ReLU(L1(I))，其中，ReLU()为激活函数，
Figure BDA0003081999770000112
L2(I)为第一线性整流层的输出，；
所述第二卷积层的卷积核大小为3×3，其公式为：L3(I)＝L2(I)*Wb，其中，L3(I)为第二卷积层的输出；
所述第二线性整流层的公式为：L4(I)＝ReLU(L3(I))，其中，L4(I)为第二线性整流层的输出；
所述第一最大池化层上设置有1个2×2的滤波器，其步长为2，其公式为：L5(I)＝MaxPool(L4(I))，其中，MaxPool()为最大池化函数，L5(I)为第一最大池化层的输出，由于第一最大池化层上设置有1个2×2的滤波器，其步长为2，因此，每移动一步，输出4个值中的最大值，最后得到一个长宽均为L4(I)一半的结果；
所述第一归一化层的公式为：L6(I)＝BN(L5(I))，其中，BN()为BatchNormalization函数，L6(I)为第一归一化层的输出；
所述第一量化层的公式为：L7(I)＝Binarize(L6(I))，其中，Binarize()为量化函数，L7(I)为第一量化层的输出；
在第一量化层的正向传播时：
Figure BDA0003081999770000113
在第一量化层的反向传播时：
Figure BDA0003081999770000121
第二子二值化量化模型包括：第三卷积层、第三线性整流层、第四卷积层、第四线性整流层、第二最大池化层、第二归一化层和第二量化层；
所述第三卷积层的输入端作为第二子二值化量化模型的输入端，其输出端与第三线性整流层的输入端连接；所述第四卷积层的输入端与第三线性整流层的输出端连接，其输出端与第四线性整流层的输入端连接；所述第四线性整流层的输出端与第二最大池化层的输入端连接，并作为第二子二值化量化模型的B输出端；所述第二最大池化层的输出端与第二归一化层的输入端连接；所述第二量化层的输入端与第二归一化层的输出端连接，其输出端作为第二子二值化量化模型的A输出端；
所述第三卷积层与第一卷积层的结构相同，第三线性整流层与第一线性整流层的结构相同，第四卷积层与第二卷积层的结构相同，第四线性整流层与第二线性整流层的结构相同，第二最大池化层与第一最大池化层的结构相同，第二归一化层与第一归一化层的结构相同，第二量化层与第一量化层的结构相同。
第三子二值化量化模型包括：第五卷积层、第五线性整流层、第六卷积层、第六线性整流层、第三最大池化层、第三归一化层和第三量化层；
所述第五卷积层的输入端作为第三子二值化量化模型的输入端，其输出端与第五线性整流层的输入端连接；所述第六卷积层的输入端与第五线性整流层的输出端连接，其输出端与第六线性整流层的输入端连接；所述第六线性整流层的输出端与第三最大池化层的输入端连接，并作为第三子二值化量化模型的B输出端；所述第三最大池化层的输出端与第三归一化层的输入端连接；所述第三量化层的输入端与第三归一化层的输出端连接，其输出端作为第三子二值化量化模型的A输出端；
所述第五卷积层与第一卷积层的结构相同，第五线性整流层与第一线性整流层的结构相同，第六卷积层与第二卷积层的结构相同，第六线性整流层与第二线性整流层的结构相同，第三最大池化层与第一最大池化层的结构相同，第三归一化层与第一归一化层的结构相同，第三量化层与第一量化层的结构相同。
第四子二值化量化模型包括依次连接的第七卷积层、第七线性整流层、第八卷积层、第八线性整流层和第一反池化层；所述第七卷积层的输入端作为第四子二值化量化模型的输入端；所述第一反池化层的输出端作为第四子二值化量化模型的输出端；
所述第五子二值化量化模型包括依次连接的第九卷积层、第九线性整流层、第十卷积层、第十线性整流层和第二反池化层；所述第九卷积层的输入端作为第五子二值化量化模型的输入端；所述第二反池化层的输出端作为第五子二值化量化模型的输出端；
所述第六子二值化量化模型包括依次连接的第十一卷积层、第十一线性整流层、第十二卷积层、第十二线性整流层和第三反池化层；所述第十一卷积层的输入端作为第六子二值化量化模型的输入端；所述第三反池化层的输出端作为第六子二值化量化模型的输出端；
所述第七子二值化量化模型包括依次连接的第十三卷积层、第十三线性整流层、第十四卷积层、第十四线性整流层和第十五卷积层；所述第十三卷积层的输入端作为第七子二值化量化模型的输入端；所述第十五卷积层的输出端作为第七子二值化量化模型的输出端；
所述第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层和第十四卷积层的结构均与第一卷积层相同；
所述第十五卷积层的运算公式与第一卷积层相同，其卷积核大小为1*1；
所述第七线性整流层、第八线性整流层、第九线性整流层、第十线性整流层、第十一线性整流层、第十二线性整流层、第十三线性整流层和第十四线性整流层的结构均与第一线性整流层相同；
所述第一反池化层、第二反池化层和第三反池化层的结构相同，其均采用反池化函数UnPool()。
S3、采用每张图像的初始输入数据对二值化量化模型进行训练，得到训练完成的二值化量化模型；
步骤S3包括以下分步骤：
S31、构建损失函数；
步骤S31中损失函数为：
Figure BDA0003081999770000141
其中，
Figure BDA0003081999770000142
为损失函数，ytrue为训练过程的二值化量化模型的输出，ypred为预测输出；
S32、对二值化量化模型随机输入一张图像的初始输入数据，采用损失函数计算梯度；
所述步骤S32中对二值化后的权重矩阵和学习率进行更新的公式为：
Figure BDA0003081999770000143
Figure BDA0003081999770000144
其中，Wb t为第t次训练过程得到的二值化后的权重矩阵，Wb t-1为第t-1次训练过程得到的二值化后的权重矩阵，η为超参数，Wb为二值化后的权重矩阵，ηt为第t次训练过程的学习率，ηt-1为第t-1次训练过程的学习率，
Figure BDA0003081999770000145
为第t-1次训练过程的一阶矩估计的指数衰减率。
S33、根据梯度，对二值化量化模型中二值化后的权重矩阵和学习率进行更新；
S34、重复执行步骤S32至步骤S33，直到二值化后的权重矩阵和学习率达到最优，得到训练完成的二值化量化模型；
S4、将一张图像的初始输入数据输入训练完成的二值化量化模型，得到图像中物体的边界和属性，完成对图像的处理。

Claims (7)

1.一种基于二值化量化模型的图像处理方法，其特征在于，包括以下步骤：
S1、对图像集进行预处理，得到每张图像的初始输入数据；
S2、构建二值化量化模型；
S3、采用每张图像的初始输入数据对二值化量化模型进行训练，得到训练完成的二值化量化模型；
S4、将一张图像的初始输入数据输入训练完成的二值化量化模型，得到图像中物体的边界和属性，完成对图像的处理；
所述步骤S2中二值化量化模型包括：第一子二值化量化模型、第二子二值化量化模型、第三子二值化量化模型、第四子二值化量化模型、第五子二值化量化模型、第六子二值化量化模型和第七子二值化量化模型；
所述第一子二值化量化模型的输入端作为二值化量化模型的输入端，其A输出端与第二子二值化量化模型的输入端连接，其B输出端分别与第六子二值化量化模型的输出端和第七子二值化量化模型的输入端连接；所述第二子二值化量化模型的A输出端与第三子二值化量化模型的输入端连接，其B输出端分别与第六子二值化量化模型的输入端和第五子二值化量化模型的输出端连接；所述第三子二值化量化模型的A输出端与第四子二值化量化模型的输入端连接，其B输出端分别与第五子二值化量化模型的输入端和第四子二值化量化模型的输出端连接；所述第七子二值化量化模型的输出端作为二值化量化模型的输出端；
所述第一子二值化量化模型包括：第一卷积层、第一线性整流层、第二卷积层、第二线性整流层、第一最大池化层、第一归一化层和第一量化层；
所述第一卷积层的输入端作为第一子二值化量化模型的输入端，其输出端与第一线性整流层的输入端连接；所述第二卷积层的输入端与第一线性整流层的输出端连接，其输出端与第二线性整流层的输入端连接；所述第二线性整流层的输出端与第一最大池化层的输入端连接，并作为第一子二值化量化模型的B输出端；所述第一最大池化层的输出端与第一归一化层的输入端连接；所述第一量化层的输入端与第一归一化层的输出端连接，其输出端作为第一子二值化量化模型的A输出端；
所述第二子二值化量化模型包括：第三卷积层、第三线性整流层、第四卷积层、第四线性整流层、第二最大池化层、第二归一化层和第二量化层；
所述第三卷积层的输入端作为第二子二值化量化模型的输入端，其输出端与第三线性整流层的输入端连接；所述第四卷积层的输入端与第三线性整流层的输出端连接，其输出端与第四线性整流层的输入端连接；所述第四线性整流层的输出端与第二最大池化层的输入端连接，并作为第二子二值化量化模型的B输出端；所述第二最大池化层的输出端与第二归一化层的输入端连接；所述第二量化层的输入端与第二归一化层的输出端连接，其输出端作为第二子二值化量化模型的A输出端；
所述第三卷积层与第一卷积层的结构相同，第三线性整流层与第一线性整流层的结构相同，第四卷积层与第二卷积层的结构相同，第四线性整流层与第二线性整流层的结构相同，第二最大池化层与第一最大池化层的结构相同，第二归一化层与第一归一化层的结构相同，第二量化层与第一量化层的结构相同；
所述第三子二值化量化模型包括：第五卷积层、第五线性整流层、第六卷积层、第六线性整流层、第三最大池化层、第三归一化层和第三量化层；
所述第五卷积层的输入端作为第三子二值化量化模型的输入端，其输出端与第五线性整流层的输入端连接；所述第六卷积层的输入端与第五线性整流层的输出端连接，其输出端与第六线性整流层的输入端连接；所述第六线性整流层的输出端与第三最大池化层的输入端连接，并作为第三子二值化量化模型的B输出端；所述第三最大池化层的输出端与第三归一化层的输入端连接；所述第三量化层的输入端与第三归一化层的输出端连接，其输出端作为第三子二值化量化模型的A输出端；
所述第五卷积层与第一卷积层的结构相同，第五线性整流层与第一线性整流层的结构相同，第六卷积层与第二卷积层的结构相同，第六线性整流层与第二线性整流层的结构相同，第三最大池化层与第一最大池化层的结构相同，第三归一化层与第一归一化层的结构相同，第三量化层与第一量化层的结构相同。
2.根据权利要求1所述的基于二值化量化模型的图像处理方法，其特征在于，所述步骤S1包括以下分步骤：
S11、对图像集中每一张图像进行归一化处理，得到归一化后的图像像素点值；
S12、将归一化后的图像像素点值缩放到[-128,128]，得到每一张图像的初始输入数据。
3.根据权利要求2所述的基于二值化量化模型的图像处理方法，其特征在于，所述步骤S11中对图像进行归一化处理的方法为：将图像中所有像素点的均值调整为0，方差调整为1；
归一化处理的公式为：
Figure FDA0003677114660000031
其中，
Figure FDA0003677114660000032
为第i个归一化后的图像像素点值，xi为归一化前的第i个像素点值，m为像素点总数，∈为防止分母为零的参数；
步骤S12中将归一化后的图像像素点值缩放到[-128,128]的具体方法为：将每个归一化后的图像像素点值均用一个256位的一维二值化向量I＝(i1,i2,…,in,…,i256)表示，其中，i1,i2,…,in,…,i256为二值化向量I的256个分量，每个分量的取值范围{+1，-1}。
4.根据权利要求1所述的基于二值化量化模型的图像处理方法，其特征在于，所述第一卷积层的卷积核大小为3×3，其公式为：I1(I)＝I*Wb，Wb＝Binariz e(W)，
Figure FDA0003677114660000041
其中，W为待训练的权重矩阵，Wb为二值化后的权重矩阵，Binariz e()为二值化函数，I为二值化向量，L1(I)为第一卷积层的输出，*为卷积操作；
所述第一线性整流层的公式为：L2(I)＝ReLU(L1(I))，其中，ReLU()为激活函数，
Figure FDA0003677114660000042
L2(I)为第一线性整流层的输出；
所述第二卷积层的卷积核大小为3×3，其公式为：L3(I)＝L2(I)*Wb，其中，L3(I)为第二卷积层的输出；
所述第二线性整流层的公式为：L4(I)＝ReLU(L3(I))，其中，L4(I)为第二线性整流层的输出；
所述第一最大池化层上设置有1个2×2的滤波器，其步长为2，其公式为：L5(I)＝MaxPool(L4(I))，其中，MaxPool()为最大池化函数，L5(I)为第一最大池化层的输出；
所述第一归一化层的公式为：L6(I)＝BN(L5(I))，其中，BN()为BatchNormalization函数，L6(I)为第一归一化层的输出；
所述第一量化层的公式为：L7(I)＝Binarize(L6(I))，其中，Binarize()为量化函数，L7(I)为第一量化层的输出；
在第一量化层的正向传播时：
Figure FDA0003677114660000051
在第一量化层的反向传播时：
Figure FDA0003677114660000052
5.根据权利要求1所述的基于二值化量化模型的图像处理方法，其特征在于，所述第四子二值化量化模型包括依次连接的第七卷积层、第七线性整流层、第八卷积层、第八线性整流层和第一反池化层；所述第七卷积层的输入端作为第四子二值化量化模型的输入端；所述第一反池化层的输出端作为第四子二值化量化模型的输出端；
所述第五子二值化量化模型包括依次连接的第九卷积层、第九线性整流层、第十卷积层、第十线性整流层和第二反池化层；所述第九卷积层的输入端作为第五子二值化量化模型的输入端；所述第二反池化层的输出端作为第五子二值化量化模型的输出端；
所述第六子二值化量化模型包括依次连接的第十一卷积层、第十一线性整流层、第十二卷积层、第十二线性整流层和第三反池化层；所述第十一卷积层的输入端作为第六子二值化量化模型的输入端；所述第三反池化层的输出端作为第六子二值化量化模型的输出端；
所述第七子二值化量化模型包括依次连接的第十三卷积层、第十三线性整流层、第十四卷积层、第十四线性整流层和第十五卷积层；所述第十三卷积层的输入端作为第七子二值化量化模型的输入端；所述第十五卷积层的输出端作为第七子二值化量化模型的输出端；
所述第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层和第十四卷积层的结构均与第一卷积层相同；
所述第十五卷积层的运算公式与第一卷积层相同，其卷积核大小为1*1；
所述第七线性整流层、第八线性整流层、第九线性整流层、第十线性整流层、第十一线性整流层、第十二线性整流层、第十三线性整流层和第十四线性整流层的结构均与第一线性整流层相同；
所述第一反池化层、第二反池化层和第三反池化层的结构相同，其均采用反池化函数UnPool()。
6.根据权利要求1所述的基于二值化量化模型的图像处理方法，其特征在于，所述步骤S3包括以下分步骤：
S31、构建损失函数；
S32、对二值化量化模型随机输入一张图像的初始输入数据，采用损失函数计算梯度；
S33、根据梯度，对二值化量化模型中二值化后的权重矩阵和学习率进行更新；
S34、重复执行步骤S32至步骤S33，直到二值化后的权重矩阵和学习率达到最优，得到训练完成的二值化量化模型。
7.根据权利要求6所述的基于二值化量化模型的图像处理方法，其特征在于，所述步骤S31中损失函数为：
Figure FDA0003677114660000061
其中，
Figure FDA0003677114660000062
为损失函数，ytrue为训练过程的二值化量化模型的输出，ypred为预测输出；
所述步骤S32中对二值化后的权重矩阵和学习率进行更新的公式为：
Figure FDA0003677114660000063
Figure FDA0003677114660000071
其中，Wb t为第t次训练过程得到的二值化后的权重矩阵，Wb t-1为第t-1次训练过程得到的二值化后的权重矩阵，η为超参数，Wb为二值化后的权重矩阵，ηt为第t次训练过程的学习率，ηt-1为第t-1次训练过程的学习率，
Figure FDA0003677114660000072
为第t-1次训练过程的一阶矩估计的指数衰减率。
CN202110569275.7A 2021-05-25 2021-05-25 一种基于二值化量化模型的图像处理方法 Active CN113159301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110569275.7A CN113159301B (zh) 2021-05-25 2021-05-25 一种基于二值化量化模型的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110569275.7A CN113159301B (zh) 2021-05-25 2021-05-25 一种基于二值化量化模型的图像处理方法

Publications (2)

Publication Number Publication Date
CN113159301A CN113159301A (zh) 2021-07-23
CN113159301B true CN113159301B (zh) 2022-10-28

Family

ID=76877228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110569275.7A Active CN113159301B (zh) 2021-05-25 2021-05-25 一种基于二值化量化模型的图像处理方法

Country Status (1)

Country Link
CN (1) CN113159301B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079895A1 (en) * 2017-10-24 2019-05-02 Modiface Inc. SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS
CN110852964A (zh) * 2019-10-30 2020-02-28 天津大学 一种基于深度学习的图像比特增强方法
CN111382788A (zh) * 2020-03-06 2020-07-07 西安电子科技大学 基于二值量化网络的高光谱图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239793B (zh) * 2017-05-17 2020-01-17 清华大学 多量化深度二值特征学习方法及装置
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079895A1 (en) * 2017-10-24 2019-05-02 Modiface Inc. SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS
CN110852964A (zh) * 2019-10-30 2020-02-28 天津大学 一种基于深度学习的图像比特增强方法
CN111382788A (zh) * 2020-03-06 2020-07-07 西安电子科技大学 基于二值量化网络的高光谱图像分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
An Efficient Binary Convolutional Neural Network with Numerous Skip Connections for Fog Computing;Lijun Wu 等;《IEEE Internet of Things Journal》;20210118;第8卷(第14期);1-10 *
Network Search for Binary Networks;Jiajun Du 等;《International Joint Conference on Neural Networks》;20190719;1-8 *
基于低精度量化的卷积神经网络在FPGA上的加速研究;祁迪;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20200315(第3期);I135-416页摘要，2.3节，3节 *
深度学习优化器方法及学习率衰减方式综述;冯宇旭 等;《数据挖掘》;20180929;第8卷(第4期);186-200 *
遥感影像地物分类多注意力融和U型网络法;李道纪 等;《测绘学报》;20200831;第49卷(第8期);1051-1064 *

Also Published As

Publication number Publication date
CN113159301A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN106250939B (zh) 基于fpga+arm多层卷积神经网络的手写体字符识别方法
Pang et al. Hierarchical dynamic filtering network for RGB-D salient object detection
CN110135580B (zh) 一种卷积网络全整型量化方法及其应用方法
CN108510012B (zh) 一种基于多尺度特征图的目标快速检测方法
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN113379709B (zh) 一种基于稀疏多尺度体素特征融合的三维目标检测方法
CN112651973A (zh) 基于特征金字塔注意力和混合注意力级联的语义分割方法
Jiang et al. Cascaded subpatch networks for effective CNNs
CN111062395B (zh) 一种实时的视频语义分割方法
CN112633477A (zh) 一种基于现场可编程阵列的量化神经网络加速方法
CN113177580A (zh) 基于通道重要性剪枝与二值量化的图像分类***
CN111812647A (zh) 一种用于干涉合成孔径雷达相位解缠方法
CN114529982A (zh) 基于流式注意力的轻量级人体姿态估计方法及***
CN114648667B (zh) 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN115797835A (zh) 一种基于异构Transformer的无监督视频目标分割算法
CN113591509A (zh) 车道线检测模型的训练方法、图像处理方法及装置
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN113159301B (zh) 一种基于二值化量化模型的图像处理方法
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
CN114677545B (zh) 一种基于相似性剪枝和高效模块的轻量化图像分类方法
CN112801153B (zh) 一种嵌入lbp特征的图的半监督图像分类方法及***
CN114758135A (zh) 一种基于注意力机制的无监督图像语义分割方法
Vogel et al. Guaranteed compression rate for activations in cnns using a frequency pruning approach
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant