CN111027635A - 图像处理模型的构建方法、装置、终端及可读存储介质 - Google Patents
图像处理模型的构建方法、装置、终端及可读存储介质 Download PDFInfo
- Publication number
- CN111027635A CN111027635A CN201911298501.1A CN201911298501A CN111027635A CN 111027635 A CN111027635 A CN 111027635A CN 201911298501 A CN201911298501 A CN 201911298501A CN 111027635 A CN111027635 A CN 111027635A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- channels
- input
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000010276 construction Methods 0.000 title claims description 7
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013526 transfer learning Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 108
- 239000013598 vector Substances 0.000 claims description 77
- 238000013507 mapping Methods 0.000 claims description 20
- 238000007689 inspection Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理模型的构建方法、装置、终端及可读存储介质，方法包括：获取基于卷积神经网络的预训练模型；对预训练模型进行迁移学习，以构建目标模型；其中目标模型包括输入层和至少一个卷积层；获取当前的待处理图像的通道数，并将输入层的输入数据中图像通道数配置为待处理图像的通道数；将最接近输入层的卷积层作为目标卷积层，将经输入层的配置后输入数据输入至目标卷积层；根据预训练模型，将目标卷积层对应第一权重中的输入通道数配置为待处理图像的通道数。这样，基于预训练模型可构建一个目标模型，保证了输入的待处理图像的通道数的数据的完整性，使得目标模型能够针对不同的待处理图像的通道数进行适应性调整和处理。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理模型的构建方法、装置、终端及可读存储介质。
背景技术
随着深度学习技术的发展，可将卷积神经网络技术应用于对在自然场景图像的处理任务上。为了提高图像处理效果，例如提高图像识别的迅速性、准确性等等，学术界和相关企业都做了大量的研究和技术开发。例如，ImageNet等大型数据集，其分类精度已获得较高的准确性。
然而，面对复杂的图像信息，通过已有的图像处理模型进行处理时，则会导致图像处理模型的针对性不强，难以灵活地应对复杂的图像信息，进而难以获得理想的处理效果。例如，当ImageNet上的预训练模型VGG16能够处理三通道的图像信息时，而面对八通道的图像信息时，必然要通过一些技术手段，例如通过PCA(Principal Component Analysis，主成分分析)、波段选择等在数据输入上进行降维，然后再将该预训练模型VGG16进行迁移学习，如此会导致图像信息部分损失，导致图像处理不灵活，且图像处理效果不佳等缺陷的问题。
发明内容
本发明的主要目的在于提供一种图像处理模型的构建方法、装置、终端及可读存储介质，旨在解决现有技术中的对于待处理图像的处理方法的灵活性不强，导致难以获得理想的处理效果的技术问题。
为实现上述目的，本发明提供一种图像处理模型的构建方法，所述方法包括：
获取基于卷积神经网络的预训练模型；
对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层；
获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为待处理图像的通道数；
将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层的配置后所述输入数据输入至所述目标卷积层；
根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数。
进一步地，所述根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数的步骤，包括：
获取所述预训练模型中的目标卷积层所对应的所述第二权重；
根据所述第二权重映射出第一矩阵，其中所述第一矩阵的行向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个行向量，并根据所述若干个行向量拼接为第二矩阵，其中所述第二矩阵的行向量的个数对应着所述待处理图像的通道数；
或者，根据所述第二权重映射出第一矩阵，其中所述第一矩阵的列向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个列向量，并根据所述若干个列向量拼接为第二矩阵，其中所述第二矩阵的列向量的个数对应着所述待处理图像的通道数；
将构建的所述第二矩阵映射于所述第一权重。
进一步地，所述将构建的所述第二矩阵映射于所述第一权重的步骤，包括：
根据所述预设缩放值将所述第二矩阵进行缩放，并将缩放后的所述第二矩阵映射于所述第一权重。
进一步地，所述预设缩放值是所述第二权重中的输入通道数与所述第一权重中的输入通道数的比值。
进一步地，所述对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层的步骤，包括：
根据所述预训练模型以构建所述目标模型，其中将所述预训练模型中除了目标卷积层之外的其他卷积层所对应的权重对应配置至所述目标模型的卷积层所对应的权重。
进一步地，所述对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层的步骤之前，包括：
获取所述待处理图像，并将所述待处理图像进行处理分析以获得所述待处理图像的通道数。
进一步地，所述根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数的步骤之后，包括：
获取所述待处理图像；
将所述待处理图像作为训练图像输入至所述目标模型以进行检验调节，并输出经检验调节后的所述目标模型。
本发明还提供一种图像处理模型的构建装置，所述装置包括：
模型获取模块，用于获取基于卷积神经网络的预训练模型；
构建模块，用于对所述预训练模型进行迁移学习，以构建目标模型，并将所述目标模型的输入层的图像通道数配置为待处理图像的通道数；
通道数获取模块，用于获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为待处理图像的通道数；
输入模块，用于将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层的配置后所述输入数据输入至所述目标卷积层；
配置模块，用于根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数。
本发明还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述图像处理模型的构建程序被所述处理器执行时实现如上述的图像处理模型的构建方法的步骤。
本发明还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的图像处理模型的构建方法的步骤。
本发明提出的图像处理模型的构建方法，通过获取基于卷积神经网络的预训练模型；对预训练模型进行迁移学习，以构建目标模型；其中目标模型包括输入层和至少一个卷积层；获取当前的待处理图像的通道数，并将输入层的输入数据中图像通道数配置为待处理图像的通道数；将最接近输入层的卷积层作为目标卷积层，将经输入层配置后的输入数据输入至目标卷积层；根据预训练模型，将目标卷积层对应第一权重中的输入通道数配置为待处理图像的通道数。这样，基于卷积神经网络的预训练模型可构建一个能够处理待处理图像的目标模型，并针对待处理图像的通道数而将目标模型中的输入层的输入数据中图像通道数和第一权重的输入通道数进行灵活配置，避免了将待处理图像的通道数先进行降维再对预训练模型进行迁移学习，导致特征损失的问题，即保证了输入的待处理图像的通道数的数据的完整性，使得目标模型能够针对不同的待处理图像的通道数进行适应性调整和处理，也使得图像处理更加灵活，且对图像处理更有针对性，处理结果更准确。
附图说明
图1是本发明实施例方案涉及的硬件运行的终端的结构示意图；
图2是本发明一种图像处理模型的构建方法第一实施例的流程示意图；
图3是本发明一种图像处理模型的构建装置一实施例的框架结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是服务器。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及图像处理模型的构建程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像处理模型的构建程序，并执行以下操作：
获取基于卷积神经网络的预训练模型；
对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层；
获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为待处理图像的通道数；
将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层的配置后所述输入数据输入至所述目标卷积层；
根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数。
进一步地，获取所述预训练模型中的目标卷积层所对应的所述第二权重；
根据所述第二权重映射出第一矩阵，其中所述第一矩阵的行向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个行向量，并根据所述若干个行向量拼接为第二矩阵，其中所述第二矩阵的行向量的个数对应着所述待处理图像的通道数；
或者，根据所述第二权重映射出第一矩阵，其中所述第一矩阵的列向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个列向量，并根据所述若干个列向量拼接为第二矩阵，其中所述第二矩阵的列向量的个数对应着所述待处理图像的通道数；
将构建的所述第二矩阵映射于所述第一权重。
进一步地，根据所述预设缩放值将所述第二矩阵进行缩放，并将缩放后的所述第二矩阵映射于所述第一权重。
进一步地，所述预设缩放值是所述第二权重中的输入通道数与所述第一权重中的输入通道数的比值。
进一步地，根据所述预训练模型以构建所述目标模型，其中将所述预训练模型中除了目标卷积层之外的其他卷积层所对应的权重对应配置至所述目标模型的卷积层所对应的权重。
进一步地，处理器1001可以调用存储器1005中存储的图像处理模型的构建程序，还执行以下操作：
获取所述待处理图像，并将所述待处理图像进行处理分析以获得所述待处理图像的通道数。
进一步地，处理器1001可以调用存储器1005中存储的图像处理模型的构建程序，还执行以下操作：
获取所述待处理图像；
将所述待处理图像作为训练图像输入至所述目标模型以进行检验调节，并输出经检验调节后的所述目标模型。
参照图2，本发明基于上述硬件结构，提出本发明方法各个实施例。
本发明提供一种图像处理模型的构建方法，图像处理模型的构建方法应用于终端，在图像处理模型的构建方法第一实施例中，参照图2，该方法包括：
步骤S10，获取基于卷积神经网络的预训练模型；
终端获取基于卷积神经网络的预训练模型。在本实施例中，卷积神经网络是可进行扩展的标准神经网络，该卷积神经网络可通过内部卷积层来识别处理图像。预训练模型是基于卷积神经网络构建的，该预训练模型可以是ImageNet上的预训练模型VGG16，它能够处理三通道的图像信息。
在本实施例中，预训练模型包括输入层和至少一个卷积层，具体地，预训练模型可以包括依次排布的输入层，接收输入层的输出数据的第一个卷积层、接收第一个卷积层的输出数据的第二个卷积层、……，以及池化层，将最接近输入层的卷积层作为目标卷积层，即将第一个卷积层作为目标卷积层，其中输入层的格式为(样本数,图像高度,图像宽度,图像通道数)，卷积层可通过权重进行数学表达，例如目标卷积层所对应的第二权重的格式为(卷积核长度，卷积核宽度，输入通道数，卷积核数量)，卷积核的大小可以为1x1，3x3，5x5等，在此不作限定。池化层是用于缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。在本实施例中，若待处理图像的尺寸大小为224x224(像素)，且包括有RGB三个波段，则在预训练模型中，输入层的格式为(None,224,224,3)，目标卷积层所对应的第二权重的格式为(3,3,3,64)，目标卷积层中所对应的第二权重的格式还可以表达为(1,1,3,64)，池化层的格式为(None,112,112,64)，其中None的值对应着待处理图像的样本数。
其中，获取ImageNet上的预训练模型VGG16，以图像的尺寸大小为224x224(像素)，且包括RGB三个波段。例如：
| 层类型 | 输入数据 | 输出数据 | 第二权重 |
| 输入层 | (None，224，224，3) | (None，224，224，3) | －- |
| 目标卷积层 | (None，224，224，3) | (None，224，224，64) | (3，3，3，64) |
| 第二个卷积层 | (None，224，224，64) | (None，224，224，64) | (3，3，64，64) |
| 池化层 | (None，224，224，64) | (None，112，112，64) | －- |
步骤S20，对预训练模型进行迁移学习，以构建目标模型，其中目标模型包括输入层和至少一个卷积层；
终端对预训练模型进行迁移学习，以构建目标模型，其中目标模型包括输入层和至少一个卷积层。其中，迁移学习是指从一个环境中学到的知识用来帮助新环境中的学习任务。在本实施例中，对预训练模型进行迁移学习，且该预训练模型可以是对图像进行识别处理的，将该预训练模型进行迁移学习，即该目标模型是基于预训练模型构建的，其中该目标模型包括输入层和至少一个卷积层。该目标模型包括但不限于输入层、接收输入层的输出数据的目标卷积层、接收目标卷积层的输出数据的第二个卷积层、……，以及池化层，其中输入层的格式为(样本数,图像高度,图像宽度,图像通道数)，卷积层所对应的权重的格式为(卷积核长度，卷积核宽度，输入通道数，卷积核数量)，卷积核的大小可以为1x1，3x3，5x5等，在此不作限定。池化层是用于缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。例如，预训练模型VGG16是基于卷积神经网络进行构建的，以能够对图像进行处理，即预训练模型VGG16包括输入层和至少一个卷积层，将预训练模型VGG16进行迁移学习，以构建目标模型，即目标模型能够对图像进行处理，也包括输入层和至少一个卷积层。将待处理图像的尺寸大小为224x224(像素)，且有3个波段输入至预训练模型VGG16，则预训练模型VGG16的输入层的格式为(None,224,224,3)，对应地，目标模型的输入层的格式为(None,224,224,3)，同理地，目标模型的其他层的格式也是与预训练模型VGG16的其他层的格式一一对应。
步骤S30，获取当前的待处理图像的通道数，并将输入层的输入数据中图像通道数配置为待处理图像的通道数。
终端获取当前的待处理图像的通道数，并将输入层的输入数据中图像通道数配置为待处理图像的通道数。在本实施例中，根据预训练模型构建目标模型之后，根据当前的待处理图像的通道数，将目标模型的输入层的输入数据中图像通道数配置为待处理图像的通道数。
例如，若待处理图像的通道数大于输入层的输入数据中图像通道数，则需要将输入层的输入数据中图像通道数配置为待处理图像的通道数，以使得输入层能够对待处理图像进行处理。
在一些实施例中，若待处理图像的通道数小于输入层的输入数据中图像通道数，则需要将输入层的输入数据中图像通道数配置为待处理图像的通道数，以使得输入层能够对待处理图像进行处理。
在另一些实施例中，若待处理图像的通道数等于输入层的输入数据中图像通道数，则对输入层的输入数据中图像通道数不进行修改。
步骤S40，将最近输入层的卷积层作为目标卷积层，将经输入层的配置后输入数据输入至目标卷积层；
终端将最近输入层的卷积层作为目标卷积层，将经输入层的配置后输入数据输入至目标卷积层。在本实施例中，目标模型包括有输入层和至少一个卷积层，其中输入层用于接收待处理图像和对图像进行处理，并将处理结果输入至一个卷积层，该卷积层接收并对图像进行处理。
在本实施例中，将最接近输入层的卷积层作为目标卷积层，并且目标模型中的目标卷积层通过第一权重进行数学表达。基于数学的处理方法，对目标卷积层进行更改，以能够对多个通道的图像进行处理。
例如，若待处理图像的尺寸大小为224x224(像素)，有8个波段，则输入的格式为(None,224,224,8)，将该输入数据(None,224,224,8)输入至目标卷积层，目标卷积层接收到输入数据(None,224,224,8)，并从目标卷积层中输出数据(None,224,224,8)。
步骤S50，根据预训练模型，将目标卷积层对应第一权重中的输入通道数配置为待处理图像的通道数。
终端根据预训练模型，将目标模型中的目标卷积层对应的第一权重中的输入通道数配置为待处理图像的通道数。在本实施例中，目标卷积层所对应的第一权重的格式为(卷积核长度，卷积核宽度，输入通道数，卷积核数量)，例如，待处理图像有8个波段，则第一权重的格式为(3,3,8,64)。
将目标模型应用于多通道图片处理，再对目标模型进行的输入层和权重进行重新配置，这些配置都是基于待处理图像的通道数，以图像的尺寸大小为224x224(像素)，且包括RGB为8个波段。例如：
| 层类型 | 输入数据 | 输出数据 | 第一权重 |
| 输入层 | (None，224，224，8) | (None，224，224，8) | －- |
| 目标卷积层 | (None，224，224，8) | (None，224，224，64) | (3，3，8，64) |
| 第二个卷积层 | (None，224，224，64) | (None，224，224，64) | (3，3，64，64) |
| 池化层 | (None，224，224，64) | (None，112，112，64) | －- |
在本实施例中，通过获取基于卷积神经网络的预训练模型；对预训练模型进行迁移学习，以构建目标模型；其中目标模型包括输入层和至少一个卷积层；获取当前的待处理图像的通道数，并将输入层的输入数据中图像通道数配置为待处理图像的通道数；将最接近输入层的卷积层作为目标卷积层，将经输入层的配置后输入数据输入至目标卷积层；根据预训练模型，将目标卷积层对应第一权重中的输入通道数配置为待处理图像的通道数。这样，这样，基于预训练模型可构建一个能够处理待处理图像的目标模型，即基于预训练模型并进行迁移学习构建的一个目标模型，并针对待处理图像的通道数而将目标模型中的输入数据以及输入通道数进行灵活配置，避免了将待处理图像的通道数先进行降维再对预训练模型进行迁移学习，导致特征损失的问题，即保证了输入的待处理图像的通道数的数据的完整性，使得目标模型能够针对不同的待处理图像的通道数进行适应性调整和处理，也使得图像处理更加灵活，且对图像处理更有针对性，处理结果更准确。
进一步地，上述第一实施例的步骤S20中，对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层的步骤，包括：
步骤S21，根据预训练模型以构建目标模型，其中预训练模型中的除了目标卷积层之外的其他卷积层所对应的权重对应配置至目标模型的卷积层所对应的权重。
在本实施例中，将预训练模型中的除了目标卷积层之外的其他卷积层所对应的权重对应配置至目标模型的卷积层所对应的权重。例如，预训练模型中的第二个卷积层所对应的权重的格式为(3,3,64,64)，则目标模型的第二个卷积层所对应的权重的格式为(3,3,64,64)。
进一步地，上述第一实施例的步骤S50中，根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数的通道数，包括：
步骤S51，获取预训练模型中的目标卷积层所对应的第二权重；
步骤S52，根据第二权重映射出第一矩阵，其中第一矩阵的行向量的个数对应着第二权重中的输入通道数；将第一矩阵剪切为若干个行向量，并根据若干个行向量拼接为第二矩阵，其中第二矩阵的行向量的个数对应着待处理图像的通道数；
步骤S53，根据第二权重映射出第一矩阵，其中第一矩阵的列向量的个数对应着第二权重中的输入通道数；将第一矩阵剪切为若干个列向量，并根据若干个列向量拼接为第二矩阵，其中第二矩阵的列向量的个数对应着待处理图像的通道数；
步骤S54，将构建的第二矩阵映射于第一权重。
在本实施例中，预训练模型中的。其中，获取预训练模型中的目标卷积层对应的第二权重，根据第二权重映射出第一矩阵，其中第一矩阵的行向量的个数对应着第二权重中的输入通道数；将第一矩阵剪切为若干个行向量，并根据若干个行向量拼接为第二矩阵，其中第二矩阵的行向量的个数对应着待处理图像的通道数；或者根据第二权重映射出第一矩阵，其中第一矩阵的列向量的个数对应着第二权重的输入通道数；将第一矩阵剪切为若干个列向量，并根据若干个列向量拼接为第二矩阵，其中第二矩阵的列向量的个数对应着待处理图像的通道数，将构建的第二矩阵映射于第一权重。
具体地，预训练模型中的目标卷积层所对应的第二权重的格式为(3,3,3,64)，根据第二权重构建第一矩阵，其中第二权重的输入通道数为3，对应着第一矩阵的行向量的个数是3，例如第一矩阵表达为：[(3,3,1,64),(3,3,2,64),(3,3,3,64)]T。
在本实施例中，若待处理图像的通道数为8，预训练模型中的第一矩阵的行向量个数是3，以第一矩阵的行向量拼接为具有8个行向量的第二矩阵，其中第二矩阵的行向量的个数对应着待处理图像的通道数，例如，第二矩阵表示为：[(3,3,1,64),(3,3,2,64),(3,3,3,64),(3,3,1,64),(3,3,2,64),(3,3,3,64)(3,3,1,64),(3,3,2,64)]T。将构建的第二矩阵映射于第一权重，即第二矩阵对应于第一权重。
同理，矩阵的行向量和列向量具有相同的运算规则，行向量和列向量具有等效的表达效果，因此当根据第二权重映射出第一矩阵，其中第一矩阵的列向量的个数对应着第二权重的输入通道数时，将第一矩阵剪切为若干个列向量，并根据若干个列向量拼接为第二矩阵，其中第二矩阵的列向量的个数对应着待处理图像的通道数。
在本实施例中，若待处理图像的通道数为3，预训练模型中的第一矩阵的行向量个数是8，以第一矩阵的行向量构建具有3个行向量的第二矩阵，其中第二矩阵的行向量的个数对应着待处理图像的通道数，例如，第二矩阵表达为：[(3,3,1,1),(3,3,2,1),(3,3,3,1)]T。将构建的第二矩阵映射于第一权重，即第二矩阵对应于第一权重。
进一步地，所述步骤S54中，将构建的第二矩阵映射于第一权重的步骤，包括：
步骤S541，根据预设缩放值将第二矩阵进行缩放，并将缩放后的第二矩阵映射于第一权重。
终端根据预设缩放值将第二矩阵进行缩放，并将缩放后的第二矩阵映射于第一权重。可选地，其中预设缩放值是第二权重中的输入通道数与第一权重中的输入通道数的比值。例如，若第一权重中的输入通道数为8，第二权重的输入通道数为3，则预设缩放值为3/8，将第二矩阵乘以预设缩放值8/3，从而将第二矩阵进行缩放。
将缩放后的第二矩阵用于对应于第一权重。
进一步地，对所述预训练模型进行迁移学习，以构建目标模型，其中目标模型包括输入层和至少一个卷积层的步骤之前，包括：
步骤A，获取待处理图像，并将待处理图像进行处理分析以获得所述待处理图像的通道数。
终端可以获取到多通道图像(例如具有8个通道的图像)，并将对多通道图像进行处理分析以获得该图像的通道数。例如，高分六号卫星可采集8个波段的图像，即8个通道的图像；RGB是3个波段的图像，即3个通道的图像；灰度图是1个波段的图像，即1个通道的图像。
在本发明图像处理模型的构建方法的第三实施例中，根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数的步骤之后，包括：
步骤S55，获取待处理图像；
步骤S56，将待处理图像作为训练图像输入至目标模型以进行检验调节，并输出检验调节后的目标模型。
终端可以获取多个待处理图像，将多个待处理图像依次作为训练图像输入至目标模型以进行检验调节，并输出检验调节后的目标模型。在本实施例中，通过将训练图像输入至新构建的目标模型，从而检验该目标模型的准确性，并不断地更新学习，从而进行检验并调节。基于预训练模型，构建出一个用于处理待处理图像的目标模型，完成迁移学习过程，从而使得目标模型能够针对性地对待处理图像进行处理，图像处理过程更灵活，且图像处理结果更准确。
在一个实施例中，如图3所示，图3是本发明一种图像处理模型的构建装置一实施例的框架结构示意图，包括：模型获取模块、构建模块、通道数获取模块、输入模块以及配置模块，其中：
模型获取模块，用于获取基于卷积神经网络的预训练模型；
构建模块，用于对所述预训练模型进行迁移学习，以构建目标模型，并将所述目标模型的输入层的图像通道数配置为待处理图像的通道数；
通道数获取模块，用于获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为待处理图像的通道数；
输入模块，用于将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层的配置后所述输入数据输入至所述目标卷积层；
配置模块，用于根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数。
关于图像处理模型的构建装置的具体限定可以参见上文中对于图像处理模型的构建方法的限定，在此不再赘述。上述图像处理模型的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
此外，本发明实施例还提出一种可读存储介质(即计算机可读存储器)，所述可读存储介质上存储有图像处理模型的构建程序，所述图像处理模型的构建程序被处理器执行时实现如下操作：
获取基于卷积神经网络的预训练模型；
对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层；
获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为待处理图像的通道数；
将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层的配置后所述输入数据输入至所述目标卷积层；
根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数。
进一步地，获取所述预训练模型中的目标卷积层所对应的所述第二权重；
根据所述第二权重映射出第一矩阵，其中所述第一矩阵的行向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个行向量，并根据所述若干个行向量拼接为第二矩阵，其中所述第二矩阵的行向量的个数对应着所述待处理图像的通道数；
或者，根据所述第二权重映射出第一矩阵，其中所述第一矩阵的列向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个列向量，并根据所述若干个列向量拼接为第二矩阵，其中所述第二矩阵的列向量的个数对应着所述待处理图像的通道数；
将构建的所述第二矩阵映射于所述第一权重。
进一步地，根据所述预设缩放值将所述第二矩阵进行缩放，并将缩放后的所述第二矩阵映射于所述第一权重。
进一步地，所述预设缩放值是所述第二权重中的输入通道数与所述第一权重中的输入通道数的比值。
进一步地，根据所述预训练模型以构建所述目标模型，其中将所述预训练模型中除了目标卷积层之外的其他卷积层所对应的权重对应配置至所述目标模型的卷积层所对应的权重。
进一步地，所述图像处理模型的构建程序被处理器执行时还实现如下操作：
获取所述待处理图像，并将所述待处理图像进行处理分析以获得所述待处理图像的通道数。
进一步地，所述图像处理模型的构建程序被处理器执行时还实现如下操作：
获取所述待处理图像；
将所述待处理图像作为训练图像输入至所述目标模型以进行检验调节，并输出经检验调节后的所述目标模型。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像处理模型的构建方法，其特征在于，所述方法包括：
获取基于卷积神经网络的预训练模型；
对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层；
获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为所述待处理图像的通道数；
将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层配置后的所述输入数据输入至所述目标卷积层；
根据所述预训练模型，将所述目标卷积层对应第一权重中的输入通道数配置为所述待处理图像的通道数。
2.如权利要求1所述的图像处理模型的构建方法，其特征在于，所述根据所述预训练模型，将所述目标卷积层对应第一权重中的输入通道数配置为所述待处理图像的通道数的步骤，包括：
获取所述预训练模型中的目标卷积层所对应的第二权重；
根据所述第二权重映射出第一矩阵，其中所述第一矩阵的行向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个行向量，并根据所述若干个行向量拼接为第二矩阵，其中所述第二矩阵的行向量的个数对应着所述待处理图像的通道数；
或者，根据所述第二权重映射出第一矩阵，其中所述第一矩阵的列向量的个数对应着所述第二权重中的输入通道数；将所述第一矩阵剪切为若干个列向量，并根据所述若干个列向量拼接为第二矩阵，其中所述第二矩阵的列向量的个数对应着所述待处理图像的通道数；
将构建的所述第二矩阵映射于所述第一权重。
3.如权利要求2所述的图像处理模型的构建方法，其特征在于，所述将构建的所述第二矩阵映射于所述第一权重的步骤，包括：
根据所述预设缩放值将所述第二矩阵进行缩放，并将缩放后的所述第二矩阵映射于所述第一权重。
4.如权利要求3所述的图像处理模型的构建方法，其特征在于，所述预设缩放值是所述第二权重中的输入通道数与所述第一权重中的输入通道数的比值。
5.如权利要求1所述的图像处理模型的构建方法，其特征在于，所述对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层的步骤，包括：
根据所述预训练模型以构建所述目标模型，其中将所述预训练模型中除了目标卷积层之外的其他卷积层所对应的权重对应配置至所述目标模型的卷积层所对应的权重。
6.如权利要求1所述的图像处理模型的构建方法，其特征在于，所述对所述预训练模型进行迁移学习，以构建目标模型，其中所述目标模型包括输入层和至少一个卷积层的步骤之前，包括：
获取所述待处理图像，并将所述待处理图像进行处理分析以获得所述待处理图像的通道数。
7.如权利要求1所述的图像处理模型的构建方法，其特征在于，所述根据所述预训练模型，将所述目标卷积层对应第一权重中的输入通道数配置为所述待处理图像的通道数的步骤之后，包括：
获取所述待处理图像；
将所述待处理图像作为训练图像输入至所述目标模型以进行检验调节，并输出经检验调节后的所述目标模型。
8.一种图像处理模型的构建装置，其特征在于，所述装置包括：
模型获取模块，用于获取基于卷积神经网络的预训练模型；
构建模块，用于对所述预训练模型进行迁移学习，以构建目标模型，并将所述目标模型的输入层的图像通道数配置为待处理图像的通道数；
通道数获取模块，用于获取当前的待处理图像的通道数，并将所述输入层的输入数据中图像通道数配置为待处理图像的通道数；
输入模块，用于将最接近所述输入层的卷积层作为目标卷积层，将经所述输入层的配置后所述输入数据输入至所述目标卷积层；
配置模块，用于根据所述预训练模型，将所述目标卷积层对应所述第一权重中的输入通道数配置为所述待处理图像的通道数。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述图像处理模型的构建程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像处理模型的构建方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理模型的构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911298501.1A CN111027635B (zh) | 2019-12-12 | 2019-12-12 | 图像处理模型的构建方法、装置、终端及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911298501.1A CN111027635B (zh) | 2019-12-12 | 2019-12-12 | 图像处理模型的构建方法、装置、终端及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111027635A true CN111027635A (zh) | 2020-04-17 |
| CN111027635B CN111027635B (zh) | 2023-10-31 |
Family
ID=70209281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911298501.1A Active CN111027635B (zh) | 2019-12-12 | 2019-12-12 | 图像处理模型的构建方法、装置、终端及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027635B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766277A (zh) * | 2021-02-07 | 2021-05-07 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
| CN112766276A (zh) * | 2021-02-07 | 2021-05-07 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
| CN113408571A (zh) * | 2021-05-08 | 2021-09-17 | 浙江智慧视频安防创新中心有限公司 | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239802A (zh) * | 2017-06-28 | 2017-10-10 | 广东工业大学 | 一种图像分类方法及装置 |
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN109241817A (zh) * | 2018-07-02 | 2019-01-18 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
| CN109740534A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 图像处理方法、装置及处理设备 |
| CN110222816A (zh) * | 2019-04-29 | 2019-09-10 | 北京迈格威科技有限公司 | 深度学习模型的建立方法、图像处理方法及装置 |
-
2019
- 2019-12-12 CN CN201911298501.1A patent/CN111027635B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239802A (zh) * | 2017-06-28 | 2017-10-10 | 广东工业大学 | 一种图像分类方法及装置 |
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN109241817A (zh) * | 2018-07-02 | 2019-01-18 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
| CN109740534A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 图像处理方法、装置及处理设备 |
| CN110222816A (zh) * | 2019-04-29 | 2019-09-10 | 北京迈格威科技有限公司 | 深度学习模型的建立方法、图像处理方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766277A (zh) * | 2021-02-07 | 2021-05-07 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
| CN112766276A (zh) * | 2021-02-07 | 2021-05-07 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
| CN112766276B (zh) * | 2021-02-07 | 2024-07-19 | 普联技术有限公司 | 卷积神经网络模型的通道调整方法、装置和设备 |
| CN113408571A (zh) * | 2021-05-08 | 2021-09-17 | 浙江智慧视频安防创新中心有限公司 | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 |
| CN113408571B (zh) * | 2021-05-08 | 2022-07-19 | 浙江智慧视频安防创新中心有限公司 | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111027635B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734572B2 (en) | Spatial transformer modules | |
| US20200410273A1 (en) | Target detection method and apparatus, computer-readable storage medium, and computer device | |
| CN110555795B (zh) | 高解析度风格迁移 | |
| EP3526765B1 (en) | Iterative multiscale image generation using neural networks | |
| CN111027635A (zh) | 图像处理模型的构建方法、装置、终端及可读存储介质 | |
| CN110826632B (zh) | 图像变化检测方法、装置、设备及计算机可读存储介质 | |
| CN111104962A (zh) | 图像的语义分割方法、装置、电子设备及可读存储介质 | |
| CN109902763B (zh) | 用于生成特征图的方法和装置 | |
| CN112560980A (zh) | 目标检测模型的训练方法、装置及终端设备 | |
| CN109948699B (zh) | 用于生成特征图的方法和装置 | |
| CN113221947A (zh) | 一种基于图像识别技术的工业质检方法及*** | |
| CN110827301B (zh) | 用于处理图像的方法和装置 | |
| CN113239925A (zh) | 一种文本检测模型训练方法、文本检测方法及装置、设备 | |
| CN110852385A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN108921792B (zh) | 用于处理图片的方法和装置 | |
| CN113516697A (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN110210314B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| CN116645678A (zh) | 一种基于矢量图形绘制的图像处理方法及装置 | |
| CN115760775A (zh) | 番茄病害检测方法、装置、设备及存储介质 | |
| CN113139617B (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
| CN111815628B (zh) | 显示面板缺陷检测方法、装置、设备及可读存储介质 | |
| CN115375715A (zh) | 目标提取方法、装置、电子设备及存储介质 | |
| US20230016455A1 (en) | Decomposing a deconvolution into multiple convolutions | |
| WO2023220891A1 (en) | Resolution-switchable segmentation networks | |
| JP2019125128A (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |