CN111695592A - 基于可变形卷积的图像识别方法、装置、计算机设备 - Google Patents

基于可变形卷积的图像识别方法、装置、计算机设备 Download PDF

Info

Publication number
CN111695592A
CN111695592A CN202010345847.9A CN202010345847A CN111695592A CN 111695592 A CN111695592 A CN 111695592A CN 202010345847 A CN202010345847 A CN 202010345847A CN 111695592 A CN111695592 A CN 111695592A
Authority
CN
China
Prior art keywords
image
training
neural network
deformable
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010345847.9A
Other languages
English (en)
Other versions
CN111695592B (zh
Inventor
赵霄鸿
刘莉红
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010345847.9A priority Critical patent/CN111695592B/zh
Publication of CN111695592A publication Critical patent/CN111695592A/zh
Priority to PCT/CN2020/131756 priority patent/WO2021218140A1/zh
Application granted granted Critical
Publication of CN111695592B publication Critical patent/CN111695592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于可变形卷积的图像识别方法、装置、计算机设备及存储介质。方法包括：采用一张训练图像对第一偏置域进行调整，根据第一偏置域及卷积层对该训练图像进行可变形卷积得到训练特征图像，根据训练特征图像及训练图像对第二偏置域进行调整得到训练后的可变形卷积神经网络，根据多次训练后的可变形卷积神经网络对待识别图像进行识别得到对应的识别结果并反馈至所述客户端。本发明基于神经网络技术，通过包含第一偏置域及第二偏置域的可变形卷积神经网络，采用可变形卷积对待识别图像进行识别，可对待识别图像中像素不连续的待识别图形进行识别，大幅提升了对图像中所包含的不规则图形进行识别的精准度。

Description

基于可变形卷积的图像识别方法、装置、计算机设备
技术领域
本发明涉及神经网络技术的技术领域，尤其涉及一种基于可变形卷积的图像识别方法、装置、计算机设备及存储介质。
背景技术
随着人工智能的发展，图像识别技术被应用在越来越多的领域中，现有的图像识别技术均是基于卷积神经网络实现的，其通常是由卷积层、池化层和全连接层组成，现有的图像识别技术在图像中被识别图形的形状较为规则时适用性良好，在图像中被识别图形的形状不规则时，无法得到精确的识别结果，例如，若车辆外观的图像中包含车辆划痕，由于车辆划痕通常呈长条形，其形状不规则且划痕区域在整个图像中的占比通常低于10％，因此采用传统的图像识别技术对图像中车辆划痕的区域进行识别时，无法对车辆划痕的区域进行精确识别，也即是无法得到精确的识别结果。因而，现有技术方法存在无法对图像中所包含的不规则图形进行精确识别的问题。
发明内容
本发明实施例提供了一种基于可变形卷积的图像识别方法、装置、计算机设备及存储介质，旨在解决现有的现有技术方法所存在的无法对图像中所包含的不规则图形进行精确识别的问题。
第一方面，本发明实施例提供了一种基于可变形卷积的图像识别方法，其包括：
若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像；
根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整；
根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像；
根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络；
若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
第二方面，本发明实施例提供了一种基于可变形卷积的图像识别装置，其包括：
训练图像获取单元，用于若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像；
第一偏置域调整单元，用于根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整；
训练特征图像获取单元，用于根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像；
第二偏置域调整单元，用于根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络；
待识别图像识别单元，用于若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于可变形卷积的图像识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于可变形卷积的图像识别方法。
本发明实施例提供了一种基于可变形卷积的图像识别方法、装置、计算机设备。采用一张训练图像对第一偏置域进行调整，根据第一偏置域及卷积层对该训练图像进行可变形卷积得到训练特征图像，根据训练特征图像及训练图像对第二偏置域进行调整得到训练后的可变形卷积神经网络，根据多次训练后的可变形卷积神经网络对待识别图像进行识别得到对应的识别结果，通过包含第一偏置域及第二偏置域的可变形卷积神经网络，采用可变形卷积对待识别图像进行识别，可对待识别图像中像素不连续的待识别图形进行识别，大幅提升了对图像中所包含的不规则图形进行识别的精准度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于可变形卷积的图像识别方法的流程示意图；
图2为本发明实施例提供的基于可变形卷积的图像识别方法的应用场景示意图；
图3为本发明实施例提供的基于可变形卷积的图像识别方法的子流程示意图；
图4为本发明实施例提供的基于可变形卷积的图像识别方法的另一子流程示意图；
图5为本发明实施例提供的基于可变形卷积的图像识别方法的另一子流程示意图；
图6为本发明实施例提供的基于可变形卷积的图像识别装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本发明实施例提供的基于可变形卷积的图像识别方法的流程示意图；图2为本发明实施例提供的基于可变形卷积的图像识别方法的应用场景示意图。该基于可变形卷积的图像识别方法应用于管理服务器10中，该方法通过安装于管理服务器10中的应用软件进行执行，管理服务器10通过与客户端20建立网络连接以与客户端20进行通信，客户端20的使用者可通过客户端发送待识别图像至管理服务器10，管理服务器10执行基于可变形卷积的图像识别方法以对来自客户端的待识别图像进行识别并向该客户端反馈对应的识别结果，其中，管理服务器10即是用于执行基于可变形卷积的图像识别方法的企业终端，客户端20即是用于发送待识别图像的终端设备，客户端20可以是台式电脑、笔记本电脑、平板电脑或手机等。图2中仅仅示意出一台客户端20与管理服务器10进行数据信息传输，在实际应用中，管理服务器10也可与多台客户端20同时进行数据信息传输。
如图1所示，该方法包括步骤S110～S150。
S110、若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像。
若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像。其中，训练图像集即是管理服务器中所预存的用于对可变形卷积神经网络进行训练的图像集，用户可以是管理服务器的管理员，训练图像集中包含多张尺寸相同的图像，训练图像集中的图像的尺寸可以是可变形卷积神经网络中所配置的尺寸参数。训练图像集中的每一张图像均可作为训练图像对可变形卷积神经网络进行训练，一张训练图像可对可变形卷积神经网络进行一次训练，多张训练图像可实现对可变形卷积神经网络进行多次迭代训练。每一图像包含对应的目标框及目标分类系数，与图像对应的目标框及目标分类系数即为将该图像输入上述可变形卷积神经网络后所期望得到的目标结果，目标框及目标分类系数也即是对可变形卷积神经网络进行训练时的训练目标，图像的目标框及目标分类系数可在添加该图像至训练图像集时由用户预先配置得到，其中，目标框可采用矩形框进行表示，目标分类系数的取值范围为[0，1]。
例如，若可变形卷积神经网络用于对车辆外观图像中是否包含划痕进行识别，则训练图像集中包含的图像均为包含划痕的车辆外观图像，图像的目标框即为该图像中划痕的区域范围，划痕的区域范围可采用矩形框进行表示，图像的目标分类系数即为该图像中划痕的严重程度，若目标分类系数为1则表明该图像中划痕最严重。
上述的可变形卷积神经网络(Deformable Convolutional Network，DCN)即为对图像进行识别的神经网络，所述可变形卷积神经网络包括第一偏置域、卷积层、第二偏置域及全连接层，第一偏置域及卷积层组合成为可变形卷积神经网络的一个可变形卷积层，可变形卷积神经网络相比于传统的卷积神经网络(Convolutional Neural Network，CNN)增加了偏置域，通过其中所包含的偏置域及卷积层即可对图像进行可变形卷积，可变形卷积可适用于对图像中像素不连续的待识别图形进行识别，也即是可以实现可对图像中所包含的不规则图形进行识别，大幅提升了对图像中所包含的不规则图形进行识别的精确性，解决了传统技术方法中对图像所包含的不规则图形进行精确识别的问题。
S120、根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整。
根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整。将训练图像输入可变形卷积神经网络，以训练图像的目标框作为训练目标对第一偏置域中的参数值进行调整，得到调整参数值的第一偏置域，第一偏置域中包含与训练图像对应的多个偏置矩阵，偏置矩阵中包含多个单元，每一单元均对应一组参数值。
在一具体的实施例中，如图3所示，步骤S120包括子步骤S121、S122、S123和S124。
S121、根据所述第一偏置域中所包含的偏置矩阵对所述训练图像进行卷积以得到所述训练图像的第一特征点信息。
根据所述第一偏置域中所包含的偏置矩阵对所述训练图像进行卷积以得到所述训练图像的第一特征点信息。通过第一偏置域中的偏置矩阵即可对训练图像中的像素进行卷积，得到对应的第一特征点信息，基于训练图像中像素点的坐标值及对应的偏置矩阵，即可计算得到与该像素点对应的一个或多个特征点的坐标值，获取每一偏置矩阵对应计算得到的多个特征点的坐标值即可得到第一特征点信息，第一偏置域中的每一个偏置矩阵可对应图像中的一像素点，图像中每一像素点可对应一个偏置矩阵；或图像中部分特定的每一像素点对应一个偏置矩阵，例如，图像中坐标值满足奇数行、偶数列的每一个像素点对应一个偏置矩阵，图像中其它的像素点不与第一偏置域中任意的偏置矩阵相对应。
例如，第一偏置域中某一偏置矩阵为3×3矩阵，该偏置矩阵与训练图像中对应的一个像素点的坐标点为(29，75)，该偏置矩阵中所包含的参数值如表1所示。
-5，1 1，2 2，3
-4，-2 0，1 3，1
-3，-3 0，-2 1，-1
表1
根据上述相似的坐标点及表1所示的偏置矩阵，计算得到该像素对应的九个特征点的坐标值如表2所示。
24，76 30，77 31，78
25，73 29，76 32，76
26，72 29，73 30，74
表2
S122、根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框。
根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框。所得到的第一特征点信息中包含多个特征点的坐标值信息，可变形卷积神经网络中配置有伪框生成规则，伪框生成规则即可根据第一特征点信息中所包含的多个特征点的坐标值信息生成对应的第一伪框，第一伪框可采用矩形框进行表示。伪框生成规则可以采用多种实施方式中的任意一种。
根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框，包括：从所述第一特征点信息中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。具体的，从第一特征点信息中分别获取最上侧、最左侧、最右侧、最下侧的坐标点的坐标值，并生成对应的第一伪框，也即是生成第一特征点信息中所有特征点的绝对外界矩形框作为第一伪框，第一特征点信息中所有的特征点均包含于第一伪框内。
根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框，还可以包括：从所述第一特征点信息中随机获取部分特征点组成特征点集，从所述特征点集中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。具体的，从第一特征点信息中所包含的特征点中随机获取部分特征点组成特征点集，例如，若第一特征点信息中包含150个特征点，可随机选取其中的75个特征点组成特征点集。从特征点集中分别获取最上侧、最左侧、最右侧、最下侧的坐标点的坐标值，并生成对应的第一伪框，与方法a不同的是，第一特征点信息中所包含的部分特征点处于第一伪框外，可将第一特征点信息中所包含的部分噪声特征点排除在第一伪框之外。
根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框，还可以包括：计算所述第一特征点信息中所有特征点的坐标值的均值及方差，以坐标值的均值为中心点以坐标值的方差为边界生成与所述第一特征点信息对应的第一伪框。具体的，分别计算第一特征点信息中所有特征点的横坐标的均值及方差、纵坐标的均值及方差，以特征点的横坐标的均值及纵坐标的均值作为第一伪框的中心点的坐标值，以横坐标的方差作为中心点与第一伪框左侧边界及右侧边界之间的距离，以纵坐标的方差作为中心点与第一伪框上侧边界及下侧边界之间的距离，即可生成与第一特征点信息对应的第一伪框。
S123、根据所述可变形卷积神经网络所配置的第一损失函数、所述第一伪框及所述训练图像的目标框计算得到对应的第一损失值。
根据所述可变形卷积神经网络所配置的第一损失函数、所述第一伪框及所述训练图像的目标框计算得到对应的第一损失值。具体的，根据第一损失函数对第一伪框中所包含像素的坐标值及目标框中所包含像素的坐标值进行计算，即可得到第一损失值S1。第一损失函数可以采用以下公式进行表示：
Figure BDA0002470028760000071
Figure BDA0002470028760000081
公式(1)中，ti为第一伪框中第i个像素点的横坐标，ti *为目标框中第i个像素点的横坐标；ri为第一伪框中第i个像素点的纵坐标，ri *为目标框中第i个像素点的纵坐标。
S124、根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整。
根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整。根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整以得到调整后的所述第一偏置域。具体的，将第一偏置域中一个偏置矩阵的一个单元对训练图像中对应的像素点进行卷积后所得到的特征点的坐标值输入梯度计算公式，并结合上述损失值及该单元的原始值，即可计算得到该单元中每一参数的更新值，这一计算过程也即为梯度下降计算。
具体的，梯度计算公式可表示为：
Figure BDA0002470028760000082
公式(3)中，
Figure BDA0002470028760000083
为计算得到的参数x的更新值，ωx为参数x的原始值，η为梯度计算公式中预置的学习率，
Figure BDA0002470028760000084
为基于损失值S及计算所得到的特征点的横坐标或纵坐标对参数x的偏导值(这一计算过程中需使用卷积后所得到的特征点的坐标值)。
例如，某一偏置矩阵中某一单元的参数值为(-5，1)，根据该单元对训练图像中对应的像素点进行卷积后所得特征点的坐标值为(24，76)，学习率η＝0.2，基于损失值及特征点的横坐标24对参数-5的偏导值为0.5，基于损失值及特征点的纵坐标76对参数1的偏导值为1.5，则该单元中第一个参数的更新值为：
Figure BDA0002470028760000085
第二个参数的更新值为：
Figure BDA0002470028760000086
根据上述方法，即可对第一偏置域中所包含的每一参数值进行一次调整，也即是完成对可变形卷积神经网络的第一偏置域中所有偏置矩阵的参数值进行一次调整。
S130、根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像。
根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像。对第一偏置域中参数值进行调整后，即可根据调整后的第一偏置域及卷积层对训练图像进行可变形卷积，得到对应的训练特征图像。具体的，卷积层中包含多个卷积核，通过卷积核即可对训练图像中某一像素点及与该像素点相邻的多个像素点作为采样点进行卷积处理，得到对应的卷积处理结果；可变形卷积则在进行卷积操作是添加了对应的偏置矩阵，偏置矩阵与卷积核的大小相同，在对训练图像中某一像素点进行可变形卷积操作时，先根据与该像素点对应的偏置矩阵计算得到多个特征点作为采样点，再基于卷积核对采样点的像素值进行卷积操作，得到对应的可变形卷积处理结果，图像中像素点的像素值可以是该像素点的灰度值(0～255)，也可以是该像素点在红(R)、绿(G)、蓝(B)三个颜色通道所对应的三个亮度值(0～255)。对训练图像中的多个像素点进行上述可变形卷积操作，即可得到对应的训练特征图像。
例如，卷积层中包含3×3的卷积核，则通过该卷积核对训练图像中坐标值为(29，75)的像素点进行卷积处理时，会以训练图像中该像素点作为卷积处理的中心点，以该像素点及与该像素点相邻的8个像素点共9个像素点作为采样点进行卷积操作，得到对应的卷积处理结果。进变形形卷积操作时，则会调整卷积核所使用的采样点，具体的，若表1中的数值作为对应的偏置矩阵，则根据该偏置矩阵对坐标值为(29，75)的像素点进行计算，得到如表2所述的9个像素点作为采样点，根据卷积核对采样点的像素值进行卷积操作，即可得到对应的可变形卷积处理结果。
S140、根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络。
根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络。可变形卷积神经网络中还包括第二偏置域及全连接层，第二偏置域中包含与训练特征图像对应的多个偏置矩阵，每一偏置矩阵中包含多个单元，每一单元均对应一组参数值，第二偏置域与第一偏置域的使用功能不相同，两者所包含的参数值也存在差异；全连接层可用于计算训练特征图像的预测分类系数，将训练特征图像输入可变形卷积神经网络，以训练图像的目标框及目标分类系数作为训练目标对第二偏置域及全连接层中的参数值进行调整，即可得到进行一次训练后的可变形卷积神经网络，可重复上述方法以对可变形卷积神经网络进行多次训练。
在一具体的实施例中，如图4所示，步骤S140包括子步骤S141、S142、S143、S144和S145。
S141、根据所述全连接层对所述训练特征图像进行计算以获取对应的预测分类系数。
根据所述全连接层对所述训练特征图像进行计算以获取对应的预测分类系数。预测分类系数的取值范围为[0，1]，全连接层中包含多个输入节点、一个或多个中间层及一个输出节点，每一中间层中均包含多个特征单元，每一特征单元均通过输入公式与输入节点或其他特征单元相连接，每一特征单元还通过输出公式与输出节点相连接，其中，输入公式或输出公式可表示为：
y＝a×X+b(4)；
其中，a及b为公式中的参数值，y为计算值，x为输入值
输出节点的输出值的计算公式可表示为：
Figure BDA0002470028760000101
其中，aj为全连接层中最后一个中间层的第j个特征单元的加权值，hj为全连接层中最后一个中间层的第j个特征单元的计算值，N为全连接层中最后一个中间层所包含的特征单元的数量。
每一输入节点均对应训练特征图像中一个像素点的像素值，将训练特征图像中每一像素点的像素值作为输入节点的输入值输入全连接层，通过其中的输入公式、输出公式及输出值的计算公式即可计算得到输出节点对应的输出值，输出值即为与训练特征图像对应的预测分类系数。
S142、根据所述第二偏置域中所包含的偏置矩阵对所述训练特征图像进行卷积以得到所述训练特征图像的第二特征点信息。
根据所述第二偏置域中所包含的偏置矩阵对所述训练特征图像进行卷积以得到所述训练特征图像的第二特征点信息。通过第二偏置域中的偏置矩阵即可对训练特征图像中的像素进行卷积，得到对应的第二特征点信息。所得到的第二特征点信息中包含多个特征点的坐标值信息，获取第二特征点信息的处理过程与上述获取第一特征点信息的处理过程相同，在此不作赘述。
S143、根据所述伪框生成规则生成与所述第二特征点信息对应的第二伪框。
根据所述伪框生成规则生成与所述第二特征点信息对应的第二伪框。可变形卷积神经网络中配置有伪框生成规则，伪框生成规则即可根据第二特征点信息中所包含的多个特征点的坐标值信息生成对应的第二伪框，第二伪框可采用矩形框进行表示，获取第二伪框的处理过程与获取第一伪框的处理过程相同，在此不作赘述。
S144、根据所述可变形卷积神经网络所配置的第二损失函数、所述第二伪框、所述预测分类系数、所述训练图像的目标框及所述训练图像的目标分类系数计算得到对应的第二损失值。
根据所述可变形卷积神经网络所配置的第二损失函数、所述第二伪框、所述预测分类系数、所述训练图像的目标框及所述训练图像的目标分类系数计算得到对应的第二损失值。根据第二损失函数对第二伪框、预测分类系数、训练图像的目标框及目标分类系数进行计算，即可得到第二损失值S2。第二损失函数可采用以下公式进行表示：
Figure BDA0002470028760000111
Lcls(p，p*)＝-log[p*Xp+(1-p*)X(1-p)] (7)；
公式(6)中，ti为第二伪框中第i个像素点的横坐标，ti *为目标框中第i个像素点的横坐标；ri为第二伪框中第i个像素点的纵坐标，ri *为目标框中第i个像素点的纵坐标，p为预测分类系数，p*为目标分类系数，wcls及wreg均为公式中预设的权重值，其中，Lreg的表达式如公式(2)所示。
S145、根据所述梯度计算公式及所述第二损失值对所述第二偏置域中所包含的偏置矩阵的参数值及所述全连接层中的参数值进行调整以得到训练后的所述可变形卷积神经网络。
根据所述梯度计算公式及所述第二损失值对所述第二偏置域中所包含的偏置矩阵的参数值及所述全连接层中的参数值进行调整以得到训练后的所述可变形卷积神经网络。对第二偏置域及全连接层中的参数值进行调整的过程与上述对第一偏置域中的参数进行调整的过程相同，在此不作赘述。
S150、若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。具体的，客户端可将待识别图像发送至管理服务器，经过训练后的可变形卷积神经网络对该待识别图像进行识别后，即可得到对应的识别结果，管理服务器可将识别结果反馈至该客户端，待识别图像可以是包含划痕的车辆外观图像，或其他包含形状不规则图形的图像。其中，所述识别结果包括分类系数及识别区域，识别区域即是从待识别图像中所识别得到的不规则图形所对应的精确位置信息，分类系数即是用于该不规则图形进行分类的系数值。训练后的可变形卷积神经网络包括第一偏置域、卷积层、第二偏置域及全连接层，其中第一偏置域及卷积层可对输入可变形卷积神经网络的待识别图像进行可变形卷积处理得到处理后的图像，经过处理后的图像可用于指示该待识别图像中所包含的不规则图形的大致位置，第二偏置域可对经过处理后的图像再次进行卷积操作，得到一个用于指示该不规则图形在该待识别图像中的精确位置的识别区域；全连接层可对经过处理后的图像进行计算以得到对应的分类系数。
在一具体的实施例中，如图5所示，步骤S150包括子步骤S151、S152、S153、S154、S155和S156。
S151、根据所述可变形卷积神经网络所配置的尺寸参数对所述待识别图像的尺寸进行调整，以得到调整后的所述待识别图像。
根据所述可变形卷积神经网络所配置的尺寸参数对所述待识别图像的尺寸进行调整，以得到调整后的所述待识别图像。在对待识别图像进行识别之前，还需根据可变形卷积神经网络所配置的尺寸参数对待识别图像的尺寸进行调整，可根据所配置的尺寸参数对待识别图像进行放大或缩小，以是调整后的待识别图像符合可变形卷积神经网络对图像进行识别处理的尺寸要求。
S152、根据所述可变形卷积神经网络中的所述第一偏置域及所述卷积层对调整后的所述待识别图像进行可变形卷积以得到与所述待识别图像对应的特征图像。
根据所述可变形卷积神经网络中的所述第一偏置域及所述卷积层对调整后的所述待识别图像进行可变形卷积以得到与所述待识别图像对应的特征图像。第一偏置域及卷积层即组合成为可变形卷积神经网络的一个可变形卷积层，根据第一偏置域及卷积层对即可对调整后的所述待识别图像进行可变形卷积处理，得到对应的特征图像。具体的，根据第一偏置域及卷积层对调整后的待识别图像进行可变形卷积的处理过程与获取训练特征图像的处理过程相同，在此不作赘述。
S153、根据所述全连接层对所述特征图像进行计算以获取对应的分类系数。
根据所述全连接层对所述特征图像进行计算以获取对应的分类系数。全连接层中包含多个输入节点、一个或多个中间层及一个输出节点；将特征图像中每一像素点的像素值作为输入节点的输入值输入全连接层，通过其中的输入公式、输出公式及输出值的计算公式即可计算得到输出节点对应的输出值，输出值即为与该特征图像对应的分类系数，分类系数的取值范围为[0，1]。
S154、根据所述第二偏置域中所包含的偏置矩阵对所述特征图像进行卷积以得到所述特征图像的识别特征点信息。
根据所述第二偏置域中所包含的偏置矩阵对所述特征图像进行卷积以得到所述特征图像的识别特征点信息。通过第二偏置域中的偏置矩阵即可对特征图像中的像素进行卷积，得到对应的识别特征点信息。所得到的识别特征点信息中包含多个特征点的坐标值信息，获取识别特征点信息的处理过程与上述获取第一特征点信息的处理过程相同，在此不作赘述。
S155、根据所述伪框生成规则生成与所述识别特征点信息对应的识别区域。
根据所述伪框生成规则生成与所述识别特征点信息对应的识别区域。可变形卷积神经网络中配置有伪框生成规则，伪框生成规则即可根据识别特征点信息中所包含的多个特征点的坐标值信息生成对应的识别区域，识别区域可采用矩形框进行表示，获取识别区域的处理过程与获取第一伪框的处理过程相同，在此不作赘述。
S156、将所述分类系数及所述识别区域作为所述待识别图像的识别结果反馈至所述客户端。
将所述分类系数及所述识别区域作为所述待识别图像的识别结果反馈至所述客户端。所得到的待识别图像的识别结果中包含分类系数及识别区域，管理服务器可将对应的识别结果反馈至客户端。
例如，若可变形卷积神经网络用于对待识别图像中是否包含划痕进行识别，所得到的识别区域即为该待识别图像中划痕的精确区域范围，划痕的区域范围可采用矩形框进行表示，所得到的分类系数即为该待识别图像的识别区域中划痕的严重程度。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含图像识别的场景中，从而推动智慧城市的建设。
在本发明实施例所提供的基于可变形卷积的图像识别方法中，采用一张训练图像对第一偏置域进行调整，根据第一偏置域及卷积层对该训练图像进行可变形卷积得到训练特征图像，根据训练特征图像及训练图像对第二偏置域进行调整得到训练后的可变形卷积神经网络，根据多次训练后的可变形卷积神经网络对待识别图像进行识别得到对应的识别结果，通过包含第一偏置域及第二偏置域的可变形卷积神经网络，采用可变形卷积对待识别图像进行识别，可对待识别图像中像素不连续的待识别图形进行识别，大幅提升了对图像中所包含的不规则图形进行识别的精准度。
本发明实施例还提供一种基于可变形卷积的图像识别装置，该基于可变形卷积的图像识别装置用于执行前述基于可变形卷积的图像识别方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的基于可变形卷积的图像识别装置的示意性框图。该基于可变形卷积的图像识别装置可以配置于管理服务器10中。
如图6所示，基于可变形卷积的图像识别装置100包括：训练图像获取单元110、第一偏置域调整单元120、训练特征图像获取单元130、第二偏置域调整单元140和待识别图像识别单元150。
训练图像获取单元110，用于若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像。
第一偏置域调整单元120，用于根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整。
在一具体的实施例中，所述第一偏置域调整单元120包括：第一特征点信息获取单元、第一伪框获取单元、第一损失值获取单元和第一参数值调整单元。
第一特征点信息获取单元，用于根据所述第一偏置域中所包含的偏置矩阵对所述训练图像进行卷积以得到所述训练图像的第一特征点信息；第一伪框获取单元，用于根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框；第一损失值获取单元，用于根据所述可变形卷积神经网络所配置的第一损失函数、所述第一伪框及所述训练图像的目标框计算得到对应的第一损失值；第一参数值调整单元，用于根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整。
训练特征图像获取单元130，用于根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像。
第二偏置域调整单元140，用于根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络。
在一具体的实施例中，所述第二偏置域调整单元140包括：预测分类系数获取单元、第二特征点信息获取单元、第二伪框获取单元、第二损失值获取单元和第二参数值调整单元。
预测分类系数获取单元，用于根据所述全连接层对所述训练特征图像进行计算以获取对应的预测分类系数；第二特征点信息获取单元，用于根据所述第二偏置域中所包含的偏置矩阵对所述训练特征图像进行卷积以得到所述训练特征图像的第二特征点信息；第二伪框获取单元，用于根据所述伪框生成规则生成与所述第二特征点信息对应的第二伪框；第二损失值获取单元，用于根据所述可变形卷积神经网络所配置的第二损失函数、所述第二伪框、所述预测分类系数、所述训练图像的目标框及所述训练图像的目标分类系数计算得到对应的第二损失值；第二参数值调整单元，用于根据所述梯度计算公式及所述第二损失值对所述第二偏置域中所包含的偏置矩阵的参数值及所述全连接层中的参数值进行调整以得到训练后的所述可变形卷积神经网络。
待识别图像识别单元150，用于若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
在一具体的实施例中，所述待识别图像识别单元150包括：尺寸调整单元、特征图像获取单元、分类系数获取单元、识别特征点信息获取单元、识别区域获取单元和识别结果反馈单元。
尺寸调整单元，用于根据所述可变形卷积神经网络所配置的尺寸参数对所述待识别图像的尺寸进行调整，以得到调整后的所述待识别图像；特征图像获取单元，用于根据所述可变形卷积神经网络中的所述第一偏置域及所述卷积层对调整后的所述待识别图像进行可变形卷积以得到与所述待识别图像对应的特征图像；分类系数获取单元，用于根据所述全连接层对所述特征图像进行计算以获取对应的分类系数；识别特征点信息获取单元，用于根据所述第二偏置域中所包含的偏置矩阵对所述特征图像进行卷积以得到所述特征图像的识别特征点信息；识别区域获取单元，用于根据所述伪框生成规则生成与所述识别特征点信息对应的识别区域；识别结果反馈单元，用于将所述分类系数及所述识别区域作为所述待识别图像的识别结果反馈至所述客户端。
在本发明实施例所提供的基于可变形卷积的图像识别装置应用上述基于可变形卷积的图像识别方法，采用一张训练图像对第一偏置域进行调整，根据第一偏置域及卷积层对该训练图像进行可变形卷积得到训练特征图像，根据训练特征图像及训练图像对第二偏置域进行调整得到训练后的可变形卷积神经网络，根据多次训练后的可变形卷积神经网络对待识别图像进行识别得到对应的识别结果，通过包含第一偏置域及第二偏置域的可变形卷积神经网络，采用可变形卷积对待识别图像进行识别，可对待识别图像中像素不连续的待识别图形进行识别，大幅提升了对图像中所包含的不规则图形进行识别的精准度。
上述基于可变形卷积的图像识别装置可以实现为计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。
参阅图7，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于可变形卷积的图像识别方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于可变形卷积的图像识别方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像；根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整；根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像；根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络；若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
在一实施例中，处理器502在执行根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整的步骤时，执行如下操作：根据所述第一偏置域中所包含的偏置矩阵对所述训练图像进行卷积以得到所述训练图像的第一特征点信息；根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框；根据所述可变形卷积神经网络所配置的第一损失函数、所述第一伪框及所述训练图像的目标框计算得到对应的第一损失值；根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整。
在一实施例中，处理器502在执行根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框的步骤时，执行如下操作：从所述第一特征点信息中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。
在一实施例中，处理器502在执行根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框的步骤时，执行如下操作：从所述第一特征点信息中随机获取部分特征点组成特征点集，从所述特征点集中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。
在一实施例中，处理器502在执行根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框的步骤时，执行如下操作：计算所述第一特征点信息中所有特征点的坐标值的均值及方差，以坐标值的均值为中心点以坐标值的方差为边界生成与所述第一特征点信息对应的第一伪框。
在一实施例中，处理器502在执行根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络的步骤时，执行如下操作：根据所述全连接层对所述训练特征图像进行计算以获取对应的预测分类系数；根据所述第二偏置域中所包含的偏置矩阵对所述训练特征图像进行卷积以得到所述训练特征图像的第二特征点信息；根据所述伪框生成规则生成与所述第二特征点信息对应的第二伪框；根据所述可变形卷积神经网络所配置的第二损失函数、所述第二伪框、所述预测分类系数、所述训练图像的目标框及所述训练图像的目标分类系数计算得到对应的第二损失值；根据所述梯度计算公式及所述第二损失值对所述第二偏置域中所包含的偏置矩阵的参数值及所述全连接层中的参数值进行调整以得到训练后的所述可变形卷积神经网络。
在一实施例中，处理器502在执行若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端的步骤时，执行如下操作：根据所述可变形卷积神经网络所配置的尺寸参数对所述待识别图像的尺寸进行调整，以得到调整后的所述待识别图像；根据所述可变形卷积神经网络中的所述第一偏置域及所述卷积层对调整后的所述待识别图像进行可变形卷积以得到与所述待识别图像对应的特征图像；根据所述全连接层对所述特征图像进行计算以获取对应的分类系数；根据所述第二偏置域中所包含的偏置矩阵对所述特征图像进行卷积以得到所述特征图像的识别特征点信息；根据所述伪框生成规则生成与所述识别特征点信息对应的识别区域；将所述分类系数及所述识别区域作为所述待识别图像的识别结果反馈至所述客户端。
本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像；根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整；根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像；根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络；若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
在一实施例中，所述根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整的步骤，包括：根据所述第一偏置域中所包含的偏置矩阵对所述训练图像进行卷积以得到所述训练图像的第一特征点信息；根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框；根据所述可变形卷积神经网络所配置的第一损失函数、所述第一伪框及所述训练图像的目标框计算得到对应的第一损失值；根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整。
在一实施例中，所述根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框的步骤，包括：从所述第一特征点信息中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。
在一实施例中，所述根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框的步骤，包括：从所述第一特征点信息中随机获取部分特征点组成特征点集，从所述特征点集中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。
在一实施例中，所述根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框的步骤，包括：计算所述第一特征点信息中所有特征点的坐标值的均值及方差，以坐标值的均值为中心点以坐标值的方差为边界生成与所述第一特征点信息对应的第一伪框。
在一实施例中，所述根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络的步骤，包括：根据所述全连接层对所述训练特征图像进行计算以获取对应的预测分类系数；根据所述第二偏置域中所包含的偏置矩阵对所述训练特征图像进行卷积以得到所述训练特征图像的第二特征点信息；根据所述伪框生成规则生成与所述第二特征点信息对应的第二伪框；根据所述可变形卷积神经网络所配置的第二损失函数、所述第二伪框、所述预测分类系数、所述训练图像的目标框及所述训练图像的目标分类系数计算得到对应的第二损失值；根据所述梯度计算公式及所述第二损失值对所述第二偏置域中所包含的偏置矩阵的参数值及所述全连接层中的参数值进行调整以得到训练后的所述可变形卷积神经网络。
在一实施例中，所述若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端的步骤，包括：根据所述可变形卷积神经网络所配置的尺寸参数对所述待识别图像的尺寸进行调整，以得到调整后的所述待识别图像；根据所述可变形卷积神经网络中的所述第一偏置域及所述卷积层对调整后的所述待识别图像进行可变形卷积以得到与所述待识别图像对应的特征图像；根据所述全连接层对所述特征图像进行计算以获取对应的分类系数；根据所述第二偏置域中所包含的偏置矩阵对所述特征图像进行卷积以得到所述特征图像的识别特征点信息；根据所述伪框生成规则生成与所述识别特征点信息对应的识别区域；将所述分类系数及所述识别区域作为所述待识别图像的识别结果反馈至所述客户端。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
所述计算机可读存储介质为实体的、非瞬时性的存储介质，所述计算机可读存储介质可以是前述设备的内部存储单元，例如设备的硬盘或内存等实体存储介质。所述存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等实体存储介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于可变形卷积的图像识别方法，应用于管理服务器，所述管理服务器至少与一客户端进行通信，其特征在于，所述方法包括：
若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像；
根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整；
根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像；
根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络；
若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
2.根据权利要求1所述的基于可变形卷积的图像识别方法，其特征在于，所述根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整，包括：
根据所述第一偏置域中所包含的偏置矩阵对所述训练图像进行卷积以得到所述训练图像的第一特征点信息；
根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框；
根据所述可变形卷积神经网络所配置的第一损失函数、所述第一伪框及所述训练图像的目标框计算得到对应的第一损失值；
根据所述可变形卷积神经网络所配置的梯度计算公式及所述第一损失值对所述第一偏置域中所包含的偏置矩阵的参数值进行调整。
3.根据权利要求2所述的基于可变形卷积的图像识别方法，其特征在于，所述根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框，包括：
从所述第一特征点信息中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。
4.根据权利要求2所述的基于可变形卷积的图像识别方法，其特征在于，所述根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框，包括：
从所述第一特征点信息中随机获取部分特征点组成特征点集，从所述特征点集中获取最外侧的特征点的坐标值以生成与所述第一特征点信息对应的第一伪框。
5.根据权利要求2所述的基于可变形卷积的图像识别方法，其特征在于，所述根据所述可变形卷积神经网络所配置的伪框生成规则生成与所述第一特征点信息对应的第一伪框，包括：
计算所述第一特征点信息中所有特征点的坐标值的均值及方差，以坐标值的均值为中心点以坐标值的方差为边界生成与所述第一特征点信息对应的第一伪框。
6.根据权利要求2所述的基于可变形卷积的图像识别方法，其特征在于，所述根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络，包括：
根据所述全连接层对所述训练特征图像进行计算以获取对应的预测分类系数；
根据所述第二偏置域中所包含的偏置矩阵对所述训练特征图像进行卷积以得到所述训练特征图像的第二特征点信息；
根据所述伪框生成规则生成与所述第二特征点信息对应的第二伪框；
根据所述可变形卷积神经网络所配置的第二损失函数、所述第二伪框、所述预测分类系数、所述训练图像的目标框及所述训练图像的目标分类系数计算得到对应的第二损失值；
根据所述梯度计算公式及所述第二损失值对所述第二偏置域中所包含的偏置矩阵的参数值及所述全连接层中的参数值进行调整以得到训练后的所述可变形卷积神经网络。
7.根据权利要求2所述的基于可变形卷积的图像识别方法，其特征在于，所述识别结果包括分类系数及识别区域，所述根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端，包括：
根据所述可变形卷积神经网络所配置的尺寸参数对所述待识别图像的尺寸进行调整，以得到调整后的所述待识别图像；
根据所述可变形卷积神经网络中的所述第一偏置域及所述卷积层对调整后的所述待识别图像进行可变形卷积以得到与所述待识别图像对应的特征图像；
根据所述全连接层对所述特征图像进行计算以获取对应的分类系数；
根据所述第二偏置域中所包含的偏置矩阵对所述特征图像进行卷积以得到所述特征图像的识别特征点信息；
根据所述伪框生成规则生成与所述识别特征点信息对应的识别区域；
将所述分类系数及所述识别区域作为所述待识别图像的识别结果反馈至所述客户端。
8.一种基于可变形卷积的图像识别装置，其特征在于，包括：
训练图像获取单元，用于若接收到用户所输入的可变形卷积神经网络，从预存的训练图像集中获取一张图像作为对所述可变形卷积神经网络进行训练的训练图像；
第一偏置域调整单元，用于根据所述训练图像及所述训练图像的目标框对所述可变形卷积神经网络的第一偏置域的参数值进行调整；
训练特征图像获取单元，用于根据调整后的所述第一偏置域及所述可变形卷积神经网络的卷积层对所述训练图像进行可变形卷积以得到与所述训练图像对应的训练特征图像；
第二偏置域调整单元，用于根据所述训练特征图像、所述训练图像的目标框及目标分类系数对所述可变形卷积神经网络的第二偏置域及全连接层中的参数值进行调整，以得到进行训练后的所述可变形卷积神经网络；
待识别图像识别单元，用于若接收到来自客户端的待识别图像，根据多次训练后的所述可变形卷积神经网络对所述待识别图像进行识别以获取所述待识别图像的识别结果并反馈至所述客户端。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于可变形卷积的图像识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7中任一项所述的基于可变形卷积的图像识别方法。
CN202010345847.9A 2020-04-27 2020-04-27 基于可变形卷积的图像识别方法、装置、计算机设备 Active CN111695592B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010345847.9A CN111695592B (zh) 2020-04-27 2020-04-27 基于可变形卷积的图像识别方法、装置、计算机设备
PCT/CN2020/131756 WO2021218140A1 (zh) 2020-04-27 2020-11-26 基于可变形卷积的图像识别方法、装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345847.9A CN111695592B (zh) 2020-04-27 2020-04-27 基于可变形卷积的图像识别方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
CN111695592A true CN111695592A (zh) 2020-09-22
CN111695592B CN111695592B (zh) 2024-07-09

Family

ID=72476727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345847.9A Active CN111695592B (zh) 2020-04-27 2020-04-27 基于可变形卷积的图像识别方法、装置、计算机设备

Country Status (2)

Country Link
CN (1) CN111695592B (zh)
WO (1) WO2021218140A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
WO2021218140A1 (zh) * 2020-04-27 2021-11-04 平安科技（深圳）有限公司 基于可变形卷积的图像识别方法、装置、计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564025A (zh) * 2018-04-10 2018-09-21 广东电网有限责任公司 一种基于可变形卷积神经网络的红外图像物体识别方法
US20190205747A1 (en) * 2017-12-30 2019-07-04 Intel Corporation Efficient convolution in machine learning environments
CN110781836A (zh) * 2019-10-28 2020-02-11 深圳市赛为智能股份有限公司 人体识别方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812B (zh) * 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN109409443A (zh) * 2018-11-28 2019-03-01 北方工业大学 一种基于深度学习的多尺度可变形卷积网络目标检测方法
CN111695592B (zh) * 2020-04-27 2024-07-09 平安科技（深圳）有限公司 基于可变形卷积的图像识别方法、装置、计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205747A1 (en) * 2017-12-30 2019-07-04 Intel Corporation Efficient convolution in machine learning environments
CN108564025A (zh) * 2018-04-10 2018-09-21 广东电网有限责任公司 一种基于可变形卷积神经网络的红外图像物体识别方法
CN110781836A (zh) * 2019-10-28 2020-02-11 深圳市赛为智能股份有限公司 人体识别方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218140A1 (zh) * 2020-04-27 2021-11-04 平安科技（深圳）有限公司 基于可变形卷积的图像识别方法、装置、计算机设备
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN112446862B (zh) * 2020-11-25 2021-08-10 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法

Also Published As

Publication number Publication date
CN111695592B (zh) 2024-07-09
WO2021218140A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
Manap et al. Non-distortion-specific no-reference image quality assessment: A survey
CN108549892B (zh) 一种基于卷积神经网络的车牌图像清晰化方法
CN108805828B (zh) 图像处理方法、装置、计算机设备和存储介质
CN112419242B (zh) 基于自注意力机制gan网络的无参考图像质量评价方法
CN109325589B (zh) 卷积计算方法及装置
CN109740721B (zh) 麦穗计数方法及装置
CN109460774B (zh) 一种基于改进的卷积神经网络的鸟类识别方法
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN111695592B (zh) 基于可变形卷积的图像识别方法、装置、计算机设备
CN111814804B (zh) 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置
CN110232326A (zh) 一种三维物体识别方法、装置及存储介质
WO2020165848A1 (en) Quality assessment of an image
CN115759148B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
Li et al. Blind image quality assessment based on joint log-contrast statistics
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN109447935B (zh) 红外图像处理方法、装置、计算机设备和可读存储介质
CN109712146B (zh) 一种基于直方图的em多阈值图像分割方法及装置
CN114898210A (zh) 一种基于神经网络的遥感图像目标识别方法
CN109784379A (zh) 纺织品图片特征库的更新方法和装置
CN113469091A (zh) 人脸识别方法、训练方法、电子设备及存储介质
CN111353597B (zh) 一种目标检测神经网络训练方法和装置
CN112189217A (zh) 使用深区域生长来分割图像中的不规则形状
CN109657083A (zh) 纺织品图片特征库的建立方法和装置
CN116051421A (zh) 基于多维度的内窥镜图像质量评价方法、装置、设备及介质
CN113838104B (zh) 基于多光谱与多模态图像一致性增强网络的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032040

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant