CN108960230B - 基于旋转矩形框的轻量化目标识别方法及装置 - Google Patents
基于旋转矩形框的轻量化目标识别方法及装置 Download PDFInfo
- Publication number
- CN108960230B CN108960230B CN201810549254.7A CN201810549254A CN108960230B CN 108960230 B CN108960230 B CN 108960230B CN 201810549254 A CN201810549254 A CN 201810549254A CN 108960230 B CN108960230 B CN 108960230B
- Authority
- CN
- China
- Prior art keywords
- target
- layer
- rectangular frame
- convolution
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000035945 sensitivity Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000000611 regression analysis Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000006467 substitution reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分析技术领域，具体提供了一种基于旋转区域的轻量化目标识别方法及装置。旨在解决现有技术目标识别算法复杂度高以及难以识别多个角度目标的问题。本发明提供了一种基于旋转矩形框的轻量化目标识别方法，包括基于预先构建的目标识别网络模型对输入图像进行目标识别，得到输入图像的目标类别。目标识别网络模型基于卷积神经网络构建，包括目标提取模块和目标识别模块。本发明通过合并压缩现有的卷积神经网络，减少了网络参数，降低了算法复杂度。
Description
技术领域
本发明属于图像分析技术领域，具体涉及一种基于旋转矩形框的轻量化目标识别方法及装置。
背景技术
遥感目标识别研究是计算机视觉领域中非常重要的基础研究，它是精确制导、武器防御、海情监测等军事***的关键组成部分，也是提升减灾应急、交通监管、渔业海事等民用***智能化的核心技术。在传统的遥感目标识别研究中，主要使用人工提取图像特征，比如LBP (Local Binary Patterns，局部二值特征)，HOG(Histogram of OrientedGradient，方向梯度直方图)等特征，然后将这些特征以向量形式输入到分类器进行分类，比如SVM(Support Vector Machine，支持向量机)、 AdaBoost等，但是由于传统的目标识别方法是通过人工提取特征，因此鲁棒性较差。
近年来，随着深度学习的应用普及极大地推进了目标识别算法的性能，如SSD(Single Shot MultiBox Detector，单向探测器)、Faster R-CNN等都在识别自然图像中取得令人满意的效果，这些深度学习算法通过组合低层特征形成更加抽象的高层表示属性类别或者特征，以发现数据的分布式特征表示。
但是现有技术的目标识别方法应用到遥感目标识别中会存在两个典型问题，第一是算法复杂度较高，现有技术的目标识别算法模型依赖于具有数百甚至数十亿参数的深度网络，传统CPU对如此庞大的网络一筹莫展，只有具有高计算能力的GPU才能让网络得以相对快速训练，对于存储和计算成本要求较高，对移动端不友好；第二是现有技术的目标识别方法只能识别水平矩形框，与自然图像相比，遥感图像中目标以各种角度随机出现，用传统水平矩形框不能紧凑地覆盖感兴趣目标，尤其是当目标并排出现时，用水平矩形框很难区分两个目标，从而影响到分类器性能。
因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术目标识别算法复杂度高以及难以识别多个角度目标的问题，本发明提供了一种基于旋转矩形框的轻量化目标识别方法，包括：
基于预先构建的目标识别网络模型对输入图像进行目标识别，得到所述输入图像的目标类别；
其中，
所述目标识别网络模型基于卷积神经网络构建，所述目标识别网络模型包括目标提取模块和目标识别模块；
所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域，基于预先构建的轻量化神经网络提取所述输入图像的特征图；
所述目标识别模块对所述候选区域与所述特征图进行特征提取，将提取到的特征进行坐标回归和目标分类，得到所述输入图像的目标类别。
在上述方法的优选技术方案中，所述目标提取模块包括多个旋转矩形框，“提取所述输入图像的特征图”的步骤包括：
通过多个所述旋转矩形框提取所述输入图像的特征图。
在上述方法的优选技术方案中，在“提取所述输入图像的特征图”之前，该方法还包括构建多个所述旋转矩形框，其步骤包括：
选取基础矩形框，将所述基础矩形框的长宽分别乘以比例系数，得到第一类矩形框；
对所述第一类矩形框进行长宽比变化，得到第二类矩形框；
将所述第二类矩形框的长宽分别乘以旋转角度，得到多个所述旋转矩形框。
在上述方法的优选技术方案中，在“提取所述输入图像的特征图”之前，该方法还包括对所述旋转矩形框进行回归预测，其步骤包括：
按如下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析，得到训练参数：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)
tx＝(Gx-Px)/Pw
ty＝(Gy-Py)/Ph
tw＝log(Gw/Pw)
th＝log(Gh/Ph)
ta＝(Ga-Pa)/(λ*180)
基于所述目标提取模块的训练参数，按如下式所示的方法预测所述训练样本集的候选区域：
其中，Lcls(p,u)表示分类任务目标损失函数，p表示预测的类别，u为训练样本的标注类别，λ表示常数，tu表示预测的坐标位置，v＝ (vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标， vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标，中心行坐标，宽度、高度和旋转角度，t＝(tx,ty,tw,th,ta)为预测向量，P＝(Px,Py,Pw,Ph,Pa) 表示感兴趣区域P对应的中心列坐标，中心行坐标，宽度、高度和旋转角度，G为P对应的标注样本，G＝(Gx,Gy,Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标，中心行坐标，宽度、高度和旋转角度，v表示真实的坐标位置，
表示感兴趣区域P预测的对应旋转矩形框向量值。
在上述方法的优选技术方案中，所述目标提取模块还用于压缩所述卷积神经网络的激活层和组合层，其步骤包括：
压缩所述激活层的步骤包括：按如下式所示的方法将所述激活层的negation层和concatenation层进行合并：
NC(x)＝[conv(x),conv(-x)]
其中，conv()表示卷积计算函数；
压缩所述组合层的步骤包括：按如下式所示的方法将所述组合层中1*1卷积核的参数与3*3卷积核的参数相加：
其中，W3*3、W1*1分别表示3*3和1*1的卷积核的参数，k表示行索引，s表示列索引，b3 *3、b1*1分别表示3*3和1*1的卷积核的偏置。
在上述方法的优选技术方案中，所述目标识别模块识别所述输入图像的目标类别的步骤包括：
利用所述目标识别模块的卷积核对所述图像特征进行卷积操作，生成N个位置敏感分数图；
将N个所述位置敏感分数图进行缩放，并对缩放后的位置敏感分数图进行网格划分；
将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理，得到N个特征图；
通过误差反向梯度传播算法对N个所述特征图进行反向处理，得到所述图像特征的目标类别；
其中，N为正整数。
本发明的第二方面提供了一种基于旋转矩形框的轻量化目标识别装置，包括：
目标识别网络模型，所述目标识别网络模型配置为对输入图像进行目标识别，得到所述输入图像的目标类别；
其中，
所述目标识别网络模型基于卷积神经网络构建，所述目标识别网络模型包括目标提取模块和目标识别模块；
所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域，基于预先构建的轻量化神经网络提取所述输入图像的特征图；
所述目标识别模块对所述候选区域与所述特征图进行特征提取，将提取到的特征进行坐标回归和目标分类，得到所述输入图像的目标类别。
在上述方案的优选技术方案中，所述目标提取模块包括多个旋转矩形框，多个所述旋转矩形框配置为提取所述输入图像的图像特征。
在上述方案的优选技术方案中，所述目标提取模块还包括旋转矩形框构建单元，所述旋转矩形框构建单元配置为：
选取基础矩形框，将所述基础矩形框的长宽分别乘以比例系数，得到第一类矩形框；
对所述第一类矩形框进行长宽比变化，得到第二类矩形框；
将所述第二类矩形框的长宽分别乘以旋转角度，得到多个所述旋转矩形框。
在上述方案的优选技术方案中，所述目标提取模块还包括回归预测单元，所述回归预测单元配置为：
按如下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析，得到所述目标提取模块的训练参数：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)
tx＝(Gx-Px)/Pw
ty＝(Gy-Py)/Ph
tw＝log(Gw/Pw)
th＝log(Gh/Ph)
ta＝(Ga-Pa)/(λ*180)
基于所述目标提取模块的训练参数，按如下式所示的方法预测所述训练样本集的候选区域：
其中，Lcls(p,u)表示分类任务目标损失函数，p表示预测的类别，u为训练样本的标注类别，λ表示常数，tu表示预测的坐标位置，v＝ (vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标， vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标，中心行坐标，宽度、高度和旋转角度，t＝(tx,ty,tw,th,ta)为预测向量，P＝(Px,Py,Pw,Ph,Pa) 表示感兴趣区域P对应的中心列坐标，中心行坐标，宽度、高度和旋转角度，G为P对应的标注样本，G＝(Gx,Gy,Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标，中心行坐标，宽度、高度和旋转角度，v表示真实的坐标位置，
表示感兴趣区域P预测的对应旋转矩形框向量值。
在上述方案的优选技术方案中，所述目标识别模块包括第一压缩单元和第二压缩单元，所述第一压缩单元配置为压缩所述卷积神经网络的激活层，所述第二压缩单元配置为压缩所述卷积神经网络的组合层；
所述第一压缩单元压缩所述激活层的步骤包括：按如下式所示的方法将所述激活层的negation层和concatenation层进行合并：
NC(x)＝[conv(x),conv(-x)]
其中，conv()表示卷积计算函数；
所述第二压缩单元压缩所述组合层的步骤包括：按如下式所示的方法将所述组合层中1*1卷积核的参数与3*3卷积核的参数相加：
其中，W3*3、W1*1分别表示3*3和1*1的卷积核的参数，k表示行索引，s表示列索引，b3 *3、b1*1分别表示3*3和1*1的卷积核的偏置。
在上述方案的优选技术方案中，所述目标识别模块包括卷积单元、网格划分单元、池化单元以及目标识别单元；
所述卷积单元配置为利用所述目标识别模块的卷积核对所述图像特征进行卷积操作，生成N个位置敏感分数图；
所述网格划分单元配置为将N个所述位置敏感分数图进行缩放，并对缩放后的位置敏感分数图进行网格划分；
所述池化单元配置为将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理，得到N个特征图；
所述目标识别单元配置为通过误差反向梯度传播算法对N 个所述特征图进行反向处理，得到所述图像特征的目标类别；
其中，N为正整数。
本发明的第三方面提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述所述的基于旋转矩形框的轻量化目标识别方法。
本发明的第四方面提供一种控制装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述所述的基于旋转矩形框的轻量化目标识别方法。
与最接近的现有技术相比，本发明的技术方案至少具有如下有益效果：
1、本发明通过改进现有的卷积神经网络，将现有的卷积神经网络的卷积层和归一化层合并，并且压缩激活层和组合层，可以减少卷积神经网络的参数，降低算法复杂度，满足了移动终端、嵌入式***等的低运算量要求；
2、本发明通过设计带有角度的旋转矩形框，可以提取输入图像中带有角度的目标，提高了目标识别的精度。
附图说明
图1为本发明一种实施例基于旋转矩形框的轻量化目标识别方法的主要步骤的流程示意图；
图2为本发明一种实施例构建轻量化目标识别网络模型压缩CRelu模块和组合卷积模块的示意图；
图3为本发明一种实施例位置敏感的旋转感兴趣区域池化层的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性的给出了本实施例中基于旋转矩形框的轻量化目标识别方法的主要步骤。如图1所示，本实施例中包括下述步骤：
步骤S1：构建轻量化目标识别网络模型；
由于传统神经网络的前部参数分布具有较强的负相关性，随着神经网络的深入，负相关性逐步减弱，以函数y＝w*x为例，x表示输入，w表示四维向量，y表示输出，传统神经网络的参数w的分布趋势为 w＝[-q,-p,+q,+p]，w中的参数成对立分布趋势，因此，随着输入增大，输出反而减小。在神经网络的前部，神经网络倾向于同时捕获正负相位的信息，但是传统神经网络的RELU(Rectified Linear Unit，修正线性单元) 模块会抹掉负相应，造成卷积核会存在冗余，即，RELU模块会抑制传统神经网络前部中小于0的部分，导致传统神经网络的卷积核中只有一半起作用，为了不损失原有的性能，需要相应地增加卷积核的数量，造成传统神经网络的参数量和运算量增加。在本发明实施例中，可以将神经网络最开始的3-5层算作前部，最后的3-5层算作后部，其余层数作为中部。
为了减少深度神经网络的参数量和运算量，本发明设计了一种轻量化目标识别网络模型，基于目标识别网络模型对输入图像进行目标识别，得到输入图像的目标类别，其中，目标识别网络模型包括目标提取模块和目标识别模块，目标提取模块基于目标提取函数构建，其中，目标提取函数可以是图像阈值化分割函数，也可以是HOG(Histogram ofOriented Gradient，方向梯度直方图)函数，除此之外，还可以是其他能够提取目标特征的函数，本发明在此不做限定。同样地，目标识别模块基于目标识别函数构建，其中，目标识别函数可以是BoW(Bag of words，词袋)函数，也可以是Partsand structure函数，除此之外，还可以是其他能够识别目标类别的函数，本发明在此不做限定。
在本发明实施例中，在卷积神经网络的前部采用激活层，激活层可以在不损失性能的前提下，输出与RELU模块同样维度的特征，但是只使用一半数量的卷积核，这样可以减少一半的参数量。在本发明实施例中，激活层可以是CRelu(concatenated rectifiedlinear unit，级联修正线性单元)模块，还可以是其他使用更少参数量的模块，在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。为了说明的方便，在接下来的描述中，以激活层为CRelu模块为例进行说明。
如图2所示，图2示例性地给出了构建轻量化目标识别网络模型压缩CRelu模块和组合卷积模块的示意图，在实际应用中，CRelu 模块中带有参数的层只有最顶端的卷积层，CRelu模块的negation层和 concatenation层只是对卷积的输出分别进行逻辑非和级联操作，无需学习参数，因为可以将上述两层进行合并，在卷积神经网络的前向传播过程中，可以省去网络分支以及合并过程中的空间和时间开销，提高运算速度。
具体的，压缩CRelu模块的方法具体如公式(1)所示：
NC(x)＝[conv(x),conv(-x)] (1)
其中，conv()表示卷积计算函数，x表示卷积层的输入。
因为卷积神经网络的前部卷积倾向于输出正负响应，但是为了减少运算量，希望减少正响应，因此将卷积核为正的正响应乘以-1，将处理结果替代原先的正响应。
进一步地，在网络中部，存在许多线性操作模块，如卷积神经网络的组合层，与网络前部类似的，多个组合层会增加网络分支的空间以及合并多个组合成需要更多的时间开销。为了更方便地提取全局信息以及减少运算量和时间开销，可以合并多个组合层，即对组合层进行压缩，具体方法如公式(2)所示：
其中，W3*3、W1*1分别表示3*3和1*1的卷积核的参数，k 表示行索引，s表示列索引，b3*3、b1*1分别表示3*3和1*1的卷积核的偏置。
具体地，可以使用并行的1*1的卷积核和3*3的卷积核对网络中部的输入进行卷积操作，然后将进行卷积操作之后的输出逐点相加，然后将相加的结果输入到Relu激活层。通过1*1的卷积核进行卷积可以降低卷积神经网络的维度，同时结合3*3的卷积核进行卷积可以获取更大的感受野，有利于获取全局信息。
此外，卷积神经网络中的卷积层通过归一化层进行归一化处理，便于使用较大的学习率，加快网络的收敛，并且增加网络的泛化能力，在本发明实施例中，归一化层可以是BN(Batch Normalization，批规范化)层，还可以是其他能够进行归一化处理的层，为了方便说明，在接下来的描述中，以归一化层为BN层为例进行说明，在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
虽然BN层在深度学习网络训练时起到一定的积极作用，但是在深度学习网络预测时会凭空产生一些层，影响了整体的计算速度并占用了更多内存或者显存空间，为了节省神经网络的参数和加速其运行速度，可以将BN层和卷积层进行合并，具体方法如公式(3)所示：
对卷积神经网络的卷积层的输出进行归一化处理，得到归一化结果，其中，x表示所述卷积层的输入，w、b分别表示所述卷积层的卷积核的参数和第一偏置，x′表示所述卷积层的输出，mean、var分别表示采用统计梯度下降法训练数据神经元的平均值和标准差，
表示所述归一化结果；但是如果仅仅对卷积层的输出进行归一化处理并且将归一化的结果送入网络的下一层，则会影响到本层网络学习到的特征，因此，还需要对归一化的结果进行变化重构，具体方法如公式(4)所示：
其中，γ、β分别表示比例和第二偏置。
综合公式(3)和(4)，可以得到公式(5)：
由上式可知，卷积层和BN层的操作可以合并成一个线性操作，合并的过程是将BN层学习到的参数合并到卷积层中，具体方法如公式(6)所示：
通过上述操作，可以省去BN层的参数和计算时间，而卷积神经网络中包含大量的BN层，所以将BN层与卷积层进行合并可以减少大量的参数，提高运算速度。
步骤S2：提取输入图像中带有角度的候选区域；
在实际应用中，为了能够适应输入图像中以各种角度随机出现的目标，可以在传统候选区域提取网络的基础上，即在原有的4维锚点信息的基础上，加入角度信息，推广为包含5维信息的锚点，用以输出带有角度的候选区域，在本发明实施例中，可以通过旋转矩形框提取带有角度的候选区域。
具体地，旋转矩形框为带有旋转角度的标准矩形框，可以将其定义为R＝[x,y,w,h,a]，其中，x,y,w,h,a分别表示旋转矩形框的中心列坐标，中心行坐标，旋转矩形框的长，旋转矩形框的宽和旋转矩形框的旋转角度，旋转矩形框的角度分布区间为-90度到90度。
在实际应用中，可以将输入图像的特征图的每个点作为中心，设置多个默认的潜在候选框，即旋转矩形框，以提取输入图像中以各种角度随机出现的目标，具体地，构建多个旋转矩形框的步骤可以包括：
以矩形框的长和宽均为16为例，首先将16*16的基础矩形框乘以比例系数，其中，比例系数可以为(3,5,8,16)，则可以得到4种矩形框，分别为(48*48)，(80*80)，(128*128)，(256*256)，再对得到的4种矩形框进行长宽比变换，其中，长宽比可以为(0.15,0.25)，以(48*48)为例，进行长宽比变换后，可以得到(7.2*7.2)以及(12*12) 两种矩形框，相应地，在原有的4种矩形框的基础上进行长宽比变换后，可以得到8种矩形框，在8种矩形框的基础上进行旋转角度变换，将8 种矩形框乘以9种旋转角度，则可以得到72种矩形框，其中，旋转角度可以为(-80，-60，-40，-20,0,20,40,60,80)。除了上述已经给出的比例系数、长宽比变换系数以及旋转角度外，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
为了能够通过旋转矩形框准确地获取特征图中潜在的目标区域，可以对旋转矩形框进行参数训练和测试。
具体地，对旋转矩形框的参数进行训练的方法如公式(7)- (14)所示：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v) (7)
tx＝(Gx-Px)/Pw (10)
tx＝(Gx-Px)/Pw (11)
tw＝log(Gw/Pw) (12)
th＝log(Gh/Ph) (13)
ta＝(Ga-Pa)/(λ*180) (14)
其中，Lcls(p,u)表示分类任务目标损失函数，p表示预测的类别，u为训练样本的标注类别，λ表示常数，tu表示预测的坐标位置，v＝ (vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标， vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标，中心行坐标，宽度、高度和旋转角度，t＝(tx,ty,tw,th,ta)为预测向量，P＝(Px,Py,Pw,Ph,Pa) 表示感兴趣区域P对应的中心列坐标，中心行坐标，宽度、高度和旋转角度，G为P对应的标注样本，G＝(Gx,Gy,Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标，中心行坐标，宽度、高度和旋转角度，v表示真实的坐标位置。
经过对旋转矩形框的参数进行训练后，可以知道特征图中正确的候选区位置。在得到已经训练好的参数后，利用训练好的参数进行测试，预测当前输入图像的候选区域，其步骤如公式(15)-(19)所示：
其中，
表示感兴趣区域P预测的对应旋转矩形框向量值。
步骤S3：对候选区域进行目标识别；
如图3所示，图3示例性地给出了位置敏感的旋转感兴趣区域池化层的示意图，根据已经得到的卷积神经网络的特征图和感兴趣区域，计算位置敏感的旋转感兴趣区域池化层的特征映射图，其中，位置敏感是指候选区域中感兴趣区域的相对空间位置信息，以框住人的候选区域为例，对每个区域进行池化时，将候选区域分为三块，将候选区域的上部对应人的头部，候选区域的中部对应人的身体，候选区域的下部对应人的腿部，人体的三个部分即为候选区域的位置敏感区域。
对目标候选区域进行目标识别的步骤包括：
利用目标识别网络模型的卷积核对目标候选区域进行卷积操作，生成N个位置敏感分数图；具体地，以目标识别任务包含C类物体，外加一个背景为例，则可以得到k2(C+1)个通道，长宽为W、H的特征图f，其中，C为正整数，N＝k2。k2个位置敏感分数图对应描述位置的空间网格，比如：k×k＝3×3，则9个位置敏感分数图编码单个物体类的{左上角,上中部,右上角,···,右下角}，如果一个候选框(RoI)含有一个类别C 的物体，将该RoI划分为k*k个区域，分别表示该物体的各个部位，假设该RoI中含有人这个物体，k＝3，那么就将“人”划分为了9个子区域， top-center为人的头部，bottom-center为人的脚部，将RoI划分为k*k个区域是希望RoI在其中的每一个区域都含有该类别C的物体的各个部位，如果是人，那么RoI的top-center区域就应该含有人的头部。而当所有子区域都含有各自对应的物体的相应部位后，分类器可以将该RoI判断为该类别。物体的各个部位和RoI的子区域是一一映射的对应关系。
将N个位置敏感分数图进行缩放，并对缩放后的位置敏感分数图进行网格划分；
对带有角度的感兴趣区域进行缩放，得到特征图f的尺度，具体地，可以采用下采样1/16，然后对缩放后的旋转矩形框以水平方向的旋转角度进行k2的网格划分，再对每个网格进行平均池化操作，最终得到C+1通道的k2的特征图。得到区域的平均值后，通过误差反向梯度传播算法对N个特征图进行反向处理，得到图像特征的目标类别。
本发明的另一方面提供一种基于旋转矩形框的轻量化目标识别装置，包括：
目标识别网络模型，目标识别网络模型配置为对输入图像进行目标识别，得到输入图像的目标类别；
其中，
目标识别网络模型基于卷积神经网络构建，目标识别网络模型包括目标提取模块和目标识别模块；
目标提取模块基于预先构建的旋转矩形框提取输入图像的候选区域，基于预先构建的轻量化神经网络提取输入图像的特征图；
目标识别模块对候选区域与特征图进行特征提取，将提取到的特征进行坐标回归和目标分类，得到输入图像的目标类别。
在上述方案的优选技术方案中，目标提取模块包括多个旋转矩形框，多个旋转矩形框配置为提取输入图像的图像特征。
在上述方案的优选技术方案中，目标提取模块还包括旋转矩形框构建单元，旋转矩形框构建单元配置为：
选取基础矩形框，将基础矩形框的长宽分别乘以比例系数，得到第一类矩形框；
对第一类矩形框进行长宽比变化，得到第二类矩形框；
将第二类矩形框的长宽分别乘以旋转角度，得到多个旋转矩形框。
在上述方案的优选技术方案中，目标提取模块还包括回归预测单元，回归预测单元配置为：
对由多个输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析，得到目标提取模块的训练参数，其方法如公式(7)-(14)所示；
基于目标提取模块的训练参数，预测训练样本集的候选区域，其方法如公式(15)-(19)所示；
在上述方案的优选技术方案中，目标识别模块包括第一压缩单元和第二压缩单元，第一压缩单元配置为压缩激活层，第二压缩单元配置为压缩组合层；
第一压缩单元压缩激活层的步骤包括：将激活层的negation 层和concatenation层进行合并，其方法如公式(1)所示；
第二压缩单元压缩组合层的步骤包括：将组合层中1*1卷积核的参数与3*3卷积核的参数相加，其方法如公式(2)所示；
在上述方案的优选技术方案中，目标识别模块包括卷积单元、网格划分单元、池化单元以及目标识别单元；
卷积单元配置为利用目标识别模块的卷积核对图像特征进行卷积操作，生成N个位置敏感分数图；
网格划分单元配置为将N个位置敏感分数图进行缩放，并对缩放后的位置敏感分数图进行网格划分；
池化单元配置为将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理，得到N个特征图；
目标识别单元配置为通过误差反向梯度传播算法对N个特征图进行反向处理，得到图像特征的目标类别；
其中，N为正整数。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明装置实施例的具体工作过程以及相关说明，可以参考前述方法实施例的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (6)
1.一种基于旋转矩形框的轻量化目标识别方法，其特征在于包括：
基于预先构建的目标识别网络模型对输入图像进行目标识别，得到所述输入图像的目标类别；
其中，
所述目标识别网络模型基于卷积神经网络构建，所述目标识别网络模型包括目标提取模块和目标识别模块；其中，所述卷积神经网络的卷积层与归一化层进行合并得到归一化结果，并对所述归一化结果进行变化重构：
其中，y表示变化重构后的归一化结果，x表示所述卷积层的输入，w、b分别表示所述卷积层的卷积核的参数和第一偏置，mean、var分别表示采用统计梯度下降法训练数据神经元的平均值和标准差，γ、β分别表示比例和第二偏置；
所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域，基于预先构建的轻量化神经网络提取所述输入图像的特征图；
所述目标识别模块对所述候选区域与所述特征图进行特征提取，将提取到的特征进行坐标回归和目标分类，得到所述输入图像的目标类别；
所述目标提取模块包括多个旋转矩形框，多个所述旋转矩形框配置为提取所述输入图像的图像特征，“提取所述输入图像的特征图”的步骤包括：
通过多个所述旋转矩形框提取所述输入图像的特征图；
在“提取所述输入图像的特征图”之前，该方法还包括构建多个所述旋转矩形框，其步骤包括：
选取基础矩形框，将所述基础矩形框的长宽分别乘以比例系数，得到第一类矩形框；
对所述第一类矩形框进行长宽比变化，得到第二类矩形框；
将所述第二类矩形框的长宽分别乘以旋转角度，得到多个所述旋转矩形框；
所述目标提取模块还用于压缩所述卷积神经网络的激活层和组合层，其步骤包括：
压缩所述激活层的步骤包括：按如下式所示的方法将所述激活层的negation层和concatenation层进行合并：
NC(x)＝[conv(x),conv(-x)]
其中，conv()表示卷积计算函数；
压缩所述组合层的步骤包括：按如下式所示的方法将所述组合层中1*1卷积核的参数与3*3卷积核的参数相加：
其中，W3*3、W1*1分别表示3*3和1*1的卷积核的参数，k表示行索引，s表示列索引，b3*3、b1 *1分别表示3*3和1*1的卷积核的偏置，i表示卷积层的输入层数，j表示卷积层的输出层数；
上述中，所述轻量化神经网络是将所述卷积神经网络的卷积层与归一化层进行合并，再进行变化重构，并压缩激活层、压缩组合层得到的。
2.根据权利要求1中所述的方法，其特征在于，在“提取所述输入图像的特征图”之前，该方法还包括对所述旋转矩形框进行回归预测，其步骤包括：
按如下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析，得到训练参数：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)
tx＝(Gx-Px)/Pw
ty＝(Gy-Py)/Ph
tw＝log(Gw/Pw)
th＝log(Gh/Ph)
ta＝(Ga-Pa)/(λ*180)
基于所述训练参数，按如下式所示的方法预测所述训练样本集的候选区域：
其中，Lcls(p,u)表示分类任务目标损失函数，p表示预测的类别，u为训练样本的标注类别，λ表示常数，tu表示预测的坐标位置，v＝(vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标，vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标，中心行坐标，宽度、高度和旋转角度，t＝(tx,ty,tw,th,ta)为预测向量，P＝(Px,Py,Pw,Ph,Pa)表示感兴趣区域P对应的中心列坐标，中心行坐标，宽度、高度和旋转角度，G为P对应的标注样本，G＝(Gx,Gy,Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标，中心行坐标，宽度、高度和旋转角度，v表示真实的坐标位置，
表示感兴趣区域P预测的对应旋转矩形框向量值。
3.根据权利要求1所述的方法，其特征在于，所述目标识别模块识别所述输入图像的目标类别的步骤包括：
利用所述目标识别模块的卷积核对所述候选区域进行卷积操作，生成N个位置敏感分数图；
将N个所述位置敏感分数图进行缩放，并对缩放后的位置敏感分数图进行网格划分；
将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理，得到N个特征图；
通过误差反向梯度传播算法对N个所述特征图进行反向处理，得到所述图像特征的目标类别；
其中，N为正整数。
4.一种基于旋转矩形框的轻量化目标识别装置，其特征在于包括：
目标识别网络模型，所述目标识别网络模型配置为对输入图像进行目标识别，得到所述输入图像的目标类别；
其中，
所述目标识别网络模型基于卷积神经网络构建，所述目标识别网络模型包括目标提取模块和目标识别模块；其中，所述卷积神经网络的卷积层与归一化层进行合并得到归一化结果，并对所述归一化结果进行变化重构：
其中，y表示变化重构后的归一化结果，x表示所述卷积层的输入，w、b分别表示所述卷积层的卷积核的参数和第一偏置，mean、var分别表示采用统计梯度下降法训练数据神经元的平均值和标准差，γ、β分别表示比例和第二偏置；
所述目标提取模块基于预先构建的旋转矩形框提取所述输入图像的候选区域，基于预先构建的轻量化神经网络提取所述输入图像的特征图；
所述目标识别模块对所述候选区域与所述特征图进行特征提取，将提取到的特征进行坐标回归和目标分类，得到所述输入图像的目标类别；
所述目标提取模块包括多个旋转矩形框，多个所述旋转矩形框配置为提取所述输入图像的图像特征；
所述目标提取模块还包括旋转矩形框构建单元，所述旋转矩形框构建单元配置为：
选取基础矩形框，将所述基础矩形框的长宽分别乘以比例系数，得到第一类矩形框；
对所述第一类矩形框进行长宽比变化，得到第二类矩形框；
将所述第二类矩形框的长宽分别乘以旋转角度，得到多个所述旋转矩形框；
所述目标识别模块包括第一压缩单元和第二压缩单元，所述第一压缩单元配置为压缩所述卷积神经网络的激活层，所述第二压缩单元配置为压缩所述卷积神经网络的组合层；
所述第一压缩单元压缩所述激活层的步骤包括：按下式所示的方法将所述激活层的negation层和concatenation层进行合并：
NC(x)＝[conv(x),conv(-x)]
其中，conv()表示卷积计算函数；
所述第二压缩单元压缩所述组合层的步骤包括：按下式所示的方法将所述组合层中1*1卷积核的参数与3*3卷积核的参数相加：
其中，W3*3、W1*1分别表示3*3和1*1的卷积核的参数，k表示行索引，s表示列索引，b3*3、b1 *1分别表示3*3和1*1的卷积核的偏置，i表示卷积层的输入层数，j表示卷积层的输出层数；
上述中，所述轻量化神经网络是将所述卷积神经网络的卷积层与归一化层进行合并，再进行变化重构，并压缩激活层、压缩组合层得到的。
5.根据权利要求4所述的装置，其特征在于，所述目标提取模块还包括回归预测单元，所述回归预测单元配置为：
按下式所示的方法对由多个所述输入图像的特征图构成的训练样本集分别进行候选区域分类和坐标回归分析，得到训练参数：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)
tx＝(Gx-Px)/Pw
ty＝(Gy-Py)/Ph
tw＝log(Gw/Pw)
th＝log(Gh/Ph)
ta＝(Ga-Pa)/(λ*180)
基于所述训练参数，按下式所示的方法预测所述训练样本集的候选区域：
其中，Lcls(p,u)表示分类任务目标损失函数，p表示预测的类别，u为训练样本的标注类别，λ表示常数，tu表示预测的坐标位置，v＝(vx,vy,vw,vh,va)表示正样本的对应标注旋转矩形框的回归目标，vx,vy,vw,vh,va分别表示旋转矩形框回归目标的中心列坐标，中心行坐标，宽度、高度和旋转角度，t＝(tx,ty,tw,th,ta)为预测向量，P＝(Px,Py,Pw,Ph,Pa)表示感兴趣区域P对应的中心列坐标，中心行坐标，宽度、高度和旋转角度，G为P对应的标注样本，G＝(Gx,Gy，Gw,Gh,Ga)表示感兴趣区域P对应的标注样本的中心列坐标，中心行坐标，宽度、高度和旋转角度，v表示真实的坐标位置，
表示感兴趣区域P预测的对应旋转矩形框向量值。
6.根据权利要求4所述的装置，其特征在于，所述目标识别模块包括卷积单元、网格划分单元、池化单元以及目标识别单元；
所述卷积单元配置为利用所述目标识别模块的卷积核对所述图像特征进行卷积操作，生成N个位置敏感分数图；
所述网格划分单元配置为将N个所述位置敏感分数图进行缩放，并对缩放后的位置敏感分数图进行网格划分；
所述池化单元配置为将进行网格划分后每个网格内的位置敏感分数图进行平均池化处理，得到N个特征图；
所述目标识别单元配置为通过误差反向梯度传播算法对N个所述特征图进行反向处理，得到所述图像特征的目标类别；
其中，N为正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549254.7A CN108960230B (zh) | 2018-05-31 | 2018-05-31 | 基于旋转矩形框的轻量化目标识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549254.7A CN108960230B (zh) | 2018-05-31 | 2018-05-31 | 基于旋转矩形框的轻量化目标识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108960230A CN108960230A (zh) | 2018-12-07 |
| CN108960230B true CN108960230B (zh) | 2021-04-27 |
Family
ID=64493023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810549254.7A Active CN108960230B (zh) | 2018-05-31 | 2018-05-31 | 基于旋转矩形框的轻量化目标识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108960230B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977891A (zh) * | 2019-03-30 | 2019-07-05 | 哈尔滨理工大学 | 一种基于神经网络的目标检测与识别方法 |
| CN110059733A (zh) * | 2019-04-01 | 2019-07-26 | 苏州科达科技股份有限公司 | 卷积神经网络的优化及快速目标检测方法、装置 |
| CN110223302B (zh) * | 2019-05-08 | 2021-11-19 | 华中科技大学 | 一种基于旋转区域提取的舰船多目标检测方法 |
| CN110245754B (zh) * | 2019-06-14 | 2021-04-06 | 西安邮电大学 | 一种基于位置敏感图的知识蒸馏指导方法 |
| CN110245706B (zh) * | 2019-06-14 | 2021-03-26 | 西安邮电大学 | 一种针对嵌入式应用的轻量化目标检测方法 |
| CN110348318A (zh) * | 2019-06-18 | 2019-10-18 | 北京大米科技有限公司 | 图像识别方法、装置、电子设备及介质 |
| US11704555B2 (en) * | 2019-06-24 | 2023-07-18 | Baidu Usa Llc | Batch normalization layer fusion and quantization method for model inference in AI neural network engine |
| CN110263753B (zh) * | 2019-06-28 | 2020-12-22 | 北京海益同展信息科技有限公司 | 一种对象统计方法和装置 |
| CN110490054B (zh) * | 2019-07-08 | 2021-03-09 | 北京三快在线科技有限公司 | 目标区域的检测方法、装置、电子设备及可读存储介质 |
| CN111242122B (zh) * | 2020-01-07 | 2023-09-08 | 浙江大学 | 一种轻量级深度神经网络旋转目标检测方法和*** |
| CN111310637B (zh) * | 2020-02-11 | 2022-11-11 | 山西大学 | 一种基于尺度不变网络的机器人目标抓取检测方法 |
| CN111680678B (zh) * | 2020-05-25 | 2022-09-16 | 腾讯科技（深圳）有限公司 | 目标区域识别方法、装置、设备及可读存储介质 |
| CN112200003B (zh) * | 2020-09-14 | 2024-02-20 | 浙江大华技术股份有限公司 | 一种确定养猪场饲料投放量的方法及装置 |
| CN113076969B (zh) * | 2021-02-24 | 2022-10-25 | 上海辛玮智能科技有限公司 | 基于混合高斯损失函数的图像目标检测方法 |
| CN112926463B (zh) * | 2021-03-02 | 2024-06-07 | 普联国际有限公司 | 一种目标检测方法和装置 |
| CN113379858A (zh) * | 2021-05-31 | 2021-09-10 | 超级视线科技有限公司 | 一种基于深度学习的图像压缩方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022307A (zh) * | 2016-06-08 | 2016-10-12 | 中国科学院自动化研究所 | 基于船只旋转矩形空间的遥感图像船只检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980895A (zh) * | 2017-02-22 | 2017-07-25 | 中国科学院自动化研究所 | 基于旋转区域的卷积神经网络预测方法 |
-
2018
- 2018-05-31 CN CN201810549254.7A patent/CN108960230B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022307A (zh) * | 2016-06-08 | 2016-10-12 | 中国科学院自动化研究所 | 基于船只旋转矩形空间的遥感图像船只检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| "图像分类卷积神经网络的特征选择模型压缩方法";邹月娴;《控制理论与应用》;20170630;第34卷(第6期);第746-752页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108960230A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960230B (zh) | 基于旋转矩形框的轻量化目标识别方法及装置 | |
| CN112132093B (zh) | 高分辨率遥感图像目标检测方法、装置和计算机设备 | |
| CN109671020B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| Wang et al. | 3D-CenterNet: 3D object detection network for point clouds with center estimation priority | |
| CN110838125A (zh) | 医学图像的目标检测方法、装置、设备、存储介质 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111582091B (zh) | 基于多分支卷积神经网络的行人识别方法 | |
| US20220075988A1 (en) | Convolution neural network based landmark tracker | |
| CN109948457B (zh) | 基于卷积神经网络和cuda加速的实时目标识别方法 | |
| CN111310609B (zh) | 基于时序信息和局部特征相似性的视频目标检测方法 | |
| CN112308825B (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
| CN111310821A (zh) | 多视图特征融合方法、***、计算机设备及存储介质 | |
| CN111178394A (zh) | 一种基于自适应图像信息熵的特征点提取方法 | |
| CN111260628A (zh) | 基于视频图像的大型苗圃苗木数量统计方法及电子设备 | |
| CN114445715A (zh) | 一种基于卷积神经网络的农作物病害识别方法 | |
| CN114565842A (zh) | 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及*** | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及*** | |
| Wang et al. | Multistage model for robust face alignment using deep neural networks | |
| CN114764870A (zh) | 对象定位模型处理、对象定位方法、装置及计算机设备 | |
| Zhao et al. | ST-YOLOA: a Swin-transformer-based YOLO model with an attention mechanism for SAR ship detection under complex background | |
| CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| CN111062473A (zh) | 神经网络模型中的数据计算方法、图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |