CN109101897A - 水下机器人的目标检测方法、***及相关设备 - Google Patents
水下机器人的目标检测方法、***及相关设备 Download PDFInfo
- Publication number
- CN109101897A CN109101897A CN201810806439.1A CN201810806439A CN109101897A CN 109101897 A CN109101897 A CN 109101897A CN 201810806439 A CN201810806439 A CN 201810806439A CN 109101897 A CN109101897 A CN 109101897A
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- unit
- encirclement
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 230000001629 suppression Effects 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000013138 pruning Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013434 data augmentation Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000005764 inhibitory process Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 241000257465 Echinoidea Species 0.000 description 2
- 241000251511 Holothuroidea Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000237509 Patinopecten sp. Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 235000020637 scallop Nutrition 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器人视觉、模式识别与机器学习领域，具体涉及一种水下机器人的目标检测方法、***及相关设备。旨在提升目标检测技术对水下目标遮挡、变形、光照变化的鲁棒性。本发明的目标检测方法包括：获取原始的待检测图像；对原始的待检测图像进行像素值归一化，得到预处理后的待检图像；将预处理后的待检测图像输入目标检测网络进行检测，得到感兴趣区域的包围框和属于各目标类别的概率；根据感兴趣区域的包围框和属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别。其中，目标检测网络中采用可变形卷积神经网络提取特征图，基于候选区域法进行目标检测。本发明的检测方法在保证速度的情况下提升了检测的精度。
Description
技术领域
本发明涉及机器人视觉、模式识别与机器学习领域，具体涉及一种水下机器人的目标检测方法、***及相关设备。
背景技术
目标检测是一种从包含目标的序列图像中检测、识别目标的技术。机器人的场景目标检测是实现机器人与环境交互以及在未知环境中完成复杂智能任务的关键环节。实际应用中，由于目标所处场景的复杂性，遮挡、变形、光照以及尺度的变化等等都提升了检测任务的难度。目标检测在机器人视觉的许多领域都有应用，包括机器人在特定环境下的抓取任务、装配任务、探测任务等，一种鲁棒的机器人特定场景目标检测技术对该类任务有着重要的实际意义。
传统的目标检测方法的一般流程为：
(1)扫描图像。使用滑窗法，在待检测的窗口中不断移位滑动。这是一种穷举的策略，计算量巨大，而且在目标多尺度、多长宽比的情况下得到的效果较差。
(2)特征提取。如Haar特征、局部二值模式(Local Binary Pattern，LBP)特征、方向梯度直方图(Histogram of Oriented Gradient，HOG)特征和SIFT特征等。每种特征的适用情况各有不同，特征的选取要视检测的目标而定。
(3)使用分类器进行分类。一般使用支持向量机或AdaBoost算法对目标的特征进行分类。
近年来，深度学习方法兴起，基于卷积神经网络的方法在简单视觉问题如分类问题上取得了优异的表现。由图像分类等问题中取得的大幅进展可知，卷积神经网络具有很强的图像特征提取能力，其内在的层次结构在一定程度上模仿了人类的视觉认知机制，体现了变量间的组合关系。2014年，Ross Girshick等人首次将卷积神经网络引入目标检测任务，得到的结果效果较传统的目标检测方法得到了很大提升。
目前，基于卷积神经网络的目标检测流程大致分为两类：
(1)基于候选区域的方法，如Faster RCNN，一般流程为：a)计算候选区域。候选区域(region proposal)是利用图像的特征，预先计算出最有可能出现目标的位置，提高了召回率，大大降低了后续计算的复杂度。b)分类网络为每个候选区域计算出分类和回归值。这一步一般使用卷积神经网络，并共享图像特征以提高处理速度。c)进行后处理，过滤包围框。这一步通常使用非极大值抑制(NMS)算法进行处理，目前最广泛使用的方法为Greedy-NMS。目前常用的候选区域的计算策略主要分为：Selective Search、Edge Boxes、RPN等。其中，候选区域网络(RPN)技术，可以提高候选区域的计算速度，并将多步骤处理任务融合到一个网络中，使网络可以端到端训练。
(2)基于回归的方法，如YOLO、SSD，一般流程为：a)卷积神经网络提取特征和预测；b)过滤包围框。
基于回归的方法速度较快，但检测精度较低，并且对某些小物体的检测效果不好。基于候选区域的方法检测精度较高，但由于候选区域所需计算较多，速度较慢。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的检测***不够高效精准、在海洋环境中适应性不强的问题，本发明提出了一种水下机器人的目标检测方法、***及相关设备，提高了检测结果的精度，并明显提升了训练和检测过程的速度。
本发明的一方面，提出一种水下机器人的目标检测方法，包括以下步骤：
步骤A1，获取原始的待检测图像；
步骤A2，对所述原始的待检测图像进行像素值归一化，得到预处理后的待检图像；
步骤A3，将所述预处理后的待检测图像输入目标检测网络进行检测，得到感兴趣区域的包围框和属于各目标类别的概率；
步骤A4，根据所述感兴趣区域的包围框和属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别；
其中，所述改进的非极大值抑制算法包括：
步骤A41，根据所有所述感兴趣区域属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；
步骤A42，根据下式的方法，对除包围框M以外的其他包围框进行重新评分：
其中，si代表第i个包围框的评分值，初值为该包围框属于各目标类别的概率中最大概率值；bi代表第i个包围框，且不等于M；iou(M,bi)代表包围框M与bi的重叠度；N1代表第一重叠度阈值；
步骤A43，遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N2的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框的属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；
步骤A44，从余下的包围框中选择评分最高的包围框M，并转至步骤A42，直到处理完所有的包围框。
优选地，所述目标检测网络的构建与训练方法包括：
步骤S10，构建检测器网络，所述检测器网络包括：可变形卷积神经网络、区域候选网络、池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、softmax层；
步骤S20，输入一帧训练样本图像；
步骤S30，基于可变形卷积神经网络对所述训练样本图像进行特征图提取；
步骤S40，根据提取的所述特征图，基于候选区域法进行目标检测；
步骤S50，计算多任务损失函数；若所述多任务损失函数未收敛，则修改所述检测器网络的参数并转至步骤S20，否则转至步骤S60；
步骤S60，使用剪枝方法对所述检测器网络进行稀疏化处理，得到所述目标检测网络。
优选地，在“输入一帧训练样本图像”之前，所述方法还包括：
获取训练用的原始图像样本集；
对所述样本集进行数据增广与像素值归一化，得到所述训练样本图像的集合。
优选地，步骤S40中“根据提取的所述特征图，基于候选区域法进行目标检测”具体包括：
步骤S41，根据提取的所述特征图，通过区域候选网络计算感兴趣区域；
步骤S42，根据提取的所述特征图，通过池化层对所述感兴趣区域进行池化操作，得到固定大小的特征图；根据所述固定大小的特征图，通过所述第一全连接层和所述第二全连接层提取所述感兴趣区域特征表示；
步骤S43，根据所述感兴趣区域的特征表示，通过第三全连接层对感兴趣区域进行分类处理；根据所述分类处理的结果，通过softmax层计算每个感兴趣区域属于各目标类别的概率；
步骤S44，根据所述感兴趣区域的特征表示，通过第四全连接层对包围框的位置偏差进行回归得到偏差值；
其中，
回归得到的偏差值为：
x、y分别表示包围框的横、纵坐标值；w、h分别表示包围框的宽和高；k表示目标类别的序号，分别表示类别为k的包围框的x、y、w、h值偏差；
所述感兴趣区域属于各目标类别的概率为：
c＝(c0,...,cK)
K表示待检测目标的类别总数，c0表示感兴趣区域属于背景类别的概率值，c1、...、cK分别表示感兴趣区域属于第1、...、K类目标的概率。
优选地，所述多任务损失函数为：
L(c,u,tu,v)＝Lcls(c,u)+λ[u≥1]Lloc(tu,v)
其中，c表示感兴趣区域的离散概率分布；u表示感兴趣区域的真实类别标签；tu表示回归得到的偏差值，v表示包围框的真实回归值标签，v＝(vx,vy,vw,vh)；第一项Lcls(c,u)＝-logcu，为c在真实类别u处的softmax值的负对数；[u≥1]为指示函数，当u＝0时，感兴趣区域属于背景类别，不需要计算第二项λ[u≥1]Lloc(tu,v)；权重λ为超参数，用于平衡两个任务间的损失值；
本发明的另一方面，提出一种水下机器人的目标检测***，所述***包括：图像获取模块、预处理模块、目标检测网络、抑制模块；
所述图像获取模块用于获取原始的待检测图像；
所述预处理模块用于对所述原始的待检测图像进行像素值归一化，得到预处理后的待检图像；
所述目标检测网络用于根据所述预处理后的待检测图像检测目标物体；
所述抑制模块配置为：根据所述感兴趣区域的包围框和属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别；
所述抑制模块包括：选择单元、再评分单元、非极大值抑制单元、循环控制单元；
所述选择单元配置为：根据所有所述感兴趣区域属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；
所述再评分单元配置为：根据下式的方法，对除包围框M以外的其他包围框进行重新评分：
其中，si代表第i个包围框的评分值，初值为该包围框属于各目标类别的概率中的最大概率值；bi代表第i个包围框，且不等于M；iou(M,bi)代表包围框M与bi的重叠度；N1代表第一重叠度阈值；
所述非极大值抑制单元配置为：遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N2的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；
所述循环控制单元配置为：调用所述选择单元从余下的包围框中选择评分最高的包围框M，并依次调用所述再评分单元、所述非极大值抑制单元，直到处理完所有的包围框。
优选地，所述***还包括：目标检测网络构建模块；
所述目标检测网络构建模块用于构建和训练所述目标检测网络；
所述目标检测网络构建模块包括：构建单元、输入单元、特征图提取单元、目标检测单元、损失函数计算单元、控制单元、稀疏化处理单元；
所述构建单元用于构建检测器网络，所述检测器网络包括：可变形卷积神经网络、区域候选网络、池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、softmax层；
所述输入单元用于输入一帧训练样本图像到所述特征图提取单元；
所述特征图提取单元配置为：基于可变形卷积神经网络对所述训练样本图像进行特征图提取；
所述目标检测单元配置为：根据提取的所述特征图，基于候选区域法进行目标检测；
所述损失函数计算单元用于计算多任务损失函数；
所述控制单元配置为：判断所述多任务损失函数的收敛情况；若所述多任务损失函数未收敛，则修改所述检测器网络的参数，并顺次调用所述输入单元、所述特征图提取单元、所述目标检测单元和所述损失函数计算单元继续训练；否则，调用所述稀疏化处理单元；
所述稀疏化处理单元配置为：使用剪枝方法对所述检测器网络进行稀疏化处理，得到所述目标检测网络。
优选地，所述目标检测网络构建模块还包括：训练样本生成单元；
所述训练样本生成单元配置为：获取训练用的原始图像样本集；对所述样本集进行数据增广与像素值归一化，得到所述训练样本图像的集合。
本发明的第三方面，提出一种存储设备，其中存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现上面所述的水下机器人的目标检测方法。
本发明的第四方面，提出一种处理设备，包括处理器和存储器；所述处理器适于执行程序；所述存储器适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的水下机器人的目标检测方法。
与最接近的现有技术相比，本发明具有如下有益效果：
本发明采用基于可变形卷积网络的方法，在特征图中引入偏移变量进行学***滑抑制，抑制过程采用重新排序的方法而非直接舍弃，提高了目标检测的效果。
因此，本发明的检测方法在保证速度的情况下提升了检测的精度。
附图说明
图1是本发明实施例中构建与训练目标检测网络的主要步骤示意图；
图2是本发明实施例中检测器网络的信号流向示意图；
图3是本发明实施例中特征图的偏移量计算示意图；
图4是本发明实施例中池化操作的原理示意图；
图5是本发明实施例中一种水下机器人的目标检测方法的主要步骤示意图；
图6是本发明实施例中一种水下机器人的目标检测***的构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
由于对精度要求较高，本发明采用基于候选区域的目标检测算法。目前的卷积神经网络由于使用固定的方形滤波器几何结构，所以对图像中几何形变的建模能力较差。海洋生物所处环境特殊，海水折射和拍摄角度会导致目标有较大形变，已有的基于卷积神经网络的目标检测方法不能很好的辨别出这种形变。且后续分类网络在对感兴趣区域池化层的特征图进行分类时，存在着重复计算的问题，影响了检测的速度。针对上述问题，本发明采用了一种基于可变形卷积网络的方法，在特征图中引入偏移变量进行学习，提高对目标形变的建模能力，并采用基于区域的全连接卷积神经网络对后续特征图进行处理，明显提升了训练和测试过程的速度。
目标检测的流程一般为：首先，计算候选区域，利用卷积神经网络提取出的特征预先计算出最有可能出现目标的位置；然后，分类网络为每个候选区域计算出分类和回归值；最后进行后处理，采用非极大值抑制技术得到准确的包围框。在特征提取阶段，为解决识别目标的复杂形变问题，本发明采用可变形卷积神经网络进行特征的学***滑抑制，抑制过程采用重新排序的方法而非直接舍弃，提高了目标检测的效果。
图1是本发明中构建与训练目标检测网络的实施例的主要步骤示意图。图2是本发明实施例中检测器网络的信号流向示意图。
如图1所示，本实施例中，目标检测网络的构建与训练方法包括步骤S10-S60：
在步骤S10中，构建检测器网络。如图2所示，本实施例中构建的检测器网络包括：可变形卷积神经网络、区域候选网络、池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、softmax层。
在步骤S15中，生成训练样本图像的集合。
首先，获取训练用的原始图像样本集。
然后，采用数据增广的方式扩充样本数据集。由于样本图片是在自然场景下拍摄，图片信息大多不对称，本发明在训练时以0.5的概率将图片进行水平翻转、随机裁剪和光照对比度干扰，图片对应的标签信息也相应进行调整。同时，使用PCA Jittering方法，对每一张训练图片，在图像矩阵[IR,IG,IB]的基础上，我们计算出PCA(PrincipalComponentAnalysis)得到的主成份，并乘以其对应特征值和0均值0.1标准差的高斯噪声，即对每个图像矩阵，我们添加如公式(1)所示的值：
[v1,v2,v3][α1λ1,α2λ2,α3λ3]T (1)
其中，λi、vi是图像RGB像素值的3×3协方差矩阵的第i个特征值和特征向量，αi是高斯噪声，对每个图像，本发明都随机采样一个新的高斯噪声值。随机图像增广可以增强模型的鲁棒性，提高其泛化能力。
最后，为了防止输入网络的数据表现出较大差异的分布，对所有的图像数据进行归一化操作，使得归一化后的数据均值为0，方差为1。至此，我们得到了训练样本图像的集合。
在步骤S20中，输入一帧训练样本图像。
在步骤S30中，基于可变形卷积神经网络对训练样本图像进行特征图提取。
本发明使用VGG16作为基础特征提取网络，只保留conv5及之前的网络，即第五个max pooling层之前的网络结构。我们使用在ImageNet数据集上预训练模型的参数对基础的卷积神经网络模型参数进行初始化。我们在保留VGG16的基础卷积神经网络的同时，加入卷积层对偏移进行学习，并以0权重将其初始化。图3是本实施例中特征图的偏移量计算示意图。图3右侧3×3方框中的箭头为偏移量示意图，箭头所指方向代表向量的方向。卷积核映射到其相对特征图上的偏移可以在反向传播的过程中进行学习。
以3×3卷积核为例，本发明使用R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}定义感受野的大小和膨胀情况，该例为标准情况。计算输出特征图y中的p0位置输出的如公式(2)所示，w代表累加时的权重：
pn代表了R中的任意一种情况，为了实现可变形卷积，引入偏移变量{△pn|n＝1,...,N}，该偏移变量与上式中的p0变量相加。由于偏移变量为小数，而图像像素均为整数，于是采用双线性插值法进行值的表示，如公式(3)所示：
其中，G(q,p)代表双线性插值核函数，p、q均代表特征图上任意像素点的位置，p＝p0+pn+△pn，Ω代表特征图上所有像素点的集合。
采用这种方式，由于插值运算只用到邻近的四个像素，所以总体来讲涉及的参数较少，可以较快的进行反向传播。
在步骤S40中，根据提取的特征图，基于候选区域法进行目标检测；该步骤具体包括步骤S41-S44：
在步骤S41中，根据提取的特征图，通过区域候选网络(Region ProposalNetwork，RPN)计算感兴趣区域。
经过步骤S30的特征提取后，我们在conv5层特征图上进行滑窗卷积，conv5层特征图上每一个卷积位置表示一组锚点，每组锚点有9个，包括了3种不同的尺度和长宽比。每个锚点的卷积结果为一组256维的向量表示，之后通过两个并行的双层全连接层(后面的步骤S43、S44中分别提到的第三全连接层、第四全连接层)同时预测出包围框的回归值和是否为目标的得分值。在这一步中，除了预训练初始化涉及的层外，其他新层均使用均值为0、标准差为0.01的高斯分布进行初始化。
在步骤S42中，根据提取的特征图，通过池化层对感兴趣区域进行池化操作，得到固定大小的特征图；图4是本实施例中池化操作的原理示意图。如图4所示，将RPN网络输出的原图像包围框像素坐标值结果以一定的缩放比例映射到卷积神经网络的conv5层特征图上，并将映射后的区域进行池化得到固定大小的特征图，再经过两层全连接网络(第一全连接层和第二全连接层)得到特定感兴趣区域的特征表示。这一步网络只进行池化处理，不需要额外的参数学习。
在步骤S43中，根据感兴趣区域的特征表示，通过第三全连接层对感兴趣区域进行分类处理；根据分类处理的结果，每个感兴趣区域都会通过softmax层输出K+1类离散概率分布，即感兴趣区域属于各目标类别的概率，如公式(4)所示：
c＝(c0,...,cK) (4)
K表示待检测目标的类别总数，c0表示感兴趣区域属于背景类别的概率值，c1、...、cK分别表示感兴趣区域属于第1、...、K类目标的概率。
在步骤S44中，根据感兴趣区域的特征表示，通过第四全连接层对包围框的位置偏差进行回归得到偏差值。
其中，回归得到的偏差值包括位置偏差(包围框的坐标值)和对数尺度偏差(包围框的宽和高值)，如公式(5)所示：
x、y分别表示包围框的横、纵坐标值；w、h分别表示包围框的宽和高；k表示目标类别的序号，分别表示类别为k的包围框的x、y、w、h值偏差；
在步骤S50中，计算多任务损失函数；若多任务损失函数未收敛，则修改检测器网络的参数并转至步骤S20，否则转至步骤S60。
本实施例中多任务损失函数，如公式(6)所示：
L(c,u,tu,v)＝Lcls(c,u)+λ[u≥1]Lloc(tu,v) (6)
其中，c表示感兴趣区域的离散概率分布；u表示感兴趣区域的真实类别标签；tu表示回归得到的偏差值，v表示包围框的真实回归值标签，v＝(vx,vy,vw,vh)；第一项Lcls(c,u)＝-logcu，为c在真实类别u处的softmax值的负对数；[u≥1]为指示函数，当u＝0时，感兴趣区域属于背景类别，不关心包围框的回归值，不需要计算第二项λ[u≥1]Lloc(tu,v)；权重λ为超参数，用于平衡两个任务间的损失值，本实施例中设定λ＝1；对于包围框回归，使用对外点相对不敏感的Smooth L1损失函数，如公式(7)-(8)所示：
在步骤S60中，使用剪枝方法对检测器网络进行稀疏化处理，得到目标检测网络。
图5是一种水下机器人的目标检测方法实施例的主要步骤示意图。如图5所示，本实施例的目标检测方法包括以下步骤A1-A4：
步骤A1，获取原始的待检测图像；
步骤A2，对原始的待检测图像进行像素值归一化，得到预处理后的待检图像；
步骤A3，将预处理后的待检测图像输入目标检测网络进行检测，得到感兴趣区域的包围框和属于各目标类别的概率；
步骤A4，根据感兴趣区域的包围框和属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别；该步骤具体包括步骤A41-A44：
步骤A41，根据所有感兴趣区域属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；
步骤A42，根据公式(9)-(10)所示的方法，对除包围框M以外的其他包围框进行重新评分：
其中，si代表第i个包围框的评分值，初值为该包围框属于各目标类别的概率中最大概率值；bi代表第i个包围框，且不等于M；iou(M,bi)代表包围框M与bi的重叠度；N1代表第一重叠度阈值。通过上述公式(9)-(10)，我们对与M的重叠度较高的包围框进行了一定程度上的抑制。
步骤A43，遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N2的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框的属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；
步骤A44，从余下的包围框中选择评分最高的包围框M，并转至步骤A42，直到处理完所有的包围框(即每个包围框要么被确定为目标物体，要么被删除)。
本实施例中，进行非极大值抑制时，不再简单丢弃被抑制的包围框，而是将非极大值抑制视为一个再次评分、再次排序的过程。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
我们在国家自然基金委发布的公开比赛数据集上，将本发明的方法与其他三种方法进行了对比测试。检测结果使用各类目标的AP(Average Precision)与三类目标的mAP(mean Average Precision)进行评估，其综合反映了检测的精度，包括分类精度与定位准确度等。检测结果如表1所示：
表1.检测结果对比
| 方法 | 海参(％) | 海胆(％) | 扇贝(％) | mAP(％) |
| Faster RCNN | 47.0 | 56.8 | 66.4 | 56.7 |
| R-FCN | 46.9 | 56.1 | 61.0 | 54.7 |
| YOLOv2 | 43.2 | 46.6 | 56.2 | 48.7 |
| 本发明 | 53.1 | 62.7 | 69.8 | 61.9 |
从表1可以看出，对于三类目标(海参、海胆、海贝)的AP值，本发明的检测精度明显高于另外三种方法(Faster RCNN、R-FCN、YOLOv2)，而且三类目标的mAP值也是优于另外三种方法。
基于与上面的目标检测方法相同的技术构思，本发明提出一种目标检测***。图6是一种水下机器人的目标检测***实施例的构成示意图。如图6所示，本实施例的目标检测***100包括：图像获取模块110、预处理模块120、目标检测网络130、抑制模块140、目标检测网络构建模块150。
其中，图像获取模块110用于获取原始的待检测图像；预处理模块120用于对原始的待检测图像进行像素值归一化，得到预处理后的待检图像；目标检测网络130用于根据预处理后的待检测图像检测目标物体；抑制模块140配置为：根据感兴趣区域的包围框和该感兴趣区域属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别；目标检测网络构建模块150用于构建和训练目标检测网络130。
具体地，抑制模块140包括：选择单元141、再评分单元142、非极大值抑制单元143、循环控制单元144。
选择单元141配置为：根据所有感兴趣区域属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；再评分单元142配置为：根据公式(9)-(10)所示的方法，对除包围框M以外的其他包围框进行重新评分；非极大值抑制单元143配置为：遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N2的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；循环控制单元144配置为：调用选择单元141从余下的包围框中选择评分最高的包围框M，并依次调用再评分单元142、非极大值抑制单元143，直到处理完所有的包围框。
本实施例中的目标检测网络构建模块150具体包括：构建单元151、训练样本生成单元152、输入单元153、特征图提取单元154、目标检测单元155、损失函数计算单元156、控制单元157、稀疏化处理单元158。
其中，构建单元151用于构建检测器网络，所述检测器网络包括：可变形卷积神经网络、区域候选网络、池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、softmax层；训练样本生成单元152配置为：获取训练用的原始图像样本集；对样本集进行数据增广与像素值归一化，得到训练样本图像的集合；输入单元153用于输入一帧训练样本图像到特征图提取单元；特征图提取单元154配置为：基于可变形卷积神经网络对训练样本图像进行特征图提取；目标检测单元155配置为：根据提取的特征图，基于候选区域法进行目标检测；损失函数计算单元156用于计算多任务损失函数；控制单元157配置为：判断多任务损失函数的收敛情况；若多任务损失函数未收敛，则修改检测器网络的参数，并顺次调用输入单元153、特征图提取单元154、目标检测单元155和损失函数计算单元156继续训练；否则，调用稀疏化处理单元158；稀疏化处理单元158配置为：使用剪枝方法对检测器网络进行稀疏化处理，得到目标检测网络130。
基于上面的目标检测方法，本发明还提出一种存储设备的实施例，其中存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的水下机器人的目标检测方法。
进一步地，基于上面的目标检测方法，本发明还提出一种处理设备，包括处理器和存储器；其中，处理器适于执行程序，存储器适于存储该程序；该程序适于由该处理器加载并执行，以实现上面所述的水下机器人的目标检测方法。
本申请中对水下机器人目标检测***进行模块、单元划分，仅仅是为了更好地理解本发明的技术方案所涉及的功能，在实践中，这些模块所对应的功能可以由单个硬件加载程序并执行。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤、模块、单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种水下机器人的目标检测方法，其特征在于，包括以下步骤：
步骤A1，获取原始的待检测图像；
步骤A2，对所述原始的待检测图像进行像素值归一化，得到预处理后的待检图像；
步骤A3，将所述预处理后的待检测图像输入目标检测网络进行检测，得到感兴趣区域的包围框和属于各目标类别的概率；
步骤A4，根据所述感兴趣区域的包围框和属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别；
其中，
所述改进的非极大值抑制算法包括：
步骤A41，根据所有所述感兴趣区域属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；
步骤A42，根据下式的方法，对除包围框M以外的其他包围框进行重新评分：
其中，si代表第i个包围框的评分值，初值为该包围框属于各目标类别的概率中最大概率值；bi代表第i个包围框，且不等于M；iou(M,bi)代表包围框M与bi的重叠度；N1代表第一重叠度阈值；
步骤A43，遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N2的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框的属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；
步骤A44，从余下的包围框中选择评分最高的包围框M，并转至步骤A42，直到处理完所有的包围框。
2.根据权利要求1所述的目标检测方法，其特征在于，所述目标检测网络的构建与训练方法包括：
步骤S10，构建检测器网络，所述检测器网络包括：可变形卷积神经网络、区域候选网络、池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、softmax层；
步骤S20，输入一帧训练样本图像；
步骤S30，基于可变形卷积神经网络对所述训练样本图像进行特征图提取；
步骤S40，根据提取的所述特征图，基于候选区域法进行目标检测；
步骤S50，计算多任务损失函数；若所述多任务损失函数未收敛，则修改所述检测器网络的参数并转至步骤S20，否则转至步骤S60；
步骤S60，使用剪枝方法对所述检测器网络进行稀疏化处理，得到所述目标检测网络。
3.根据权利要求1所述的目标检测方法，其特征在于，在“输入一帧训练样本图像”之前，所述方法还包括：
获取训练用的原始图像样本集；
对所述样本集进行数据增广与像素值归一化，得到所述训练样本图像的集合。
4.根据权利要求2所述的目标检测方法，其特征在于，步骤S40中“根据提取的所述特征图，基于候选区域法进行目标检测”具体包括：
步骤S41，根据提取的所述特征图，通过区域候选网络计算感兴趣区域；
步骤S42，根据提取的所述特征图，通过池化层对所述感兴趣区域进行池化操作，得到固定大小的特征图；根据所述固定大小的特征图，通过所述第一全连接层和所述第二全连接层提取所述感兴趣区域特征表示；
步骤S43，根据所述感兴趣区域的特征表示，通过第三全连接层对感兴趣区域进行分类处理；根据所述分类处理的结果，通过softmax层计算每个感兴趣区域属于各目标类别的概率；
步骤S44，根据所述感兴趣区域的特征表示，通过第四全连接层对包围框的位置偏差进行回归得到偏差值；
其中，
回归得到的偏差值为：
x、y分别表示包围框的横、纵坐标值；w、h分别表示包围框的宽和高；k表示目标类别的序号，k＝1,2,...,K；分别表示类别为k的包围框的x、y、w、h值偏差；
所述感兴趣区域属于各目标类别的概率为：
c＝(c0,...,cK)
K表示待检测目标的类别总数，c0表示感兴趣区域属于背景类别的概率值，c1、...、cK分别表示感兴趣区域属于第1、...、K类目标的概率。
5.根据权利要求4所述的目标检测方法，其特征在于，所述多任务损失函数为：
L(c,u,tu,v)＝Lcls(c,u)+λ[u≥1]Lloc(tu,v)
其中，
c表示感兴趣区域的离散概率分布；u表示感兴趣区域的真实类别标签；tu表示回归得到的偏差值，v表示包围框的真实回归值标签，v＝(vx,vy,vw,vh)；第一项Lcls(c,u)＝-logcu，为c在真实类别u处的softmax值的负对数；[u≥1]为指示函数，当u＝0时，感兴趣区域属于背景类别，不需要计算第二项λ[u≥1]Lloc(tu,v)；权重λ为超参数，用于平衡两个任务间的损失值；
6.一种水下机器人的目标检测***，其特征在于，所述***包括：图像获取模块、预处理模块、目标检测网络、抑制模块；
所述图像获取模块用于获取原始的待检测图像；
所述预处理模块用于对所述原始的待检测图像进行像素值归一化，得到预处理后的待检图像；
所述目标检测网络用于根据所述预处理后的待检测图像检测目标物体；
所述抑制模块配置为：根据所述感兴趣区域的包围框和属于各目标类别的概率，采用改进的非极大值抑制算法得到目标物体的包围框和所属类别；
所述抑制模块包括：选择单元、再评分单元、非极大值抑制单元、循环控制单元；
所述选择单元配置为：根据所有所述感兴趣区域属于各目标类别的概率，选择其中最大概率值对应的包围框，作为评分最高的包围框M；
所述再评分单元配置为：根据下式的方法，对除包围框M以外的其他包围框进行重新评分：
其中，si代表第i个包围框的评分值，初值为该包围框属于各目标类别的概率中的最大概率值；bi代表第i个包围框，且不等于M；iou(M,bi)代表包围框M与bi的重叠度；N1代表第一重叠度阈值；
所述非极大值抑制单元配置为：遍历其他包围框，对所有与M的重叠度大于第二重叠度阈值N2的包围框进行删除操作；将包围框M作为一个目标物体的包围框，将该包围框属于各目标类别的概率中最大概率值对应的目标类别作为该目标物体的类别；
所述循环控制单元配置为：调用所述选择单元从余下的包围框中选择评分最高的包围框M，并依次调用所述再评分单元、所述非极大值抑制单元，直到处理完所有的包围框。
7.根据权利要求6所述的目标检测***，其特征在于，所述***还包括：目标检测网络构建模块；
所述目标检测网络构建模块用于构建和训练所述目标检测网络；
所述目标检测网络构建模块包括：构建单元、输入单元、特征图提取单元、目标检测单元、损失函数计算单元、控制单元、稀疏化处理单元；
所述构建单元用于构建检测器网络，所述检测器网络包括：可变形卷积神经网络、区域候选网络、池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、softmax层；
所述输入单元用于输入一帧训练样本图像到所述特征图提取单元；
所述特征图提取单元配置为：基于可变形卷积神经网络对所述训练样本图像进行特征图提取；
所述目标检测单元配置为：根据提取的所述特征图，基于候选区域法进行目标检测；
所述损失函数计算单元用于计算多任务损失函数；
所述控制单元配置为：判断所述多任务损失函数的收敛情况；若所述多任务损失函数未收敛，则修改所述检测器网络的参数，并顺次调用所述输入单元、所述特征图提取单元、所述目标检测单元和所述损失函数计算单元继续训练；否则，调用所述稀疏化处理单元；
所述稀疏化处理单元配置为：使用剪枝方法对所述检测器网络进行稀疏化处理，得到所述目标检测网络。
8.根据权利要求6所述的目标检测***，其特征在于，所述目标检测网络构建模块还包括：训练样本生成单元；
所述训练样本生成单元配置为：获取训练用的原始图像样本集；对所述样本集进行数据增广与像素值归一化，得到所述训练样本图像的集合。
9.一种存储设备，其中存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现权利要求1-5中任一项所述的水下机器人的目标检测方法。
10.一种处理设备，包括处理器和存储器；
所述处理器适于执行程序；
所述存储器适于存储该程序；
其特征在于，所述程序适于由所述处理器加载并执行，以实现权利要求1-5中任一项所述的水下机器人的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810806439.1A CN109101897A (zh) | 2018-07-20 | 2018-07-20 | 水下机器人的目标检测方法、***及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810806439.1A CN109101897A (zh) | 2018-07-20 | 2018-07-20 | 水下机器人的目标检测方法、***及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109101897A true CN109101897A (zh) | 2018-12-28 |
Family
ID=64847032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810806439.1A Pending CN109101897A (zh) | 2018-07-20 | 2018-07-20 | 水下机器人的目标检测方法、***及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109101897A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919151A (zh) * | 2019-01-30 | 2019-06-21 | 西安交通大学 | 一种基于端对端网络的机器人视觉推理抓取方法 |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| CN110135422A (zh) * | 2019-05-20 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 一种密集目标的检测方法和装置 |
| CN110210571A (zh) * | 2019-06-10 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备及计算机可读存储介质 |
| CN110415323A (zh) * | 2019-07-30 | 2019-11-05 | 成都数字天空科技有限公司 | 一种融合变形系数获得方法、装置及存储介质 |
| CN110458166A (zh) * | 2019-08-19 | 2019-11-15 | 广东工业大学 | 一种基于可变形卷积的危险品检测方法、装置及设备 |
| CN110472601A (zh) * | 2019-08-20 | 2019-11-19 | 北京瞰天科技有限公司 | 一种遥感图像目标物体识别方法、装置和存储介质 |
| CN110837789A (zh) * | 2019-10-31 | 2020-02-25 | 北京奇艺世纪科技有限公司 | 一种检测物体的方法、装置、电子设备及介质 |
| CN110910450A (zh) * | 2019-09-26 | 2020-03-24 | 西安交通大学 | 一种基于混合特征感知神经网络进行3d目标检测的方法 |
| CN111274981A (zh) * | 2020-02-03 | 2020-06-12 | 中国人民解放军国防科技大学 | 目标检测网络构建方法及装置、目标检测方法 |
| CN111553200A (zh) * | 2020-04-07 | 2020-08-18 | 北京农业信息技术研究中心 | 一种图像检测识别方法及装置 |
| CN111597941A (zh) * | 2020-05-08 | 2020-08-28 | 河海大学 | 一种面向大坝缺陷图像的目标检测方法 |
| CN111783777A (zh) * | 2020-07-07 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN111784710A (zh) * | 2020-07-07 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和介质 |
| CN111914831A (zh) * | 2019-05-10 | 2020-11-10 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置及存储介质 |
| CN112163584A (zh) * | 2020-10-13 | 2021-01-01 | 安谋科技（中国）有限公司 | 电子设备及其基于宽动态范围的图像特征提取方法和介质 |
| CN112419263A (zh) * | 2020-11-20 | 2021-02-26 | 上海电力大学 | 一种基于类间覆盖比的多类别非极大抑制方法及*** |
| CN113313116A (zh) * | 2021-06-20 | 2021-08-27 | 西北工业大学 | 一种基于视觉的水下人工目标准确检测与定位方法 |
| CN113469174A (zh) * | 2021-04-12 | 2021-10-01 | 北京迈格威科技有限公司 | 稠密物体检测方法、装置、设备和存储介质 |
| CN113474785A (zh) * | 2019-03-27 | 2021-10-01 | 杭州飞步科技有限公司 | 提取处理方法及相关产品 |
| CN113705501A (zh) * | 2021-09-02 | 2021-11-26 | 浙江索思科技有限公司 | 一种基于图像识别技术的海上目标检测方法和*** |
| EP3951654A4 (en) * | 2019-03-26 | 2022-05-25 | Tencent Technology (Shenzhen) Company Limited | METHOD FOR TRAINING AN IMAGE CLASSIFICATION MODEL AND METHOD AND APPARATUS FOR IMAGE PROCESSING |
| CN114550223A (zh) * | 2022-04-25 | 2022-05-27 | 中国科学院自动化研究所 | 人物交互检测方法、装置及电子设备 |
| CN114638787A (zh) * | 2022-02-23 | 2022-06-17 | 青岛海信网络科技股份有限公司 | 检测非机动车是否挂牌的方法及电子设备 |
| CN116152576A (zh) * | 2023-04-19 | 2023-05-23 | 北京邮电大学 | 图像处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
| CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
| CN107680106A (zh) * | 2017-10-13 | 2018-02-09 | 南京航空航天大学 | 一种基于Faster R‑CNN的显著性目标检测方法 |
| US20180096457A1 (en) * | 2016-09-08 | 2018-04-05 | Carnegie Mellon University | Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network |
| CN108154145A (zh) * | 2018-01-24 | 2018-06-12 | 北京地平线机器人技术研发有限公司 | 检测自然场景图像中的文本的位置的方法和装置 |
-
2018
- 2018-07-20 CN CN201810806439.1A patent/CN109101897A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180096457A1 (en) * | 2016-09-08 | 2018-04-05 | Carnegie Mellon University | Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network |
| CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
| CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
| CN107680106A (zh) * | 2017-10-13 | 2018-02-09 | 南京航空航天大学 | 一种基于Faster R‑CNN的显著性目标检测方法 |
| CN108154145A (zh) * | 2018-01-24 | 2018-06-12 | 北京地平线机器人技术研发有限公司 | 检测自然场景图像中的文本的位置的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| NAVANEETH BODLA 等: "Soft-NMS – Improving Object Detection With One Line of Code", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 伍伟明: "基于Faster R-CNN的目标检测算法的研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
| 苏军雄 等: "基于可变形卷积神经网络的手势识别方法", 《计算机与现代化》 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919151A (zh) * | 2019-01-30 | 2019-06-21 | 西安交通大学 | 一种基于端对端网络的机器人视觉推理抓取方法 |
| EP3951654A4 (en) * | 2019-03-26 | 2022-05-25 | Tencent Technology (Shenzhen) Company Limited | METHOD FOR TRAINING AN IMAGE CLASSIFICATION MODEL AND METHOD AND APPARATUS FOR IMAGE PROCESSING |
| CN113474785A (zh) * | 2019-03-27 | 2021-10-01 | 杭州飞步科技有限公司 | 提取处理方法及相关产品 |
| CN113474785B (zh) * | 2019-03-27 | 2023-10-27 | 杭州飞步科技有限公司 | 用于目标检测的区域提取处理方法及相关产品 |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| CN111914831A (zh) * | 2019-05-10 | 2020-11-10 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置及存储介质 |
| CN111914831B (zh) * | 2019-05-10 | 2023-06-02 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置及存储介质 |
| CN110135422A (zh) * | 2019-05-20 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 一种密集目标的检测方法和装置 |
| CN110135422B (zh) * | 2019-05-20 | 2022-12-13 | 腾讯科技（深圳）有限公司 | 一种密集目标的检测方法和装置 |
| CN110348543A (zh) * | 2019-06-10 | 2019-10-18 | 腾讯医疗健康(深圳)有限公司 | 眼底图像识别方法、装置、计算机设备及存储介质 |
| CN110348543B (zh) * | 2019-06-10 | 2023-01-06 | 腾讯医疗健康(深圳)有限公司 | 眼底图像识别方法、装置、计算机设备及存储介质 |
| CN110210571A (zh) * | 2019-06-10 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备及计算机可读存储介质 |
| CN110415323B (zh) * | 2019-07-30 | 2023-05-26 | 成都数字天空科技有限公司 | 一种融合变形系数获得方法、装置及存储介质 |
| CN110415323A (zh) * | 2019-07-30 | 2019-11-05 | 成都数字天空科技有限公司 | 一种融合变形系数获得方法、装置及存储介质 |
| CN110458166A (zh) * | 2019-08-19 | 2019-11-15 | 广东工业大学 | 一种基于可变形卷积的危险品检测方法、装置及设备 |
| CN110472601A (zh) * | 2019-08-20 | 2019-11-19 | 北京瞰天科技有限公司 | 一种遥感图像目标物体识别方法、装置和存储介质 |
| CN110910450A (zh) * | 2019-09-26 | 2020-03-24 | 西安交通大学 | 一种基于混合特征感知神经网络进行3d目标检测的方法 |
| CN110837789A (zh) * | 2019-10-31 | 2020-02-25 | 北京奇艺世纪科技有限公司 | 一种检测物体的方法、装置、电子设备及介质 |
| CN110837789B (zh) * | 2019-10-31 | 2023-01-20 | 北京奇艺世纪科技有限公司 | 一种检测物体的方法、装置、电子设备及介质 |
| CN111274981B (zh) * | 2020-02-03 | 2021-10-08 | 中国人民解放军国防科技大学 | 目标检测网络构建方法及装置、目标检测方法 |
| CN111274981A (zh) * | 2020-02-03 | 2020-06-12 | 中国人民解放军国防科技大学 | 目标检测网络构建方法及装置、目标检测方法 |
| CN111553200A (zh) * | 2020-04-07 | 2020-08-18 | 北京农业信息技术研究中心 | 一种图像检测识别方法及装置 |
| CN111597941A (zh) * | 2020-05-08 | 2020-08-28 | 河海大学 | 一种面向大坝缺陷图像的目标检测方法 |
| CN111783777A (zh) * | 2020-07-07 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN111783777B (zh) * | 2020-07-07 | 2023-11-24 | 抖音视界有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN111784710A (zh) * | 2020-07-07 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和介质 |
| CN111784710B (zh) * | 2020-07-07 | 2023-10-20 | 抖音视界有限公司 | 图像处理方法、装置、电子设备和介质 |
| CN112163584A (zh) * | 2020-10-13 | 2021-01-01 | 安谋科技（中国）有限公司 | 电子设备及其基于宽动态范围的图像特征提取方法和介质 |
| CN112419263A (zh) * | 2020-11-20 | 2021-02-26 | 上海电力大学 | 一种基于类间覆盖比的多类别非极大抑制方法及*** |
| CN113469174A (zh) * | 2021-04-12 | 2021-10-01 | 北京迈格威科技有限公司 | 稠密物体检测方法、装置、设备和存储介质 |
| CN113313116A (zh) * | 2021-06-20 | 2021-08-27 | 西北工业大学 | 一种基于视觉的水下人工目标准确检测与定位方法 |
| CN113705501A (zh) * | 2021-09-02 | 2021-11-26 | 浙江索思科技有限公司 | 一种基于图像识别技术的海上目标检测方法和*** |
| CN113705501B (zh) * | 2021-09-02 | 2024-04-26 | 浙江索思科技有限公司 | 一种基于图像识别技术的海上目标检测方法和*** |
| CN114638787A (zh) * | 2022-02-23 | 2022-06-17 | 青岛海信网络科技股份有限公司 | 检测非机动车是否挂牌的方法及电子设备 |
| CN114638787B (zh) * | 2022-02-23 | 2024-03-22 | 青岛海信网络科技股份有限公司 | 检测非机动车是否挂牌的方法及电子设备 |
| CN114550223A (zh) * | 2022-04-25 | 2022-05-27 | 中国科学院自动化研究所 | 人物交互检测方法、装置及电子设备 |
| CN116152576B (zh) * | 2023-04-19 | 2023-08-01 | 北京邮电大学 | 图像处理方法、装置、设备及存储介质 |
| CN116152576A (zh) * | 2023-04-19 | 2023-05-23 | 北京邮电大学 | 图像处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109101897A (zh) | 水下机器人的目标检测方法、***及相关设备 | |
| CN112308019B (zh) | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 | |
| Chen et al. | A deep neural network based on an attention mechanism for SAR ship detection in multiscale and complex scenarios | |
| CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
| CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
| Nieto-Hidalgo et al. | Two-stage convolutional neural network for ship and spill detection using SLAR images | |
| CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN110310264A (zh) | 一种基于dcnn的大尺度目标检测方法、装置 | |
| CN110598029A (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN111160120A (zh) | 基于迁移学习的Faster R-CNN物品检测方法 | |
| Capizzi et al. | A clustering based system for automated oil spill detection by satellite remote sensing | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN110378297A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN109948607A (zh) | 基于深度学习反卷积网络的候选边框生成和目标检测方法 | |
| CN109978882A (zh) | 一种基于多模态融合的医疗影像目标检测方法 | |
| Xu et al. | Fast ship detection combining visual saliency and a cascade CNN in SAR images | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN115937659A (zh) | 基于Mask-RCNN的室内复杂环境下多目标检测方法 | |
| Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
| CN114565824A (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN113505712B (zh) | 基于类平衡损失函数的卷积神经网络的海面溢油检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181228 |