CN111862159A - 改良的孪生卷积网络的目标跟踪与分割方法、***及介质 - Google Patents

改良的孪生卷积网络的目标跟踪与分割方法、***及介质 Download PDF

Info

Publication number
CN111862159A
CN111862159A CN202010716280.1A CN202010716280A CN111862159A CN 111862159 A CN111862159 A CN 111862159A CN 202010716280 A CN202010716280 A CN 202010716280A CN 111862159 A CN111862159 A CN 111862159A
Authority
CN
China
Prior art keywords
target
feature map
row
map
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010716280.1A
Other languages
English (en)
Inventor
盛校麟
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Issa Data Technology Co ltd
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Anhui Issa Data Technology Co ltd
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Issa Data Technology Co ltd, Beijing Yisa Technology Co ltd, Qingdao Yisa Data Technology Co Ltd filed Critical Anhui Issa Data Technology Co ltd
Priority to CN202010716280.1A priority Critical patent/CN111862159A/zh
Publication of CN111862159A publication Critical patent/CN111862159A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的改良孪生卷积网络的目标跟踪与分割方法，包括：采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；将目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。该方法利用特征提取网络的底层特征信息，提高了语义分割的精度和语义跟踪。

Description

改良的孪生卷积网络的目标跟踪与分割方法、***及介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种改良的孪生卷积网络的目标跟踪与分割方法、***、终端及介质。
背景技术
目标跟踪技术是计算机视觉任务中的一个重要分支，被广泛应用于自动驾驶，视频监控和机器人等领域。传统目标跟踪算法主要依赖于手工标注特征和相关滤波算法(如KCF，TLD等)，有着较高的帧率,但是准确率和鲁棒性较低，难以满足实际应用要求。近年来随着人工智能与深度学习的兴起，卷积神经网络算法逐步进入目标跟踪领域，并且取得了不俗的表现与成绩，其中以孪生卷积网络为基础的算法框架凭借其良好得性能表现和简洁的网络结构，在近几年国际计算机视觉顶会以及跟踪赛事中受到了极大关注。
为了方便跟踪结果的表述，原先跟踪算法都是以坐标轴对齐的的矩形框作为目标跟踪结果返回。但随着跟踪精度的不断提升，数据集的难度在不断提升，在VOT2015时即提出使用旋转矩形框来作为标记。在VOT2016的时候提出自动的通过掩膜来生成旋转框的方法，但是仍然不能满足多元化的目标跟踪任务的需求。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种改良的孪生卷积网络的目标跟踪与分割方法、***、终端及介质，采用refinement模块进行目标掩膜计算，结合特征提取网络底层特征信息，提高了目标分割精度。
第一方面，本发明实施例提供的一种改良的孪生卷积网络的目标跟踪与分割方法，包括：
获取输入图像信息；
采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；
将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；
将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素则为第一特征图中的每一个ROW对应的置信度；
选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
第二方面，本发明实施例提供的一种改良的孪生卷积网络的目标跟踪与分割***，包括：图像获取模块、图像特征提取模块、互相关模块、第一分析模块和第二分析模块，
所述图像获取模块用于获取输入图像信息；
所述图像特征提取模块采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；
所述互相关模块将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；
所述第一分析模块用于将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素则为第一特征图中的每一个ROW对应的置信度；
第二分析模块用于选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
第三方面，本发明实施例提供的一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法步骤。
第四方面，本发明实施例提供的一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法步骤。
本发明的有益效果：
本发明实施例提供的一种改良的孪生卷积网络的目标跟踪与分割方法、***、终端及介质，采用密集连接的卷积神经网络提取图像特征，提升了网络特征的提取能力，并在基础的孪生卷积神经网络加入语义分割分支和得分图分支，提升了目标跟踪精度，实现了对目标的像素级跟踪，并采用Refinement模块获取目标在图像中的二值掩膜，充分利用了特征提取网络的底层特征信息，提高了语义分割的精度，该方法可以实现高精度的语义跟踪。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明第一实施例所提供的一种改良的孪生卷积网络的目标跟踪与分割方法的流程图；
图2示出了本发明另一实施例所提供的一种改良的孪生卷积网络的目标跟踪与分割***的结构示意图；
图3示出了本发明另一实施例所提供的一种智能终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，示出了本发明第一实施例所提供的一种改良的孪生卷积网络的目标跟踪与分割方法的流程图,该方法包括以下步骤：
S1：获取输入图像信息。
S2：采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图。
S3：将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；
S4：将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素则为第一特征图中的每一个ROW对应的置信度。
S5：选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
具体地，采用Refinement模块根据ROW生成目标掩膜的具体方法包括：
对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；
将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；
将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。
以下采用一个具体的实例来详细说明上述技术方案。
获取两张输入图像，一张图像维度为127*127*3和另一张为维度为255*255*3，分别将两张图像输入密集连接的卷积神经网络进行特征提取，特征提取网络分为两路，分别用于提取目标特征和跟踪区域特征，全卷积网络输出目标图像(尺度为127*127)，输出跟踪区域图像(尺度为255*255)。特征提取过程用如下数学表达式表示：
xl＝Hl([x0,x1,...,xl-1])
其中，Hl表示网络提取特征运算，[x0,x1,...,xl-1]表示将第一层至最后一层的特征图作通道合并，xl则为特征提取网络的输出，分别得到目标特征图维度为15*15*256和跟踪区域特征图维度为31*31*256。将目标特征图维度为15*15*256和跟踪区域特征图维度为31*31*256做相关操作，padding为0，步长为1，得到维度为17*17*256的输出特征图。将维度为17*17*256的输出特征图分别送入语义分割分支和得分图(score map)分支，语义分割分支和得分图分支均由1*1卷积构成，输出特征图经过1*1卷积后分别得到维度为17*17*(63*63)的第一特征图(fmask)和维度为17*17*1的得分图(score map)，将fmask中的每个像素及其对应通道称为RoW，即response of a candidate window，所以fmask中一共由17*17个RoW，每个RoW的维度为1*1*(63*63)。而score map中的每一个像素则为fmask中的每一个RoW对应的置信度，挑选score map中置信度最高的像素点在fmask上对应的RoW作为最终生成mask时所使用的RoW。采用Refinement模块根据该RoW生成目标掩膜。
采用Refinement模块根据该RoW生成目标掩膜具体方法包括：(1)首先，对获得的RoW进行反卷积(deconv)获取维度为15*15*32的第二特征图。(2)将反卷积得到的第二特征图与特征提取网络提取跟踪目标(template支路)时所获得的中间特征图进行相加耦合。(3)各个中间特征图经过三层模型降维，使其具有与RoW相同的通道数、宽和高，再将各个特征图进行相加。(4)最后获得了维度为127*127*4的第三特征图，通过最后一层卷积层得到维度为127*127*1的第一矩阵。(4)将第一矩阵进行sigmoid(二分类)运算得到掩膜矩阵，得到的掩膜矩阵每个元素的值处于0～1之间，用于判断RoW生成的矩阵上的像素是否属于掩膜(mask)。之后将掩膜矩阵进行仿射变换映射回原图，将矩阵映射回原图中用于被search的区域。(5)设定分割阈值(本实施例选取0.35作为mask的分割阈值)，将sigmoid矩阵转换为二值矩阵，从而便可以获取目标的语义分割信息，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形获得跟踪目标的边界框(boundingbox)。
在DAVIS2016数据集上实施本实施例描述的方法，并与其他state-of-the-art的跟踪算法(包括传统基于孪生网络的跟踪算法)比较各项性能指标，结果如表1所示：
Figure BDA0002598240640000071
表1
在DAVIS2017数据集上采用本实施例描述的方法，并与其他state-of-the-art的跟踪算法(包括传统基于孪生网络的跟踪算法)比较各项性能指标，结果如表2所示：
Figure BDA0002598240640000072
表2
通过表1和表2的数据表明，本发明实施例提供的改良的孪生卷积网络的目标跟踪与分割方法，性能明显优于现有技术的各种方法。
本发明实施例提供的改良的孪生卷积网络的目标跟踪与分割方法，采用密集连接的卷积神经网络提取图像特征，提升了网络特征的提取能力，并在基础的孪生卷积神经网络加入语义分割分支和得分图分支，提升了目标跟踪精度，实现了对目标的像素级跟踪，并采用refinement模块获取目标在图像中的二值掩膜，充分利用了特征提取网络的底层特征信息，提高了语义分割的精度，该方法可以实现高精度的语义跟踪。
在上述的第一实施例中，提供了一种改良的孪生卷积网络的目标跟踪与分割方法，与之相对应的，本申请还提供一种改良的孪生卷积网络的目标跟踪与分割***。请参考图2，其为本发明第二实施例提供的一种改良的孪生卷积网络的目标跟踪与分割***的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
如图2所示，示出了本发明另一实施例提供的一种改良的孪生卷积网络的目标跟踪与分割***的结构示意图，该***包括：图像获取模块、图像特征提取模块、互相关模块、第一分析模块和第二分析模块，所述图像获取模块用于获取输入图像信息；所述图像特征提取模块采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；所述互相关模块将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；第一分析模块用于将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；第二分析模块用于选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
采用Refinement模块根据ROW生成目标掩膜的具体方法包括：
对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。
以下采用一个具体的实例来详细说明上述技术方案。
图像获取模块获取两张输入图像，一张图像维度为127*127*3和另一张为维度为255*255*3，分别将两张图像输入图像特征提取模块，图像特征提取模块采用密集连接的卷积神经网络进行特征提取，特征提取网络分为两路，分别用于提取目标特征和跟踪区域特征，全卷积网络输出目标图像(尺度为127*127)，输出跟踪区域图像(尺度为255*255)。图像特征提取模块特征提取过程用如下数学表达式表示：
xl＝Hl([x0,x1,…,xl-1])
其中，Hl表示网络提取特征运算，[x0,x1,...,xl-1]表示将第一层至最后一层的特征图作通道合并，xl则为特征提取网络的输出，分别得到目标特征图维度为15*15*256和跟踪区域特征图维度为31*31*256。将目标特征图维度为15*15*256和跟踪区域特征图维度为31*31*256做相关操作，padding为0，步长为1，得到维度为17*17*256的输出特征图。将维度为17*17*256的输出特征图分别送入语义分割分支和得分图(score map)分支，语义分割分支和得分图分支均由1*1卷积构成，输出特征图经过1*1卷积后分别得到维度为17*17*(63*63)的第一特征图(fmask)和维度为17*17*1的得分图(score map)，将fmask中的每个像素及其对应通道称为RoW，即response of a candidate window，所以fmask中一共由17*17个RoW，每个RoW的维度为1*1*(63*63)。而score map中的每一个像素则为fmask中的每一个RoW对应的置信度，挑选score map中置信度最高的像素点在fmask上对应的RoW作为最终生成mask时所使用的RoW。采用Refinement模块根据该RoW生成目标掩膜。采用Refinement模块根据该RoW生成目标掩膜具体方法包括：(1)首先，对获得的RoW进行反卷积(deconv)获取维度为15*15*32的第二特征图。(2)将反卷积得到的第二特征图与特征提取网络提取跟踪目标(template支路)时所获得的中间特征图进行相加耦合。(3)各个中间特征图经过三层模型降维，使其具有与RoW相同的通道数、宽和高，再将各个特征图进行相加。(4)最后获得了维度为127*127*4的第三特征图，通过最后一层卷积层得到维度为127*127*1的第一矩阵。(4)将第一矩阵进行sigmoid(二分类)运算得到掩膜矩阵，得到的掩膜矩阵每个元素的值处于0～1之间，用于判断RoW生成的矩阵上的像素是否属于掩膜(mask)。之后将掩膜矩阵进行仿射变换映射回原图，将矩阵映射回原图中用于被search的区域。(5)设定分割阈值(本实施例选取0.35作为mask的分割阈值)，将sigmoid矩阵转换为二值矩阵，从而便可以获取目标的语义分割信息，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形获得跟踪目标的边界框(boundingbox)。
本发明实施例提供的一种改良的孪生卷积网络的目标跟踪与分割***，采用密集连接的卷积神经网络提取图像特征，提升了网络特征的提取能力，并在基础的孪生卷积神经网络加入语义分割分支和得分图分支，提升了目标跟踪精度，实现了对目标的像素级跟踪，并采用refinement模块获取目标在图像中的二值掩膜，充分利用了特征提取网络的底层特征信息，提高了语义分割的精度，该方法可以实现高精度的语义跟踪。
如图3所示，示出了本发明第三实施例提供一种智能终端结构示意图，该终端包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一实施例描述的方法。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备可以包括触控板、麦克风等，输出设备可以包括显示器(LCD等)、扬声器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器、输入设备、输出设备可执行本发明实施例提供的方法实施例所描述的实现方式，也可执行本发明实施例所描述的***实施例的实现方式，在此不再赘述。
在本发明还提供一种计算机可读存储介质的实施例，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，包括：
获取输入图像信息；
采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；
将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；
将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；
选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
2.如权利要求1所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述采用Refinement模块根据ROW生成目标掩膜的具体方法包括：
对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；
将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；
将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。
3.如权利要求1所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述语义分割分支由1*1的卷积层构成；所述得分图分支由1*1的卷积层构成。
4.如权利要求2所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述分割阈值为0.35。
5.一种改良的孪生卷积网络的目标跟踪与分割***，其特征在于，包括：图像获取模块、图像特征提取模块、互相关模块、第一分析模块和第二分析模块，
所述图像获取模块用于获取输入图像信息；
所述图像特征提取模块采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；
所述互相关模块将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；
所述第一分析模块用于将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；
所述第二分析模块用于选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
6.如权利要求5所述的改良的孪生卷积网络的目标跟踪与分割***，其特征在于，所述采用Refinement模块根据ROW生成目标掩膜的具体方法包括：
对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；
将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；
将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。
7.如权利要求5所述的改良的孪生卷积网络的目标跟踪与分割***，其特征在于，所述语义分割分支由1*1的卷积层构成；所述得分图分支由1*1的卷积层构成。
8.如权利要求6所述的改良的孪生卷积网络的目标跟踪与分割***，其特征在于，所述分割阈值为0.35。
9.一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，其特征在于，所述处理器被配置用于调用所述程序指令，执行如权利要求1至4任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使处理器执行如权利要求1至4任一项所述的方法步骤。
CN202010716280.1A 2020-07-23 2020-07-23 改良的孪生卷积网络的目标跟踪与分割方法、***及介质 Withdrawn CN111862159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010716280.1A CN111862159A (zh) 2020-07-23 2020-07-23 改良的孪生卷积网络的目标跟踪与分割方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010716280.1A CN111862159A (zh) 2020-07-23 2020-07-23 改良的孪生卷积网络的目标跟踪与分割方法、***及介质

Publications (1)

Publication Number Publication Date
CN111862159A true CN111862159A (zh) 2020-10-30

Family

ID=72949357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010716280.1A Withdrawn CN111862159A (zh) 2020-07-23 2020-07-23 改良的孪生卷积网络的目标跟踪与分割方法、***及介质

Country Status (1)

Country Link
CN (1) CN111862159A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541944A (zh) * 2020-12-10 2021-03-23 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541944A (zh) * 2020-12-10 2021-03-23 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及***

Similar Documents

Publication Publication Date Title
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
WO2020238560A1 (zh) 视频目标跟踪方法、装置、计算机设备及存储介质
CN111415373A (zh) 基于孪生卷积网络的目标跟踪与分割方法、***及介质
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110197146A (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
CN112418216A (zh) 一种复杂自然场景图像中的文字检测方法
CN112380978B (zh) 基于关键点定位的多人脸检测方法、***及存储介质
CN113221869B (zh) 医疗***结构化信息提取方法、装置设备及存储介质
CN110163864B (zh) 图像分割方法、装置、计算机设备和存储介质
CN108986137B (zh) 人体跟踪方法、装置及设备
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN112597940B (zh) 证件图像识别方法、装置及存储介质
CN114445904A (zh) 基于全卷积神经网络的虹膜分割方法和装置、介质和设备
CN114969417B (zh) 图像重排序方法、相关设备及计算机可读存储介质
CN112580668A (zh) 一种背景欺诈检测方法、装置及电子设备
CN113920309A (zh) 图像检测方法、装置、医学图像处理设备及存储介质
Wang et al. End-to-end trainable network for superpixel and image segmentation
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
WO2021179751A1 (zh) 图像处理方法和***
CN112750071B (zh) 一种用户自定义的表情制作方法及***
CN111862159A (zh) 改良的孪生卷积网络的目标跟踪与分割方法、***及介质
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN112884804A (zh) 行动对象追踪方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication