CN109118519A - 基于实例分割的目标Re-ID方法、***、终端和存储介质 - Google Patents

基于实例分割的目标Re-ID方法、***、终端和存储介质 Download PDF

Info

Publication number
CN109118519A
CN109118519A CN201810833833.4A CN201810833833A CN109118519A CN 109118519 A CN109118519 A CN 109118519A CN 201810833833 A CN201810833833 A CN 201810833833A CN 109118519 A CN109118519 A CN 109118519A
Authority
CN
China
Prior art keywords
target
image
segmentation
tracking
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810833833.4A
Other languages
English (en)
Inventor
李坤仑
吴子章
王凡
唐锐
丁丽珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Original Assignee
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anchi Zongmu Intelligent Technology Co Ltd filed Critical Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority to CN201810833833.4A priority Critical patent/CN109118519A/zh
Publication of CN109118519A publication Critical patent/CN109118519A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于实例分割的目标Re‑ID方法、***、终端和存储介质,在目标跟踪过程中,同时对每个跟踪目标进行实例分割,根据前后帧的实例分割结果进行以尺度、轮廓、纹理、位置等信息为要素进行相似性匹配,当重新启动检测时,可以根据实例分割的匹配信息来找到前一帧的匹配目标,给予相同的目标ID。同时,利用前面多帧相同实例ID的特征,对当前实例进行修正,使得实例分割与跟踪的过程更加平滑。

Description

基于实例分割的目标Re-ID方法、***、终端和存储介质
技术领域
本发明涉及汽车电子技术领域,特别是涉及一种基于实例分割的目标Re-ID方法、***、终端和存储介质。
背景技术
ADAS即先进驾驶辅助***又称主动安全***,主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中,每个跟踪物体都有一个实时的ID,在目标跟踪的过程中,每隔K帧启动检测,每次启动检测时,跟踪物体的ID就会被打乱,无法确认跟踪目标。
发明内容
为了解决上述的以及其他潜在的技术问题,本发明提供了一种基于实例分割的目标Re-ID方法、***、终端和存储介质,为了解决随时间连续顺序采集的图像组或视频中,同一目标物体在不同帧的图像中被误认为两个物体的问题,本发明提出了以下技术方案:
在目标跟踪过程中,同时对每个跟踪目标进行实例分割,根据前后帧的实例分割结果进行相似性匹配(包括尺度、轮廓、纹理、位置等信息),当重新启动检测时,可以根据实例分割的匹配信息来找到前一帧的匹配目标,给予相同的目标ID。同时,利用前面多帧相同实例ID的特征,对当前实例进行修正,使得实例分割与跟踪的过程更加平滑。
一种基于实例分割的目标Re-ID方法,包括以下步骤:
S01:输入一组连续的捕获图像,在目标跟踪过程中,同时对每个跟踪目标进行实例分割,获取捕获图像或视频中相同类别中不同的实例;
S02:根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配,匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像,给予目标相同的目标ID。
进一步地,所述步骤S02:开始于当***重新启动目标检测时。在目标跟踪的过程中,每间隔K帧重新启动检测,前次跟踪的目标ID与后次启动目标检测的目标ID无法匹配的问题更严重。
进一步地,所述步骤S01中对每个跟踪目标进行实例分割的网络架构包括但不限于MASK-RCNN,FCIS,PANET。
进一步地,所述步骤S01中实例分割的方法为:输入图像通过卷积神经网络主干结构处理,提取特征图和预选框,通过无量化层处理的区域候选网络,得到目标增强后的预选区域,再由第一二分类层输出追踪目标的类别概率分布和回归坐标,第二二分类层输出掩膜处理后得到的目标轮廓格点,再将目标轮廓格点映射回原图。
优选地,所述第一二分类层通过第一后卷积层完成,所属苏第二二分类层通过第二后卷积层完成。
优选地,所述第一二分类层为卷积神经网络CNN,第二二分类层为全卷积神经网络FCN。
优选地,所述预选框是对捕获图像进行目标检测处理得到所有的预选框,以目标编号分类所有的预选框得到同一目标编号的一组预选框为预选框组,以预选框组输入区域候选网络得到候选区域。
优选地,所述目标增强是对预选框组中每一个追踪目标所在的预选框组中每一个预选框进行上、下、左、右偏移得到一组高于预选框组数量若干倍的一组目标增强后的一组预选框组。例如原预选框组中的预选框为10~20个,每一个预选框进行上、下、左、右偏移时,会产生3-5个新的预选框,进而预选框组中的预选框数量上升为30~100个,使语义分割中每个类别中实例分割小类别中某一实例(追踪目标)的预选框组得到增强。
优选地,所述步骤S01中实例分割网络架构还包括获得预选区域后先做多层特征融合,再把候选区域映射到特征图像上做二分类语义分割,进行目标检测,这不仅利用了高层特征的语义信息,还考虑了低层特征的细节纹理信息,是的目标检测定位更精准。解决了Fast R-CNN和Faster R-CNN都是利用了后卷积层的特征进行目标检测,而由于高层的卷积层特征已经损失了很多细节信息,所以在定位时并不是很精准的问题。
优选地,所述第二后卷积层输出掩膜处理得到目标轮廓格点的过程具体为:所述第二后卷积层为FCN全卷积网络,所述FCN全卷积网络用于对每一个由区域候选网络输出的候选区域进行语义分割;语义分割输出按照通道数序列区分的特征图,再根据分类器输出的类别概率分布选择概率最大值对应的类别标签作为最终的预测类别,选出与预测类别对应的通道;用与预测类别对应的通道的特征图计算出需要掩膜处理的特征图,经过sigmoid函数将输出映射到[0,1]之间的概率值,再采用阈值法,进行二值化,进而得到二值化掩膜图。
优选地,所述掩膜处理的主要作用是大致定位出目标实例的基本轮廓,有利于进一步准确进行实例分割。
优选地,所述损失函数是使用数据分布和模型分布间的交叉熵函数,具体为平均二进制交叉熵损失函数。
进一步地,所述步骤S01中实例分割的网络架构为:输入图像通过卷积神经网络主干结构处理,提取特征图和候选框,通过无量化层处理,得到预选框组合,再由第一再分类层输出追踪目标的类别概率分布和回归坐标,第二再分类层输出掩膜处理后得到的目标轮廓格点,再将目标轮廓格点映射回原图。
进一步地,所述步骤S01中实例分割的网络架构中无量化层处理具体为通过双线性插值方法避免量化操作。优选地,所述双线性插值过程中对于每个网格插值的位置与抽样点数均不敏感,在实现过程中对每个网格只插值一个抽样点。
进一步地,所述无量化层相比与量化层操作,减小了第一量化操作和第二量化操作。所述第一量化操作为:自输入图像原坐标系输出的区域候选的若干组坐标映射到特征图时的池化操作,由于特征图的空间尺寸被缩放,而缩放尺寸时对不能整除的结果进行的第一步量化操作。所述第二量化操作为:区域候选框划分网格时,如遇不能整除的像素点在量化过程中致使无法对候选区域框均匀划分网格,输入和输出特征严重失准。
进一步地,所述步骤S02中,根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为:从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息,各个要素的权重按照追踪目标的类别配比要素的权重,再根据各个要素的权重综合打分之后,将综合打分的分值与预设阈值进行比较,大于阈值则认为匹配成功,小于预设阈值则认为匹配失败。
进一步地,所述步骤S02中,根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的具体方式为:
S021:从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息;
S022:将前帧图像与后帧图像中对于相同追踪目标的相同要素之间做差、平方、求和、归一化处理,得到该要素的匹配分数;
S023:把匹配分数高于某一值的预选框提取出,归类为同一ID目标物体。
进一步地,还包括步骤S03:在一组图像中出现后又消失的追踪目标,对于特定的追踪目标类别,将该追踪目标类别中的各个实例保留固定帧数的记忆;对于除特定的追踪目标类别之外的追踪目标,将该追踪目标类别中的各个实例作为消失处理。消失的示例一般会在内存中被删除,保留就是在内存中保留一段时间,如果间隔一段时间之后还是没有出现再删除。
进一步地,还包括步骤S04:利用相似性匹配后前面多帧图像中相同实例ID的特征,对当前帧图像的该实例进行修正,用前面多帧图像相同实例ID特征融合结果结合当前帧图像实例特征的结果,使得实例分割与跟踪的过程更加平滑,生成更加通用和鲁棒的特征。
一种基于实例分割的目标Re-ID的***,包括图像采集模块、实例分割模块、相似性匹配模块、赋值模块;
所述图像采集模块用于采集待分析的图像,图像采集模块采集的捕获图像须是随时间递进连续的一组图像;
所述实例分割模块用于将图像采集模块采集到的随时间递进连续的一组图像中每一张图像抽取出分别进行实例分割,得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息;
所述相似性匹配模块用于以实例分割模块实例分割得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息为基础,对一组图像中一个或多个追踪目标分别进行相似度匹配;
所述赋值模块用于给前后帧中相似度匹配成功的实例以相同的ID。
进一步地,还包括定时器,所述定时器用于给图像采集模块采集图像的时间间隔计数,当定时器的设定时间在K帧时,图像采集模块采集图像的间隔为K帧。
进一步地,所述实例分割模块的网络架构包括但不限于MASK-RCNN,FCIS,PANET。
进一步地,所述实例分割模块用于输入图像通过卷积神经网络主干结构处理,提取特征图和预选框,通过无量化层处理的区域候选网络,得到目标增强后的预选区域,再由第一二分类器输出追踪目标的类别概率分布和回归坐标,第二二分类器输出掩膜处理后得到的目标轮廓格点,再将目标轮廓格点映射回原图,进而得到分割后各个实例的要素信息。
进一步地,所述第一二分类器为第一后卷积层,所述第二二分类器通过第二后卷积层。
进一步地,所述第一二分类器为卷积神经网络CNN,第二二分类器为全卷积神经网络FCN。
进一步地,还包括目标检测模块,所述目标检测模块用于获取图像采集模块采集图像按照目标分类出的各个目标物体。
进一步地,还包括目标增强模块,所述目标增强模块用于增强目标检测模块的准确程度。
进一步地,所述相似度分配模块包括要素获取模块、要素权重分配模块、匹配分数计算模块,所述要素获取模块用于获取表征追踪目标的要素,所述要素包括但不限于尺度、轮廓、纹理、位置;所述要素权重分配模块用于分配获取要素的权重;所述匹配分数计算模块用于计算前后帧追踪目标的匹配分数。
一种基于实例分割的目标Re-ID的终端,其特征在于,包括处理器和存储器,所述存储器存储有程序指令,所述处理器运行程序指令实现上述的方法中的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现上述的方法中的步骤。
如上所述,本发明的具有以下有益效果:
解决了随时间连续顺序采集的图像组或视频中,同一目标物体在不同帧的图像中被误认为两个物体的问题。在目标跟踪过程中,同时对每个跟踪目标进行实例分割,根据前后帧的实例分割结果进行相似性匹配(包括尺度、轮廓、纹理、位置等信息),当重新启动检测时,可以根据实例分割的匹配信息来找到前一帧的匹配目标,给予相同的目标ID。同时,利用前面多帧相同实例ID的特征,对当前实例进行修正,使得实例分割与跟踪的过程更加平滑。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1显示为本发明的流程图。
图2显示为本发明的测试效果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
参见图1~图2,
一种基于实例分割的目标Re-ID方法,包括以下步骤:
S01:输入一组连续的捕获图像,在目标跟踪过程中,同时对每个跟踪目标进行实例分割,获取捕获图像或视频中相同类别中不同的实例;
S02:根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配,匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像,给予目标相同的目标ID。
作为优选实施例,所述步骤S02:开始于当***重新启动目标检测时。在目标跟踪的过程中,每间隔K帧重新启动检测,前次跟踪的目标ID与后次启动目标检测的目标ID无法匹配的问题更严重。
作为优选实施例,所述步骤S01中对每个跟踪目标进行实例分割的网络架构包括但不限于MASK-RCNN,FCIS,PANET。
作为优选实施例,所述步骤S01中实例分割的方法为:输入图像通过卷积神经网络主干结构处理,提取特征图和预选框,通过无量化层处理的区域候选网络,得到目标增强后的预选区域,再由第一二分类层输出追踪目标的类别概率分布和回归坐标,第二二分类层输出掩膜处理后得到的目标轮廓格点,再将目标轮廓格点映射回原图。
优选地,所述第一二分类层通过第一后卷积层完成,所属苏第二二分类层通过第二后卷积层完成。
优选地,所述第一二分类层为卷积神经网络CNN,第二二分类层为全卷积神经网络FCN。
优选地,所述预选框是对捕获图像进行目标检测处理得到所有的预选框,以目标编号分类所有的预选框得到同一目标编号的一组预选框为预选框组,以预选框组输入区域候选网络得到候选区域。
优选地,所述目标增强是对预选框组中每一个追踪目标所在的预选框组中每一个预选框进行上、下、左、右偏移得到一组高于预选框组数量若干倍的一组目标增强后的一组预选框组。例如原预选框组中的预选框为10~20个,每一个预选框进行上、下、左、右偏移时,会产生3-5个新的预选框,进而预选框组中的预选框数量上升为30~100个,使语义分割中每个类别中实例分割小类别中某一实例(追踪目标)的预选框组得到增强。
优选地,所述步骤S01中实例分割网络架构还包括获得预选区域后先做多层特征融合,再把候选区域映射到特征图像上做二分类语义分割,进行目标检测,这不仅利用了高层特征的语义信息,还考虑了低层特征的细节纹理信息,是的目标检测定位更精准。解决了Fast R-CNN和Faster R-CNN都是利用了后卷积层的特征进行目标检测,而由于高层的卷积层特征已经损失了很多细节信息,所以在定位时并不是很精准的问题。
优选地,所述第二后卷积层输出掩膜处理得到目标轮廓格点的过程具体为:所述第二后卷积层为FCN全卷积网络,所述FCN全卷积网络用于对每一个由区域候选网络输出的候选区域进行语义分割;语义分割输出按照通道数序列区分的特征图,再根据分类器输出的类别概率分布选择概率最大值对应的类别标签作为最终的预测类别,选出与预测类别对应的通道;用与预测类别对应的通道的特征图计算出需要掩膜处理的特征图,经过sigmoid函数将输出映射到[0,1]之间的概率值,再采用阈值法,进行二值化,进而得到二值化掩膜图。
优选地,所述掩膜处理的主要作用是大致定位出目标实例的基本轮廓,有利于进一步准确进行实例分割。
优选地,所述损失函数是使用数据分布和模型分布间的交叉熵函数,具体为平均二进制交叉熵损失函数。
作为优选实施例,所述步骤S01中实例分割的网络架构为:输入图像通过卷积神经网络主干结构处理,提取特征图和候选框,通过无量化层处理,得到预选框组合,再由第一再分类层输出追踪目标的类别概率分布和回归坐标,第二再分类层输出掩膜处理后得到的目标轮廓格点,再将目标轮廓格点映射回原图。
作为优选实施例,所述步骤S01中实例分割的网络架构中无量化层处理具体为通过双线性插值方法避免量化操作。优选地,所述双线性插值过程中对于每个网格插值的位置与抽样点数均不敏感,在实现过程中对每个网格只插值一个抽样点。
作为优选实施例,所述无量化层相比与量化层操作,减小了第一量化操作和第二量化操作。所述第一量化操作为:自输入图像原坐标系输出的区域候选的若干组坐标映射到特征图时的池化操作,由于特征图的空间尺寸被缩放,而缩放尺寸时对不能整除的结果进行的第一步量化操作。所述第二量化操作为:区域候选框划分网格时,如遇不能整除的像素点在量化过程中致使无法对候选区域框均匀划分网格,输入和输出特征严重失准。
作为优选实施例,所述步骤S02中,根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为:从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息,各个要素的权重按照追踪目标的类别配比要素的权重,再根据各个要素的权重综合打分之后,将综合打分的分值与预设阈值进行比较,大于阈值则认为匹配成功,小于预设阈值则认为匹配失败。
作为优选实施例,所述步骤S02中,根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的具体方式为:
S021:从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息;
S022:将前帧图像与后帧图像中对于相同追踪目标的相同要素之间做差、平方、求和、归一化处理,得到该要素的匹配分数;
S023:把匹配分数高于某一值的预选框提取出,归类为同一ID目标物体。
作为优选实施例,还包括步骤S03:在一组图像中出现后又消失的追踪目标,对于特定的追踪目标类别,将该追踪目标类别中的各个实例保留固定帧数的记忆;对于除特定的追踪目标类别之外的追踪目标,将该追踪目标类别中的各个实例作为消失处理。消失的示例一般会在内存中被删除,保留就是在内存中保留一段时间,如果间隔一段时间之后还是没有出现再删除。
作为优选实施例,还包括步骤S04:利用相似性匹配后前面多帧图像中相同实例ID的特征,对当前帧图像的该实例进行修正,用前面多帧图像相同实例ID特征融合结果结合当前帧图像实例特征的结果,使得实例分割与跟踪的过程更加平滑,生成更加通用和鲁棒的特征。
一种基于实例分割的目标Re-ID的***,包括图像采集模块、实例分割模块、相似性匹配模块、赋值模块;
所述图像采集模块用于采集待分析的图像,图像采集模块采集的捕获图像须是随时间递进连续的一组图像;
所述实例分割模块用于将图像采集模块采集到的随时间递进连续的一组图像中每一张图像抽取出分别进行实例分割,得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息;
所述相似性匹配模块用于以实例分割模块实例分割得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息为基础,对一组图像中一个或多个追踪目标分别进行相似度匹配;
所述赋值模块用于给前后帧中相似度匹配成功的实例以相同的ID。
作为优选实施例,还包括定时器,所述定时器用于给图像采集模块采集图像的时间间隔计数,当定时器的设定时间在K帧时,图像采集模块采集图像的间隔为K帧。
作为优选实施例,所述实例分割模块的网络架构包括但不限于MASK-RCNN,FCIS,PANET。
作为优选实施例,所述实例分割模块用于输入图像通过卷积神经网络主干结构处理,提取特征图和预选框,通过无量化层处理的区域候选网络,得到目标增强后的预选区域,再由第一二分类器输出追踪目标的类别概率分布和回归坐标,第二二分类器输出掩膜处理后得到的目标轮廓格点,再将目标轮廓格点映射回原图,进而得到分割后各个实例的要素信息。
作为优选实施例,所述第一二分类器为第一后卷积层,所述第二二分类器通过第二后卷积层。
优选地,所述第一二分类器为卷积神经网络CNN,第二二分类器为全卷积神经网络FCN。
作为优选实施例,还包括目标检测模块,所述目标检测模块用于获取图像采集模块采集图像按照目标分类出的各个目标物体。
作为优选实施例,还包括目标增强模块,所述目标增强模块用于增强目标检测模块的准确程度。
作为优选实施例,所述相似度分配模块包括要素获取模块、要素权重分配模块、匹配分数计算模块,所述要素获取模块用于获取表征追踪目标的要素,所述要素包括但不限于尺度、轮廓、纹理、位置;所述要素权重分配模块用于分配获取要素的权重;所述匹配分数计算模块用于计算前后帧追踪目标的匹配分数。
一种基于实例分割的目标Re-ID的终端,其特征在于,包括处理器和存储器,所述存储器存储有程序指令,所述处理器运行程序指令实现上述的方法中的步骤。
作为优选实施例,本实施例还提供一种终端设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于:可通过***总线相互通信连接的存储器、处理器。需要指出的是,具有组件存储器、处理器的终端设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
作为优选实施例,存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器可以是计算机设备的内部存储单元,例如该计算机设备20的硬盘或内存。在另一些实施例中,存储器也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器通常用于存储安装于计算机设备的操作***和各类应用软件,例如实施例中的基于实例分割的目标Re-ID的程序代码等。此外,存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中,处理器用于运行存储器中存储的程序代码或者处理数据,例如运行基于实例分割的目标Re-ID程序,以实现实施例中基于实例分割的目标Re-ID***的功能。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于实例分割的目标Re-ID程序,被处理器执行时实现实施例中的基于实例分割的目标Re-ID方法。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种基于实例分割的目标Re-ID方法,其特征在于,包括以下步骤:
S01:输入一组连续的捕获图像,在目标跟踪过程中,同时对每个跟踪目标进行实例分割,获取捕获图像或视频中相同类别中不同的实例;
S02:根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配,匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像,给予目标相同的目标ID。
2.根据权利要求1所述的基于实例分割的目标Re-ID方法,其特征在于,所述步骤S02:开始于当***重新启动目标检测时。
3.根据权利要求2所述的基于实例分割的目标Re-ID方法,其特征在于,所述步骤S01中对每个跟踪目标进行实例分割的网络架构包括但不限于MASK-RCNN,FCIS,PANET。
4.根据权利要求3所述的基于实例分割的目标Re-ID方法,其特征在于,所述第一二分类层通过第一后卷积层完成,所述第二二分类层通过第二后卷积层完成;所述第一二分类层为卷积神经网络CNN,第二二分类层为全卷积神经网络FCN。
5.根据权利要求4所述的基于实例分割的目标Re-ID方法,其特征在于,所述步骤S01中实例分割网络架构还包括获得预选区域后先做多层特征融合,再把候选区域映射到特征图像上做二分类语义分割。
6.根据权利要求5所述的基于实例分割的目标Re-ID方法,其特征在于,所述步骤S02中,根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为:从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息,各个要素的权重按照追踪目标的类别配比要素的权重,再根据各个要素的权重综合打分之后,将综合打分的分值与预设阈值进行比较,大于阈值则认为匹配成功,小于预设阈值则认为匹配失败。
7.根据权利要求1所述的基于实例分割的目标Re-ID方法,其特征在于,还包括步骤S03:在一组图像中出现后又消失的追踪目标,对于特定的追踪目标类别,将该追踪目标类别中的各个实例保留固定帧数的记忆;对于除特定的追踪目标类别之外的追踪目标,将该追踪目标类别中的各个实例作为消失处理。
8.根据权利要求1所述的基于实例分割的目标Re-ID方法,其特征在于,还包括步骤S04:利用相似性匹配后前面多帧图像中相同实例ID的特征,对当前帧图像的该实例进行修正,用前面多帧图像相同实例ID特征融合结果结合当前帧图像实例特征的结果,使得实例分割与跟踪的过程更加平滑,生成更加通用和鲁棒的特征。
9.一种基于实例分割的目标Re-ID的***,其特征在于,包括图像采集模块、实例分割模块、相似性匹配模块、赋值模块;
所述图像采集模块用于采集待分析的图像,图像采集模块采集的捕获图像须是随时间递进连续的一组图像;
所述实例分割模块用于将图像采集模块采集到的随时间递进连续的一组图像中每一张图像抽取出分别进行实例分割,得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息;
所述相似性匹配模块用于以实例分割模块实例分割得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息为基础,对一组图像中一个或多个追踪目标分别进行相似度匹配;
所述赋值模块用于给前后帧中相似度匹配成功的实例以相同的ID。
10.根据权利要求9所述的基于实例分割的目标Re-ID的***,其特征在于,还包括定时器,所述定时器用于给图像采集模块采集图像的时间间隔计数。
11.根据权利要求10所述的基于实例分割的目标Re-ID的***,其特征在于,所述实例分割模块的网络架构包括但不限于MASK-RCNN,FCIS,PANET。
12.一种基于实例分割的目标Re-ID终端,其特征在于,包括处理器和存储器,所述存储器存储有程序指令,所述处理器运行程序指令实现如权利要求1至8任一权利要求所述的方法中的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1至8任一权利要求所述的方法中的步骤。
CN201810833833.4A 2018-07-26 2018-07-26 基于实例分割的目标Re-ID方法、***、终端和存储介质 Pending CN109118519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810833833.4A CN109118519A (zh) 2018-07-26 2018-07-26 基于实例分割的目标Re-ID方法、***、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810833833.4A CN109118519A (zh) 2018-07-26 2018-07-26 基于实例分割的目标Re-ID方法、***、终端和存储介质

Publications (1)

Publication Number Publication Date
CN109118519A true CN109118519A (zh) 2019-01-01

Family

ID=64862244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810833833.4A Pending CN109118519A (zh) 2018-07-26 2018-07-26 基于实例分割的目标Re-ID方法、***、终端和存储介质

Country Status (1)

Country Link
CN (1) CN109118519A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN109919208A (zh) * 2019-02-25 2019-06-21 中电海康集团有限公司 一种外观图像相似度比对方法和***
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN110176017A (zh) * 2019-03-01 2019-08-27 北京纵目安驰智能科技有限公司 一种基于目标检测的边缘检测模型、方法和存储介质
CN110298884A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110378348A (zh) * 2019-07-11 2019-10-25 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质
CN110633632A (zh) * 2019-08-06 2019-12-31 厦门大学 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN111259754A (zh) * 2020-01-10 2020-06-09 中国海洋大学 一种端到端的浮游生物数据库构建***及方法
CN111256707A (zh) * 2019-08-27 2020-06-09 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车***和终端
CN111967373A (zh) * 2020-08-14 2020-11-20 东南大学 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
CN112365482A (zh) * 2020-11-16 2021-02-12 上海北昂医药科技股份有限公司 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法
WO2021051511A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 信息提取的方法、装置、计算机设备和存储介质
CN112669324A (zh) * 2020-12-31 2021-04-16 中国科学技术大学 基于时序特征聚合和条件卷积的快速视频目标分割方法
CN113128498A (zh) * 2019-12-30 2021-07-16 财团法人工业技术研究院 跨领域的画面比较方法与***
CN113243026A (zh) * 2019-10-04 2021-08-10 Sk电信有限公司 用于高分辨率对象检测的装置和方法
CN113592915A (zh) * 2021-10-08 2021-11-02 湖南大学 端到端旋转框目标搜索方法、***及计算机可读存储介质
WO2023116632A1 (zh) * 2021-12-22 2023-06-29 中国科学院深圳先进技术研究院 基于时空记忆信息的视频实例分割方法和分割装置
CN117315530A (zh) * 2023-09-19 2023-12-29 天津大学 基于多帧信息的实例匹配方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900528A (zh) * 2009-03-31 2010-12-01 株式会社拓普康 自动跟踪方法和测量装置
CN102509457A (zh) * 2011-10-09 2012-06-20 青岛海信网络科技股份有限公司 一种车辆跟踪的方法及装置
CN106097391A (zh) * 2016-06-13 2016-11-09 浙江工商大学 一种基于深度神经网络的识别辅助的多目标跟踪方法
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
CN106875415A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN107563313A (zh) * 2017-08-18 2018-01-09 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法
CN107564034A (zh) * 2017-07-27 2018-01-09 华南理工大学 一种监控视频中多目标的行人检测与跟踪方法
US20180014382A1 (en) * 2016-07-09 2018-01-11 Grabango Co. Remote state following device
CN108038415A (zh) * 2017-11-06 2018-05-15 湖南华诺星空电子技术有限公司 一种基于机器视觉的无人机自动检测与跟踪方法
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN108230354A (zh) * 2017-05-18 2018-06-29 深圳市商汤科技有限公司 目标跟踪、网络训练方法、装置、电子设备和存储介质
CN108242062A (zh) * 2017-12-27 2018-07-03 北京纵目安驰智能科技有限公司 基于深度特征流的目标跟踪方法、***、终端及介质
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108280952A (zh) * 2018-01-25 2018-07-13 盛视科技股份有限公司 一种基于前景目标分割的旅客尾随监测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900528A (zh) * 2009-03-31 2010-12-01 株式会社拓普康 自动跟踪方法和测量装置
CN102509457A (zh) * 2011-10-09 2012-06-20 青岛海信网络科技股份有限公司 一种车辆跟踪的方法及装置
CN106097391A (zh) * 2016-06-13 2016-11-09 浙江工商大学 一种基于深度神经网络的识别辅助的多目标跟踪方法
US20180014382A1 (en) * 2016-07-09 2018-01-11 Grabango Co. Remote state following device
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
CN106875415A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN108230354A (zh) * 2017-05-18 2018-06-29 深圳市商汤科技有限公司 目标跟踪、网络训练方法、装置、电子设备和存储介质
CN107564034A (zh) * 2017-07-27 2018-01-09 华南理工大学 一种监控视频中多目标的行人检测与跟踪方法
CN107563313A (zh) * 2017-08-18 2018-01-09 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法
CN108038415A (zh) * 2017-11-06 2018-05-15 湖南华诺星空电子技术有限公司 一种基于机器视觉的无人机自动检测与跟踪方法
CN108242062A (zh) * 2017-12-27 2018-07-03 北京纵目安驰智能科技有限公司 基于深度特征流的目标跟踪方法、***、终端及介质
CN108280952A (zh) * 2018-01-25 2018-07-13 盛视科技股份有限公司 一种基于前景目标分割的旅客尾随监测方法
CN108229442A (zh) * 2018-02-07 2018-06-29 西南科技大学 基于ms-kcf的图像序列中人脸快速稳定检测方法
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAWEI ZHAO 等: "Multi-Object Tracking with Correlation Filter for Autonomous Vehicle", 《SENSORS》, pages 1 - 18 *
KAIMING HE 等: "Mask R-CNN", 《ICCV 2017》, pages 2961 - 2969 *
XIAOXIAO LI 等: "Video Object Segmentation with Re-identification", 《ARXIV》, pages 1 - 6 *
YUE ZHANG 等: "Vehicle Tracking Using Surveillance With Multimodal Data Fusion", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》, vol. 19, no. 7, pages 2353 - 2661 *
张顺 等: "深度卷积神经网络的发展及其在 计算机视觉领域的应用", 《计算机学报》, vol. 42, no. 3, pages 453 - 482 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919208A (zh) * 2019-02-25 2019-06-21 中电海康集团有限公司 一种外观图像相似度比对方法和***
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN109977782B (zh) * 2019-02-27 2021-01-08 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN110176017A (zh) * 2019-03-01 2019-08-27 北京纵目安驰智能科技有限公司 一种基于目标检测的边缘检测模型、方法和存储介质
CN110298884A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110378348A (zh) * 2019-07-11 2019-10-25 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质
CN110378348B (zh) * 2019-07-11 2021-07-09 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质
CN110633632A (zh) * 2019-08-06 2019-12-31 厦门大学 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN111256707A (zh) * 2019-08-27 2020-06-09 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车***和终端
WO2021051511A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 信息提取的方法、装置、计算机设备和存储介质
CN113243026A (zh) * 2019-10-04 2021-08-10 Sk电信有限公司 用于高分辨率对象检测的装置和方法
CN113128498A (zh) * 2019-12-30 2021-07-16 财团法人工业技术研究院 跨领域的画面比较方法与***
CN111259754A (zh) * 2020-01-10 2020-06-09 中国海洋大学 一种端到端的浮游生物数据库构建***及方法
CN111967373A (zh) * 2020-08-14 2020-11-20 东南大学 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
CN111967373B (zh) * 2020-08-14 2021-03-30 东南大学 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
CN112365482B (zh) * 2020-11-16 2022-05-03 上海北昂医药科技股份有限公司 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法
CN112365482A (zh) * 2020-11-16 2021-02-12 上海北昂医药科技股份有限公司 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法
CN112669324A (zh) * 2020-12-31 2021-04-16 中国科学技术大学 基于时序特征聚合和条件卷积的快速视频目标分割方法
CN112669324B (zh) * 2020-12-31 2022-09-09 中国科学技术大学 基于时序特征聚合和条件卷积的快速视频目标分割方法
CN113592915A (zh) * 2021-10-08 2021-11-02 湖南大学 端到端旋转框目标搜索方法、***及计算机可读存储介质
CN113592915B (zh) * 2021-10-08 2021-12-14 湖南大学 端到端旋转框目标搜索方法、***及计算机可读存储介质
WO2023116632A1 (zh) * 2021-12-22 2023-06-29 中国科学院深圳先进技术研究院 基于时空记忆信息的视频实例分割方法和分割装置
CN117315530A (zh) * 2023-09-19 2023-12-29 天津大学 基于多帧信息的实例匹配方法

Similar Documents

Publication Publication Date Title
CN109118519A (zh) 基于实例分割的目标Re-ID方法、***、终端和存储介质
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN103455542B (zh) 多类识别器以及多类识别方法
Yang et al. LFRSNet: A robust light field semantic segmentation network combining contextual and geometric features
CN103927387A (zh) 图像检索***及其相关方法和装置
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112053358A (zh) 图像中像素的实例类别确定方法、装置、设备及存储介质
CN114419570A (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN108932509A (zh) 一种基于视频跟踪的跨场景目标检索方法及装置
CN112101344B (zh) 一种视频文本跟踪方法及装置
CN109934072B (zh) 人员统计方法及装置
Wang et al. A 3D multiobject tracking algorithm of point cloud based on deep learning
CN110472632B (zh) 基于字符特征的字符分割方法、装置及计算机存储介质
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
Lu et al. A segmentation-based multitask learning approach for isolating switch state recognition in high-speed railway traction substation
CN114677330A (zh) 一种图像处理方法、电子设备及存储介质
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN112053439B (zh) 图像中实例属性信息确定方法、装置、设备及存储介质
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
Xu et al. Rapid pedestrian detection based on deep omega-shape features with partial occlusion handing
US20240221426A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、***、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination