CN112819858A - 基于视频增强的目标跟踪方法、装置、设备及存储介质 - Google Patents

基于视频增强的目标跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112819858A
CN112819858A CN202110129674.1A CN202110129674A CN112819858A CN 112819858 A CN112819858 A CN 112819858A CN 202110129674 A CN202110129674 A CN 202110129674A CN 112819858 A CN112819858 A CN 112819858A
Authority
CN
China
Prior art keywords
video
enhanced
target tracking
video data
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110129674.1A
Other languages
English (en)
Other versions
CN112819858B (zh
Inventor
向国庆
文映博
严韫瑶
张鹏
贾惠柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Original Assignee
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boya Huishi Intelligent Technology Research Institute Co ltd filed Critical Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority to CN202110129674.1A priority Critical patent/CN112819858B/zh
Publication of CN112819858A publication Critical patent/CN112819858A/zh
Application granted granted Critical
Publication of CN112819858B publication Critical patent/CN112819858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种基于视频增强的目标跟踪方法、装置、设备及存储介质，该方法包括：获取待增强视频数据；通过预先训练的低光图像增强网络对待增强视频数据进行增强处理，得到增强后的视频数据；通过预设目标跟踪网络对增强后的视频数据进行目标跟踪处理，得到待增强视频数据对应的目标跟踪视频序列。本申请构建并训练了低光图像增强网络，通过低光图像增强网络来对待增强视频数据进行增强，提高了待增强视频数据中每个视频帧中的对比度及色度，减少了每个视频帧中的噪声，使得待增强视频数据中的细节更加清晰，便于识别待跟踪目标。在此视频增强基础上对戴增强视频数据进行目标跟踪，大大提高了目标跟踪的准确率。

Description

基于视频增强的目标跟踪方法、装置、设备及存储介质
技术领域
本申请属于视频处理技术领域，具体涉及一种基于视频增强的目标跟踪方法、装置、设备及存储介质。
背景技术
拍摄图像或视频时常受到环境的限制，使得拍摄的图像或视频存在亮度不足、对比度低、噪声严重等缺点。如夜晚的监控录像因受光线严重不足的限制，录像都有着极度黑暗、细节模糊以及噪点严重的问题，难以辨别清楚录像中的目标类别，对目标检测与跟踪有着相当大的阻碍。因此需要对这种图像或视频进行增强处理。
当前，相关技术中提供了一些基于视频增强的目标跟踪方法，例如多尺度Retinex(图像去雾算法)低光增强技术，经由该技术增强后，虽然获得了高亮度图像，但其对比度、色度以及纹理细节却遭到了一定破坏，并且底层噪声也伴随着亮度一起被放大，最终得到的视频图像效果并不能满足人眼视觉效果，仍然难以辨别清楚视频图像中的目标，难以实现目标检测与跟踪的任务。
发明内容
本申请提出一种基于视频增强的目标跟踪方法、装置、设备及存储介质，通过预先训练的低光图像增强网络来对待增强视频数据进行增强，提高了待增强视频数据中每个视频帧中的对比度及色度，减少了每个视频帧中的噪声，使得待增强视频数据中的细节更加清晰，便于识别待跟踪目标。在此视频增强基础上对戴增强视频数据进行目标跟踪，大大提高了目标跟踪的准确率。
本申请第一方面实施例提出了一种基于视频增强的目标跟踪方法，包括：
获取待增强视频数据；
通过预先训练的低光图像增强网络对所述待增强视频数据进行增强处理，得到增强后的视频数据；
通过预设目标跟踪网络对所述增强后的视频数据进行目标跟踪处理，得到所述待增强视频数据对应的目标跟踪视频序列。
在本申请的一些实施例中，所述通过预先训练的低光图像增强网络对所述待增强视频数据进行增强处理，得到增强后的视频数据之前，还包括：
构建低光图像增强网络的网络结构；
获取训练集，所述训练集中包括夜间视频图像；
根据所述训练集对构建的所述低光图像增强网络进行训练，得到训练好的低光图像增强网络。
在本申请的一些实施例中，所述构建低光图像增强网络的网络结构，包括：
将第一卷积层和激活层串联，得到特征提取模块；
将第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层依次串联，得到图像增强模块；
将预设数目个所述特征提取模块依次串联；
将每个所述特征提取模块分别连接一个所述图像增强模块；
将每个所述图像增加模块均与全连接层连接，得到低光图像增强网络的网络结构。
在本申请的一些实施例中，所述根据所述训练集对构建的所述低光图像增强网络进行训练，得到训练好的低光图像增强网络，包括：
从所述训练集中获取所述夜间视频图像；
将所述夜间视频图像输入依次串联的预设数目个所述特征提取模块中，得到所述预设数目个特征图；
将所述预设数目个特征图分别输入每个所述调整提取模块连接的图像增强模块，得到每个特征图对应的增强特征图；
通过所述全连接层对每个所述增强特征图进行连接，得到所述夜间视频图像对应的增强视频图像；
根据所述夜间视频图像及其对应的增强视频图像，计算当前训练周期对应的空间一致性损失值、感知损失值及色彩损失值；
当所述空间一致性损失值、所述感知损失值及所述色彩损失值满足预设收敛条件时，获得训练好的低光图像增强网络。
在本申请的一些实施例中，所述将所述夜间视频图像输入依次串联的预设数目个所述特征提取模块中之前，还包括：
对所述夜间视频图像进行正则化处理，将所述夜间视频图像中每个颜色通道的像素值压缩至预设区间。
在本申请的一些实施例中，所述通过预设目标跟踪网络对所述增强后的视频数据进行目标跟踪处理，得到所述待增强视频数据对应的目标跟踪视频序列，包括：
通过预设目标跟踪网络分别对所述增强后的视频数据中的每个视频帧进行目标检测，定位出每个视频帧中的每个待跟踪目标；
通过预设目标跟踪算法对所述每个待跟踪目标进行轨迹跟踪，得到每个待跟踪目标对应的目标跟踪结果；
分别对每个待跟踪目标对应的目标跟踪结果进行平滑插值处理；
根据平滑插值处理后每个待跟踪目标对应的目标跟踪结果，生成目标轨迹视频。
在本申请的一些实施例中，所述第一卷积层和所述第七卷积层的卷积核的大小均为3×3，用于输出256×256×32的特征图；
所述第二卷积层和所述第六卷积层的卷积核的大小均为3×3，用于输出128×128×8的特征图；
所述第三卷积层和所述第五卷积层的卷积核的大小均为5×5，用于输出64×64×16的特征图；
所述第四卷积层的卷积核的大小为5×5，用于输出32×32×32的特征图。
本申请第二方面的实施例提供了一种基于视频增强的目标跟踪装置，包括：
视频获取模块，用于获取待增强视频数据；
增强处理模块，用于通过预先训练的低光图像增强网络对所述待增强视频数据进行增强处理，得到增强后的视频数据；
目标跟踪模块，用于通过预设目标跟踪网络对所述增强后的视频数据进行目标跟踪处理，得到所述待增强视频数据对应的目标跟踪视频序列。
本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。
本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
在本申请实施例中，构建并训练了低光图像增强网络，通过低光图像增强网络来对待增强视频数据进行增强，提高了待增强视频数据中每个视频帧中的对比度及色度，减少了每个视频帧中的噪声，使得待增强视频数据中的细节更加清晰，便于识别待跟踪目标。在此视频增强基础上对戴增强视频数据进行目标跟踪，大大提高了目标跟踪的准确率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请一实施例所提供的低光图像增强网络的网络结构示意图；
图2示出了本申请一实施例所提供的一种基于视频增强的目标跟踪方法的流程图；
图3示出了本申请一实施例所提供的利用低光图像增强网络来对低光图像进行增强处理的过程示意图；
图4示出了本申请一实施例所提供的一种基于视频增强的目标跟踪装置的结构示意图；
图5示出了本申请一实施例所提供的一种电子设备的结构示意图；
图6示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种基于视频增强的目标跟踪方法、装置、设备及存储介质。
本申请实施例提供了一种基于视频增强的目标跟踪方法，该方法训练了低光图像增强网络，使用该低光图像增强网络对待增强视频数据进行增强处理，并对增强后的每个视频帧进行目标跟踪，最终得到跟踪视频序列，有效的提高了跟踪准确率。相比于直接在原始的低光照的视频基础上进行目标跟踪，本方案能平均提高105％的跟踪准确率。
本申请实施例首先通过如下步骤S1-S3的操作来训练低光图像增强网络，具体包括：
S1：构建低光图像增强网络的网络结构。
具体地，将第一卷积层和激活层串联，得到特征提取模块；将第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层依次串联，得到图像增强模块；将预设数目个特征提取模块依次串联；将每个特征提取模块分别连接一个图像增强模块；将每个图像增加模块均与全连接层连接，得到低光图像增强网络的网络结构。
其中，第一卷积层和第七卷积层的卷积核的大小可以均为3×3，步长为1，用于输出256×256×32的特征图。第二卷积层和第六卷积层的卷积核的大小可以均为3×3，步长为1，用于输出128×128×8的特征图。第三卷积层和第五卷积层的卷积核的大小可以均为5×5，步长为1，用于输出64×64×16的特征图。第四卷积层的卷积核的大小为5×5，步长为1，用于输出32×32×32的特征图。上述预设数目可以为8、9、10等。
本申请实施例并不限制上述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层的卷积核及步长的取值，也不限制各卷积层输出的特征图的尺寸大小，实际应用中可根据需求进行设定。本申请实施例也不限制上述预设数目的具体取值，实际应用中可根据需求设定。
如图1所示，示出了预设数目为8时低光图像增强网络的网络结构，其中第一卷积层和第七卷积层的卷积核的大小为3×3，第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层的卷积核的大小均为5×5。
S2：获取训练集，该训练集中包括夜间视频图像。
本申请实施例根据公开标准视频数据集，建立训练集。使用公开数据集CDW2014中的特殊序列作为训练数据，该数据集内包含了11组视频序列，包含了恶劣天气、夜间视频、热成像视频以及多阴影视频，每组包含4到6个视频，本申请实施例在其中选择了夜间视频组作为训练用视频，共6个视频，包含了低光照、强光照的车辆行驶场景，以此组数据集作为训练用数据，能够包含大部分的低光增强应用场景。
S3：根据训练集对构建的低光图像增强网络进行训练，得到训练好的低光图像增强网络。
首先从训练集中获取一定数量的夜间视频图像。训练集中包括多个在夜间低光照场景下拍摄的夜间视频，每个夜间视频包括很多帧夜间视频图像，根据构建的低光图像增强网络对应的batch size(批量处理数量)，从训练集中获取该batch size个夜间视频图像。
将获取的每个夜间视频图像压缩到预设尺寸，该预设尺寸可以为512×512×3。然后对每个夜间视频图像进行正则化处理，将夜间视频图像中每个颜色通道的像素值压缩至预设区间，该预设区间可以为[0,1]。然后将每个夜间视频图像输入依次串联的预设数目个特征提取模块中，得到预设数目个特征图。对于任意一个夜间视频图像，第一个特征提取模块包括的第一卷积层对夜间视频图像进行卷积操作，然后再利用激活层中的ReLU激活函数对卷积结果进行激活得到该夜间视频图像对应的第一个特征图。然后将该特征图输入第二个特征提取模块执行卷积和激活操作得到第二个特征图。然后再将第二个特征图输入第三个特征提取模块，如此依次经过预设数目个特征提取模块之后得到了该夜间视频图像对应的预设数目个特征图。
将得到的预设数目个特征图分别输入每个调整提取模块连接的图像增强模块，得到每个特征图对应的增强特征图。在图像增强模块中，与该图像增强模块连接的特征提取模块生成的特征图输入该图像增强模块，图像增强模块由依次串联的第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层构成，第二卷积层对该特征图进行卷积操作之后输出128×128×8的特征图。将128×128×8的特征图输入第三卷积层，输出64×64×16的特征图。将64×64×16的特征图输入第四卷积层，输出32×32×32的特征图。将32×32×32的特征图输入第五卷积层，输出64×64×16的特征图。将该64×64×16的特征图输入第六卷积层，输出128×128×8的特征图。将该128×128×8的特征图输入第七卷积层，输出256×256×32的特征图。
每个图像增强模块中都通过上述过程进行图像增强处理得到夜间视频图像对应的预设数目个增强特征图。最后通过全连接层对每个增强特征图进行连接，得到夜间视频图像对应的增强视频图像。
对于输入低光增强网络中的batch size个夜间视频图像中的每个图像，都通过上述方式获得每个夜间视频图像对应的增强视频图像。对batch size个夜间视频图像进行训练学习，称之为低光增强网络的一个训练周期。在当前训练周期中，获得batch size个夜间视频图像中每个夜间视频图像对应的增强视频图像之后，根据夜间视频图像及其对应的增强视频图像，计算当前训练周期对应的空间一致性损失值、感知损失值及色彩损失值。
其中，空间一致性损失值通过如下公式(1)来计算，
Figure BDA0002924697530000071
在公式(1)中，Lspa为空间一致性损失值，K为增强视频图像中的局部区域数量，Ω为当前局部区域i的上下左右四个块集合(大小设置为8×8)，Y为当前局部区域的平均强度，I为当前局部区域在对应的夜间视频图像上的平均强度。
感知损失值通过如下公式(2)来计算，
Figure BDA0002924697530000072
在公式(2)中，Lper为感知损失值，i、j表示VGG-16(Visual Geometry GroupNetwork-16)网络的第i层最大池化层，及第i层最大池化层的第j层卷积层，Wi,j、Hi,j、Ci,分别为特征图的宽、高、通道数，即其size。Fi,(I)x,,、Fi,j(O)x,,为夜间视频图像与其对应的增强视频图像的对应i、j层数特征图。
色彩损失值通过如下公式(3)来计算，
Figure BDA0002924697530000081
在公式(3)中，Lcol为色彩损失值，J表示增强视频图像的某一颜色通道的平均强度，(p，q)表示一对颜色通道，在RGB三个颜色通道中三选二，集合为ε。
在当前训练周期中，通过上述公式(1)-(3)分别计算出当前训练周期中每个夜间视频图像对应的空间一致性损失值、感知损失值及色彩损失值之后，判断计算的空间一致性损失值、感知损失值及色彩损失值是否满足预设收敛条件，预设收敛条件中规定了训练结束时空间一致性损失值、感知损失值及色彩损失值分别需要小于预设的空间一致性损失阈值、感知损失阈值及色彩损失阈值。若判断出当前训练周期的空间一致性损失值、感知损失值及色彩损失值分别小于预设的空间一致性损失阈值、感知损失阈值及色彩损失阈值，则确定当前的空间一致性损失值、感知损失值及色彩损失值满足预设收敛条件，则停止训练，将当前训练周期的低光图像增强网络及其参数确定为训练好的低光图像增强网络。
若判断出当前训练周期的空间一致性损失值、感知损失值及色彩损失值中的任意一个不满足预设收敛条件，则通过反向传播调整低光图像增强网络的参数，重新从训练集中获取batch size个夜间视频图像，按照上述方式进行下一训练周期的训练，直至空间一致性损失值、感知损失值及色彩损失值满足预设收敛条件时，获得训练好的低光图像增强网络。
通过上述方式获得训练好的低光图像增强网络之后，如图2所示，通过以下步骤来对待增强视频数据进行增强及目标跟踪。
步骤101：获取待增强视频数据。
待增强视频数据可以是通过摄像头在低光照场景中拍摄的视频数据，也可以是从网络中获取的需要增强的视频数据等。
步骤102：通过预先训练的低光图像增强网络对待增强视频数据进行增强处理，得到增强后的视频数据。
将获取的待增强视频数据中的每帧图像压缩到预设尺寸，对压缩后的每帧图像进行正则化处理，将夜间视频图像中每个颜色通道的像素值压缩至预设区间。然后从待增强视频数据对应的上述每帧图像中获取低光图像增强网络对应的batch size个图像，将获取的图像输入上述训练好的低光图像增强网络中，输出batch size个图像中每个图像对应的增强图像。如图3所示，将一帧图像预处理之后输入低光图像增强网络中，得到对应的增强后的图像，图3所示的低光图像增强网络中具有8个依次串联的特征提取模块，以及具有8个图像增强模块，能够生成一阵图像对应的8个增强特征图，最后通过全连接层将8个增强特征图连接，得到最终增强后的图像。
对于待增强视频数据中的每帧图像都按照上述方式，通过训练好的低光图像增强网络获得对应的增强图像，从而得到待增强视频数据对应的增强后的视频数据。
步骤103：通过预设目标跟踪网络对增强后的视频数据进行目标跟踪处理，得到待增强视频数据对应的目标跟踪视频序列。
得到待增强视频数据对应的增强后的视频数据之后，将增强后的视频数据输入预设目标跟踪网络中，通过预设目标跟踪网络分别对增强后的视频数据中的每个视频帧进行目标检测，定位出每个视频帧中的每个待跟踪目标。具体地，预设目标跟踪网络对输入的每个视频帧进行Fast R-CNN目标检测，首先需要提取待跟踪目标所在的候选区域，利用Selective Search算法在输入图像中提取出候选区域，并把这些候选区域按照空间位置关系映射到预设目标跟踪网络的卷积特征层；然后进行区域归一化，对于卷积特征层上的每个候选区域进行ROI(Region of Interest)Pooling(池化)操作，得到提取的特征；最后将提取到的特征输入全连接层，然后用Softmax(逻辑回归模型)进行分类，对候选区域的位置进行回归，得到目标检测结果，即从每个视频帧中定位出每个待跟踪目标。
然后通过预设目标跟踪算法对每个待跟踪目标进行轨迹跟踪，得到每个待跟踪目标对应的目标跟踪结果。具体根据Fast R-CNN算法检测出的每个待跟踪目标进行跟踪，使用预设目标跟踪算法，如Deep Sort获得跟踪结果。Deep Sort是一种多目标跟踪算法，利用运动模型和外观信息进行数据关联，运行速率主要由检测算法所决定，算法对每一帧进行目标检测，后续通过带权值得匈牙利匹配算法对之前得到的运动轨迹和当前检测对象进行匹配，形成物体的运动轨迹。权值由点和运动轨迹的马氏距离及图像块的相似性加权求和得到。
上述获得的目标跟踪结果为每个待跟踪目标在不同时间在图像中的位置，分别对每个待跟踪目标对应的目标跟踪结果进行平滑插值处理，根据平滑插值处理后每个待跟踪目标对应的目标跟踪结果，生成目标轨迹视频。最终生成的目标轨迹视频中每个待跟踪目标都对应有一个用于标识目标的最小外接矩形框，且通过曲线标识每个待跟踪目标的移动轨迹。
在本申请实施例中，还可以对低光图像增强网络及预设目标跟踪网络的处理结果进行质量评估。对低光图像增强网络使用的评估参数可以为PSNR(峰值信噪比)、SSIM(结构相似度)以及MAE(平均绝对值误差)。对预设目标跟踪网络使用的评估参数可以为MOTA(Multiple Object Tracking Accuracy，多目标跟踪准确度)、MOTP(Multiple ObjectTracking Precision、多目标跟踪精确度)以及IDP(Identification Precision，识别精确度)。评估结果显示本申请实施例最终能够有效提高目标跟踪的准确率。
在本申请实施例中，构建并训练了低光图像增强网络，通过低光图像增强网络来对待增强视频数据进行增强，提高了待增强视频数据中每个视频帧中的对比度及色度，减少了每个视频帧中的噪声，使得待增强视频数据中的细节更加清晰，便于识别待跟踪目标。在此视频增强基础上对戴增强视频数据进行目标跟踪，大大提高了目标跟踪的准确率。
本申请实施例还提供一种基于视频增强的目标跟踪装置，该装置用于执行上述任一实施例提供的基于视频增强的目标跟踪方法。参见图4，该装置包括：
视频获取模块401，用于获取待增强视频数据；
增强处理模块402，用于通过预先训练的低光图像增强网络对待增强视频数据进行增强处理，得到增强后的视频数据；
目标跟踪模块403，用于通过预设目标跟踪网络对增强后的视频数据进行目标跟踪处理，得到待增强视频数据对应的目标跟踪视频序列。
该装置还包括：网络训练模块，用于构建低光图像增强网络的网络结构；获取训练集，训练集中包括夜间视频图像；根据训练集对构建的低光图像增强网络进行训练，得到训练好的低光图像增强网络。
网络训练模块，用于将第一卷积层和激活层串联，得到特征提取模块；将第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层依次串联，得到图像增强模块；将预设数目个特征提取模块依次串联；将每个特征提取模块分别连接一个图像增强模块；将每个图像增加模块均与全连接层连接，得到低光图像增强网络的网络结构。其中，第一卷积层和第七卷积层的卷积核的大小均为3×3，用于输出256×256×32的特征图；第二卷积层和第六卷积层的卷积核的大小均为3×3，用于输出128×128×8的特征图；第三卷积层和第五卷积层的卷积核的大小均为5×5，用于输出64×64×16的特征图；第四卷积层的卷积核的大小为5×5，用于输出32×32×32的特征图。
网络训练模块，用于从训练集中获取夜间视频图像；将夜间视频图像输入依次串联的预设数目个特征提取模块中，得到预设数目个特征图；将预设数目个特征图分别输入每个调整提取模块连接的图像增强模块，得到每个特征图对应的增强特征图；通过全连接层对每个增强特征图进行连接，得到夜间视频图像对应的增强视频图像；根据夜间视频图像及其对应的增强视频图像，计算当前训练周期对应的空间一致性损失值、感知损失值及色彩损失值；当空间一致性损失值、感知损失值及色彩损失值满足预设收敛条件时，获得训练好的低光图像增强网络。
网络训练模块，用于将夜间视频图像输入依次串联的预设数目个特征提取模块中之前，还对夜间视频图像进行正则化处理，将夜间视频图像中每个颜色通道的像素值压缩至预设区间。
目标跟踪模块403，用于通过预设目标跟踪网络分别对增强后的视频数据中的每个视频帧进行目标检测，定位出每个视频帧中的每个待跟踪目标；通过预设目标跟踪算法对每个待跟踪目标进行轨迹跟踪，得到每个待跟踪目标对应的目标跟踪结果；分别对每个待跟踪目标对应的目标跟踪结果进行平滑插值处理；根据平滑插值处理后每个待跟踪目标对应的目标跟踪结果，生成目标轨迹视频。
本申请的上述实施例提供的基于视频增强的目标跟踪装置与本申请实施例提供的基于视频增强的目标跟踪方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种电子设备，以执行上述基于视频增强的目标跟踪方法。请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示，电子设备5包括：处理器500，存储器501，总线502和通信接口503，所述处理器500、通信接口503和存储器501通过总线502连接；所述存储器501中存储有可在所述处理器500上运行的计算机程序，所述处理器500运行所述计算机程序时执行本申请前述任一实施方式所提供的基于视频增强的目标跟踪方法。
其中，存储器501可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器501用于存储程序，所述处理器500在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于视频增强的目标跟踪方法可以应用于处理器500中，或者由处理器500实现。
处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于视频增强的目标跟踪方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于视频增强的目标跟踪方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于视频增强的目标跟踪方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于视频增强的目标跟踪方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于视频增强的目标跟踪方法，其特征在于，包括：
获取待增强视频数据；
通过预先训练的低光图像增强网络对所述待增强视频数据进行增强处理，得到增强后的视频数据；
通过预设目标跟踪网络对所述增强后的视频数据进行目标跟踪处理，得到所述待增强视频数据对应的目标跟踪视频序列。
2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的低光图像增强网络对所述待增强视频数据进行增强处理，得到增强后的视频数据之前，还包括：
构建低光图像增强网络的网络结构；
获取训练集，所述训练集中包括夜间视频图像；
根据所述训练集对构建的所述低光图像增强网络进行训练，得到训练好的低光图像增强网络。
3.根据权利要求2所述的方法，其特征在于，所述构建低光图像增强网络的网络结构，包括：
将第一卷积层和激活层串联，得到特征提取模块；
将第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层依次串联，得到图像增强模块；
将预设数目个所述特征提取模块依次串联；
将每个所述特征提取模块分别连接一个所述图像增强模块；
将每个所述图像增加模块均与全连接层连接，得到低光图像增强网络的网络结构。
4.根据权利要求3所述的方法，其特征在于，所述根据所述训练集对构建的所述低光图像增强网络进行训练，得到训练好的低光图像增强网络，包括：
从所述训练集中获取所述夜间视频图像；
将所述夜间视频图像输入依次串联的预设数目个所述特征提取模块中，得到所述预设数目个特征图；
将所述预设数目个特征图分别输入每个所述调整提取模块连接的图像增强模块，得到每个特征图对应的增强特征图；
通过所述全连接层对每个所述增强特征图进行连接，得到所述夜间视频图像对应的增强视频图像；
根据所述夜间视频图像及其对应的增强视频图像，计算当前训练周期对应的空间一致性损失值、感知损失值及色彩损失值；
当所述空间一致性损失值、所述感知损失值及所述色彩损失值满足预设收敛条件时，获得训练好的低光图像增强网络。
5.根据权利要求4所述的方法，其特征在于，所述将所述夜间视频图像输入依次串联的预设数目个所述特征提取模块中之前，还包括：
对所述夜间视频图像进行正则化处理，将所述夜间视频图像中每个颜色通道的像素值压缩至预设区间。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过预设目标跟踪网络对所述增强后的视频数据进行目标跟踪处理，得到所述待增强视频数据对应的目标跟踪视频序列，包括：
通过预设目标跟踪网络分别对所述增强后的视频数据中的每个视频帧进行目标检测，定位出每个视频帧中的每个待跟踪目标；
通过预设目标跟踪算法对所述每个待跟踪目标进行轨迹跟踪，得到每个待跟踪目标对应的目标跟踪结果；
分别对每个待跟踪目标对应的目标跟踪结果进行平滑插值处理；
根据平滑插值处理后每个待跟踪目标对应的目标跟踪结果，生成目标轨迹视频。
7.根据权利要求3-5任一项所述的方法，其特征在于，
所述第一卷积层和所述第七卷积层的卷积核的大小均为3×3，用于输出256×256×32的特征图；
所述第二卷积层和所述第六卷积层的卷积核的大小均为3×3，用于输出128×128×8的特征图；
所述第三卷积层和所述第五卷积层的卷积核的大小均为5×5，用于输出64×64×16的特征图；
所述第四卷积层的卷积核的大小为5×5，用于输出32×32×32的特征图。
8.一种基于视频增强的目标跟踪装置，其特征在于，包括：
视频获取模块，用于获取待增强视频数据；
增强处理模块，用于通过预先训练的低光图像增强网络对所述待增强视频数据进行增强处理，得到增强后的视频数据；
目标跟踪模块，用于通过预设目标跟踪网络对所述增强后的视频数据进行目标跟踪处理，得到所述待增强视频数据对应的目标跟踪视频序列。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202110129674.1A 2021-01-29 2021-01-29 基于视频增强的目标跟踪方法、装置、设备及存储介质 Active CN112819858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110129674.1A CN112819858B (zh) 2021-01-29 2021-01-29 基于视频增强的目标跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110129674.1A CN112819858B (zh) 2021-01-29 2021-01-29 基于视频增强的目标跟踪方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112819858A true CN112819858A (zh) 2021-05-18
CN112819858B CN112819858B (zh) 2024-03-22

Family

ID=75860465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110129674.1A Active CN112819858B (zh) 2021-01-29 2021-01-29 基于视频增强的目标跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112819858B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065533A (zh) * 2021-06-01 2021-07-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN114827567A (zh) * 2022-03-23 2022-07-29 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111814755A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间运动场景的多帧图像行人检测方法和装置
CN112085088A (zh) * 2020-09-03 2020-12-15 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111814755A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间运动场景的多帧图像行人检测方法和装置
CN112085088A (zh) * 2020-09-03 2020-12-15 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEIFANG YANG; XIN NIE; RYAN WEN LIU: "Coarse-to-Fine Luminance Estimation for Low-Light Image Enhancement in Maritime Video Surveillance", 2019 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE (ITSC) *
方路平;翁佩强;周国民;: "基于深度学习的低光彩码图像增强", 浙江工业大学学报, no. 04 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065533A (zh) * 2021-06-01 2021-07-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN114827567A (zh) * 2022-03-23 2022-07-29 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质
CN114827567B (zh) * 2022-03-23 2024-05-28 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质

Also Published As

Publication number Publication date
CN112819858B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111741211B (zh) 图像显示方法和设备
CN112819858B (zh) 基于视频增强的目标跟踪方法、装置、设备及存储介质
CN107274445B (zh) 一种图像深度估计方法和***
WO2018099136A1 (zh) 一种低照度图像降噪方法、装置及存储介质
Onzon et al. Neural auto-exposure for high-dynamic range object detection
CN109472191B (zh) 一种基于时空上下文的行人重识别与追踪方法
US8582915B2 (en) Image enhancement for challenging lighting conditions
WO2021063341A1 (zh) 图像增强方法以及装置
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108897786A (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN112348747A (zh) 图像增强方法、装置及存储介质
CN113065645A (zh) 孪生注意力网络、图像处理方法和装置
CN114708437B (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN111754531A (zh) 图像实例分割方法和装置
Cai et al. Guided attention network for object detection and counting on drones
CN113378775B (zh) 一种基于深度学习的视频阴影检测与消除方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN114708615B (zh) 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质
CN113177438A (zh) 图像处理方法、设备及存储介质
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022120996A1 (zh) 视觉位置识别方法及装置、计算机设备及可读存储介质
CN111881924A (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
Bhattacharya et al. D2bgan: A dark to bright image conversion model for quality enhancement and analysis tasks without paired supervision
CN116977809A (zh) 一种基于深度学习的端到端多模态图像融合框架

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant