CN113450385B - 一种夜间工作工程机械视觉跟踪方法、装置及存储介质 - Google Patents

一种夜间工作工程机械视觉跟踪方法、装置及存储介质 Download PDF

Info

Publication number
CN113450385B
CN113450385B CN202110625143.1A CN202110625143A CN113450385B CN 113450385 B CN113450385 B CN 113450385B CN 202110625143 A CN202110625143 A CN 202110625143A CN 113450385 B CN113450385 B CN 113450385B
Authority
CN
China
Prior art keywords
tracking
window
similarity
detection window
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110625143.1A
Other languages
English (en)
Other versions
CN113450385A (zh
Inventor
蔡长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110625143.1A priority Critical patent/CN113450385B/zh
Publication of CN113450385A publication Critical patent/CN113450385A/zh
Application granted granted Critical
Publication of CN113450385B publication Critical patent/CN113450385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种夜间工作工程机械视觉跟踪方法、装置及存储介质，该方法包括利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；利用YOLO‑v4算法对光照增强图像进行处理，生成检测窗口；利用卡尔曼滤波***对光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；根据位置相似度和CNN特征相似度，将检测窗口与跟踪窗口进行关联，构建得到关联矩阵；根据关联矩阵，通过匈牙利算法判断检测窗口与跟踪窗口是否相关联；若检测窗口与跟踪窗口相关联，将跟踪ID分配给检测窗口。本发明能够实现夜间工作中对工程机械对象的精准检测和识别，本发明可广泛应用于视觉跟踪技术领域。

Description

一种夜间工作工程机械视觉跟踪方法、装置及存储介质
技术领域
本发明涉及视觉跟踪技术领域，尤其是一种夜间工作工程机械视觉跟踪方法、装置及存储介质。
背景技术
随着计算机技术的不断发展，计算能力得到了极大的提高，使得利用计算机实现人类的视觉功能成为目前计算机领域中最热门的课题之一。视觉跟踪(Visual tracking)问题是计算机视觉领域中的一个重要问题,所谓视觉跟踪，就是指对图像序列中的运动目标进行检测，提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度等，以及运动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解，以完成更高一级的任务.
近年来，计算机视觉技术逐渐成熟，基于视觉的目标检测、图像分类、实例分割等技术飞速发展。但是目标检测框架都集中在光线良好的图像，然而实际生活中，夜间施工在许多施工场景中得到了广泛的应用，但由于低光照条件和疲劳环境，夜间施工的风险也更大；夜间施工视频中的存在低照明条件问题，光照不足会影响视觉质量，从而会降低从夜间视频中识别工程机械的目标检测算法的性能。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种夜间工作工程机械视觉跟踪方法、装置及存储介质。
本发明所采取的技术方案是：
一方面，本发明实施例包括一种夜间工作工程机械视觉跟踪方法，包括：
利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；
利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口；
利用卡尔曼滤波***对所述光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；
根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵；
根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联；
若所述检测窗口与所述跟踪窗口相关联，将所述跟踪ID分配给所述检测窗口。
进一步地，所述利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像这一步骤，包括：
通过编码器-解码器网络对夜间视频每帧的输入图像进行照明分布估计，得到特征映射；
采用级联的方法将所述输入图像和所述特征映射进行拼接，得到特征图；
将所述特征图进行三层卷积处理，得到光照增强图像。
进一步地，所述利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口这一步骤，包括：
选取阿尔伯塔省建筑图像数据集对YOLO-v4算法中的深度学习对象检测器进行训练；
训练好的深度学习对象检测器对所述光照增强图像进行处理，生成检测窗口。
进一步地，所述位置相似度通过以下公式计算得到：
式中，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，Area(i)表示检测窗口i所在区域，Area(j)表示跟踪窗口j所在区域。
进一步地，所述CNN特征相似度通过以下公式计算得到：
式中，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，v(i)表示检测窗口i经过ResNet50神经网络处理后得到的特征向量，v(j)表示跟踪窗口j经过ResNet50神经网络处理后得到的特征向量，||v(i)||表示特征向量v(i)的范数，||v(j)||表示特征向量v(j)的范数。
进一步地，所述根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵这一步骤，包括：
将位置相似度和CNN特征相似度进行线性组合，计算所述检测窗口和跟踪窗口之间的相似性；
集成每对所述检测窗口和跟踪窗口之间的相似性，构建得到关联矩阵。
进一步地，将位置相似度和CNN特征相似度进行线性组合，计算所述检测窗口和跟踪窗口之间的相似性是通过以下公式执行：
similarity(i,j)＝α×IoU(i,j)+(1-α)×k(i,j)；
式中，similarity(i,j)表示检测窗口i和跟踪窗口j之间的相似性，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，α表示一个常数。
进一步地，所述根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联通过以下公式执行：
式中，A[i,j]表示关联矩阵，A[i,j]＝similarity(i,j)，
其中，当j＝1,K,b；/>当i＝1,K,a；
式中，i表示检测窗口，a表示检测窗口的数量，j表示跟踪窗口，b表示跟踪窗口的数量。
另一方面，本发明实施例还包括一种夜间工作工程机械视觉跟踪装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的夜间工作工程机械视觉跟踪方法。
另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-8任一项所述的夜间工作工程机械视觉跟踪方法
本发明的有益效果是：
本发明利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，能够保留大部分细节的情况下生成光照增强图像，克服了夜间工作工程机械跟踪的低可见性问题；利用YOLO-v4算法对所述光照增强图像进行处理，提高了检测精度和速度，且能够生成稳定、精确的检测窗口；利用卡尔曼滤波***对所述光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵；根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联；若所述检测窗口与所述跟踪窗口相关联，将所述跟踪ID分配给所述检测窗口；从而能够实现夜间工作中对工程机械对象的精准检测和识别。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所述夜间工作工程机械视觉跟踪方法的总体框架图；
图2为本发明实施例所述夜间工作工程机械视觉跟踪方法的步骤流程图；
图3为本发明实施例所述利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像的步骤流程图；
图4为本发明实施例所述全局光照感知和细节保持网络的架构图；
图5为本发明实施例所述夜间工作工程机械视觉跟踪装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构建和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面结合附图，对本申请实施例作进一步阐述。
参照图1，本发明实施例提出一种夜间工作工程机械视觉跟踪方法，该方法包括五个主要模块，分别为：光照增强、机器检测、卡尔曼滤波跟踪、机器关联和线性分配。首先，将从夜间视频中提取的帧序列输入到光照增强模块中，该模块基于编码器-解码器深度神经网络对低光照图像进行修复，得到光照增强帧。然后，在机器检测模块中，对光照增强后的帧进行深度学习检测，利用像素位置和分类信息对工程机械进行识别；其中，前一帧中的检测窗口用于初始化卡尔曼滤波跟踪模块中的卡尔曼滤波***，卡尔曼滤波跟踪模块可以生成当前帧的跟踪窗口。其次，机器关联模块根据位置相似度和CNN特征相似度，将检测窗口与当前帧的跟踪窗口关联起来，构建关联矩阵。随后，线性分配模块将跟踪问题转化为线性分配问题，利用匈牙利算法求解，得到最终跟踪结果。
具体地，参照图2，本发明实施例提供一种夜间工作工程机械视觉跟踪方法，包括但不限于以下步骤：
S1.利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；
S2.利用YOLO-v4算法对光照增强图像进行处理，生成检测窗口；
S3.利用卡尔曼滤波***对光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；
S4.根据位置相似度和CNN特征相似度，将检测窗口与跟踪窗口进行关联，构建得到关联矩阵；
S5.根据关联矩阵，通过匈牙利算法判断检测窗口与跟踪窗口是否相关联；
S6.若检测窗口与跟踪窗口相关联，将跟踪ID分配给检测窗口。
关于步骤S1，考虑到直接增加夜间帧的对比度和亮度可能会导致过度曝光问题，并且细节将丢失在帧的阴影和最暗区域。因此，本实施例采用了一种深度学习光照增强算法来修复夜间视频中的所有帧，并在保留大部分细节的情况下进一步生成光照增强图像。
具体地，参照图3，步骤S1，也就是利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像这一步骤，具体包括：
S101.通过编码器-解码器网络对夜间视频每帧的输入图像进行照明分布估计，得到特征映射；
S102.采用级联的方法将输入图像和特征映射进行拼接，得到特征图；
S103.将特征图进行三层卷积处理，得到光照增强图像。
本实施例中，选择全局光照感知和细节保持网络(GLADNet)对夜间视频的所有帧进行修复，因为全局光照感知和细节保持网络(GLADNet)在公共数据集(包括LIM、DICM和MEF)上具有最先进的性能。如图4所示，GLADNet的架构包括两个相邻步骤，即照明分布估计和细节重建。对于照明分布估计，输入图像的大小由最近邻插值调整为96×96，然后，特征映射通过编码器-解码器网络来估计图像的全局照明，编码器网络使用CNN进行下采样，而解码器网络使用调整大小的CNN进行上采样；对于细节重建，本实施例采用级联的方法将全局光照步长得到的输出特征映射与输入图像相结合。然后，为了保留输入图像的更多细节，对拼接后的特征图进行三层卷积处理。本实施例利用GLADNet对夜间视频的所有帧进行处理，得到的光照增强图像将作为机器检测模块的输入图像，与直接调节图像亮度相比，GLADNet的使用能够在保留大部分细节的同时，大大改善图像的光照条件。
关于步骤S2，也就是利用YOLO-v4算法对光照增强图像进行处理，生成检测窗口这一步骤，包括：
S201.选取阿尔伯塔省建筑图像数据集对YOLO-v4算法中的深度学习对象检测器进行训练；
S202.训练好的深度学习对象检测器对光照增强图像进行处理，生成检测窗口。
本实施例中，利用深度学***均精度(mAP)，超过了实时检测速度(在GTX Titan X GPU上每秒30帧)。YOLO-v4是一个完全卷积的检测网络，包含53个卷积层，每个卷积层后面都是批量标准化层和ReLU激活层；此外，YOLO-v4算法还采用了多尺度CNN结构，专门用于检测小目标，这对于建筑场景非常有用，因为在建筑视频中通常会发现此类目标。
在使用YOLO-v4算法时，需要一个带注释的数据集来训练深度学***地机、自卸汽车、混凝土搅拌车、轮式装载机、反铲装载机、塔式起重机和移动式起重机。从不同的构造场景中采集ACID图像，保证了高度的多样性，进一步避免了深度学习对象检测器的过拟合问题。通过对ACID数据的训练，可以同时从光照增强图像中检测出属于上述类别的建筑机械；同时，深度学习对象检测器能产生稳定、精确的检测窗口，有利于获得良好的跟踪性能。
关于步骤S3，本实施例中，利用卡尔曼滤波***对光照增强图像进行跟踪检测；当在一帧图像中检测到一个新的工程机械对象时，卡尔曼滤波***将被初始化为只跟踪这台工程机械，并为该***分配一个唯一标识(跟踪ID)，在下一帧中，这些***将产生跟踪结果，以便在该帧处关联检测结果。卡尔曼滤波是一种利用随时间变化的连续测量值的算法，并产生对当前报表的估计。用Xk∣k-1表示在时间戳k处直到k-1次测量的跟踪状态的估计，Pk∣k-1是相应的不确定度，yk是时间戳k处的测量值。一般来说，卡尔曼滤波***工作分为两步：a)预测过程基于先前的预测和测量生成当前语句Xk∣k-1的估计值、b)一旦提供了当前语句yk的测量值，就可以通过状态转移模型来更新卡尔曼滤波器以输出最终的跟踪结果Xk∣k。
本实施例中，每个对象的状态建模为：X＝[xc,yc,w,h,u,v]；式中，xc和yc表示物体中心点的水平和垂直坐标；w是物体的宽度，h是物体的高度；u和v分别表示物体在水平轴和竖直轴上的速度。当检测窗口与跟踪窗口相关联时，检测框将用于更新卡尔曼滤波***。如果没有检测窗口与跟踪窗口相关联，卡尔曼滤波***将使用线性速度模型简单地更新其状态。
关于步骤S4，针对每一帧光照增强图像，利用YOLO-v4算法进行处理会产生检测窗口，利用卡尔曼滤波***进行预测跟踪会生成跟踪窗口，本实施例根据位置相似度和CNN特征相似度，将检测窗口与跟踪窗口进行关联，构建得到关联矩阵，具体地，位置相似度可由并集上的交集IoU(i,j)计算得到：
式中，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，Area(i)表示检测窗口i所在区域，Area(j)表示跟踪窗口j所在区域。
CNN特征相似度可评估两个对象窗口之间的视觉相似性，这是在夜间场景中面对照明变化和运动模糊时区分机器对象的有效外观模型。首先，将所有检测窗口和跟踪窗口的大小调整为224×224，并输入ResNet50神经网络(在ImageNet上预训练)。然后，可以从ResNet50的完全连接层中提取大小为500×1的特征向量来表示每个输入对象窗口。检测窗口i和跟踪窗口j之间的CNN特征相似度可以计算为其对应特征向量的余弦相似性，具体公式为：
式中，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，v(i)表示检测窗口i经过ResNet50神经网络处理后得到的特征向量，v(j)表示跟踪窗口j经过ResNet50神经网络处理后得到的特征向量，||v(i)||表示特征向量v(i)的范数，||v(j)||表示特征向量v(j)的范数。
基于此，检测窗口i和跟踪窗口j之间的相似性可以计算为位置相似度和CNN特征相似度的线性组合，计算公式可表达为：
similarity(i,j)＝α×IoU(i,j)+(1-α)×k(i,j)；
式中，similarity(i,j)表示检测窗口i和跟踪窗口j之间的相似性，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，α表示一个常数。
本实施例可以通过集成每对检测窗口和跟踪窗口之间的相似性来构建关联矩阵A。关联矩阵A的大小是检测窗口的个数乘以跟踪窗口的个数。
关于步骤S5和S6，本实施例通过将检测窗口与跟踪窗口相关联，将跟踪ID分配给每个检测窗口。然后将跟踪问题转化为一个线性分配问题。本实施例可根据关联矩阵，通过匈牙利算法进一步判断检测窗口与跟踪窗口是否相关联，具体地，判断公式如下：
式中，A[i,j]表示关联矩阵，A[i,j]＝similarity(i,j)，
其中，当j＝1,K,b；/>当i＝1,K,a；
式中，i表示检测窗口，a表示检测窗口的数量，j表示跟踪窗口，b表示跟踪窗口的数量。
本实施例中，根据当j＝1,K,b约束式，可知，每个检测窗口只能分配一个跟踪窗口，根据/>当j＝1,K,a约束式，可知，每个跟踪窗口只能与一个检测窗口相关联。通过匈牙利算法可以解决线性分配问题，将跟踪ID分配给检测窗口。
具体地，如果匈牙利算法成功地将检测窗口i与跟踪窗口j完全匹配，并且相似性similarity(i,j)大于0.5，则跟踪窗口j将被视为跟踪结果，并使用检测窗口i更新相应的卡尔曼滤波***。如果检测窗口i与跟踪窗口j不匹配或相似性similarity(i,j)不大于0.5，则将为检测窗口i分配新的跟踪ID，并初始化新的卡尔曼滤波器***。另外，检测窗口i将是跟踪输出。如果卡尔曼滤波***不能在连续10帧中关联任何检测窗口，则该轨迹和相应的跟踪ID将被销毁。
本发明实施例一种夜间工作工程机械视觉跟踪方法具有以下技术效果：
本发明利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，能够保留大部分细节的情况下生成光照增强图像，克服了夜间工作工程机械跟踪的低可见性问题；利用YOLO-v4算法对光照增强图像进行处理，提高了检测精度和速度，且能够生成稳定、精确的检测窗口；利用卡尔曼滤波***对光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；根据位置相似度和CNN特征相似度，将检测窗口与跟踪窗口进行关联，构建得到关联矩阵；根据关联矩阵，通过匈牙利算法判断检测窗口与跟踪窗口是否相关联；若检测窗口与跟踪窗口相关联，将跟踪ID分配给检测窗口；从而能够实现夜间工作中对工程机械对象的精准检测和识别。
参照图5，本发明实施例还提供了一种夜间工作工程机械视觉跟踪装置200，具体包括：
至少一个处理器210；
至少一个存储器220，用于存储至少一个程序；
当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如图2所示的方法。
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到，图5中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图2所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，处理器可执行的程序在被处理器执行时用于实现如图2所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种夜间工作工程机械视觉跟踪方法，其特征在于，包括：
利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像；
利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口；
利用卡尔曼滤波***对所述光照增强图像进行跟踪检测，生成跟踪窗口和跟踪ID；
根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵；
根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联；
若所述检测窗口与所述跟踪窗口相关联，将所述跟踪ID分配给所述检测窗口；
所述根据位置相似度和CNN特征相似度，将所述检测窗口与所述跟踪窗口进行关联，构建得到关联矩阵这一步骤，包括：
将位置相似度和CNN特征相似度进行线性组合，计算所述检测窗口和跟踪窗口之间的相似性；
集成每对所述检测窗口和跟踪窗口之间的相似性，构建得到关联矩阵；
将位置相似度和CNN特征相似度进行线性组合，计算所述检测窗口和跟踪窗口之间的相似性是通过以下公式执行：
similarity(i,j)＝α×IoU(i,j)+(1-α)×k(i,j)；
式中，similarity(i,j)表示检测窗口i和跟踪窗口j之间的相似性，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，α表示一个常数；
所述根据所述关联矩阵，通过匈牙利算法判断所述检测窗口与所述跟踪窗口是否相关联通过以下公式执行：
maximize:
式中，A[i,j]表示关联矩阵，A[i,j]＝similarity(i,j)，
其中，当j＝1,K,b；/>当i＝1,K,a；
式中，i表示检测窗口，a表示检测窗口的数量，j表示跟踪窗口，b表示跟踪窗口的数量。
2.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述利用全局光照感知和细节保持网络对夜间视频的所有帧进行修复，得到光照增强图像这一步骤，包括：
通过编码器-解码器网络对夜间视频每帧的输入图像进行照明分布估计，得到特征映射；
采用级联的方法将所述输入图像和所述特征映射进行拼接，得到特征图；
将所述特征图进行三层卷积处理，得到光照增强图像。
3.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述利用YOLO-v4算法对所述光照增强图像进行处理，生成检测窗口这一步骤，包括：
选取阿尔伯塔省建筑图像数据集对YOLO-v4算法中的深度学习对象检测器进行训练；
训练好的深度学习对象检测器对所述光照增强图像进行处理，生成检测窗口。
4.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述位置相似度通过以下公式计算得到：
式中，IoU(i,j)表示检测窗口i和跟踪窗口j之间的位置相似度，Area(i)表示检测窗口i所在区域，Area(j)表示跟踪窗口j所在区域。
5.根据权利要求1所述的一种夜间工作工程机械视觉跟踪方法，其特征在于，所述CNN特征相似度通过以下公式计算得到：
式中，k(i,j)表示检测窗口i和跟踪窗口j之间的CNN特征相似度，v(i)表示检测窗口i经过ResNet50神经网络处理后得到的特征向量，v(j)表示跟踪窗口j经过ResNet50神经网络处理后得到的特征向量，||v(i)||表示特征向量v(i)的范数，||v(j)||表示特征向量v(j)的范数。
6.一种夜间工作工程机械视觉跟踪装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5任一项所述的方法。
7.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-5任一项所述的方法。
CN202110625143.1A 2021-06-04 2021-06-04 一种夜间工作工程机械视觉跟踪方法、装置及存储介质 Active CN113450385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110625143.1A CN113450385B (zh) 2021-06-04 2021-06-04 一种夜间工作工程机械视觉跟踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110625143.1A CN113450385B (zh) 2021-06-04 2021-06-04 一种夜间工作工程机械视觉跟踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113450385A CN113450385A (zh) 2021-09-28
CN113450385B true CN113450385B (zh) 2023-08-18

Family

ID=77810762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110625143.1A Active CN113450385B (zh) 2021-06-04 2021-06-04 一种夜间工作工程机械视觉跟踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113450385B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114530043A (zh) * 2022-03-03 2022-05-24 上海闪马智能科技有限公司 一种事件检测方法、装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN111354023A (zh) * 2020-03-09 2020-06-30 中振同辂(江苏)机器人有限公司 一种基于摄像头的视觉多目标跟踪方法
CN111862145A (zh) * 2019-04-24 2020-10-30 四川大学 一种基于多尺度行人检测的目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US10691925B2 (en) * 2017-10-28 2020-06-23 Altumview Systems Inc. Enhanced face-detection and face-tracking for resource-limited embedded vision systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN111862145A (zh) * 2019-04-24 2020-10-30 四川大学 一种基于多尺度行人检测的目标跟踪方法
CN111354023A (zh) * 2020-03-09 2020-06-30 中振同辂(江苏)机器人有限公司 一种基于摄像头的视觉多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于踪片Tracklet关联的视觉目标跟踪:现状与展望;刘雅婷;王坤峰;王飞跃;;自动化学报(11);第4-20页 *

Also Published As

Publication number Publication date
CN113450385A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及***
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN110276293B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及***
CN110232368B (zh) 车道线检测方法、装置、电子设备及存储介质
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN110263714B (zh) 车道线检测方法、装置、电子设备及存储介质
CN111950394A (zh) 一种车辆变道的预测方法、装置及计算机存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN112947419A (zh) 避障方法、装置及设备
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
CN110992424A (zh) 基于双目视觉的定位方法和***
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN112419231A (zh) 能见度确定方法、装置、计算机设备和存储介质
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
CN116343078A (zh) 基于视频sar的目标跟踪方法、***及设备
CN110864670A (zh) 目标障碍物位置的获取方法和***
CN114882363A (zh) 一种扫地机的污渍处理方法和装置
CN115168380A (zh) 一种室内地图数据的更新方法及***
CN112133100A (zh) 一种基于r-cnn的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant