CN113093726A - 一种基于Yolo_v4算法的目标检测与跟踪方法 - Google Patents

一种基于Yolo_v4算法的目标检测与跟踪方法 Download PDF

Info

Publication number
CN113093726A
CN113093726A CN202110247114.6A CN202110247114A CN113093726A CN 113093726 A CN113093726 A CN 113093726A CN 202110247114 A CN202110247114 A CN 202110247114A CN 113093726 A CN113093726 A CN 113093726A
Authority
CN
China
Prior art keywords
yolo
coordinate system
tracking
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110247114.6A
Other languages
English (en)
Inventor
李奎霖
魏武
曾锦秀
肖文煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110247114.6A priority Critical patent/CN113093726A/zh
Publication of CN113093726A publication Critical patent/CN113093726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Yolo_v4算法的目标检测与跟踪方法，包括以下步骤：制作完成数据集；对带有标注的图像数据集进行训练，得到最佳模型参数；将训练好的模型部署于服务器，搭载在客户端机器人车身的视觉传感器不断采集场景图像，并通过局域网传输至服务器；经过训练后的算法识别输入侧图像中待跟踪物体的像素坐标，并输出像素坐标点，局域网传输至客户端机器人；机器人根据单孔相机模型与相关传感器采集的深度值，计算待跟踪物体相对于摄像头中心的相对角度，根据该角度进行下一步路径运动动作。本发明能在复杂场景下精确的完成对目标体的识别和对机器人运动方向的控制，并通过算法远端部署，减少机器人侧计算压力。

Description

一种基于Yolo_v4算法的目标检测与跟踪方法
技术领域
本发明涉及计算机视觉与机器人导航技术领域，具体涉及一种基于Yolo_v4算法的目标检测与跟踪方法。
背景技术
得益于5G技术，神经网络，计算机视觉等研究邻域的突飞猛进，机器人理论与应用再次成为研究的热点近年来，由于机器人技术的高速发展，使得机器人进入了我们生活中的方方面面，改变了我们的生活方式。当机器人加上视觉传感器实现目标跟踪功能，可以使得机器人的应用更加的广泛，可以完成更为复杂的任务，例如应用于服务业的各种服务型机器人、应用于物流管理的仓储机器人、应用于军事领域的巡逻机器人等，都可以为我们的生活带来更多的便利。
环境感知是指机器人对周围环境的信息采集与预处理，对智能机器人后端决策有着举足轻重的作用，智能机器人依靠丰富的传感器感知环境信息，并将相关的环境信息用于算法级的融合，得到有关机器人自身状态和周围环境的综合信息，进而作为控制决策的输入。
轮式机器人因具有比人力更灵活、可靠且易于安装维护等优点，近年来在工厂中被大量应用于自主快速运输，达到节约制造成本的目的。视觉跟踪技术作为其中的关键一环，发展引起了业界的高度重视。
传统的轮式机器人视觉跟踪算法以连续视频帧为对象，提取目标特征后，根据视频帧序列的上下文信息，利用灰度特征、颜色特征、梯度特征以及纹理特征等人工特征等定位目标，目标严重遮挡之后自动切换为卡尔曼滤波算法定位目标，算法在一定程度上解决了目标遮挡导致的跟踪失败问题，但采用传统模型的算法在一般场景下，跟踪精度不高，融合多个特征之后虽然能够一定程度上提高传统模型算法的跟踪精度，但对于目标出镜头、严重遮挡等复杂环境下跟踪效果不佳。
而随着深度学习研究的发展，通过深度学习来实现机器人目标识别跟踪愈发成为主流，深度学习模型具有高层特征更抽象、低层特征更细粒的特点使其对特征表达更为丰富。
在复杂场景中，基于深度学习模型的跟踪算法比基于传统模型的跟踪算法精度更高，目前主流目标检测算法分为One-stage和Two-stage两种，Two-stage的主要代表为R-CNN及其衍生的一系列算法，它首先用选择性搜索或RPN网络生成候选区域，再把候选区域输入卷积网络做分类或者回归，检测一幅图像需要同时运算两个网络，不仅参数众多，运行速度也很难提升；相比于R-CNN等算法而One-stage只需要一个网络就能够完成端到端的目标的检测任务。
发明内容
本发明的目的是在节省成本且保证可靠的前提下，提供了一种基于Yolo_v4算法的目标检测与跟踪方法。本发明应用Yolo_v4算法模型，将目标检测问题中的边框定位和分类融合为一个回归问题，并通过局域网传输至服务器交由算法进行目标识别，根据算法识别结果解算坐标，控制机器人运动方向从而实现目标跟踪。输入图像数据后就可以检测出所有物体类别和位置，且速度较快，适合实时监测场景。同时本发明将Yolo_v4算法模型部署于服务器端，缓解机器人端算法计算压力，并设计合理的跟踪策略对目标的轨迹进行跟踪，提高了移动机器人跟踪的稳定性和准确性，具有较大的应用价值使用视觉传感器实时采集图像数据。
本发明至少通过如下技术方案之一实现。
一种基于Yolo_v4算法的目标检测与跟踪方法，包括以下步骤：
步骤S1、制作完成数据集；
步骤S2、对带有标注的图像数据集进行训练，得到最佳模型参数；
步骤S3、将加载好最佳模型参数的Yolo_v4网络模型部署于服务器端；
步骤S4、搭载深度相机传感器的移动机器人持续收集图像信息，编码后传输至服务器，作为所述Yolo_v4网络模型数据输入端；
步骤S5、服务器接受图像数据并解码输入，经所述Yolo_v4网络模型解算后得到待跟踪目标物的像素坐标，将该像素坐标传输回移动机器人；
步骤S6、移动机器人根据单目相机模型与像素坐标解算待跟踪物实际坐标，并以该坐标作为目标点前进，实现跟踪目的。
优选的，选取用于跟踪的目标物，并收集待跟踪目标物的图像序列，使用标注工具对该图像序列进行标注，经人工标注后的数据集大小为N张。
优选的，在步骤S1中，待跟踪目标物数据格式为n*n像素的jpeg格式图片。
优选的，在步骤S2中，将标注后的数据集输入Yolo_v4网络模型，并进行训练，获得Yolo_v4算法模型的参数。
优选的，所述训练包括：每次随机读取数据集的m张图片，分别进行镜像翻转、尺度缩放、色域变化操作，并按照顺序拼接，再对原图中的真实框进行剪裁与组合，形成一张新的图片输入Yolo_v4网络模型进行训练，训练达到最大迭代次数或网络收敛后，保存模型与权重文件。
优选的，在步骤S4中，所述深度相机传感器，安装于机器人头部，用于获取图像信息与深度信息，同时深度相机传感器使用上位机，收集相机图像信息，通过局域网框架传输信息至服务器作为算法侧输入。
优选的，所述上位机为电脑或嵌入式主板Jetson TX2。
优选的，在步骤S5中，服务器端接收到通过局域网框架传输的图像信息后进行解码，以图像矩阵格式输入算法侧，经过训练后的Yolo_v4网络模型，输出待跟踪目标的中心点(x，y)以及检测框的高度h，通过局域网将中心点像素坐标通过局域网框架传输回移动机器人侧。
优选的，所述Yolo_v4网络模型包括特征提取网络、空间金字塔池化SPP(SpatialPyramid Pooling)模块、特征融合模块与多分类器模块；所述特征提取骨干网络为CSPDarknet53网络结构，输出四个大小不同的特征图，最小的特征图输入空间金字塔池化SPP模块，所述空间金字塔池化SPP模块对输入的特征图分别利用四个最大池化层进行处理，并将四个最大池化层处理后的输出进行拼接，得到池化特征图输出；将所述池化特征图以及CSPDarknet53网络结构输出的特征图输入所述特征融合模块，依据数据流向依次连接的各采样层进行数据融合；所述多分类器模块基于特征融合模块输出的不同尺度的融合特征进行分类检测，输出最终的目标检测结果。
优选的，在步骤S6中，移动机器人侧接收局域网传输回的中心点像素坐标，根据中心点像素坐标与针孔相机模型计算待跟踪物的实际坐标，其计算过程如下：
以相机光心O组成的坐标系称为相机坐标系Oc-Xc-Yc；以光心在图像平面投影O`为原点的坐标系称为图像坐标系O`-x`-y`；以图像平面左上角为远点的坐标系称为像素坐标系O-u-v；物体在真是世界中的坐标用世界坐标系描述Ow-Xw-Yw；其成像转换过程应为世界坐标系-＞相机坐标系-＞图像坐标系-＞像素坐标系；
设P为世界坐标系中的一点，p为P在图像中的成像点，在图像坐标系中坐标为(x，y)，在像素坐标系中的坐标为(u，v)，相机焦距为f，f等于O`与Oc的距离，即f＝||O`-Oc||，则世界坐标系到像素坐标系的转换方程为：
Figure BDA0002964490250000051
上式中相机内参矩阵中fx、fy、uo、vo通过相机标定得出，根据像素坐标(u，v)解算上述方程，即可获得待跟踪目标物相对于相机位置的三维坐标(Xc，Yc，Zc)，以该三维坐标为目标点，作为移动机器人的前进方向，实现定位跟踪。
与现有的技术相比，本发明的有益效果为：
1.仅使用视觉传感器即实现了轮式机器人的目标识别与跟踪，减少了对高成本传感器的依赖，同时深度学习算法部署于服务器端，有效的释放了机器人侧算力压力。
2.利用深度学习的优势，提高了视觉识别跟踪精度与跟踪成功率。本发明提出的算法能满足一般场景下移动机器人跟踪的应用可靠性，能有效提高跟踪算法的实用性。
3.本发明能在复杂场景下精确的完成对目标体的识别和对机器人运动方向的控制，并通过网络模型远端部署，减少机器人侧计算压力。
4.本发明能在仅使用视觉的方式实现了轮式机器人的目标定位与跟踪运动，减少了对传感器成本，且利用深度学习的优势，实现了可跟踪物体的定制化，提高了多样性。
附图说明
图1为本实施例一种基于Yolo_v4算法的目标检测与跟踪方法流程图；
图2为本实施例的基于针孔相机模型由目标像素点解算的三维坐标图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1和图2所示，一种基于Yolo_v4算法的目标检测与跟踪方法，包括如下步骤：
步骤S1、制作数据集。
选取用于跟踪的目标物，并收集待跟踪目标物的图像序列，其数据格式为416*416像素的jpeg格式图片，用于训练的图像格式固定，防止训练过程出错；经人工标注后的数据集大小为1000张。使用标注工具对该图像序列进行标注，生成对应于每一幅图像xml标注文件，整理成为VOC数据集格式。
作为另一个实施例，为了获得更优的数据集，可选择2000张的数据集大小。
步骤S2、对带有标注的图像数据集进行训练，得到最佳模型参数。
在公开的标注数据集上进行网络的预训练，初始化Yolo_v4网络模型，获得网络权重用于进一步训练。
将步骤1中制作好的VOC格式数据集进行数据增强，每次随机读取四张图片，分别进行镜像翻转、尺度缩放、色域变化等操作，并按照左上、右上、左下、右下的位置拼接，再对原图中的真实框进行剪裁与组合，形成一张新的图片输入网络进行训练，变相增加了训练的batch_size参数，网络训练达到最大迭代次数或网络收敛后，保存模型与权重文件。
一个良好的目标检测网络模型需要更大的网络输入分辨率，用于检测小目标；更深的网络层，能够覆盖更大面积的图像信息；更多的参数，用于更好的检测同一图像内不同尺寸的目标。
本发明所述的Yolo_v4网络模型包括特征提取骨干网络，通过对比CSPResNext50和CSPDarknet53网络结构，最终选取CSPDarknet53结构作为特征提取骨干网络，以及空间金字塔池化SPP(Spatial Py-ramid Pooling)模块、特征融合模块与多分类器模块，所述特征提取骨干网络为CSPDarknet53网络结构，输出四个大小不同的特征图，最小的特征图输入空间金字塔池化(SPP)模块，所述SPP模块对输入的特征图分别利用四个最大池化层进行处理，并将四个最大池化层处理后的输出进行拼接，得到池化特征图输出。
将所述池化特征图以及CSPDarknet53网络结构输出的特征图输入所述特征融合模块，依据数据流向依次连接的各采样层进行数据融合。所述多分类器模块基于特征融合模块输出的不同尺度的融合特征进行分类检测，输出最终的目标检测结果。
步骤S3、将加载好最佳模型参数的Yolo_v4算法部署于服务器端。
在服务器中基于C++语言与Opencv(Open Source Computer Vision Library)框架调用Yolo_v4算法模型，同时搭建局域网框架(mongoose web框架)用于接收图像序列。
步骤S4、搭载深度相机传感器的轮式移动机器人持续收集图像信息，编码后通过局域网传输至服务器，作为YOLO_v4网络模型数据输入端。
安装于机器人头部的深度相机传感器，用于获取图像信息与深度信息，同时搭载笔记本电脑作为上位机，收集相机图像信息，经过二进制编码后通过局域网框架传输信息至服务器作为YOLO_v4网络模型输入。
作为另一个实施例，所述笔记本电脑替换为嵌入式主板Jetson TX2作为上位机。
步骤S5、服务器接受图像数据并解码输入，经YOLO_v4网络模型解算后得到待跟踪目标物的像素坐标，通过局域网将该像素坐标传输回移动机器人侧。
服务器端接收到通过局域网框架传输的图像信息后进行解码，以图像矩阵格式(OpenCV Mat)输入YOLO_v4网络模型，经过训练后的Yolo_v4网络模型，输出待跟踪目标的中心点(x，y)以及检测框的高度h，将中心点像素坐标通过局域网框架传输回移动机器人侧。
步骤S6、机器人侧根据单目相机模型与像素坐标解算待跟踪物实际坐标，并以该坐标作为目标点前进，实现跟踪目的。
移动机器人侧接收局域网传输回的像素坐标输出，并根据像素坐标与如图2所示的针孔相机模型计算待跟踪物的实际坐标，其计算过程如下：
以相机光心O组成的坐标系称为相机坐标系Oc-Xc-Yc；
以光心在像平面投影O`(图像平面中心)为原点的坐标系称为图像坐标系(象平面坐标系)O`-x`-y`；
以图像平面左上角为远点的坐标系称为像素坐标系O-u-v；物体在真是世界中的坐标用世界坐标系描述Ow-Xw-Yw；其成像转换过程应为世界坐标系-＞相机坐标系-＞图像坐标系-＞像素坐标系；
设P为世界坐标系中的一点，p为P在图像中的成像点，在图像坐标系中坐标为(x，y)，在像素坐标系中的坐标为(u，v)，相机焦距为f，等于O`与Oc的距离，即f＝||O`-Oc||；则世界坐标系到像素坐标系的转换方程为：
Figure BDA0002964490250000091
上式中相机内参矩阵中fx、fy、uo、vo通过相机标定得出，根据YOLO_v4网络模型输出的像素坐标(u，v)解算上述方程，即可获得待跟踪目标物相对于相机位置的三维坐标，以该三维坐标为目标点，作为移动机器人的前进方向，实现定位跟踪。
作为另一个实施例，步骤S1的数据格式为选择480*480，像素比例为32的倍数即可，通过缩放输入网络模型进行训练；经人工标注后的数据集大小为2000张，扩大数据集大小，获得更优的参数集。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于，包括以下步骤：
步骤S1、制作完成数据集；
步骤S2、对带有标注的图像数据集进行训练，得到最佳模型参数；
步骤S3、将加载好最佳模型参数的Yolo_v4网络模型部署于服务器端；
步骤S4、搭载深度相机传感器的移动机器人持续收集图像信息，编码后传输至服务器，作为所述Yolo_v4网络模型数据输入端；
步骤S5、服务器接受图像数据并解码输入，经所述Yolo_v4网络模型解算后得到待跟踪目标物的像素坐标，将该像素坐标传输回移动机器人；
步骤S6、移动机器人根据单目相机模型与像素坐标解算待跟踪物实际坐标，并以该坐标作为目标点前进，实现跟踪目的。
2.根据权利要求1所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：选取用于跟踪的目标物，并收集待跟踪目标物的图像序列，使用标注工具对该图像序列进行标注，经人工标注后的数据集大小为N张。
3.根据权利要求2所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S1中，待跟踪目标物数据格式为n*n像素的jpeg格式图片。
4.根据权利要求3所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S2中，将标注后的数据集输入Yolo_v4网络模型，并进行训练，获得Yolo_v4算法模型的参数。
5.根据权利要求4所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：所述训练包括：每次随机读取数据集的m张图片，分别进行镜像翻转、尺度缩放、色域变化操作，并按照顺序拼接，再对原图中的真实框进行剪裁与组合，形成一张新的图片输入Yolo_v4网络模型进行训练，训练达到最大迭代次数或网络收敛后，保存模型与权重文件。
6.根据权利要求5所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S4中，所述深度相机传感器，安装于机器人头部，用于获取图像信息与深度信息，同时深度相机传感器使用上位机，收集相机图像信息，通过局域网框架传输信息至服务器作为算法侧输入。
7.根据权利要求6所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：所述上位机为电脑或嵌入式主板Jetson TX2。
8.根据权利要求7所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S5中，服务器端接收到通过局域网框架传输的图像信息后进行解码，以图像矩阵格式输入算法侧，经过训练后的Yolo_v4网络模型，输出待跟踪目标的中心点(x，y)以及检测框的高度h，通过局域网将中心点像素坐标通过局域网框架传输回移动机器人侧。
9.根据权利要求8所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：所述Yolo_v4网络模型包括特征提取网络、空间金字塔池化SPP(Spatial PyramidPooling)模块、特征融合模块与多分类器模块；所述特征提取骨干网络为CSPDarknet53网络结构，输出四个大小不同的特征图，最小的特征图输入空间金字塔池化SPP模块，所述空间金字塔池化SPP模块对输入的特征图分别利用四个最大池化层进行处理，并将四个最大池化层处理后的输出进行拼接，得到池化特征图输出；将所述池化特征图以及CSPDarknet53网络结构输出的特征图输入所述特征融合模块，依据数据流向依次连接的各采样层进行数据融合；所述多分类器模块基于特征融合模块输出的不同尺度的融合特征进行分类检测，输出最终的目标检测结果。
10.根据权利要求9所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S6中，移动机器人侧接收局域网传输回的中心点像素坐标，根据中心点像素坐标与针孔相机模型计算待跟踪物的实际坐标，其计算过程如下：
以相机光心O组成的坐标系称为相机坐标系Oc-Xc-Yc；以光心在图像平面投影O`为原点的坐标系称为图像坐标系O`-x`-y`；以图像平面左上角为远点的坐标系称为像素坐标系O-u-v；物体在真是世界中的坐标用世界坐标系描述Ow-Xw-Yw；其成像转换过程应为世界坐标系-＞相机坐标系-＞图像坐标系-＞像素坐标系；
设P为世界坐标系中的一点，p为P在图像中的成像点，在图像坐标系中坐标为(x，y)，在像素坐标系中的坐标为(u，v)，相机焦距为f，f等于O`与Oc的距离，即f＝||O`-Oc||，则世界坐标系到像素坐标系的转换方程为：
Figure FDA0002964490240000031
上式中相机内参矩阵中fx、fy、uo、vo通过相机标定得出，根据像素坐标(u，v)解算上述方程，即可获得待跟踪目标物相对于相机位置的三维坐标(Xc，Yc，Zc)，以该三维坐标为目标点，作为移动机器人的前进方向，实现定位跟踪。
CN202110247114.6A 2021-03-05 2021-03-05 一种基于Yolo_v4算法的目标检测与跟踪方法 Pending CN113093726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110247114.6A CN113093726A (zh) 2021-03-05 2021-03-05 一种基于Yolo_v4算法的目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110247114.6A CN113093726A (zh) 2021-03-05 2021-03-05 一种基于Yolo_v4算法的目标检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN113093726A true CN113093726A (zh) 2021-07-09

Family

ID=76666941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110247114.6A Pending CN113093726A (zh) 2021-03-05 2021-03-05 一种基于Yolo_v4算法的目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN113093726A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724295A (zh) * 2021-09-02 2021-11-30 中南大学 基于计算机视觉的无人机追踪***及方法
CN113740098A (zh) * 2021-08-25 2021-12-03 安阳屹星智能科技有限公司 一种散煤车采样方法
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114089675A (zh) * 2021-11-23 2022-02-25 长春工业大学 一种基于人机距离的机器控制方法及控制***
CN114310900A (zh) * 2022-01-11 2022-04-12 重庆智能机器人研究院 一种工业机器人视觉在线写绘和视觉涂胶算法
CN114359791A (zh) * 2021-12-16 2022-04-15 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114463686A (zh) * 2022-04-11 2022-05-10 西南交通大学 基于复杂背景下的移动目标检测方法和***
CN115170911A (zh) * 2022-09-06 2022-10-11 浙江大学湖州研究院 一种基于图像识别的人体关键部位定位***及方法
CN116991182A (zh) * 2023-09-26 2023-11-03 北京云圣智能科技有限责任公司 无人机云台控制方法、装置、***、计算机装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682378A (zh) * 2018-12-20 2019-04-26 南京航空航天大学 一种完全基于视觉信息的无人机室内定位与多目标跟踪方法
CN110065075A (zh) * 2019-05-29 2019-07-30 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110889324A (zh) * 2019-10-12 2020-03-17 南京航空航天大学 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN111310631A (zh) * 2020-02-10 2020-06-19 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及***
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力（南京）大气海洋信息***有限公司 基于摄像机标定及深度学习算法的船舶身份识别***
CN111553917A (zh) * 2020-05-11 2020-08-18 广州鹄志信息咨询有限公司 一种基于芯片缺陷检测的检测方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682378A (zh) * 2018-12-20 2019-04-26 南京航空航天大学 一种完全基于视觉信息的无人机室内定位与多目标跟踪方法
CN110065075A (zh) * 2019-05-29 2019-07-30 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110889324A (zh) * 2019-10-12 2020-03-17 南京航空航天大学 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN111310631A (zh) * 2020-02-10 2020-06-19 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及***
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力（南京）大气海洋信息***有限公司 基于摄像机标定及深度学习算法的船舶身份识别***
CN111553917A (zh) * 2020-05-11 2020-08-18 广州鹄志信息咨询有限公司 一种基于芯片缺陷检测的检测方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YAO ZHANG，等: "A Sport Athlete Object Tracking Based on Deep Sort and Yolo V4 in Case of Camera Movement", 《2020 IEEE 6TH INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATIONS (ICCC)》 *
张丹丹: "《基于深度神经网络技术的高分遥感图像处理及应用》", 31 August 2020, 中国宇航出版社 *
高宏伟，等: "《电子制造装备技术》", 30 September 2015, 西安电子科技大学出版社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113740098A (zh) * 2021-08-25 2021-12-03 安阳屹星智能科技有限公司 一种散煤车采样方法
CN113740098B (zh) * 2021-08-25 2024-05-07 安阳屹星智能科技有限公司 一种散煤车采样方法
CN113724295A (zh) * 2021-09-02 2021-11-30 中南大学 基于计算机视觉的无人机追踪***及方法
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114067564B (zh) * 2021-11-15 2023-08-29 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114089675B (zh) * 2021-11-23 2023-06-09 长春工业大学 一种基于人机距离的机器控制方法及控制***
CN114089675A (zh) * 2021-11-23 2022-02-25 长春工业大学 一种基于人机距离的机器控制方法及控制***
CN114359791B (zh) * 2021-12-16 2023-08-01 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114359791A (zh) * 2021-12-16 2022-04-15 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114310900A (zh) * 2022-01-11 2022-04-12 重庆智能机器人研究院 一种工业机器人视觉在线写绘和视觉涂胶算法
CN114463686A (zh) * 2022-04-11 2022-05-10 西南交通大学 基于复杂背景下的移动目标检测方法和***
CN115170911A (zh) * 2022-09-06 2022-10-11 浙江大学湖州研究院 一种基于图像识别的人体关键部位定位***及方法
CN116991182A (zh) * 2023-09-26 2023-11-03 北京云圣智能科技有限责任公司 无人机云台控制方法、装置、***、计算机装置及介质
CN116991182B (zh) * 2023-09-26 2023-12-22 北京云圣智能科技有限责任公司 无人机云台控制方法、装置、***、计算机装置及介质

Similar Documents

Publication Publication Date Title
CN113093726A (zh) 一种基于Yolo_v4算法的目标检测与跟踪方法
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN111583136B (zh) 一种救援场景下自主移动平台同时定位与建图方法
CN111325797B (zh) 一种基于自监督学习的位姿估计方法
CN111563415B (zh) 一种基于双目视觉的三维目标检测***及方法
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
Chen et al. Surrounding vehicle detection using an FPGA panoramic camera and deep CNNs
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
CN111169468A (zh) 一种自动泊车的***及方法
Shen A survey of object classification and detection based on 2d/3d data
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、***及介质
CN114905512B (zh) 一种智能巡检机器人全景追踪及避障方法及***
CN115936029A (zh) 一种基于二维码的slam定位方法及装置
WO2024087962A1 (zh) 车厢姿态识别***、方法、电子设备及存储介质
Saleem et al. Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review
CN113984037B (zh) 一种基于任意方向目标候选框的语义地图构建方法
CN114445816A (zh) 一种基于二维图像和三维点云的花粉分类方法
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN116630917A (zh) 一种车道线检测方法
CN112200840B (zh) 一种可见光和红外图像组合中的运动物体检测***
CN112396593B (zh) 一种基于关键帧选择和局部特征的闭环检测方法
Aswini et al. Drone Object Detection Using Deep Learning Algorithms
CN113033470B (zh) 一种轻量型目标检测方法
CN115290084B (zh) 基于弱尺度监督的视觉惯性组合定位方法和装置
CN117115238B (zh) 一种确定位姿的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709