CN115201883A - 一种运动目标视频定位测速***及方法 - Google Patents

一种运动目标视频定位测速***及方法 Download PDF

Info

Publication number
CN115201883A
CN115201883A CN202210555923.8A CN202210555923A CN115201883A CN 115201883 A CN115201883 A CN 115201883A CN 202210555923 A CN202210555923 A CN 202210555923A CN 115201883 A CN115201883 A CN 115201883A
Authority
CN
China
Prior art keywords
camera
coordinate system
moving
coordinates
moving target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210555923.8A
Other languages
English (en)
Other versions
CN115201883B (zh
Inventor
赵合
孟祥涛
于向怀
向政
葛宏升
谢星志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Original Assignee
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Times Optical Electronic Technology Co Ltd filed Critical Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority to CN202210555923.8A priority Critical patent/CN115201883B/zh
Publication of CN115201883A publication Critical patent/CN115201883A/zh
Application granted granted Critical
Publication of CN115201883B publication Critical patent/CN115201883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/21—Interference related issues ; Issues related to cross-correlation, spoofing or other methods of denial of service

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种运动目标视频定位测速***及方法，该***包括M个相机、运动目标检测跟踪模块、运动目标速度识别模块；M个相机的总视场覆盖运动目标的整个运动场景；其中，运动目标检测跟踪模块在YOLO模型目标识别之后增加了基于边缘检测方法将粗略边界框进一步识别，得到目标的精准位置和精准边界框的步骤，再采用DeepSORT方法对精准边界框进行跟踪，提高目标检测定位精度，适用于高精度定位场合。本发明还提出了“扩展的九点标定法”，实现了大范围较高精度的标定。

Description

一种运动目标视频定位测速***及方法
技术领域
本发明涉及一种运动目标视频定位测速***及方法，属于电子行业智能测量领域，提供了运动参数，改进训练方法。
背景技术
目前，目标视频定位技术多用于工业场景，测量幅面较小，而针对大幅面的运动场景进行定位测速的应用较少。目标跟踪包含目标检测和跟踪两部分，其中检测是跟踪的基础。一种常用的方式为采取YOLO+DeepSORT的方法，其中YOLO实现目标检测，而DeepSORT实现目标跟踪。其中由于YOLO本身存在定位精度不高的问题，从而不适用于需要高精度定位的场合。
发明内容
本发明所解决的技术问题是：克服现有技术的不足，提供一种运动目标视频定位测速***及方法，提高目标检测定位精度。
本发明的技术方案是：一种运动目标视频定位测速***，该***包括M 个相机、运动目标检测跟踪模块、运动目标速度识别模块；M个相机的总视场覆盖运动目标的整个运动场景，M大于1；
相机，在同步采集指令的驱动下，拍摄视场内的图像，形成图像数据帧发送给运动目标检测跟踪模块；
运动目标检测跟踪模块，采集各相机拍摄的图像，并记录图像采集时间，对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的粗略边界框，再基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框，之后，采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，实现不同时刻各运动目标的精准边界框的跟踪；通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
运动目标速度识别模块，将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。
所述运动目标检测跟踪模块采用计算机视觉库opencv中的undistort 函数对各相机拍摄的图像进行畸变校正，所述undistort函数如下：
void undistort(InputArray src，OutputArray dst，InputArraycameraMatrix，InputArray distCoeffs，InputArray newCameraMatrix)
src为原始图像的像素矩阵，dst为校正后的图像的像素矩阵；
cameraMatrix为相机内参：
Figure RE-GDA0003846131210000021
其中，fx＝f/dx称为相机x轴方向上的归一化焦距，fy＝f/dy称为相机y 轴方向上的归一化焦距，单位为像素；f为相机的焦距，dx、dy分别为像素在相机x、y轴方向上的物理尺寸；(u0，v0)为图像中心在像素坐标系坐标，单位为像素。
distCoeffs为畸变参数：
distCoeffs＝[k1，k2，p1，p2，k3]
其中，k1为径向畸变二次项系数、k2为径向畸变四次项系数、k3为径向畸变六次项系数；p1、p2分别为第一切向畸变参数、第二切向畸变参数，InputArray newCameraMatrix为全0矩阵。
所述相机内参cameraMatrix和畸变参数distCoeffs的标定过程如下：
S1.1、准备一个张正友标定法棋盘格作为标定板，用相机对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；
S1.2、采用matlab工具箱中的相机标定工具Camera Calibration，加载步骤S1.1拍摄得到的N张棋盘格图像，对棋盘格中的角点进行自动检测，获得角点在像素坐标系下的坐标；
S1.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration计算得到角点的世界坐标；
S1.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到相机内参 IntrinsicMatrix、畸变参数distCoeffs。
优选地，运动目标检测跟踪模块调用计算机视觉库opencv中的perspectiveTransform函数将运动目标在像素坐标系下的坐标转换为相机视场覆盖区域世界坐标系下的坐标。
优选地，所述透视投影矩阵的获取过程如下：
S2.1、在运动目标的运动场景布置好相机并固定，使得M个相机的总视场覆盖运动目标的整个运动场景，且相邻相机画面有重叠区域；
S2.2、定义运动场景的场地平面为全局世界坐标系的XOY平面，在场地平面布置R行C列标志点，标志点的行与全局世界坐标系的X轴平行，标志点的列与全局世界坐标系的Y轴平行，每个标志点上设有菱形图案，菱形图案相对的顶点连线与全局世界坐标系的X轴、Y轴平行，菱形中心点位置作为标志的位置；每个相机视场内包含a2个标志点，标志点以a*a矩阵形式均匀分布，位于周边的各标志点靠近相机视场边缘，相邻相机视场重叠区域包含a个公共标志点；
S2.3、对于每个相机，选定相机视场内左上角的标志点作为原点，即坐标为(0,0)，建立相机视场区域世界坐标系，测量各个标志点相对于原点的位置，得到a2个标志点在相机视场区域世界坐标系下的坐标；
S2.4、通过相机拍摄，每个相机得到包含a2个标志点的一张图像；
S2.5、将相机拍摄的图像进行畸变校正；
S2.6、确定每个相机拍摄的畸变校正后图像中的a2个标志点在像素坐标系下的坐标；
S2.7、对于每个相机，将每个标志点在像素坐标系下的坐标和对应相机视场区域世界坐标系下的坐标，记为一组坐标，a2组坐标传入计算机视觉库 opencv中的findHomography函数，计算出相机的透视投影矩阵。
优选地，确定畸变校正后图像中a2个标志点在像素坐标系下的坐标的具体方法为：
通过matlab显示畸变校正后图像，使用impixelinfo命令显示鼠标指向的点在图像中的位置，将鼠标指向到菱形标志的中心，得到a2个标志在图像中的位置，将图像中左上角的菱形标志的中心定义为像素坐标系原点，坐标记为(0,0)，将其余a2-1个非原点标志点与原点的相对位置，记为其像素坐标系下的坐标。
优选地，运动目标检测跟踪模块通过如下方法得到各运动目标在像素坐标系下的精确位置和精准边界框：
S3.1、对由YOLO检测得到的运动目标的粗略边界框标示区域进行灰度化和高斯滤波处理；
S3.2、采用Canny-Devernay算法对运动目标的粗略边界框标示区域进行边缘检测，得到运动目标的精确轮廓，获得运动目标轮廓点坐标集合；
S3.3、根据运动目标轮廓点坐标，计算轮廓的特征矩；
S3.4、用轮廓的特征矩计算运动目标的质心
Figure RE-GDA0003846131210000041
即运动目标在像素坐标系下的精确位置；
S3.5、取目标轮廓的最小外接矩形作为运动目标精准边界框。
优选地，运动目标检测跟踪模块采用DeepSORT方法对不同时刻各运动目标的精准边界框进行跟踪。
优选地，相机采用有线方式与运动目标检测跟踪模块通信。
本发明的另一个技术方案是：一种运动目标视频定位测速方法，该方法包括如下步骤：
S1、在同步采集指令的驱动下，利用多个相机拍摄运动目标运动场景下的图像，形成图像数据帧发送给运动目标检测跟踪模块；M个相机的总视场覆盖运动目标的整个运动场景；
S2、对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标识别，识别出图像中所有运动目标在像素坐标系下的粗略边界框；
S3、以运动目标在像素坐标系下的粗略边界框为基础，基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框；
S4、采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，，实现不同时刻各运动目标的精准边界框的跟踪；
S5、通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
S6、将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。
本发明与现有技术相比具有如下有益效果：
(1)、本发明在YOLO模型目标识别和DeepSORT跟踪之间增加了基于边缘检测将粗略边界框进一步识别，得到目标的精准位置和精准边界框，再采用DeepSORT对精准边界框进行跟踪，提高目标检测定位精度，适用于高精度定位场合。
(2)、本发明提出了“扩展的九点标定法”不必使用大标定板，实现了实现了大范围较高精度的标定。
(3)、本发明求解透视投影矩阵时，为了准确得到标志点的像素坐标，设置标志点形状为菱形，则无论拍摄距离远近，在拍摄的图像中，都能得到菱形的较为准确的角的位置，从而对其中心进行准确定位。
附图说明
图1为本发明实施例张正友标定法棋盘格；
图2为本发明实施例相机外参标定场地布置示意图；
图3为本发明实施例YOLO检测网格输出示意图；
图4为本发明实施例边缘检测流程；
图5为本发明实施例视觉定位和检测方法流程图。
具体实施方式
下面结合附图和具体实例对本发明作进一步的详细描述：
本发明某一具体实施例给出了定位与测速***，该定位与测速***由用于图像采集的相机、运动目标检测跟踪模块、运动目标速度识别模块等软硬件组成。通过架设相机，在复杂的环境下，利用相机拍摄运动目标的视频，通过对视频进行一系列的图像分析、处理与跟踪，最终实现对运动目标识别、定位和测速功能。
为了扩大视场范围，本实施例提供的运动目标视频定位测速***包括M 个相机，M大于1。，M个相机的总视场覆盖运动目标的整个运动场景；相机采用有线方式与运动目标位置识别模块通信，以保证***的实时性。
相机，在同步采集指令的驱动下，拍摄视场内的图像，形成图像数据帧发送给运动目标检测跟踪模块；
运动目标检测跟踪模块，采集各相机发送的图像数据帧，并记录图像采集时间，对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的边界框，再基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框，采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，实现不同时刻各运动目标的精准边界框的跟踪；通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
运动目标速度识别模块，将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。
所述相机通过固定支架吊挂在运动场景上空，通过视频采集方式拍摄图像。
相机使用前的一项重要工作为相机标定，相机标定分为内参标定和外参标定(获取透视投影矩阵)，涉及图像的畸变校正和坐标映射，从而最终影响检测精度。其中外参标定对于应用环境依赖性比较大。目前的相关应用，主要用于小幅面的场景，运动类的大幅面场景下应用较少。大幅面场景，如果使用一个相机覆盖整个场地的话，检测精度较低，为达到检测精度要求，往往需要用到多个固定的相机，则问题在于如何对多相机进行外参标定。当前使用的方法为在每个相机下放置一个棋盘格标定板，分别对每个相机进行外参标定，再通过各标定板间的关系确定全局的参数。这里的第一步存在一些问题。因为大幅面场景下，每个相机视野覆盖的场地面积比较大，同时为有效利用每个相机，标定区域应覆盖到相机尽量大的视野，一般要达到80％左右，如果标定板较小，则被标定的相机视野比例较小，即单个相机有效测试的范围较小，而采用大标定板则不太现实。
基于单相机的九点标定法进行扩展进行外参标定。首先布置多台相机覆盖整个运动场地，相邻相机视野间留有一定的重叠区域。然后布置标志点，并使得相邻相机视野重复区域含有公共的三个标志点，对每台相机使用九点标定法进行单独标定获取各自的投影矩阵。实际测试时，先通过每个相机检测到本区域内目标的坐标，之后再通过全场范围内标志点的相对位置确定目标在全场的全局坐标，即完成了多相机数据的融合。该方法称之为“扩展的九点标定法”。
以下对本发明的要点进行介绍：
1、相机内部参数与畸变参数的标定
1.1原理介绍
相机拍摄的图像会产生畸变，包括径向畸变和切向畸变，因此在进一步处理前，需要对图像进行畸变校正。畸变校正需要用到相机的内部参数和畸变参数，它们需要通过内参标定来获得。
相机成像原理由如下公式表示：
Figure RE-GDA0003846131210000081
其中，(u，v)为像素坐标，(XW，YW，ZW)为世界坐标。
M1为内参矩阵，其中，fx＝f/dx称为相机x轴方向上的归一化焦距， fy＝f/dy称为相机y轴方向上的归一化焦距，单位为像素；f为相机的焦距， dx、dy分别为像素在相机x、y轴方向上的物理尺寸；(u0，v0)为图像中心在像素坐标系坐标，单位为像素。
M2为外参矩阵。
径向畸变公式如下：
Figure RE-GDA0003846131210000082
Figure RE-GDA0003846131210000083
k1为径向畸变二次项系数、k2为径向畸变四次项系数、k3为径向畸变六次项系数；
切向畸变公式如下：
Figure RE-GDA0003846131210000084
Figure RE-GDA0003846131210000085
p1为第一切向畸变系数、p2为第二切向畸变系数；式中，(x，y)为理想无畸变的图像坐标，
Figure RE-GDA0003846131210000092
为畸变后的图像坐标，r为图像中某点到图像中心点的距离，即r2＝x2+y2。
1.2应用方式
运动目标检测及跟踪模块采用计算机视觉库opencv中的undistort函数对各相机拍摄的图像进行畸变校正，所述undistort函数如下：
void undistort(InputArray src，OutputArray dst，InputArraycameraMatrix，InputArray distCoeffs，InputArray newCameraMatrix)
src为原始图像的像素矩阵。
dst为校正后的图像的像素矩阵。
cameraMatrix为相机内参子阵：
Figure RE-GDA0003846131210000091
distCoeffs为畸变参数矩阵：
distCoeffs＝[k1，k2，P1，p2，k3]
InputArray newCameraMatrix为全0矩阵。
1.3标定步骤
本发明所述相机内部参数cameraMatrix与畸变参数distCoeffs的标定过程如下：
S1.1、准备一个张正友标定法棋盘格作为标定板，用相机对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；本发明某一具体实施例中，N取值为18；
S1.2、采用matlab工具箱中的相机标定工具Camera Calibration，加载步骤S1.1拍摄得到的N张棋盘格图像，对棋盘格图像中的角点进行自动检测，获得角点在像素坐标系下的坐标；
S1.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration计算得到角点的世界坐标；
S1.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到相机内参 IntrinsicMatrix、畸变参数distCoeffs。
2、整体透视投影矩阵标定
2.1原理介绍
透视投影是将图片投影到一个新的视平面。它是二维(x，y)到三维 (X，Y，Z)，再到另一个二维(x′，y′)空间的映射。透视投影是通过矩阵乘法实现的，使用的是一个3x3的投影矩阵，矩阵的前两行 (m11，m12，m13，m21，m22，m23)实现了线性变换和平移，第三行用于实现透视变换。
Figure RE-GDA0003846131210000101
X＝m11*x+m12*y+m13
Y＝m21*x+m22*y+m23
Z＝m31*x+m32*y+m33
Figure RE-GDA0003846131210000102
Figure RE-GDA0003846131210000103
以上公式设变换之前的点是z值为1的点，它三维平面上的值是(x，y，1)，在二维平面上的投影是(x，y)，通过矩阵变换成三维中的点(X， Y，Z)，再通过除以三维中Z轴的值，转换成二维中的点(x′，y′)。
对于相机来说，(x，y)相当于图像上的点，(x′，y′)相当于现实世界某平面上的点，两者构成一一对应关系。投影矩阵表达了世界坐标系到图像坐标系的转换关系。
由于每一组坐标构成两个方程，转换矩阵含9个未知数，则由至少5 组坐标(构成10个方程)即可求解出投影矩阵。实际采用9点标定法，得到9组坐标，会对投影矩阵进行优化。
2.2应用方式
运动目标检测及跟踪模块调用计算机视觉库opencv中的 perspectiveTransform函数将目标在像素坐标系下的坐标转换为相机视场覆盖区域世界坐标系下的坐标。
perspectiveTransform函数如下：
void perspectiveTransform(InputArray T_src,OutputArray T_dst,InputArray m)；
其中src为运动目标的像素坐标点，dst为运动目标世界坐标点，m为透视投影矩阵。
2.3透视投影矩阵的获取过程如下：
S2.1、在运动目标的运动场景布置好相机并其固定，使得M个相机的总视场覆盖运动目标的整个运动场景，且相邻相机画面有重叠区域；
S2.2、定义运动场景的场地平面为全局世界坐标系的XOY平面，在场地平面布置R行C列标志点，标志点的行与全局世界坐标系的X轴平行，标志点的列与全局世界坐标系的Y轴平行，每个标志点上设有菱形图案，菱形图案相对的顶点连线与全局世界坐标系的X轴、Y轴平行，菱形中心点位置作为标志的位置；每个相机视场内包含a2个标志点，标志点以a*a矩阵形式均匀分布，且位于周边的各标志点靠近相机视场边缘，相邻相机视场重叠区域包含a个公共标志点，本发明某一具体实施例中，a取值为3。如图 2所示，以相邻的两台相机C1和C2为例，C1覆盖以M11和M33为对角线的矩形区域，而C2覆盖以M31和M53为对角线的矩形区域；
S2.3、对于每个相机，选定相机视场内左上角的标志点作为原点，即坐标为(0,0)，建立该相机视场区域世界坐标系，测量各个标志点相对于原点的位置，得到a2个标志点在相机视场区域世界坐标系下的坐标；
S2.4、通过相机拍摄，每个相机得到包含a2个标志点的一张图像；
S2.5、将相机拍摄的图像进行畸变校正；
S2.6、确定每个相机拍摄的畸变校正后图像中的a2个标志点在像素坐标系下的坐标；具体方法为：
通过matlab显示畸变校正后图像，使用impixelinfo命令显示鼠标指向的点在图像中的位置，将鼠标指向到菱形标志的中心，得到a2个标志在图像中的位置，将图像中左上角的菱形标志的中心定义为像素坐标系原点，坐标记为(0,0)，将其余a2-1个非原点标志点与原点的相对位置，记为其像素坐标系下的坐标。
S2.7、对于每个相机，将每个标志点在像素坐标系下的坐标和对应相机视场区域世界坐标系下的坐标，记为一组坐标，a2组坐标传入计算机视觉库 opencv中的findHomography函数，可计算出该相机的透视投影矩阵。
所述findHomography函数如下：
Mat findHomography(InputArraysrcPoints,InputArraydstPoints,
int method,double ransacReprojThreshold)；
srcPoints为像素坐标系下运动目标的坐标；
dstPoints为世界坐标系下的运动目标的坐标；
method为计算矩阵所用到方法；
ransacReprojThreshold是将点对视为内点最大允许重投影错误阈值；
函数返回透视投影矩阵。
将各个标志点作为被测目标，并将像素坐标转换为世界坐标，与实际世界坐标进行对比，可对标定的精度亦即测试精度进行评估。
3、目标检测与跟踪
3.1 YOLO模型
YOLO模型是一种基于深度神经网络的对象识别和定位算法，算法如下：
(1)、将相机采集的图像分辨率转换为416*416，并分成SxS个网格 (grid cell)。本发明某一具体实施例中，S通常取值为7。
(2)、每个网格会预测B个边界框(Bbox，bounding box)以及边界框的置信度(confidence score)。本发明某一具体实施例中，B为2。
(3)、边界框信息用4个值表示(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。
(4)、置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为Pr(object)，当边界框包含目标时， Pr(object)＝1，否则Pr(object)＝0(仅包含背景)。后者用预测框与实际框 (ground truth)的IOU(intersectionover union，交并比)来表征，记为
Figure RE-GDA0003846131210000131
则置信度定义为
Figure RE-GDA0003846131210000132
(5)、除了边界框，每个网格还要预测C个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率，记为 Pr(classi|object)。
综上，每个网格需要预测(B*5+C)个值。取B＝2，C＝20，则每个网格包含的数值如图2所示。
如果将输入图片划分为S*S网格，那么最终预测值为S*S*(B*5+C) 个。
实际测试时，还要计算出各个边界框类别置信度(class-specific confidencescores):
Figure RE-GDA0003846131210000133
对于C个类别，i＝1,2,...,C。
得到每个边界框类别置信度以后，设置阈值(本实施例中阈值为0.5)，滤掉得分低的边界框，对保留的边界框进行NMS(非最大抑制算法)处理，就得到最终的检测结果。对于每个被检测到的目标，最终输出包含7个值： 4个位置值(x,y,w,h)(即最终的边界框)、1个边界框置信度、1个类别置信度和1个类别代码。
3.2、基于边缘检测的精确位置求解
边缘检测对图像进行像素级处理，因此可以对目标进行像素级精确定位，处理流程如图3所示。运动目标检测跟踪模块对由YOLO检测得到对边界框标示区域(下称ROI，Region Of lnterest)进行边缘检测等处理，得到各运动目标在像素坐标系下的精确位置和精准边界框：
S3.1、对由YOLO检测得到的运动目标的粗略边界框标示区域进行预处理，包括灰度化、高斯滤波等；
S3.2、采用Canny-Devernay算法对运动目标的粗略边界框标示区域进行边缘检测，得到运动目标的精确轮廓，获得运动目标轮廓点坐标集合； Canny-Devernay算法具体包括采用图像求梯度、计算边缘点、边缘点链路编码、应用双阈值方法进行边缘检测和边缘连接。
S3.3、根据运动目标轮廓点坐标，计算轮廓的特征矩；
S3.4、用轮廓的特征矩计算运动目标的质心
Figure RE-GDA0003846131210000141
即运动目标在像素坐标系下的精确位置；
具体为使用opencv函数cv：：moments获取对象cv：：Moments，从中得到零阶矩m00和一阶矩m10、m01，有：
Figure RE-GDA0003846131210000142
Figure RE-GDA0003846131210000143
S3.5、取与目标轮廓最小外接矩形作为运动目标精准边界框Bbox。
3.3、DeepSORT跟踪算法
运动目标检测跟踪模块采用DeepSORT方法对不同时刻各运动目标的精准边界框进行跟踪。
DeepSORT算法是对SORT算法的扩展。SORT算法是一种实现多目标跟踪的算法，它的计算过程为：
跟踪以前，已由目标检测算法对全部运动目标完成检测。
第一帧图像进来时，以检测到的目标Bbox进行初始化并建立新的***，标注id；
后面帧进来时，先到卡尔曼***(Kalman Filter)中获得由前面帧Bbox 产生的状态预测和协方差预测。之后，求***全部目标状态与本帧检测的 Bbox的IOU，经过匈牙利算法(Hungarian Algorithm)，获得IOU最大的惟一匹配(数据关联部分)，去掉匹配值小于iou_threshold(一般取0.3) 的匹配对。
用本帧中匹配到的目标检测Bbox去更新卡尔曼***，进行状态更新和协方差更新。并将状态更新值输出，做为本帧的跟踪Bbox。对于本帧中没有匹配到的目标重新初始化***。之后，卡尔曼***进行下一轮预测。
DeepSORT算法对SORT整体框架没有大改，增加了级联匹配和目标的确认，从而增强了跟踪的有效性。
4、速度求解
对于目标在全局世界坐标系下的位置序列，采取分组求均值的方法进行滤波，然后对均值通过差分运算得到目标的运动速度。
如图5所示，基于上述***，本发明还提供了一种视觉定位和检测方法，步骤如下：
S1、在同步采集指令的驱动下，利用多个相机拍摄运动目标运动场景下的图像，形成图像数据帧发送给运动目标检测跟踪模块，所述图像数据帧带有图像采集时间；M个相机的总视场覆盖运动目标的整个运动场景；
S2、对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标识别，识别出图像中所有运动目标在像素坐标系下的粗略边界框；
S3、以运动目标在像素坐标系下的粗略边界框为基础，基于边缘检测方法，计算得到各运动目标在像素坐标系下的精确位置和精准边界框；
S4、采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，，实现不同时刻各运动目标的精准边界框的跟踪；
S5、通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
S6、将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。实施例：
本发明某一具体实施例中，相机采用大恒相机，通过调用大恒相机API 实现图像的采集。YOLO模型目标类别设置为人物，即只将人物作为运动目标进行检测，实现了目标检测。为了提高执行效率，本实施例中，采用C++ 作为开发语言实现。如图5所示，首先对动目标视频定位测速***进行了如下初始化：创建相机对象；加载相关参数，包括相机IP地址等基本配置参数、相机内参和畸变参数；创建YOLO对象并进行初始化，之后采用上述方法实现视觉定位和检测方法，取得了较好的跟踪效果，定位精度达到2cm 以内。
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (10)

1.一种运动目标视频定位测速***，其特征在于包括M个相机、运动目标检测跟踪模块、运动目标速度识别模块；M个相机的总视场覆盖运动目标的整个运动场景，M大于1；
相机，在同步采集指令的驱动下，拍摄视场内的图像，形成图像数据帧发送给运动目标检测跟踪模块；
运动目标检测跟踪模块，采集各相机拍摄的图像，并记录图像采集时间，对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的粗略边界框，再基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框，之后，采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，实现不同时刻各运动目标的精准边界框的跟踪；通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
运动目标速度识别模块，将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。
2.根据权利要求1所述的一种运动目标视频定位测速***，其特征在于运动目标检测跟踪模块采用计算机视觉库opencv中的undistort函数对各相机拍摄的图像进行畸变校正，所述undistort函数形式如下：
void undistort(InputArray src,OutputArray dst,InputArray cameraMatrix,InputArray distCoeffs,InputArray newCameraMatrix)
src为原始图像的像素矩阵，dst为校正后的图像的像素矩阵；
cameraMatrix为相机内参：
Figure FDA0003654971560000021
其中，fx＝f/dx称为相机x轴方向上的归一化焦距，fy＝f/dy称为相机y轴方向上的归一化焦距，单位为像素；f为相机的焦距，dx、dy分别为像素在相机x、y轴方向上的物理尺寸；(u0,v0)为图像中心在像素坐标系坐标，单位为像素。
distCoeffs为畸变参数：
distCoeffs＝[k1,k2,p1,p2,k3
其中，k1为径向畸变二次项系数、k2为径向畸变四次项系数、k3为径向畸变六次项系数；p1、p2分别为第一切向畸变参数、第二切向畸变参数，InputArray newCameraMatrix为全0矩阵。
3.根据权利要求2所述的一种运动目标视频定位测速***，其特征在于所述相机内参cameraMatrix和畸变参数distCoeffs的标定过程如下：
S1.1、准备一个张正友标定法棋盘格作为标定板，用相机对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；
S1.2、采用matlab工具箱中的相机标定工具Camera Calibration，加载步骤S1.1拍摄得到的N张棋盘格图像，对棋盘格中的角点进行自动检测，获得角点在像素坐标系下的坐标；
S1.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration计算得到角点的世界坐标；
S1.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到相机内参IntrinsicMatrix、畸变参数distCoeffs。
4.根据权利要求1所述的一种运动目标视频定位测速***，其特征在于运动目标检测跟踪模块调用计算机视觉库opencv中的perspectiveTransform函数将运动目标在像素坐标系下的坐标转换为相机视场覆盖区域世界坐标系下的坐标。
5.根据权利要求4所述的一种运动目标视频定位测速***，其特征在于所述透视投影矩阵的获取过程如下：
S2.1、在运动目标的运动场景布置好相机并固定，使得M个相机的总视场覆盖运动目标的整个运动场景，且相邻相机画面有重叠区域；
S2.2、定义运动场景的场地平面为全局世界坐标系的XOY平面，在场地平面布置R行C列标志点，标志点的行与全局世界坐标系的X轴平行，标志点的列与全局世界坐标系的Y轴平行，每个标志点上设有菱形图案，菱形图案相对的顶点连线与全局世界坐标系的X轴、Y轴平行，菱形中心点位置作为标志的位置；每个相机视场内包含a2个标志点，标志点以a*a矩阵形式均匀分布，位于周边的各标志点靠近相机视场边缘，相邻相机视场重叠区域包含a个公共标志点；
S2.3、对于每个相机，选定相机视场内左上角的标志点作为原点，即坐标为(0,0)，建立相机视场区域世界坐标系，测量各个标志点相对于原点的位置，得到a2个标志点在相机视场区域世界坐标系下的坐标；
S2.4、通过相机拍摄，每个相机得到包含a2个标志点的一张图像；
S2.5、将相机拍摄的图像进行畸变校正；
S2.6、确定每个相机拍摄的畸变校正后图像中的a2个标志点在像素坐标系下的坐标；
S2.7、对于每个相机，将每个标志点在像素坐标系下的坐标和对应相机视场区域世界坐标系下的坐标，记为一组坐标，a2组坐标传入计算机视觉库opencv中的findHomography函数，计算出相机的透视投影矩阵。
6.根据权利要求5所述的一种运动目标视频定位测速***，其特征在于确定畸变校正后图像中a2个标志点在像素坐标系下的坐标的具体方法为：
通过matlab显示畸变校正后图像，使用impixelinfo命令显示鼠标指向的点在图像中的位置，将鼠标指向到菱形标志的中心，得到a2个标志在图像中的位置，将图像中左上角的菱形标志的中心定义为像素坐标系原点，坐标记为(0,0)，将其余a2-1个非原点标志点与原点的相对位置，记为其像素坐标系下的坐标。
7.根据权利要求1所述的一种运动目标视频定位测速***，其特征在于运动目标检测跟踪模块通过如下方法得到各运动目标在像素坐标系下的精确位置和精准边界框：
S3.1、对由YOLO检测得到的运动目标的粗略边界框标示区域进行灰度化和高斯滤波处理；
S3.2、采用Canny-Devernay算法对运动目标的粗略边界框标示区域进行边缘检测，得到运动目标的精确轮廓，获得运动目标轮廓点坐标集合；
S3.3、根据运动目标轮廓点坐标，计算轮廓的特征矩；
S3.4、用轮廓的特征矩计算运动目标的质心
Figure FDA0003654971560000041
即运动目标在像素坐标系下的精确位置；
S3.5、取目标轮廓的最小外接矩形作为运动目标精准边界框。
8.根据权利要求1所述的一种运动目标视频定位测速***，其特征在于运动目标检测跟踪模块采用DeepSORT方法对不同时刻各运动目标的精准边界框进行跟踪。
9.根据权利要求1所述的一种运动目标视频定位测速***，其特征在于相机采用有线方式与运动目标检测跟踪模块通信。
10.一种运动目标视频定位测速方法，其特征在于包括如下步骤：
S1、在同步采集指令的驱动下，利用多个相机拍摄运动目标运动场景下的图像，形成图像数据帧发送给运动目标检测跟踪模块；M个相机的总视场覆盖运动目标的整个运动场景；
S2、对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标识别，识别出图像中所有运动目标在像素坐标系下的粗略边界框；
S3、以运动目标在像素坐标系下的粗略边界框为基础，基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框；
S4、采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，，实现不同时刻各运动目标的精准边界框的跟踪；
S5、通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
S6、将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。
CN202210555923.8A 2022-05-20 2022-05-20 一种运动目标视频定位测速***及方法 Active CN115201883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210555923.8A CN115201883B (zh) 2022-05-20 2022-05-20 一种运动目标视频定位测速***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210555923.8A CN115201883B (zh) 2022-05-20 2022-05-20 一种运动目标视频定位测速***及方法

Publications (2)

Publication Number Publication Date
CN115201883A true CN115201883A (zh) 2022-10-18
CN115201883B CN115201883B (zh) 2023-07-28

Family

ID=83574640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210555923.8A Active CN115201883B (zh) 2022-05-20 2022-05-20 一种运动目标视频定位测速***及方法

Country Status (1)

Country Link
CN (1) CN115201883B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质
CN116385496A (zh) * 2023-05-19 2023-07-04 北京航天时代光电科技有限公司 一种基于图像处理的游泳运动实时测速方法及***
CN117372548A (zh) * 2023-12-06 2024-01-09 北京水木东方医用机器人技术创新中心有限公司 跟踪***和相机对齐的方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619662A (zh) * 2019-05-23 2019-12-27 深圳大学 一种基于单目视觉的多行人目标空间连续定位方法及***
CN111931582A (zh) * 2020-07-13 2020-11-13 中国矿业大学 基于图像处理的高速公路交通事件检测方法
CN112833883A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法
US20210174091A1 (en) * 2019-12-04 2021-06-10 Yullr, Llc Systems and methods for tracking a participant using multiple cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619662A (zh) * 2019-05-23 2019-12-27 深圳大学 一种基于单目视觉的多行人目标空间连续定位方法及***
US20210174091A1 (en) * 2019-12-04 2021-06-10 Yullr, Llc Systems and methods for tracking a participant using multiple cameras
CN111931582A (zh) * 2020-07-13 2020-11-13 中国矿业大学 基于图像处理的高速公路交通事件检测方法
CN112833883A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨琳等: "基于改进 YOLOv4 算法的零件识别与定位" *
江祥奎等: "基于OpenCV和Ｍatlab的摄像机标定***设计与实现" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质
CN116385496A (zh) * 2023-05-19 2023-07-04 北京航天时代光电科技有限公司 一种基于图像处理的游泳运动实时测速方法及***
CN117372548A (zh) * 2023-12-06 2024-01-09 北京水木东方医用机器人技术创新中心有限公司 跟踪***和相机对齐的方法、装置、设备以及存储介质
CN117372548B (zh) * 2023-12-06 2024-03-22 北京水木东方医用机器人技术创新中心有限公司 跟踪***和相机对齐的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN115201883B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
CN105758426B (zh) 移动机器人的多传感器的联合标定方法
CN115201883B (zh) 一种运动目标视频定位测速***及方法
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
Kurka et al. Applications of image processing in robotics and instrumentation
CN104981105A (zh) 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
CN112270719B (zh) 相机标定方法、装置及***
CN113642463B (zh) 一种视频监控和遥感图像的天地多视图对齐方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN112396656A (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN111707187A (zh) 一种大型零件的测量方法及***
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN115272474A (zh) 一种用于激光雷达与相机联合标定的立体标定板及标定方法
KR102023087B1 (ko) 카메라 캘리브레이션 방법
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
CN112050752B (zh) 一种基于二次投影的投影仪标定方法
CN111260735B (zh) 一种单次拍摄的lidar与全景相机的外参数标定方法
Fiala et al. Fully automatic camera calibration using self-identifying calibration targets
CN116051537A (zh) 基于单目深度估计的农作物株高测量方法
CN112935562A (zh) 基于旁轴离线测量的激光精密加工方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant