CN112183355B - 基于双目视觉和深度学习的出水高度检测***及其方法 - Google Patents

基于双目视觉和深度学习的出水高度检测***及其方法 Download PDF

Info

Publication number
CN112183355B
CN112183355B CN202011046022.3A CN202011046022A CN112183355B CN 112183355 B CN112183355 B CN 112183355B CN 202011046022 A CN202011046022 A CN 202011046022A CN 112183355 B CN112183355 B CN 112183355B
Authority
CN
China
Prior art keywords
video
track
module
target
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011046022.3A
Other languages
English (en)
Other versions
CN112183355A (zh
Inventor
宋春雷
任旭倩
丁子豪
李曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011046022.3A priority Critical patent/CN112183355B/zh
Publication of CN112183355A publication Critical patent/CN112183355A/zh
Application granted granted Critical
Publication of CN112183355B publication Critical patent/CN112183355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉和深度学习的出水高度检测***及其方法，视频采集模块用于采集游泳运动员的比赛视频，视频处理模块用于去除比赛视频中的残影，目标识别和跟踪模块用于进行目标识别和目标跟踪，选择目标的中心点运动轨迹作为目标运动轨迹，三维坐标恢复模块用于计算每个轨迹点对应的深度值，根据深度值形成游泳运动员的三维轨迹，轨迹判断模块用于对所有采集的轨迹进行拟合，当轨迹为抛物线时认定为出水运动员轨迹，高度计算模块用于计算抛物线的最高点与最低点的距离作为游泳运动员的出水高度。本发明提供的出水高度检测***，能够检测游泳运动员抛出水面的精确高度，为裁判评定动作标准提供客观依据。

Description

基于双目视觉和深度学习的出水高度检测***及其方法
技术领域
本发明涉及高度检测技术领域，尤其涉及一种基于双目视觉和深度学习的出水高度检测***及其方法。
背景技术
花样游泳运动是一种融入舞蹈和音乐的水上竞技项目，运动员需要完成许多组托举、旋转、弯曲等动作，其中运动员跳出水面的高度是一项很重要的评分标准。目前跳出水面的高度目前只能由裁判目测，具有较大的主观性，这种方法存在以下缺陷：(1)高度测量不准，容易产生争议，影响比赛的正常进行；(2)运动员出水是瞬时动作，给裁判增加了识别负担。
发明内容
为解决现有技术存在的局限和缺陷，本发明提供一种基于双目视觉和深度学习的出水高度检测***，包括视频采集模块、视频处理模块、目标识别和跟踪模块、三维坐标恢复模块、轨迹判断模块、高度计算模块；
所述视频采集模块用于采集所述游泳运动员的比赛视频，将采集到的比赛视频传递给所述视频处理模块；
所述视频处理模块用于根据视频去模糊算法处理具有高速运动物体的视频，以消除所述比赛视频中的模糊残影，将处理后的比赛视频传递给所述目标识别和跟踪模块；
所述目标识别和跟踪模块用于识别抛出水面的游泳运动员，并进行目标跟踪，使用矩形框框出目标，获得所述目标的中心点，同时提取所述目标的中心点列表发送给所述三维坐标恢复模块；
所述三维坐标恢复模块用于根据左右目照片计算出视差图，再根据相机焦距和基线计算出深度图，根据所述视差图和所述深度图恢复出轨迹点相对于相机参考坐标系的三维坐标，形成三维轨迹列表发送给所述轨迹判断模块；
所述轨迹判断模块用于对获得的轨迹进行拟合，当判断轨迹为抛物线时认定对应目标做出水动作，将做出水运动的目标轨迹发送给所述高度计算模块；
所述高度计算模块用于根据获得的抛物线计算出所述抛物线的最高点与最低点之间的垂直距离，所述垂直距离为游泳运动员的出水高度。
可选的，所述视频采集模块包括ZED双目摄像机，所述ZED双目摄像机通过支架放置于地面，以防止抖动；
所述ZED双目摄像机设置在所述游泳运动员侧面的泳池边缘，以保证所述ZED双目摄像机拍摄到所述游泳运动员表演的全部过程。
本发明还提供一种基于双目视觉和深度学习的出水高度检测方法，所述检测方法使用上述的检测***，所述检测方法包括：
步骤S1：所述视频采集模块采集所述游泳运动员的比赛视频，将采集到的比赛视频传递给所述视频处理模块；
步骤S2：所述视频处理模块根据视频去模糊算法处理具有高速运动物体的视频，以消除所述比赛视频中的模糊残影，将处理后的比赛视频传递给所述目标识别和跟踪模块；
步骤S3：所述目标识别和跟踪模块识别抛出水面的游泳运动员，并进行目标跟踪，使用矩形框框出目标，获得所述目标的中心点，同时提取所述目标的中心点列表发送给所述三维坐标恢复模块；
步骤S4：所述三维坐标恢复模块根据左右目照片计算出视差图，再根据相机焦距和基线计算出深度图，根据所述视差图和所述深度图恢复出轨迹点相对于相机参考坐标系的三维坐标，形成三维轨迹列表发送给所述轨迹判断模块；
步骤S5：所述轨迹判断模块对获得的轨迹进行拟合，当判断轨迹为抛物线时认定对应目标做出水动作，将做出水运动的目标轨迹发送给所述高度计算模块；
步骤S6：所述高度计算模块根据获得的抛物线计算出所述抛物线的最高点与最低点之间的垂直距离，所述垂直距离为游泳运动员的出水高度。
可选的，所述步骤S1包括：
步骤S11：所述检测***启动和初始化，判断所述ZED双目摄像机是否正确开启；
步骤S12：若所述ZED双目摄像机是正确开启，启动返回视频图像数据，若所述ZED双目摄像机不是正确开启，返回所述步骤S11；
步骤S13：读取视频图像数据之中左目相机的每帧图像，将读取的图像保存为所述比赛视频。
可选的，所述步骤S2包括：
步骤S21：将采集的左目相机的每帧图像分解为图片序列，保存所述图片序列；
步骤S22：将所述图片序列使用深度卷积神经网络进行去模糊处理，消除图片中的残影；
步骤S23：将模糊处理之后的图片重新按照原有的帧率和大小保存为视频。
可选的，所述步骤S3包括：
步骤S31：将模糊处理之后的的视频使用YOLOv5目标检测算法进行识别，所述YOLOv5目标检测算法只能检测出人类，使用矩形框框住检测出的人物；
步骤S32：将检测结果发送给Deep Sort算法进行目标跟踪，对运动人物的轨迹进行跟踪；
步骤S33：若跟踪操作结束，重新对未被跟踪的人物进行检测，返回所述步骤S31；
步骤S34：提取所有跟踪目标运动过程中的矩形框的中心点，将所述矩形框的中心点作为运动轨迹，形成运动轨迹列表。
可选的，所述步骤S4包括：
步骤S41：将双目相机拍摄视频的每帧图像转换为灰度图；
步骤S42：将视频对应每帧的左右目图片使用Libelas库提取对应的视差图，将所述视差图保存为图片列表；
步骤S43：根据所述双目相机的焦距和基线计算出每帧视差图对应的深度图；
步骤S44：所述深度图中每个像素点对应的值为深度值，根据轨迹的二维坐标点计算出每个点对应的深度值；
步骤S45：根据所述二维坐标点恢复出三维坐标，计算公式如下：
z＝zdeep/deepscale
x＝(u-cx)×z/fx
y＝(v-cy)×z/fy
其中，zdeep为二维像素点在深度图中对应的深度值，deepscale为深度值和实际深度之间的比例，(u,v)为二维像素点坐标，(cx,cy,fx,fy)为相机内参，cx,cy为图像原点相对于光心成像点的纵横偏移量，fx,fy为相机焦距。
可选的，所述步骤S5包括：
步骤S51：根据所述三维坐标构建运动轨迹数据点集；
步骤S52：根据采集到的数据点使用最小二乘法拟合三维抛物线曲面的未知参数(ax,bx,cx,ay,by,cy)，所述三维抛物线曲面的计算公式如下：
Figure BDA0002708007470000041
步骤S53：使用所述数据点描述深度与高度的二维坐标，使用最小二乘法拟合物体运动在三维空间中的平面位置，计算公式如下：
Figure BDA0002708007470000042
步骤S54：根据运动平面与曲面的交线确定游泳运动员的运动轨迹线，计算公式如下：
Figure BDA0002708007470000043
步骤S55：判断数据点轨迹是否属于抛物线轨迹，计算拟合得到的抛物线与原数据点之间的偏差，计算公式如下：
Figure BDA0002708007470000044
步骤S56：当拟合出的曲线的偏差均值为预先设定的误差阈值τ时，认定该组数据点为抛物线轨迹；
步骤S57：根据拟合出的抛物线计算轨迹的最高点坐标，将所述最高点坐标作为该运动轨迹最高点的坐标。
本发明具有下述有益效果：
本发明提供一种基于双目视觉和深度学***性。本发明的检测***的安装过程极其简单，减少了人力成本，检测速度较快，高度值呈现为数据形式，清晰直观。
附图说明
图1为本发明实施例一提供的基于双目视觉和深度学习的出水高度检测***的结构示意图。
图2为本发明实施例一提供的基于双目视觉和深度学习的出水高度检测***的俯视图。
图3为本发明实施例一提供的基于双目视觉和深度学习的出水高度检测***的主视图。
图4为本发明实施例二提供的基于双目视觉和深度学习的出水高度检测方法的流程图。
图5为本发明实施例二提供的去模糊前后视频效果对比示意图。
图6为本发明实施例二提供的一种目标跟踪效果示意图。
图7为本发明实施例二提供的另一种目标跟踪效果示意图。
图8为本发明实施例二提供的视差图的效果示意图。
图9为本发明实施例二提供的深度图的效果示意图。
图10为本发明实施例二提供的三维轨迹点拟合图。
图11为本发明实施例二提供的0.45m高度人物模拟实验高度计算测量值示意图。
图12为本发明实施例二提供的模拟实验高度计算数据拟合示意图。
图13为本发明实施例二提供的距离检测模拟实验距离计算测量值示意图。
图14为本发明实施例二提供的距离测量值和真实值记录曲线模拟实验距离计算数据拟合示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于双目视觉和深度学习的出水高度检测***及其方法进行详细描述。
实施例一
本实施例提供的基于双目视觉和深度学习的出水高度检测***，可以快速精确地检测到运动员被抛出水面地高度，为裁判根据动作打分提供了客观的依据。图1为本发明实施例一提供的基于双目视觉和深度学习的出水高度检测***的结构示意图。如图1所示，本实施例提供的基于双目视觉和深度学习的出水高度检测***，所述检测***包括视频采集模块、视频处理模块、目标识别和跟踪模块、三维坐标恢复模块、轨迹判断模块、高度计算模块，视频采集模块为双目摄像机采集花样游泳运动员出水视频部分，同时将采集到的比赛视频传递给视频处理模块去模糊，去除视频中物体高速运动产生的残影。随后处理过的视频发送给目标识别跟踪模块，目标识别模块用于采用YOLOv5算法进行人物目标识别，随后用Deep Sort算法进行目标跟踪，选择被跟踪目标的中心点运动轨迹作为目标人物运动轨迹。在视频中提取的是运动物体的二维投影坐标，需恢复为三维坐标，因此对双目视频进行视差图计算，再根据相机焦距和双目相机基线转换为深度图，计算出目标每一个轨迹点对应的深度值，再根据深度值恢复出物体相对于相机坐标系的三维坐标，提取出三维轨迹。对所有采集的轨迹进行拟合，当轨迹为抛物线时认为是出水运动员轨迹。高度计算模块计算抛物线的最高点到最低点的欧式距离作为游泳运动员的出水高度。本实施例用深度学习的方法进行高度检测可以在不接触运动员的前提下，捕捉瞬间的出水动作，减少了人力物力，原理简单，实现快速准确的高度计算。同时，ZED双目相机可以拍摄高清左目右目图像，保存下来的视频方便离线计算。
图2为本发明实施例一提供的基于双目视觉和深度学习的出水高度检测***的俯视图。图3为本发明实施例一提供的基于双目视觉和深度学习的出水高度检测***的主视图。如图2和图3所示，所述视频采集模块包含ZED双目摄像机，ZED双目摄像机拍摄高清视频，通过支架放置于地面，防止抖动。ZED双目摄像机放于运动员侧面的泳池边缘，保证可以拍摄到运动员表演的全部过程。
本实施例提供的检测***包括视频采集模块、视频处理模块、目标识别和跟踪模块、三维坐标恢复模块、轨迹判断模块、高度计算模块。视频采集模块采用美国Stereolabs公司推出的ZED立体相机，布设时通过三脚架支撑，保证双目相机与地面垂直，并且防止抖动。双目相机位于运动员侧面泳池，可拍摄运动员表演全过程。视频采集模块采用windows***与Ubuntu***均可实现，本实施例采用了Ubuntu18.04操作***，软件编写平台采用Clion。双目相机通过USB与计算机相连，采集运动员表演视频并传递给计算机，计算机在pycharm中运行程序进行相应处理后得到花样游泳运动员出水高度值，并将检测目标图像和高度值打印到计算机屏幕上。
本实施例提供一种基于双目视觉和深度学***性。本实施例的检测***的安装过程极其简单，减少了人力成本，检测速度较快，高度值呈现为数据形式，清晰直观。
实施例二
图4为本发明实施例二提供的基于双目视觉和深度学习的出水高度检测方法的流程图。如图4所示，本实施例提供一种基于双目视觉和深度学习的出水高度检测方法，所述检测方法采用实施例一提供的检测***，所述检测方法包括：
步骤S1：所述视频采集模块拍摄所述游泳运动员的比赛视频，提取所述比赛视频的每帧左右目相机拍摄的图片。
步骤S2：所述视频处理模块将拍摄的视频进行去模糊处理，消除物体因高速运动在视频中留下的残影，将处理后的视频发送到目标识别和跟踪模块。
步骤S3：所述目标识别和跟踪模块通过深度学习进行对第一帧图像进行检测，识别所有的人，随后对人进行目标跟踪，如果跟踪失败则重新进行目标检测，使用矩形方框框出目标，提取目标的中心点作为被检测人的运动轨迹点，将计算结果交给三维坐标恢复模块。
步骤S4：所述三维坐标恢复模块对左右目视频进行视差图和深度图的计算，通过像素点深度对接收到的二维投影坐标点进行三维坐标恢复，将二维坐标转换成相对于相机参考坐标系的三维坐标，再将三维坐标轨迹发送给轨迹判断模块。
步骤S5：所述轨迹判断模块接受三维坐标轨迹，拟合轨迹，判断是否为抛物线，当轨迹为抛物线时视运动目标在做出水运动，将出水运动的轨迹发送给高度计算模块。
步骤S6：所述高度计算模块对所述出水过程运动轨迹点进行分析计算，判断所述游泳运动员轨迹的最高点与最低点，计算所述最高点与所述最低点之间的垂直位移作为所述游泳运动员的出水高度。
本实施例中，所述步骤S1包括如下步骤：
步骤S11：所述检测***启动和初始化，判断所述ZED双目摄像机是否正确开启。
步骤S12：若所述ZED双目摄像机是正确开启，启动返回视频图像数据，若所述ZED双目摄像机不是正确开启，返回至步骤S11。
步骤S13：读取视频之中左目相机的每帧图像，并保存为视频。
本实施例中，所述步骤S2包括如下步骤：
步骤S21：将采集的左目相机的每帧图像分解为图片序列保存。
步骤S22：将图片序列使用Cascaded Deep Video Deblurring Using TemporalSharpness Prior论文中提到的深度卷积神经网络进行去模糊处理，消除图片中的残影。
步骤S23：将图片重新按照原有的帧率和大小保存为视频。
本次实验视频片段选自2019年花样游泳世界系列赛俄罗斯站俄罗斯战队的表演视频。图5为本发明实施例二提供的去模糊前后视频效果对比示意图。从图5中可以看出，去模糊前后，人物头部的重影有明显减轻，便于后续目标检测与跟踪。
本实施例中，所述步骤S3包括如下步骤：
步骤S31：将处理后的视频首先用YOLOv5目标检测算法进行识别，所用预训练模型已在人类数据集上进行训练，算法只能检测出人，将检测出的人物用矩形框框住。
步骤S32：将检测结果发送给Deep Sort算法进行目标跟踪，跟踪运动人类的轨迹。
步骤S33：如果跟踪结束，算法将重新对未被跟踪的人物进行检测，返回步骤S31。
步骤S34：提取所有跟踪目标的运动过程中的矩形框的中点作为运动轨迹，形成运动轨迹列表。
图6为本发明实施例二提供的一种目标跟踪效果示意图。图7为本发明实施例二提供的另一种目标跟踪效果示意图。可以看出算法很好的识别出人物，并且框出。
本实施例中，所述步骤S4包括如下步骤：
步骤S41：将双目相机拍摄视频的每帧图像转换为灰度图；
步骤S42：将视频对应每帧的左右目图片使用Libelas库提取对应的视差图，将所述视差图保存为图片列表；
步骤S43：根据所述双目相机的焦距和基线计算出每帧视差图对应的深度图；
步骤S44：所述深度图中每个像素点对应的值为深度值，根据轨迹的二维坐标点计算出每个点对应的深度值；
步骤S45：根据所述二维坐标点恢复出三维坐标，计算公式如下：
z＝zdeep/deepscale
x＝(u-cx)×z/fx
y＝(v-cy)×z/fy
其中，zdeep为二维像素点在深度图中对应的深度值，deepscale为深度值和实际深度之间的比例，(u,v)为二维像素点坐标，(cx,cy,fx,fy)为相机内参，cx,cy为图像原点相对于光心成像点的纵横偏移量(单位：像素)，fx,fy为相机焦距。
本部分实验因为无法使用双目相机采集游泳运动员表演视频，因此本实施例采用陆地上人按照抛物线的轨迹行走的方式进行模拟实验，模拟水中运动员的抛物线位姿。图8为本发明实施例二提供的视差图的效果示意图。图9为本发明实施例二提供的深度图的效果示意图。如图8和图9所示，矩形框框出的是目标人物。
本实施例中，所述步骤S5包括如下步骤：
步骤S51：根据所述三维坐标构建运动轨迹数据点集；
步骤S52：根据采集到的数据点使用最小二乘法拟合三维抛物线曲面的未知参数(ax,bx,cx,ay,by,cy)，所述三维抛物线曲面的计算公式如下：
Figure BDA0002708007470000111
步骤S53：使用所述数据点描述深度与高度的二维坐标，使用最小二乘法拟合物体运动在三维空间中的平面位置，计算公式如下：
Figure BDA0002708007470000112
步骤S54：根据运动平面与曲面的交线确定游泳运动员的运动轨迹线，计算公式如下：
Figure BDA0002708007470000113
步骤S55：判断数据点轨迹是否属于抛物线轨迹，计算拟合得到的抛物线与原数据点之间的偏差，计算公式如下：
Figure BDA0002708007470000114
步骤S56：当拟合出的曲线的偏差均值为预先设定的误差阈值τ时，认定该组数据点为抛物线轨迹；
步骤S57：根据拟合出的抛物线计算轨迹的最高点坐标，将所述最高点坐标作为该运动轨迹最高点的坐标。
图10为本发明实施例二提供的三维轨迹点拟合图。考虑到安全因素，模拟实验仅做了0.45m高度测试图。图11为本发明实施例二提供的0.45m高度人物模拟实验高度计算测量值示意图。图12为本发明实施例二提供的模拟实验高度计算数据拟合示意图。
考虑到高度测量即为距离测量，本实施例进行了固定物体的双目视觉距离测量的实验，已验证本步骤方案的可行性。固定物体选用规则的已知长度物体，如方形柜子、书本等。图13为本发明实施例二提供的距离检测模拟实验距离计算测量值示意图。图14为本发明实施例二提供的距离测量值和真实值记录曲线模拟实验距离计算数据拟合示意图。
本实施例提供一种基于双目视觉和深度学***性。本实施例的检测***的安装过程极其简单，减少了人力成本，检测速度较快，高度值呈现为数据形式，清晰直观。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (6)

1.一种基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述检测方法使用基于双目视觉和深度学习的出水高度检测***，所述检测***包括视频采集模块、视频处理模块、目标识别和跟踪模块、三维坐标恢复模块、轨迹判断模块、高度计算模块；
所述视频采集模块用于采集游泳运动员的比赛视频，将采集到的比赛视频传递给所述视频处理模块；
所述视频处理模块用于根据视频去模糊算法处理具有高速运动物体的视频，以消除所述比赛视频中的模糊残影，将处理后的比赛视频传递给所述目标识别和跟踪模块；
所述目标识别和跟踪模块用于识别抛出水面的游泳运动员，并进行目标跟踪，使用矩形框框出目标，获得所述目标的中心点，同时提取所述目标的中心点列表发送给所述三维坐标恢复模块；
所述三维坐标恢复模块用于根据左右目照片计算出视差图，再根据相机焦距和基线计算出深度图，根据所述视差图和所述深度图恢复出轨迹点相对于相机参考坐标系的三维坐标，形成三维轨迹列表发送给所述轨迹判断模块；
所述轨迹判断模块用于对获得的轨迹进行拟合，当判断轨迹为抛物线时认定对应目标做出水动作，将做出水运动的目标轨迹发送给所述高度计算模块；
所述高度计算模块用于根据获得的抛物线计算出所述抛物线的最高点与最低点之间的垂直距离，所述垂直距离为游泳运动员的出水高度；
所述检测方法包括：
步骤S1：所述视频采集模块采集所述游泳运动员的比赛视频，将采集到的比赛视频传递给所述视频处理模块；
步骤S2：所述视频处理模块根据视频去模糊算法处理具有高速运动物体的视频，以消除所述比赛视频中的模糊残影，将处理后的比赛视频传递给所述目标识别和跟踪模块；
步骤S3：所述目标识别和跟踪模块识别抛出水面的游泳运动员，并进行目标跟踪，使用矩形框框出目标，获得所述目标的中心点，同时提取所述目标的中心点列表发送给所述三维坐标恢复模块；
步骤S4：所述三维坐标恢复模块根据左右目照片计算出视差图，再根据相机焦距和基线计算出深度图，根据所述视差图和所述深度图恢复出轨迹点相对于相机参考坐标系的三维坐标，形成三维轨迹列表发送给所述轨迹判断模块；
步骤S5：所述轨迹判断模块对获得的轨迹进行拟合，当判断轨迹为抛物线时认定对应目标做出水动作，将做出水运动的目标轨迹发送给所述高度计算模块；
步骤S6：所述高度计算模块根据获得的抛物线计算出所述抛物线的最高点与最低点之间的垂直距离，所述垂直距离为游泳运动员的出水高度；
所述步骤S5包括：
步骤S51：根据所述三维坐标构建运动轨迹数据点集；
步骤S52：根据采集到的数据点使用最小二乘法拟合三维抛物线曲面的未知参数(ax,bx,cx,ay,by,cy)，所述三维抛物线曲面的计算公式如下：
Figure FDA0003865232900000021
步骤S53：使用所述数据点描述深度与高度的二维坐标，使用最小二乘法拟合物体运动在三维空间中的平面位置，计算公式如下：
Figure FDA0003865232900000022
步骤S54：根据运动平面与曲面的交线确定游泳运动员的运动轨迹线，计算公式如下：
Figure FDA0003865232900000031
步骤S55：判断数据点轨迹是否属于抛物线轨迹，计算拟合得到的抛物线与原数据点之间的偏差，计算公式如下：
Figure FDA0003865232900000032
步骤S56：当拟合出的曲线的偏差均值为预先设定的误差阈值τ时，认定该组数据点为抛物线轨迹；
步骤S57：根据拟合出的抛物线计算轨迹的最高点坐标，将所述最高点坐标作为该运动轨迹最高点的坐标。
2.根据权利要求1所述的基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述视频采集模块包括ZED双目摄像机，所述ZED双目摄像机通过支架放置于地面，以防止抖动；
所述ZED双目摄像机设置在所述游泳运动员侧面的泳池边缘，以保证所述ZED双目摄像机拍摄到所述游泳运动员表演的全部过程。
3.根据权利要求2所述的基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述步骤S1包括：
步骤S11：所述检测***启动和初始化，判断所述ZED双目摄像机是否正确开启；
步骤S12：若所述ZED双目摄像机是正确开启，启动返回视频图像数据，若所述ZED双目摄像机不是正确开启，返回所述步骤S11；
步骤S13：读取视频图像数据之中左目相机的每帧图像，将读取的图像保存为所述比赛视频。
4.根据权利要求1所述的基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述步骤S2包括：
步骤S21：将采集的左目相机的每帧图像分解为图片序列，保存所述图片序列；
步骤S22：将所述图片序列使用深度卷积神经网络进行去模糊处理，消除图片中的残影；
步骤S23：将去模糊处理之后的图片重新按照原有的帧率和大小保存为视频。
5.根据权利要求1所述的基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述步骤S3包括：
步骤S31：将去模糊处理之后的视频使用YOLOv5目标检测算法进行识别，所述YOLOv5目标检测算法只能检测出人类，使用矩形框框住检测出的人物；
步骤S32：将检测结果发送给Deep Sort算法进行目标跟踪，对运动人物的轨迹进行跟踪；
步骤S33：若跟踪操作结束，重新对未被跟踪的人物进行检测，返回所述步骤S31；
步骤S34：提取所有跟踪目标运动过程中的矩形框的中心点，将所述矩形框的中心点作为运动轨迹，形成运动轨迹列表。
6.根据权利要求1所述的基于双目视觉和深度学习的出水高度检测方法，其特征在于，所述步骤S4包括：
步骤S41：将双目相机拍摄视频的每帧图像转换为灰度图；
步骤S42：将视频对应每帧的左右目图片使用Libelas库提取对应的视差图，将所述视差图保存为图片列表；
步骤S43：根据所述双目相机的焦距和基线计算出每帧视差图对应的深度图；
步骤S44：所述深度图中每个像素点对应的值为深度值，根据轨迹的二维坐标点计算出每个点对应的深度值；
步骤S45：根据所述二维坐标点恢复出三维坐标，计算公式如下：
z＝zdeep/deepscale
x＝(u-cx)×z/fx
y＝(v-cy)×z/fy
其中，zdeep为二维像素点在深度图中对应的深度值，deepscale为深度值和实际深度之间的比例，(u,v)为二维像素点坐标，(cx,cy,fx,fy)为相机内参，cx,cy为图像原点相对于光心成像点的纵横偏移量，fx,fy为相机焦距。
CN202011046022.3A 2020-09-28 2020-09-28 基于双目视觉和深度学习的出水高度检测***及其方法 Active CN112183355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046022.3A CN112183355B (zh) 2020-09-28 2020-09-28 基于双目视觉和深度学习的出水高度检测***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046022.3A CN112183355B (zh) 2020-09-28 2020-09-28 基于双目视觉和深度学习的出水高度检测***及其方法

Publications (2)

Publication Number Publication Date
CN112183355A CN112183355A (zh) 2021-01-05
CN112183355B true CN112183355B (zh) 2022-12-27

Family

ID=73945752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046022.3A Active CN112183355B (zh) 2020-09-28 2020-09-28 基于双目视觉和深度学习的出水高度检测***及其方法

Country Status (1)

Country Link
CN (1) CN112183355B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883866A (zh) * 2021-02-08 2021-06-01 上海新纪元机器人有限公司 一种区域入侵实时检测方法、***及存储介质
CN113240717B (zh) * 2021-06-01 2022-12-23 之江实验室 一种基于三维目标跟踪的误差建模位置修正方法
CN113326835B (zh) * 2021-08-04 2021-10-29 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113744524B (zh) * 2021-08-16 2023-04-18 武汉理工大学 一种基于车辆间协同计算通信的行人意图预测方法及***
CN113822913B (zh) * 2021-11-25 2022-02-11 江西科技学院 一种基于计算机视觉的高空抛物检测方法和***
CN114241602B (zh) * 2021-12-16 2024-05-28 北京理工大学 一种基于深度学习的多目转动惯量测量和计算方法
CN114359411B (zh) * 2022-01-10 2022-08-09 杭州巨岩欣成科技有限公司 泳池防溺水目标检测方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370125A (zh) * 2007-08-17 2009-02-18 林嘉 跳水自动跟踪拍摄和视频反馈方法及其***
CN110553628A (zh) * 2019-08-28 2019-12-10 华南理工大学 一种基于深度相机的捕捉飞行物体的方法
CN110711373A (zh) * 2019-09-16 2020-01-21 北京理工大学 一种羽毛球发球时击球点的高度检测***及其方法
CN111444890A (zh) * 2020-04-30 2020-07-24 汕头市同行网络科技有限公司 一种基于机器学习的体育数据分析***和方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111612826A (zh) * 2019-12-13 2020-09-01 北京理工大学 一种基于双目视频传感器的高精度三维运动轨迹采集定位与运动过程再现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489656B2 (en) * 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370125A (zh) * 2007-08-17 2009-02-18 林嘉 跳水自动跟踪拍摄和视频反馈方法及其***
CN110553628A (zh) * 2019-08-28 2019-12-10 华南理工大学 一种基于深度相机的捕捉飞行物体的方法
CN110711373A (zh) * 2019-09-16 2020-01-21 北京理工大学 一种羽毛球发球时击球点的高度检测***及其方法
CN111612826A (zh) * 2019-12-13 2020-09-01 北京理工大学 一种基于双目视频传感器的高精度三维运动轨迹采集定位与运动过程再现方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111444890A (zh) * 2020-04-30 2020-07-24 汕头市同行网络科技有限公司 一种基于机器学习的体育数据分析***和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D scene analysis by real-time stereovision;G. Garibotto等;《IEEE International Conference on Image Processing 2005》;20051114;第1-4页 *
基于计算机视觉的艺术体操轨迹跟踪研究;郑亮;《现代电子技术》;20171001(第19期);第86-90页 *

Also Published As

Publication number Publication date
CN112183355A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112183355B (zh) 基于双目视觉和深度学习的出水高度检测***及其方法
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
US9743014B2 (en) Image recognition system, image recognition apparatus, image recognition method, and computer program
US9744421B2 (en) Method of analysing a video of sports motion
CN110929596A (zh) 一种基于智能手机和人工智能的投篮训练***与方法
CN111444890A (zh) 一种基于机器学习的体育数据分析***和方法
CN103093198B (zh) 一种人群密度监测方法及装置
CN108875730A (zh) 一种深度学习样本收集方法、装置、设备及存储介质
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
CN109684919B (zh) 一种基于机器视觉的羽毛球发球违例判别方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN104408725A (zh) 一种基于tld优化算法的目标重捕获***及方法
CN110287907A (zh) 一种对象检测方法和装置
CN116309686A (zh) 游泳运动员视频定位测速方法、装置、设备及存储介质
JP4465150B2 (ja) 基準点に対する物体の相対位置を測定するシステムおよび方法
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
JP7198661B2 (ja) オブジェクト追跡装置及びそのプログラム
Sokolova et al. Human identification by gait from event-based camera
CN117333550A (zh) 基于计算机视觉检测的羽毛球发球高度违例判别方法
WO2018076170A1 (en) A camera system for filming golf game and the method for the same
US11229824B2 (en) Determining golf club head location in an image using line detection and contour separation
CN116703968A (zh) 针对目标对象的视觉跟踪方法、装置、***、设备和介质
CN110910489A (zh) 一种基于单目视觉的智能球场运动信息采集***与方法
CN114093030A (zh) 一种基于人体姿态学习的射击训练分析方法
CN110717931B (zh) 一种羽毛球发球时击球点的高度检测***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant