CN111274914A - 一种基于深度学习的马匹速度计算***及方法 - Google Patents

一种基于深度学习的马匹速度计算***及方法 Download PDF

Info

Publication number
CN111274914A
CN111274914A CN202010050770.2A CN202010050770A CN111274914A CN 111274914 A CN111274914 A CN 111274914A CN 202010050770 A CN202010050770 A CN 202010050770A CN 111274914 A CN111274914 A CN 111274914A
Authority
CN
China
Prior art keywords
horse
target
speed
camera
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010050770.2A
Other languages
English (en)
Other versions
CN111274914B (zh
Inventor
关国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Co Ltd
Original Assignee
Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Co Ltd filed Critical Information Co Ltd
Publication of CN111274914A publication Critical patent/CN111274914A/zh
Priority to AU2021200218A priority Critical patent/AU2021200218B2/en
Application granted granted Critical
Publication of CN111274914B publication Critical patent/CN111274914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学***均速度。本发明实现利用人工智能技术，以更科学的方法进行马匹观察并对马匹速度进行预测和计算。

Description

一种基于深度学习的马匹速度计算***及方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于深度学习的马匹速度计算***及方法。
背景技术
马术运动是集运动、健身、休闲于一体的运动，近年来受到越来越多人的喜爱。而基于马术运动的速度赛马则发展成为一项竞赛项目，以速度和骑术来取胜，考验骑手的综合水平。当前，在预测马匹竞赛名次上，一般是依靠肉眼观察马匹的状态(包括疲劳程度、出汗量和动作)来进行推测，还缺乏更加准确的科学和智能化手段。
发明内容
针对现有技术的不足，本发明旨在提供一种基于深度学习的马匹速度计算***及方法，实现利用人工智能技术，以更科学的方法进行马匹观察并对马匹速度进行计算。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度学习的马匹速度计算***的方法，包括如下步骤：
S1、在比赛开始前，参与比赛的马匹会围绕着竞赛场地行走，摄像机拍摄得到目标马匹围绕着竞赛场地行走的视频并发送至光流场计算模块；拍摄过程中，所述摄像机会旋转以保持目标马匹在拍摄范围内；
S2、对摄像机获取的视频进行图像提取并计算连续图像之间的光流场：
光流场计算模块对于摄像机输入的视频译码成单独的帧，并且每隔设定的帧数N提取一次图像，即两个连续图像之间相隔N帧，并计算两个连续图像之间的光流场；
S3、对视频进行对象人工智能检测：
对象人工智能检测模块检测视频中出现的对象，并保存检测到的各个对象的位置和大小，其中包括目标马匹的位置和大小；对象的位置为其中心点的位置，大小包括长度和宽度；
S4、光流场过滤模块根据步骤S3中检测得到的对象，从步骤S2 中得到的光流场中过滤掉所有移动的对象；
S5、摄像机速度计算模块根据步骤S4中经过过滤后的光流场计算摄像机的方向和速度；
S6、计算两张连续图像之间的目标马匹的速度：
根据对象人工智能检测模块检测出的目标马匹的位置，通过用目标马匹在当前图像的位置减去前一张图像的位置来计算两张连续图像之间的目标马匹的位移，位移的单位为像素/N帧；据此，目标马匹速度计算模块计算以像素/N帧为单位的最终摄像机速度即目标马匹的速度Hp为：
Figure RE-GDA0002442115120000021
ω是摄影机的角速度，单位为像素/N帧，
Figure RE-GDA0002442115120000022
是目标马匹的中心的在前一张图像的位置，而d是目标马匹的中心的当前图像的位置；
S7、输出模块将所有计算得到的两个连续图像之间的目标马匹速度取平均得到目标马匹的平均速度。
进一步地，步骤S2，设定的帧数为5帧。
进一步地，步骤S2中，采用采用Farneback的方法计算光流场。
进一步地，步骤S3中，对象人工智能检测模块采用YOLOv3网络实现对对象的人工智能检测。
进一步地，步骤S6中，对Hp进行单位转换，得到以马匹长度/ 秒为单位的目标马匹速度；
首先，通过Hp计算得到的以像素每秒为单位的目标马匹速度
Figure RE-GDA0002442115120000031
Figure RE-GDA0002442115120000032
fps为视频的每秒帧数；
然后，把像素将转换成马匹长度，计算得到以马匹长度/秒为单位的目标马匹速度Vt；
Figure RE-GDA0002442115120000033
Figure RE-GDA0002442115120000034
以像素每秒为单位的目标马匹速度；Pixels为马匹长度的像素数，单位为像素/马匹长度。
更进一步地，对于对象人工智能检测模块检测得到的目标马匹的长度，采用异常状态检测方法RANSAC来审核检测到的马匹长度；假设目标马匹在视频开始后的短时间内正常步行，则随着出现新的数据点，新的回归模型将根据这组采样数据而更新；根据对照新的回归模型检查新的数据点，对照现有的回归模型的优质数据点，任何异常数据值都将被移除，并替换为已知的有效长度。
本发明还提供一种基于深度学习的马匹速度计算***，包括：
摄像机：所述摄像机设于竞赛场地，用于拍摄比赛前目标马匹围绕竞赛场地行走的视频，拍摄过程中，所述摄像机会旋转以保持目标马匹在拍摄范围；
光流场计算模块：用于对摄像机获取的视频进行图像提取并计算连续图像之间的光流场；
对象人工智能检测模块：用于利用人工智能检测出视频中的对象的位置和大小并保存；
光流场过滤模块：用于根据对象人工智能检测模块的检测结果，对对光流场计算模块计算得到的光流场进行过滤，过滤掉所有移动的对象；
摄像机速度计算模块：用于利用经过光流场过滤模块过滤的光流场计算摄像机的方向和速度；
目标马匹速度计算模块：用于根据对象人工智能检测模块的目标马匹的位置，通过用目标马匹在当前图像中的位置减去前一张图像中的位置来计算两张连续图像之间的马匹的位移，并利用马匹的位移对摄像机速度计算模块计算得到的两张连续图像之间的摄像机速度进行调整，得到目标马匹速度Hp，调整公式为
Figure RE-GDA0002442115120000041
ω是摄影机的角速度，单位为像素/N帧，
Figure RE-GDA0002442115120000042
是目标马匹的中心的在前一张图像的位置，而d是目标马匹的中心的当前图像的位置；
输出模块用于将得到的所有两张连续图像之间的目标马匹速度取平均得到目标马匹的平均速度并输出。
本发明的有益效果在于：本发明实现利用人工智能技术，以更科学的方法进行马匹观察并对马匹速度进行计算，从而可以对马匹的比赛名次进行有效的预测。
附图说明
图1为YOLOv3的网络架构示意图；
图2为从移动物体上去除光流矢量时对光流场直方图的影响示意图；
图3为不同姿势马匹长度的不同的示例图；
图4为本发明实施例中场地B的测试结果示意图；
图5为本发明实施例中场地A的测试结果示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
实施例1
本实施例提供一种基于深度学习的马匹速度计算***的方法，包括如下步骤：
S1、在比赛开始前，参与比赛的马匹会围绕着竞赛场地行走，摄像机拍摄得到目标马匹围绕着竞赛场地行走的视频并发送至光流场计算模块；拍摄过程中，所述摄像机会旋转以保持目标马匹在拍摄范围内；
视频通常以AVI或MP4编码录制，但也可以采用实时RTSP流。视频每秒是23-26帧。
S2、对摄像机获取的视频进行图像提取并计算连续图像之间的光流场：
摄影机的旋转速度ω等于摄像机变化的弧度率φ除以时间t，目标马匹的直线速度(假设它在摄影机的视场中)与摄影机和目标马匹之间的距离的因子成正比。但是，由于期望输出是用马匹长度来表示的，并且摄影机的设置不是固定的(缩放级别，距离等)，因此本实施例以每秒像素数，即像素位移表示摄像机的旋转速度。
本实施例中，为了获得像素位移，计算每两个连续图像之间的光流(Horn andSchunck)。在本实施例中，光流场计算模块对于摄像机输入的视频译码成单独的帧，并且每5帧提取一次图像，即两个连续图像之间相隔5个帧。这是因为骑马速度相对较慢，这意味着摄像机旋转的速度也较慢，因此可以通过跳帧来提高整体性能而不会影响准确性。光流用于估计两个相关图像之间的移动，如图像速度或离散对象位移(Beauchemin andBarron)。对于第一张图像中的每个像素，它都有价值。假设两张图像之间的时间很短，则第二张图像中的像素值是：
I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)；
I(x,y,t)表示第二张图像中某个像素点的像素值，x和y分别表示像素点在x轴和y轴上的坐标值，t表示时间，Δx、Δy、Δt分别表示第二张图像的某个像素点相对于第一张图像上对应的像素点在x轴坐标值、y轴坐标值和时间上的变化值；
光流的目的是在两个图像之间找到相应的像素，并将它们表示为方向和长短(方向表示为角度，长短表示为像素数)。有几种计算光流场的方法。在本实施例中，采用了Farneback的方法。
两个图像可以建模为：
Figure RE-GDA0002442115120000071
Figure RE-GDA0002442115120000072
在这里，φi(x,y,t)和ηi(x,y,t)，i＝1,2,...,n分别为两个图像的n个流程模型的基函数，而Ai是各个流程模型的空间和时间变化的系数。
假设ED(u,v)为测量偏差项，ES(u,v)为一个平滑项，α是平滑的加权因子，则两个图像的光流场是数据的总和以及加权平滑项的最小化：
E(u,v)＝min(ED(u,v)+αES(u,v))；
E(u,v)表示两个图像的光流场。
S3、对视频进行对象人工智能检测：
由于获得的光流场包含各种噪音，来自其他物体(主要是人和马匹)的移动引起的噪音必须被去除。
对象人工智能检测模块用于检测视频中出现的对象，并保存检测到的各个对象的位置和大小，其中包括目标马匹的位置和大小；其中，检测位置会被用于过滤相关对象的光流矢量，目标马匹的位置和大小也被保存为目标位移用于补偿和计算马匹长度。
本实施例中，对象检测人工智能源于YOLOv3，而YOLOv3是源于 Redmon和Farhadi开发的Dark-net。像其他对象检测模型一样， YOLOv3是一个全卷积神经网络(CNN)，它应用残差层以及跳过连接技术，允许来自不同深度的层有助于推理结果。该网络由53个卷积层和最后一个完全连接层组成，以进行推理。图1显示了YOLOv3的网络布局。
与其他传统对象检测人工智能相比，YOLOv3的优势在于仅需要进行一次推理，这比其他多维/多遍模型要快得多。
输入图像是打入13×13网格，每个网格预测最多5个物件。对于每个包围盒，网络将预测5个坐标tx、ty、tw、th、to，其中，tx、ty分别为包围盒的中心点x轴坐标和y轴坐标，tw、th分别为包围盒的宽度和高度，to为包围盒的置信度；因此，每个位于x列和y排,坐标为(cx,cy)的网格的界限框的宽度和高度为pw,ph，而得出对象的界限框的预测将是：
bx＝α(tx)+cx；
by＝α(ty)+cy；
Figure RE-GDA0002442115120000081
Figure RE-GDA0002442115120000082
Pr(object)*IOU(b,object)＝α(to)；
其中,α()是逻辑激活函数或归一化函数，使结果值∈[0,1]。Pr(object)是一个对象的概率，而IOU(b,object)是界限框的准确度。除了这些坐标，每个预测还将具有与之关联的类型。本实施例中使用的 YOLOv3网络已进行了关于人和马匹微调训练，通过在最后一个完全连接层上进行转移学习来完成训练，使网络能更准确侦测人和马匹。
每个帧的预测将提供每个对象的位置(中心点)和大小(长度和宽度)。这些信息将在以下部分中使用，以减少来自光流场的噪声并计算目标马匹的位移和大小。
S4、光流场过滤模块根据步骤S3中检测得到的对象，从步骤S2 中得到的光流场中过滤掉所有移动的对象(归零)，此时，光流场的最大成分将是每5帧中以像素为单位的摄影机速度。图2显示了从移动的对象上去除光流矢量时对光流场直方图的影响，其中图2(a)为过滤前幅度直方图，图2(b)为过滤后幅度直方图。
S5、摄像机速度计算模块根据步骤S4中经过过滤后的光流场计算摄像机的方向和速度：
每个光流矢量由两部分构成:方向(角度)和速度(像素)：
1.方向:摄影机方向值ωφ等于光流场方向直方图的最大分量。
2.速度:摄影机速度值ωm等于光流场速度直方图的最大分量 (已去除反方向)。
ωφ＝max(DH)；
Figure RE-GDA0002442115120000091
其中ωφ和ωm是摄影机的方向和速度(位移)，而DH是光流场方向直方图，MH是光流场速度直方图，而Fωφ是一个针对方向的向量过滤器。
S6、计算两张连续图像之间的目标马匹的速度：
由于目标马匹的速度可能会发生变化，并且摄影机不太可能一直将目标保持在视场的中心，因此这种偏差会影响结果。为了减低这种影响，可以通过目标马匹的位移来调整计算出的摄影机速度，而这调整是基于目标马匹在当前图像中相对于前一张图像(即5帧之前)的位移，单位为像素/5帧。
具体地，在步骤S3中，对象人工智能检测模块检测出了各个对象(人和马匹)的位置和大小，其中包括有目标马匹的位置和大小。通过用目标马匹的当前位置减去此前位置来计算目标马匹的位移(以像素/5帧为单位)。据此，目标马匹速度计算模块计算以像素为单位的最终摄像机速度即目标马匹的速度Hp为：
Figure RE-GDA0002442115120000101
ω是摄影机的角速度(以像素/5帧为单位)，
Figure RE-GDA0002442115120000102
是目标马匹的中心的先前位置，而d是目标马匹的中心的当前位置。由于期望的结果是以每秒的马匹长度为单位，因此Hp需要进行转换。首先，时间单位将从5帧转换为1秒。fps为视频的每秒帧数，则以像素每秒为单位的目标马匹速度
Figure RE-GDA0002442115120000103
为：
Figure RE-GDA0002442115120000104
然后，将以像素每秒为单位的目标马匹速度转化为以马匹长度每秒为单位的目标马匹速度。
步骤S2.2中，对象人工智能检测模块检测出目标马匹的位置和大小。但是与位置不同，目标马匹的大小是取决于其姿势，并且马匹长度的准确性亦很大程度上取决于其姿势。图3(a)和(b)显示了不同的马匹姿势，可以显见两种不同的姿势的马匹长度的不同。在对象人工智能检测模块有可能无法检测到目标的情况下，将使用在先前已知的马匹长度。
为了减少这种情况，本实施例采用异常状态检测方法RANSAC来审核检测到的马匹长度。假设目标马匹在视频开始后的短时间内正常步行，则随着出现新的数据点，新的回归模型将根据这组采样数据而更新。根据对照新的回归模型检查新的数据点，对照现有的回归模型的优质数据点，任何异常数据值都将被移除，并替换为已知的有效长度。把像素将转换成马匹长度，计算得到以马匹长度/秒为单位的目标马匹速度Vt；
Figure RE-GDA0002442115120000111
Figure RE-GDA0002442115120000112
以像素每秒为单位的目标马匹速度；Pixels为马匹长度的像素数，单位为像素/马匹长度；
S7、输出模块将所有计算得到的两个连续图像之间的目标马匹速度作平均得到目标马匹的平均速度，平均速度是以马匹长度/秒来表示。最终结果可以在实时视频上显示或者输出到文件内。
根据预测得到的各个马匹的平均速度，可以对有效地对比赛的名次进行预测。
以下将通过测试对本实施例方法的性能作进一步地说明。
本测试中的样本视频超过3000个，从超过3000个视频片段中随机抽样了40个来自比赛场地A的视频片段和来自比赛场地B的40 个视频片段。每个视频时长为30-45秒之间。图4显示了场地B的测试结果，图5显示了场地A的测试结果。X轴表示误差率为5％的间隔，Y轴表示该误差率以内的结果数。错误率是估算结果与实际结果之差除以实际结果的绝对值：
ε＝|(RT-Rp)/RT|*100；
ε为误差(百分比)，RT是真实结果(马匹长度/秒)，RT则是本实施例方法得到的预测结果。
人工观察到的实际速度值可以通过测量已知距离的视频中两点之间的时间来估算。此外，马匹长度使用的是赛马的平均长度(2.4m)，而不是目标马的实际长度。实际速度计算如下：
Vt＝(D/T)/L。
Vt＝实际速度(马体/秒)
D＝沙圈两个已知点之间的距离(米)
T＝时间的经过(秒)
L＝平均赛马的长度(2.4米/马体)
结果表明，超过86％(69/80)的测试样品落在误差的10％之内。并且只有不到1.5％(1/80)的测试样品落在20％的误差范围之外。
可见，实施例1的方法的准确性与期望值相当。准确率超过90％，召回率超过86％。此外，不同的比赛场地的环境通常也大不相同(背景，移动物体/障碍物的数量以及观看距离)。因此，实施例1的方法对于不同的沙圈条件具有鲁棒性，并且可以适应不同的观点。
实施例2
本实施例提供一种基于深度学习的马匹速度计算***，包括：
摄像机：所述摄像机设于竞赛场地，用于拍摄比赛前目标马匹围绕竞赛场地行走的视频，拍摄过程中，所述摄像机会旋转以保持目标马匹在拍摄范围；
光流场计算模块：用于对摄像机获取的视频进行图像提取并计算连续图像之间的光流场；
对象人工智能检测模块：用于利用YOLOv3网络检测出视频中的对象的位置和大小并保存；
光流场过滤模块：用于根据对象人工智能检测模块的检测结果，对对光流场计算模块计算得到的光流场进行过滤，过滤掉所有移动的对象；
摄像机速度计算模块：用于利用经过光流场过滤模块过滤的光流场计算摄像机的方向和速度；
目标马匹速度计算模块：用于根据对象人工智能检测模块的目标马匹的位置，通过用目标马匹在当前图像中的位置减去前一张图像中的位置来计算两张连续图像之间的马匹的位移，并利用马匹的位移对摄像机速度计算模块计算得到的两张连续图像之间的摄像机速度进行补偿，得到两张连续图像之间的以像素表示的目标马匹的速度，然后将以像素表示的目标马匹的速度进行单位转换；
输出模块用于将得到的所有两张连续图像之间的目标马匹速度取平均得到目标马匹的平均速度并输出，平均速度的单位为马匹长度/秒。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于深度学习的马匹速度计算***的方法，其特征在于，包括如下步骤：
S1、在比赛开始前，参与比赛的马匹会围绕着竞赛场地行走，摄像机拍摄得到目标马匹围绕着竞赛场地行走的视频并发送至光流场计算模块；拍摄过程中，所述摄像机会旋转以保持目标马匹在拍摄范围内；
S2、对摄像机获取的视频进行图像提取并计算连续图像之间的光流场：
光流场计算模块对于摄像机输入的视频译码成单独的帧，并且每隔设定的帧数N提取一次图像，即两个连续图像之间相隔N帧，并计算两个连续图像之间的光流场；
S3、对视频进行对象人工智能检测：
对象人工智能检测模块检测视频中出现的对象，并保存检测到的各个对象的位置和大小，其中包括目标马匹的位置和大小；对象的位置为其中心点的位置，大小包括长度和宽度；
S4、光流场过滤模块根据步骤S3中检测得到的对象，从步骤S2中得到的光流场中过滤掉所有移动的对象；
S5、摄像机速度计算模块根据步骤S4中经过过滤后的光流场计算摄像机的方向和速度；
S6、计算两张连续图像之间的目标马匹的速度：
根据对象人工智能检测模块检测出的目标马匹的位置，通过用目标马匹在当前图像的位置减去前一张图像的位置来计算两张连续图像之间的目标马匹的位移，位移的单位为像素/N帧；据此，目标马匹速度计算模块计算以像素/N帧为单位的最终摄像机速度即目标马匹的速度Hp为：
Figure FDA0002371097700000021
ω是摄影机的角速度，单位为像素/N帧，
Figure FDA0002371097700000022
是目标马匹的中心的在前一张图像的位置，而d是目标马匹的中心的当前图像的位置；
S7、输出模块将所有计算得到的两个连续图像之间的目标马匹速度取平均得到目标马匹的平均速度。
2.根据权利要求1所述的方法，其特征在于，步骤S2，设定的帧数为5帧。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，采用采用Farneback的方法计算光流场。
4.根据权利要求1所述的方法，其特征在于，步骤S3中，对象人工智能检测模块采用YOLOv3网络实现对对象的人工智能检测。
5.根据权利要求1所述的方法，其特征在于，步骤S6中，对Hp进行单位转换，得到以马匹长度/秒为单位的目标马匹速度；
首先，通过Hp计算得到的以像素每秒为单位的目标马匹速度
Figure FDA0002371097700000023
Figure FDA0002371097700000024
fps为视频的每秒帧数；
然后，把像素将转换成马匹长度，计算得到以马匹长度/秒为单位的目标马匹速度Vt；
Figure FDA0002371097700000025
Figure FDA0002371097700000031
以像素每秒为单位的目标马匹速度；Pixels为马匹长度的像素数，单位为像素/马匹长度。
6.根据权利要求5所述的方法，其特征在于，对于对象人工智能检测模块检测得到的目标马匹的长度，采用异常状态检测方法RANSAC来审核检测到的马匹长度；假设目标马匹在视频开始后的短时间内正常步行，则随着出现新的数据点，新的回归模型将根据这组采样数据而更新；根据对照新的回归模型检查新的数据点，对照现有的回归模型的优质数据点，任何异常数据值都将被移除，并替换为已知的有效长度。
7.一种基于深度学习的马匹速度计算***，其特征在于，包括：
摄像机：所述摄像机设于竞赛场地，用于拍摄比赛前目标马匹围绕竞赛场地行走的视频，拍摄过程中，所述摄像机会旋转以保持目标马匹在拍摄范围；
光流场计算模块：用于对摄像机获取的视频进行图像提取并计算连续图像之间的光流场；
对象人工智能检测模块：用于利用人工智能检测出视频中的对象的位置和大小并保存；
光流场过滤模块：用于根据对象人工智能检测模块的检测结果，对对光流场计算模块计算得到的光流场进行过滤，过滤掉所有移动的对象；
摄像机速度计算模块：用于利用经过光流场过滤模块过滤的光流场计算摄像机的方向和速度；
目标马匹速度计算模块：用于根据对象人工智能检测模块的目标马匹的位置，通过用目标马匹在当前图像中的位置减去前一张图像中的位置来计算两张连续图像之间的马匹的位移，并利用马匹的位移对摄像机速度计算模块计算得到的两张连续图像之间的摄像机速度进行调整，得到目标马匹速度Hp，调整公式为
Figure FDA0002371097700000041
ω是摄影机的角速度，单位为像素/N帧，
Figure FDA0002371097700000042
是目标马匹的中心的在前一张图像的位置，而d是目标马匹的中心的当前图像的位置；
输出模块用于将得到的所有两张连续图像之间的目标马匹速度取平均得到目标马匹的平均速度并输出。
CN202010050770.2A 2020-01-13 2020-01-17 一种基于深度学习的马匹速度计算***及方法 Active CN111274914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2021200218A AU2021200218B2 (en) 2020-01-13 2021-01-14 A horse speed calculation system and method based on deep learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020100300622 2020-01-13
CN202010030062 2020-01-13

Publications (2)

Publication Number Publication Date
CN111274914A true CN111274914A (zh) 2020-06-12
CN111274914B CN111274914B (zh) 2023-04-18

Family

ID=71001742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010050770.2A Active CN111274914B (zh) 2020-01-13 2020-01-17 一种基于深度学习的马匹速度计算***及方法

Country Status (5)

Country Link
EP (1) EP4105819A4 (zh)
JP (1) JP7168153B2 (zh)
CN (1) CN111274914B (zh)
AU (1) AU2021200218B2 (zh)
WO (1) WO2021143716A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364796A (zh) * 2020-11-18 2021-02-12 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及***
WO2021143716A1 (zh) * 2020-01-13 2021-07-22 目骉资讯有限公司 一种基于深度学习的马匹速度计算***及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532099B2 (en) * 2021-02-03 2022-12-20 BetMIX, LLC Method and system for compiling performance metrics for racing competitors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074369A (ja) * 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
CN107038713A (zh) * 2017-04-12 2017-08-11 南京航空航天大学 一种融合光流法和神经网络的运动目标捕捉方法
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质
CN109766752A (zh) * 2018-11-28 2019-05-17 西安电子科技大学 一种基于深度学习的目标匹配和定位方法及***、计算机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513103A (en) * 1991-01-10 1996-04-30 Charlson; Cary Method of acquiring and disseminating handicapping information
US20050177802A1 (en) * 2003-01-25 2005-08-11 Mostert Paul S. Methods and computer-readable medium for navigating between a plurality of discrete images
US7379566B2 (en) * 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
JP4985818B2 (ja) * 2010-05-14 2012-07-25 カシオ計算機株式会社 画像処理装置および画像処理のプログラム
US10480939B2 (en) * 2016-01-15 2019-11-19 Fugro Roadware Inc. High speed stereoscopic pavement surface scanning system and method
JP2019125933A (ja) * 2018-01-17 2019-07-25 キヤノン株式会社 像振れ補正装置、撮像装置、像振れ補正装置の制御方法およびプログラム
JP6904651B2 (ja) * 2018-02-20 2021-07-21 Kddi株式会社 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
CN108592992B (zh) * 2018-03-22 2021-01-26 京东方科技集团股份有限公司 马匹骑行的监测方法及装置
CN109030854B (zh) * 2018-06-08 2020-11-10 电子科技大学 一种基于rgb图像的步速测量方法
CN111274914B (zh) * 2020-01-13 2023-04-18 目骉资讯有限公司 一种基于深度学习的马匹速度计算***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074369A (ja) * 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
CN107038713A (zh) * 2017-04-12 2017-08-11 南京航空航天大学 一种融合光流法和神经网络的运动目标捕捉方法
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质
CN109766752A (zh) * 2018-11-28 2019-05-17 西安电子科技大学 一种基于深度学习的目标匹配和定位方法及***、计算机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘勇: "基于光流场分析与深度学习的视频监控***", 《湘南学院学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021143716A1 (zh) * 2020-01-13 2021-07-22 目骉资讯有限公司 一种基于深度学习的马匹速度计算***及方法
CN112364796A (zh) * 2020-11-18 2021-02-12 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及***
CN112364796B (zh) * 2020-11-18 2023-08-01 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及***

Also Published As

Publication number Publication date
AU2021200218B2 (en) 2022-12-01
CN111274914B (zh) 2023-04-18
JP2021114288A (ja) 2021-08-05
EP4105819A1 (en) 2022-12-21
WO2021143716A1 (zh) 2021-07-22
AU2021200218A1 (en) 2021-08-05
JP7168153B2 (ja) 2022-11-09
EP4105819A4 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
CN111274914B (zh) 一种基于深度学习的马匹速度计算***及方法
CN108062562B (zh) 一种物体重识别方法及装置
CN111553274A (zh) 一种基于轨迹分析的高空抛物检测方法及装置
CN109670380A (zh) 动作识别、姿势估计的方法及装置
WO2009112790A1 (en) Image processing method and image processing apparatus
TWI615026B (zh) 基於人體資訊的機器人監控系統及方法
CN114187656A (zh) 一种动作检测方法、装置、设备及存储介质
CN112184767A (zh) 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
Min et al. Human fall detection using normalized shape aspect ratio
CN114527294A (zh) 一种基于单个摄像头的目标速度测量方法
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
Zecha et al. Swimmer detection and pose estimation for continuous stroke-rate determination
US20220273984A1 (en) Method and device for recommending golf-related contents, and non-transitory computer-readable recording medium
CN113893517B (zh) 基于差帧法的跳绳真假判断方法及***
CN110910489A (zh) 一种基于单目视觉的智能球场运动信息采集***与方法
Nelikanti et al. An optimization based deep lstm predictive analysis for decision making in cricket
KR20230022010A (ko) 스포츠 활동분류 학습장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치
CN114639168A (zh) 一种用于跑步姿态识别的方法和***
Krakowian et al. Preliminary Study on the Detection of Subtle Variations in Image Sequences for Identifying False Starts in Speedway Racing
Mokayef et al. Embedded Ball Launcher with Trajectory Path Analysis for Empowering Junior Table Tennis Players
EP3889880B1 (en) Wearable camera noise reduction
JP7525990B2 (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
Novikova et al. Computer Vision in Assessment of Complexity of Exercises of Figure Skating
CN117351565A (zh) 一种基于计算机视觉的儿童精细动作评估方法与***
JP2023023510A (ja) カメラワーク自動生成装置、カメラワーク自動生成プログラム、カメラワーク学習装置、及び、カメラワーク学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant