CN108009504B - 一种运动球体的识别方法、装置及存储介质 - Google Patents

一种运动球体的识别方法、装置及存储介质 Download PDF

Info

Publication number
CN108009504B
CN108009504B CN201711260441.5A CN201711260441A CN108009504B CN 108009504 B CN108009504 B CN 108009504B CN 201711260441 A CN201711260441 A CN 201711260441A CN 108009504 B CN108009504 B CN 108009504B
Authority
CN
China
Prior art keywords
sphere
association
track
moving
sample library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711260441.5A
Other languages
English (en)
Other versions
CN108009504A (zh
Inventor
陈南款
和锐
刘定
刘丰宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen hongjindi sports intelligence Co.,Ltd.
Original Assignee
Shenzhen Yingshi Sports Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yingshi Sports Technology Co ltd filed Critical Shenzhen Yingshi Sports Technology Co ltd
Priority to CN201711260441.5A priority Critical patent/CN108009504B/zh
Publication of CN108009504A publication Critical patent/CN108009504A/zh
Application granted granted Critical
Publication of CN108009504B publication Critical patent/CN108009504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种运动球体的识别方法、装置及存储介质，尤其是智能球场中球体运动轨迹的跟踪识别方法；本方法采用如下步骤完成：开始→候选球体团块→连续轨迹预关联→SVM轨迹分类器判别？是！→球体检测器再确认→是！确认球体→结束；SVM轨迹分类器判别、球体检测器再确认？否！→非球体→结束；本方法综合考虑球体运动的匀速、快速、线性三种特点，使用多帧的轨迹信息提取到最佳的特征组合，建立轨迹样本库训练SVM分类器，同时使用大量球体样本训练了AdaBoost检测器，本方法不需要设定固定的阈值，能够有效去除稳定噪声的干扰，极大的提高了识别的准确率。

Description

一种运动球体的识别方法、装置及存储介质
技术领域：
本发明涉及球体运动轨迹的跟踪识别方法，尤其是智能球场中球体运动轨迹的跟踪识别方法。
背景技术：
运动球体目标的识别是智能球场中非常重要的一个部分，它是球体目标跟踪的基础，只有准确的识别到运动的球体目标，才能进行后续的轨迹跟踪和球体轨迹分析，因而具有很重要的作用。目前现有的方法有二种：1、利用单帧球体的纹理颜色信息和背景差来识别运动球体，这种方法由于存在噪声和遮挡，仅依靠单帧识别目标存在不稳定性，容易造成目标的误识别。2、利用连续多帧进行预关联得到预关联链表，然后计算预关联链表的最小二乘法线性误差，由于快速目标的线性二乘法误差比稳定噪声的大，容易把稳定噪声误判为目标，在设置固定的阈值时需要凭借丰冨的经验。
发明内容：
本发明的目的在于提供一种抗干扰能力強、识别准确率高、不需要设定固定阈值的一种运动球体的识别方法、装置及存储介质。
本方法采用如下步骤完成：开始→候选球体团块→连续轨迹预关联→SVM轨迹分类器判别？是！→球体检测器再确认→是！确认球体→结束；SVM轨迹分类器判别、球体检测器再确认？否！→非球体→结束；建立球体预关联链表、噪声预关联链表→正样本二维特征提取、负样本二维特征提取→SVM轨迹分类器训练→输出至SVM轨迹分类器；取待判决预关联链表→预关联链表的二维特征提取、输入SVM轨迹分类器→球体预关联链表判决→判决得到是否为运动球体；整理球体子图正样本库、球体尺寸归一化→整理非球体子图负样本库(即分别整理正样本库和负样本库，并对正样本的球体子图进行尺寸归一化)→球体AdaBoost检测器训练→输出至球体AdaBoost检测器；将预关联链表的最后节点子图→子图尺寸扩展得到W×H待检测子图、与球体AdaBoost检测器→球体检测器对待检测子图进行检测→判决得到是否为球体目标。
采用归一化后的线性最小二乘误差和归一化后的速度方差两个特征描述训练基于轨迹的SVM分类器。
采用轨迹信息和训练的SVM轨迹分类器对轨迹信息进行第一步判决，然后利用基于haar特征的AdaBoost检测器进行再确认，最终综合得到正确的判决结利果。
本方法综合考虑球体运动的匀速、快速、线性三种特点，使用多帧的轨迹信息提取到最佳的特征组合，建立轨迹样本库训练SVM分类器，使用大量球体样本训练了AdaBoost检测器，不需要设定固定的阈值，能够有效去除稳定噪声的干扰，极大的提高了识别的准确率。
附图说明：
图1是本发明轨迹SVM分类器训练图；
图2是本发明基于轨迹SVM分类器的运动球体轨迹判决图；
图3是本发明球体检测器训练流程图；
图4是本发明基于球体检测器的球体判决流程图；
图5是本发明运动球体识别的流程图。
具体实施方式：
运动球体的识别主要有两种有用的信息，第一：球体的颜色形状纹理等特征，第二：球体的运动轨迹信息。有效的融合这两种信息能够提高运动球体识别的准确性。本文建立在运动检测和团块提取获得运动球体的候选团块的基础上，首先对连续帧之间的候选球体团块进行轨迹预关联，然后根据计算预关联链表的几项关键特征，利用这几项关键特征进行分类器训练，判断该预关联链表是否满足球体运动的模型；最后如果该预关联链表满足球体的运动模型，则使用训练好的AdaBoost检测器确认运动球体。
本方法采用如下步骤完成：开始→候选球体团块→连续轨迹预关联→SVM轨迹分类器判别？是！→球体检测器再确认→是！确认球体→结束；SVM轨迹分类器判别、球体检测器再确认？否！→非球体→结束；建立球体预关联链表、噪声预关联链表→正样本二维特征提取、负样本二维特征提取→SVM轨迹分类器训练→输出至SVM轨迹分类器；取待判决预关联链表→预关联链表的二维特征提取、输入SVM轨迹分类器→球体预关联链表判决→判决得到是否为运动球体；整理球体子图正样本库、球体尺寸归一化→整理非球体子图负样本库(即：分别整理正样本库和负样本库，并对正样本的球体子图进行尺寸归一化)→球体AdaBoost检测器训练→输出至球体AdaBoost检测器；将预关联链表的最后节点子图→子图尺寸扩展得到W×H待检测子图、与球体AdaBoost检测器→球体检测器对待检测子图进行检测→判决得到是否为球体目标。采用归一化后的线性最小二乘误差和归一化后的速度方差两个特征描述训练基于轨迹的SVM分类器。采用轨迹信息和训练的SVM轨迹分类器对轨迹信息进行第一步判决，然后利用基于haar特征的AdaBoost检测器进行再确认，最终综合得到正确的判决结果。
轨迹的预关联
设连续M帧的候选球体团块为Blobs：
Figure BDA0001493279510000031
其中，T是连续预关联的帧数，N是在帧时候选球体团块的数量，
Figure BDA00014932795100000321
为第t帧时第n个候选球体团块，
Figure BDA0001493279510000032
的质心为
Figure BDA0001493279510000033
假设t-1时刻的预关联链表序列为
Figure BDA0001493279510000034
其中，
Figure BDA0001493279510000035
为t-1时刻预关联链表序列中的第m个预关联链表，它包含预关联目标的中心位置、高和宽，
Figure BDA0001493279510000036
为预关联链表
Figure BDA0001493279510000037
在t-1时刻的中心位置，如果第t-1帧的预关联链表
Figure BDA0001493279510000038
和t帧之间的候选球体团块
Figure BDA0001493279510000039
之间的质心距离小于某个阈值，则
Figure BDA00014932795100000310
和
Figure BDA00014932795100000311
为一个有效预关联组合。下面将对t-1预关联链表序列
Figure BDA00014932795100000312
与t时刻的候选团块序列
Figure BDA00014932795100000313
之间进行关联，并进行预关联链表序列的更新：
①情形一：如果对于某个预关联链表
Figure BDA00014932795100000314
候选团块序列
Figure BDA00014932795100000315
中不存在与之对应的有效预关联组合，则将该预关联链表删除。
②情形二：如果某个预关联链表
Figure BDA00014932795100000320
候选团块序列
Figure BDA00014932795100000316
中存在一个或者多个与之对应的有效预关联组合，则选取与
Figure BDA00014932795100000317
距离最近的
Figure BDA00014932795100000318
对
Figure BDA00014932795100000319
进行更新。
③情形三：如果某个候选团块
Figure BDA0001493279510000041
预关联链表序列中没有与之对应的预关联链表
Figure BDA0001493279510000042
则用
Figure BDA0001493279510000043
新建一个预关联链表。
如果预关联链表序列中存在长度大于等于M的预关联链表，则对该预关联链表进行后续的基于轨迹SVM分类器的判决。
轨迹SVM分类器判决
通常情况下，网球运动具有短时趋近匀速直线运动的特点，因此可以以此来区分球场中的噪声信息，有效提高网球的准确识别率。下面将针对轨迹信息计算得到的特征描述进行训练SVM分类器。
SVM分类器特征选择
根据球体的运动特点，本方法使用了如下两种特征描述进行SVM分类器的训练。
①特征一：归一化后的线性最小二乘误差(UniLinearError),设该N个轨迹点X方向的最小二乘误差为(ErrorLinearX)，Y方向的最小二乘误差为(ErrorLinearY)，该N帧的平均单帧运动距离(MeanDist)：
Figure BDA0001493279510000044
Figure BDA0001493279510000045
②特征二：归一化后的速度方差(UniSpeedVari)，首先计算得到该M帧的速度方差，然后用该M帧的运动距离进行相除实现归一化。
Figure BDA0001493279510000046
基于运动轨迹的运动球体识别步骤
实现步骤如下：
步骤一：建立M帧的预关联轨迹样本库，包括运动球体的预关联轨迹正样本库，噪声的预关联轨迹负样本库。
步骤二：提取正样本库和负样本库中的上述两种描述特征，利用该二维的特征训练轨迹的SVM分类器，详见示意图1。
步骤三：对所有的预关联链表计算二维特征描述，使用步骤二训练好的轨迹SVM分类器判决该预关联链表是否为运动球体，详见示意图2。
球体检测器的再确认
由于球场中某些噪声也会满足匀速线性运动的特点，如运动员挥拍以及手臂或者肢体的运动，为了更准确的识别运动球体，在运动符合的基础上，本方法增加了基于Haar特征的检测器，进一步识别是否为运动球体。
基于Haar特征的球体检测器训练和再确认步骤：
步骤一：整理建立球体的正样本，并对正样本进行尺寸归一化建立正样本库；在运动场视场中随机截取负样本建立负样本库。
步骤二：利用正样本库和负样本库进行球体检测器的训练，详见示意图3。
步骤三：对SVM轨迹分类器判别为球体的预关联链表的末尾节点扩展成待检测子图，在扩展得到的待检测子图中进行球体的检测，如果存在球体，则确认该预关联链表对应的是运动球体，否则为噪声，完成运动球体识别，详见示意图4。
本发明还提出一种运动球体的识别的装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤。

Claims (5)

1.一种运动球体的识别方法，其特征在于：本方法采用如下步骤完成：
步骤1、对连续帧之间的候选球体团块进行轨迹预关联，得到预关联链表；
步骤2、利用SVM轨迹分类器判断该预关联链表是否满足球体运动的模型；
步骤3、如果该预关联链表满足球体的运动模型，则使用训练好的球体检测器再确认是否为运动球体；
其中，步骤2具体包括：
步骤2.1：建立M帧的预关联轨迹样本库，包括运动球体的预关联轨迹正样本库，噪声的预关联轨迹负样本库；
步骤2.2：提取正样本库和负样本库中的两种二维描述特征，利用所述二维描述特征训练轨迹的SVM分类器；
步骤2.3：对所有的预关联链表计算二维特征描述，使用步骤2.2训练好的轨迹SVM分类器判决该预关联链表是否为运动球体；
步骤3具体包括：
步骤3.1：整理建立球体的正样本，并对正样本进行尺寸归一化建立正样本库；在运动场视场中随机截取负样本建立负样本库；
步骤3.2：利用正样本库和负样本库进行球体AdaBoost检测器的训练；
步骤3.3：对SVM轨迹分类器判别为球体的预关联链表的末尾节点扩展成待检测子图，在扩展得到的W×H待检测子图中进行球体的检测，如果存在球体，则确认该预关联链表对应的是运动球体，否则为噪声，完成运动球体识别，其中，W和H分别为所述待检测子图的宽度和高度。
2.如权利要求1所述的一种运动球体的识别方法，其特征在于：采用归一化后的线性最小二乘误差和归一化后的速度方差两个特征描述训练基于轨迹的SVM分类器。
3.如权利要求1所述的一种运动球体的识别方法，其特征在于：采用轨迹信息和训练的SVM轨迹分类器对轨迹信息进行第一步判决，然后利用基于haar特征的AdaBoost检测器进行再确认，最终综合得到正确的判决结果。
4.一种运动球体的识别的装置，其特征在于，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求1-3任意一项所述的方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-3中任一项所述的方法的步骤。
CN201711260441.5A 2017-12-04 2017-12-04 一种运动球体的识别方法、装置及存储介质 Active CN108009504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711260441.5A CN108009504B (zh) 2017-12-04 2017-12-04 一种运动球体的识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711260441.5A CN108009504B (zh) 2017-12-04 2017-12-04 一种运动球体的识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108009504A CN108009504A (zh) 2018-05-08
CN108009504B true CN108009504B (zh) 2020-06-26

Family

ID=62056550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711260441.5A Active CN108009504B (zh) 2017-12-04 2017-12-04 一种运动球体的识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN108009504B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165872B (zh) * 2018-09-19 2021-03-02 深圳市赢世体育科技有限公司 无人化智能球场管理***、方法及球场

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法
CN106447694A (zh) * 2016-07-28 2017-02-22 上海体育科学研究所 视频羽毛球运动检测与跟踪方法
CN106991685A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种在全景模式下对球赛视频中足球进行跟踪的算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法
CN106991685A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种在全景模式下对球赛视频中足球进行跟踪的算法
CN106447694A (zh) * 2016-07-28 2017-02-22 上海体育科学研究所 视频羽毛球运动检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于全向视觉的足球机器人任意足球识别与跟踪问题研究;董鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315;第I140-456页 *

Also Published As

Publication number Publication date
CN108009504A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
Zhao et al. Temporal action detection with structured segment networks
CN109948582B (zh) 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN109882019B (zh) 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN102147869B (zh) 基于前景分析和模式识别的行人检测方法
US10679067B2 (en) Method for detecting violent incident in video based on hypergraph transition
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN103605986A (zh) 一种基于局部特征的人体动作识别方法
EP2930690B1 (en) Apparatus and method for analyzing a trajectory
CN102831442A (zh) 异常行为检测设备和方法及生成该检测设备的设备和方法
CN103871077B (zh) 一种道路车辆监控视频中的关键帧提取方法
CN109241938B (zh) 道路拥堵检测方法及终端
CN110334602B (zh) 一种基于卷积神经网络的人流量统计方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN110991397B (zh) 一种行进方向确定方法及相关设备
Elmezain et al. Hand trajectory-based gesture spotting and recognition using HMM
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN104992453A (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN106295564A (zh) 一种邻域高斯结构和视频特征融合的动作识别方法
CN103955947A (zh) 一种基于连续最小能量与表观模型的多目标关联跟踪方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN112016605A (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210716

Address after: 518000 whole building of Jindi tennis garden sports club at the intersection of Xiangmihu road and Qiaoxiang Road, Futian District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen hongjindi sports intelligence Co.,Ltd.

Address before: 518000 Jindi Tennis Center, intersection of Xiangmihu road and Qiaoxiang Road, Xiangmihu street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN YINGSHI SPORTS TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right