CN116152708B - 高尔夫项目有效动作抽取的方法及装置、存储介质、设备 - Google Patents

高尔夫项目有效动作抽取的方法及装置、存储介质、设备 Download PDF

Info

Publication number
CN116152708B
CN116152708B CN202310018934.7A CN202310018934A CN116152708B CN 116152708 B CN116152708 B CN 116152708B CN 202310018934 A CN202310018934 A CN 202310018934A CN 116152708 B CN116152708 B CN 116152708B
Authority
CN
China
Prior art keywords
frame
golf
index list
frame index
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310018934.7A
Other languages
English (en)
Other versions
CN116152708A (zh
Inventor
雷东
杨澜
邸建
卜震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Titi Technology Co ltd
Original Assignee
Beijing Titi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Titi Technology Co ltd filed Critical Beijing Titi Technology Co ltd
Priority to CN202310018934.7A priority Critical patent/CN116152708B/zh
Publication of CN116152708A publication Critical patent/CN116152708A/zh
Application granted granted Critical
Publication of CN116152708B publication Critical patent/CN116152708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种高尔夫项目有效动作抽取的方法及装置、存储介质、设备，该方法包括：利用预设的人体姿态估计模型对视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别；遍历结果列表，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；基于先验约束条件，从准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表；根据目标准备帧索引列表和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，获取高尔夫项目有效动作视频。本发明能够自动提取有效动作子视频序列，节省人工提取的繁琐步骤。

Description

高尔夫项目有效动作抽取的方法及装置、存储介质、设备
技术领域
本发明涉及图像视觉技术领域，尤其涉及一种高尔夫项目有效动作抽取的方法及装置、存储介质、设备。
背景技术
近年来，随着图像视频技术和深度学习的发展，图像视觉领域的应用百花齐放。长视频中抽取重复性动作的视频序列，也是近年来的研究热点，现有技术，利用视频剪辑工具，人工剪辑想要获取的视频序列，人工提取的步骤繁琐。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种高尔夫项目有效动作抽取的方法及装置、存储介质、设备。
本发明的一个方面，提供了一种高尔夫项目有效动作抽取方法，所述方法包括：
获取视频帧列表；
遍历所述视频帧列表，利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别，得到结果列表；
遍历所述结果列表中每帧视频图像对应的各个人体关键点之间的位置分布关系，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；
基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表；
根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，根据各套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频。
进一步地，所述获取视频帧列表，包括：获取待分析的视频流，对所述视频流以跳帧方式进行切帧处理，得到视频帧列表。
进一步地，所述利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫动作人体的人体关键点位进行识别，得到结果列表，包括：
利用预设的人体姿态估计模型识别所述视频帧列表的每帧视频图像中进行高尔夫动作人体的左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝和右脚踝在图像坐标系中的点位信息，得到识别结果；
对所述识别结果中点位数据通过数组进行封装，生成结果列表。
进一步地，所述人体姿态估计模型为基于单人的人体关键点位预测模型。
进一步地，所述预设的高尔夫准备帧条件，包括：左肩坐标点位与右肩坐标点位确定的直线与水平线的夹角在预设角度范围内；左胯坐标点位与右胯坐标点位确定的直线与水平线的夹角在预设角度范围内；左脚、右脚在图像坐标系中的位置与左肩、右肩在图像坐标系中的位置同宽；左手腕坐标的X值小于左胯坐标的X值且右手腕坐标的X值大于右胯坐标的X值；左手腕坐标的Y值大于双跨中心点坐标的Y值，且右手腕坐标的Y值大于双跨中心点坐标的Y值；
所述预设的高尔夫结束帧条件，包括：左肩坐标的X值小于右肩坐标的X值；双手手腕在两肩之上，左手腕坐标的Y值小于双肩中心点坐标的Y值且右手腕坐标的Y值小于双肩中心点坐标的Y值。
进一步地，所述先验约束条件，包括第一先验约束条件和/或第二先验约束条件；
第一先验约束条件为：第一时间差值小于第二时间差值，其中，所述第一时间差值为当前准备帧对应视频时间与上杆动作帧对应视频时间时间差值，所述第二时间差值为当前准备帧对应视频时间与下一个准备帧对应视频时间的时间差值;
第二先验约束条件为：一套完整的高尔夫项目动作执行时间在预设时间范围内。
进一步地，所述基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表，包括：
基于先验约束条件，将所述准备帧索引列表中的相邻的两个元素相减，当相减结果大于等于间隔帧数时，则后一元素为当前高尔夫动作的准备帧，根据所述准备帧生成高尔夫项目有效动作对应的目标准备帧索引列表, 当所述相减结果小于间隔帧数时，则所述准备帧索引列表中的最后一帧为高尔夫动作的准备帧；
将所述结束帧索引列表中的当前元素与所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素相减，当相减结果最小且所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素与间隔帧数相加的相加结果小于等于所述结束帧索引列表中的当前元素，则所述当前元素为结束帧，根据所述结束帧生成高尔夫项目有效动作对应的目标结束帧索引列表。
本发明的第二方面，提供了一种高尔夫项目有效动作抽取装置，所述装置包括：
获取模块，用于获取视频帧列表；
识别模块，用于遍历所述视频帧列表，利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别，得到结果列表；
遍历模块，用于遍历所述结果列表中每帧视频图像对应的各个人体关键点之间的位置分布关系，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；
选取模块，用于基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表；
生成模块，用于根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，根据各套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频。
本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上高尔夫项目有效动作抽取方法的步骤。
本发明的又一个方面，还提供了一种电子设备，该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上高尔夫项目有效动作抽取方法的步骤。
本发明实施例提供的一种高尔夫项目有效动作抽取的方法及装置、存储介质、设备，通过人体关键点检测模型，进行高尔夫动作姿态分析，利用先验约束条件，提取准备帧和结束帧动作，获取视频帧索引，从长视频中自动提取出多套完整的高尔夫动作视频序列，过滤掉其他无效视频序列，充分利用图像视频处理技术，自动提取有效动作子视频序列，节省人工提取的繁琐步骤。本发明具有高效率、自动化和高准确率的优势。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种高尔夫项目有效动作抽取方法的流程图；
图2为本发明实施例提供的高尔夫准备帧示意图；
图3为本发明实施例提供的高尔夫结束帧示意图；
图4为本发明实施例提供的另一种高尔夫项目有效动作抽取方法的流程图；
图5为本发明实施例提供的一种高尔夫项目有效动作抽取装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1示意性示出了本发明一个实施例的高尔夫项目有效动作抽取方法的流程图。参照图1，本发明实施例的高尔夫项目有效动作抽取方法具体包括以下步骤：
S11、获取视频帧列表；
进一步地，所述获取视频帧列表，包括：获取待分析的视频流，对所述视频流以跳帧方式进行切帧处理，得到视频帧列表。
本实施例中，为了提升预测效率，对所述视频流以跳帧方式进行切帧处理， S=fps/30（fps>=30），S为帧间隔，fps为当前视频的帧率。
S12、遍历所述视频帧列表，利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别，得到结果列表；
进一步地，所述利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫动作人体的人体关键点位进行识别，得到结果列表，包括：
利用预设的人体姿态估计模型识别所述视频帧列表的每帧视频图像中进行高尔夫动作人体的左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝和右脚踝在图像坐标系中的点位信息，得到识别结果；
对所述识别结果中点位数据通过数组进行封装，生成结果列表。本实施例中，对每帧视频图像识别出的点位数据使用数组封装，生成结果列表，以便写到内存里进行存储。
进一步地，所述人体姿态估计模型为基于单人的人体关键点位预测模型。
本实施例中，所述人体姿态估计模型为基于单人的人体关键点位预测模型，例如mediapipe、movenet或其他单人的姿态估计模型。
S13、遍历所述结果列表中每帧视频图像对应的各个人体关键点之间的位置分布关系，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；
进一步地，所述预设的高尔夫准备帧条件，包括：左肩坐标点位与右肩坐标点位确定的直线与水平线的夹角在预设角度范围内；左胯坐标点位与右胯坐标点位确定的直线与水平线的夹角在预设角度范围内；左脚、右脚在图像坐标系中的位置与左肩、右肩在图像坐标系中的位置同宽；左手腕坐标的X值小于左胯坐标的X值且右手腕坐标的X值大于右胯坐标的X值；左手腕坐标的Y值大于双跨中心点坐标的Y值，且右手腕坐标的Y值大于双跨中心点坐标的Y值；
所述预设的高尔夫结束帧条件，包括：左肩坐标的X值小于右肩坐标的X值；双手手腕在两肩之上，左手腕坐标的Y值小于双肩中心点坐标的Y值且右手腕坐标的Y值小于双肩中心点坐标的Y值。
本实施例中，左肩与右肩的水平夹角在[0,5]范围内;左跨与右跨的水平夹角在[0,5]范围内；双手腕点位位于两跨中间且以下位置；
准备帧索引列表为[s_id1, s_id2, s_id3,s_idn…]，其中idnum为视频帧索引，s表示start；结束帧索引列表为[e_id1, e_id2, e_id3,e_idn…] , 其中idnum为视频帧索引，e表示end。
S14、基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表；
进一步地，所述先验约束条件，包括第一先验约束条件和/或第二先验约束条件；
第一先验约束条件为：第一时间差值小于第二时间差值，其中，所述第一时间差值为当前准备帧对应视频时间与上杆动作帧对应视频时间时间差值，所述第二时间差值为当前准备帧对应视频时间与下一个准备帧对应视频时间的时间差值;
第二先验约束条件为：一套完整的高尔夫项目动作执行时间在预设时间范围内。
进一步地，所述基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表，包括：
基于先验约束条件，将所述准备帧索引列表中的相邻的两个元素相减，当相减结果大于或等于间隔帧数时，则后一元素为当前高尔夫动作的准备帧，根据所述准备帧生成高尔夫项目有效动作对应的目标准备帧索引列表, 当所述相减结果小于间隔帧数时，则所述准备帧索引列表中的最后一帧为高尔夫动作的准备帧；
将所述结束帧索引列表中的当前元素与所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素相减，当相减结果最小且所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素与间隔帧数相加的相加结果小于或等于所述结束帧索引列表中的当前元素，则所述当前元素为结束帧，根据所述结束帧生成高尔夫项目有效动作对应的目标结束帧索引列表。
本实施例中，在打高尔夫项目中，存在晃杆，多次执行准备-上杆-准备-上杆循环动作后再进行击球动作，晃杆动作不能算作高尔夫项目动作，而晃杆动作中也存在满足准备帧条件的帧，需去除晃杆动作中的准备帧索引。
一套完整的高尔夫项目动作包括准备-上杆-半挥杆-全挥杆-下杆-击球-送杆-转体-收杆，一套完整的高尔夫项目动作执行时间大约1-2s,间隔帧数F= 2*fps；
遍历准备帧索引列表[s_id1, s_id2, s_id3,s_idn…]，当s_idn+1-s_idn>=F时，则s_idn为当前高尔夫动作的准备帧，生成满足条件s_idn-s_idn-1>=F的目标准备帧索引列表S_id=[S_id1, S_id2, S_id3,S_idn…], 如果没有满足条件s_idn+1-s_idn>=F，则s_id列表中的最后一帧为准备帧，例如 s_id =[1,2,3,10,15,100,101,110,200],则S_id=[15,200]。
遍历结束帧索引列表[e_id1, e_id2, e_id3,e_idn…]，列表当前元素与S_id中差值最小且满足S_id+2*fps<= e_id,则当前e_id为结束帧，生成目标结束帧列表E_id=[E_id1,E_id2,E_id3,E_idn,…],例如e_id=[75,76,77,261,262,263] ,则E_id=[75,261] 。
S15、根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，根据各套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频。
本实施例中，所述目标准备帧索引列表S_id和目标结束帧索引列表E_id，则长视频中完整的多套高尔夫项目视频序列帧为[S_id[0], E_id[0]], [S_id[1], E_id[1]],[S_id[2], E_id[2]]…，例如S_id=[15,200]，E_id=[75,261]，则高尔夫项目1为[15,75],高尔夫项目2为[200,261]。根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频，从而去除其他无效视频序列。
图2为本发明实施例提供的高尔夫准备帧示意图。
图3为本发明实施例提供的高尔夫结束帧示意图。
本发明实施例提供的一种高尔夫项目有效动作抽取的方法及装置、存储介质、设备，通过人体关键点检测模型，进行高尔夫动作姿态分析，利用先验约束条件，提取准备帧和结束帧动作，获取视频帧索引，从长视频中自动提取出多套完整的高尔夫动作视频序列，过滤掉其他无效视频序列，进行提升业务应用优势，充分利用图像视频处理技术，自动提取子视频序列，节省人工提取的繁琐步骤。本发明具有高效率、自动化和高准确率的优势。
图4为本发明实施例提供的另一种高尔夫项目有效动作抽取方法的流程图；如图4所示，从长视频中自动提取出多套完整的高尔夫动作视频序列，过滤掉其他无效视频序列。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图5示意性示出了本发明一个实施例的高尔夫项目有效动作抽取装置的结构示意图。参照图5，本发明实施例的高尔夫项目有效动作抽取装置具体包括获取模块501、识别模块502、遍历模块503、选取模块504和生成模块505，其中：
获取模块501，用于获取视频帧列表；
识别模块502，用于遍历所述视频帧列表，利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别，得到结果列表；
遍历模块503，用于遍历所述结果列表中每帧视频图像对应的各个人体关键点之间的位置分布关系，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；
选取模块504，用于基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表；
生成模块505，用于根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，根据各套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频。
进一步地，所述获取模块501，用于获取待分析的视频流，对所述视频流以跳帧方式进行切帧处理，得到视频帧列表。
进一步地，所述识别模块502，用于利用预设的人体姿态估计模型识别所述视频帧列表的每帧视频图像中进行高尔夫动作人体的左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝和右脚踝在图像坐标系中的点位信息，得到识别结果；
对所述识别结果中点位数据通过数组进行封装，生成结果列表。
进一步地，所述人体姿态估计模型为基于单人的人体关键点位预测模型。
进一步地，所述预设的高尔夫准备帧条件，包括：左肩坐标点位与右肩坐标点位确定的直线与水平线的夹角在预设角度范围内；左胯坐标点位与右胯坐标点位确定的直线与水平线的夹角在预设角度范围内；左脚、右脚在图像坐标系中的位置与左肩、右肩在图像坐标系中的位置同宽；左手腕坐标的X值小于左胯坐标的X值且右手腕坐标的X值大于右胯坐标的X值；左手腕坐标的Y值大于双跨中心点坐标的Y值，且右手腕坐标的Y值大于双跨中心点坐标的Y值；
所述预设的高尔夫结束帧条件，包括：左肩坐标的X值小于右肩坐标的X值；双手手腕在两肩之上，左手腕坐标的Y值小于双肩中心点坐标的Y值且右手腕坐标的Y值小于双肩中心点坐标的Y值。
进一步地，所述先验约束条件，包括第一先验约束条件和/或第二先验约束条件；
第一先验约束条件为：第一时间差值小于第二时间差值，其中，所述第一时间差值为当前准备帧对应视频时间与上杆动作帧对应视频时间时间差值，所述第二时间差值为当前准备帧对应视频时间与下一个准备帧对应视频时间的时间差值;
第二先验约束条件为：一套完整的高尔夫项目动作执行时间在预设时间范围内。
进一步地，所述选取模块504，用于基于先验约束条件，将所述准备帧索引列表中的相邻的两个元素相减，当相减结果大于等于间隔帧数时，则后一元素为当前高尔夫动作的准备帧，根据所述准备帧生成高尔夫项目有效动作对应的目标准备帧索引列表, 当所述相减结果小于间隔帧数时，则所述准备帧索引列表中的最后一帧为高尔夫动作的准备帧；将所述结束帧索引列表中的当前元素与所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素相减，当相减结果最小且所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素与间隔帧数相加，当所述相加结果小于等于所述结束帧索引列表中的当前元素，则所述当前元素为结束帧，根据所述结束帧生成高尔夫项目有效动作对应的目标结束帧索引列表。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
本实施例中，所述高尔夫项目有效动作抽取装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
此外，本发明实施例还提供了一种电子设备，该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。例如图1所示的步骤S11~S15。或者，所述处理器执行所述计算机程序时实现上述高尔夫项目有效动作抽取装置实施例中各模块/单元的功能，例如图5所示的获取模块501、识别模块502、遍历模块503、选取模块504和生成模块505。
本发明实施例提供的一种高尔夫项目有效动作抽取的方法及装置、存储介质、设备，通过人体关键点检测模型，进行高尔夫动作姿态分析，利用先验约束条件，提取准备帧和结束帧动作，获取视频帧索引，从长视频中自动提取出多套完整的高尔夫动作视频序列，过滤掉其他无效视频序列，进行提升业务应用优势，充分利用图像视频处理技术，自动提取子视频序列，节省人工提取的繁琐步骤。本发明具有高效率、自动化和高准确率的优势。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种高尔夫项目有效动作抽取的方法，其特征在于，所述方法包括：
获取视频帧列表；
遍历所述视频帧列表，利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别，得到结果列表；
遍历所述结果列表中每帧视频图像对应的各个人体关键点之间的位置分布关系，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；
基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表；
根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，根据各套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频；
所述基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表，包括：
基于先验约束条件，从所述准备帧索引列表中去除高尔夫项目的晃杆动作中的满足预设的高尔夫准备帧条件的视频帧的帧索引；
将所述准备帧索引列表中的相邻的两个元素相减，当相减结果大于等于间隔帧数时，则后一元素为当前高尔夫动作的准备帧，根据所述准备帧生成高尔夫项目有效动作对应的目标准备帧索引列表,当所述相减结果小于间隔帧数时，则所述准备帧索引列表中的最后一帧为高尔夫动作的准备帧；
将所述结束帧索引列表中的当前元素与所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素相减，当相减结果最小且所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素与间隔帧数相加的相加结果小于等于所述结束帧索引列表中的当前元素，则所述当前元素为结束帧，根据所述结束帧生成高尔夫项目有效动作对应的目标结束帧索引列表。
2.根据权利要求1所述的方法，其特征在于，所述获取视频帧列表，包括：
获取待分析的视频流，对所述视频流以跳帧方式进行切帧处理，得到视频帧列表。
3.根据权利要求1所述的方法，其特征在于，所述利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫动作人体的人体关键点位进行识别，得到结果列表，包括：
利用预设的人体姿态估计模型识别所述视频帧列表的每帧视频图像中进行高尔夫动作人体的左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝和右脚踝在图像坐标系中的点位信息，得到识别结果；
对所述识别结果中点位数据通过数组进行封装，生成结果列表。
4.根据权利要求1所述的方法，其特征在于，所述人体姿态估计模型为基于单人的人体关键点位预测模型。
5.根据权利要求1所述的方法，其特征在于，
所述预设的高尔夫准备帧条件，包括：左肩坐标点位与右肩坐标点位确定的直线与水平线的夹角在预设角度范围内；左胯坐标点位与右胯坐标点位确定的直线与水平线的夹角在预设角度范围内；左脚、右脚在图像坐标系中的位置与左肩、右肩在图像坐标系中的位置同宽；左手腕坐标的X值小于左胯坐标的X值且右手腕坐标的X值大于右胯坐标的X值；左手腕坐标的Y值大于双跨中心点坐标的Y值，且右手腕坐标的Y值大于双跨中心点坐标的Y值；
所述预设的高尔夫结束帧条件，包括：左肩坐标的X值小于右肩坐标的X值；双手手腕在两肩之上，左手腕坐标的Y值小于双肩中心点坐标的Y值且右手腕坐标的Y值小于双肩中心点坐标的Y值。
6.根据权利要求1所述的方法，其特征在于，所述先验约束条件，包括第一先验约束条件和/或第二先验约束条件；
第一先验约束条件为：第一时间差值小于第二时间差值，其中，所述第一时间差值为当前准备帧对应视频时间与上杆动作帧对应视频时间时间差值，所述第二时间差值为当前准备帧对应视频时间与下一个准备帧对应视频时间的时间差值；
第二先验约束条件为：一套完整的高尔夫项目动作执行时间在预设时间范围内。
7.一种高尔夫项目有效动作抽取的装置，其特征在于，所述装置包括：
获取模块，用于获取视频帧列表；
识别模块，用于遍历所述视频帧列表，利用预设的人体姿态估计模型对所述视频帧列表的每帧视频图像中进行高尔夫项目人体的人体关键点位进行识别，得到结果列表；
遍历模块，用于遍历所述结果列表中每帧视频图像对应的各个人体关键点之间的位置分布关系，生成满足预设的高尔夫准备帧条件的准备帧索引列表和满足预设的高尔夫结束帧条件的结束帧索引列表；
选取模块，用于基于先验约束条件，从所述准备帧索引列表和结束帧索引列表中选取高尔夫项目有效动作对应的目标准备帧索引列表和目标结束帧索引列表，具体包括：基于先验约束条件，从所述准备帧索引列表中去除高尔夫项目的晃杆动作中的满足预设的高尔夫准备帧条件的视频帧的帧索引；将所述准备帧索引列表中的相邻的两个元素相减，当相减结果大于等于间隔帧数时，则后一元素为当前高尔夫动作的准备帧，根据所述准备帧生成高尔夫项目有效动作对应的目标准备帧索引列表,当所述相减结果小于间隔帧数时，则所述准备帧索引列表中的最后一帧为高尔夫动作的准备帧；将所述结束帧索引列表中的当前元素与所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素相减，当相减结果最小且所述高尔夫项目有效动作对应的目标准备帧索引列表中的元素与间隔帧数相加的相加结果小于等于所述结束帧索引列表中的当前元素，则所述当前元素为结束帧，根据所述结束帧生成高尔夫项目有效动作对应的目标结束帧索引列表；
生成模块，用于根据所述目标准备帧索引列表中的元素和目标结束帧索引列表中的元素对应组合生成多套高尔夫项目视频序列帧索引组合，根据各套高尔夫项目视频序列帧索引组合，获取对应的高尔夫项目有效动作视频。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。
CN202310018934.7A 2023-01-06 2023-01-06 高尔夫项目有效动作抽取的方法及装置、存储介质、设备 Active CN116152708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310018934.7A CN116152708B (zh) 2023-01-06 2023-01-06 高尔夫项目有效动作抽取的方法及装置、存储介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310018934.7A CN116152708B (zh) 2023-01-06 2023-01-06 高尔夫项目有效动作抽取的方法及装置、存储介质、设备

Publications (2)

Publication Number Publication Date
CN116152708A CN116152708A (zh) 2023-05-23
CN116152708B true CN116152708B (zh) 2023-07-07

Family

ID=86340179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310018934.7A Active CN116152708B (zh) 2023-01-06 2023-01-06 高尔夫项目有效动作抽取的方法及装置、存储介质、设备

Country Status (1)

Country Link
CN (1) CN116152708B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473530A (zh) * 2013-08-30 2013-12-25 天津理工大学 基于多视图和多模态特征的自适应动作识别方法
CN103688275A (zh) * 2011-06-27 2014-03-26 陈信恒 分析体育运动的视频的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564596B (zh) * 2018-03-01 2022-01-25 南京邮电大学 一种高尔夫挥杆视频的智能比对分析***及方法
CN112422863B (zh) * 2019-08-22 2022-04-12 华为技术有限公司 一种视频拍摄方法、电子设备和存储介质
CN114220119B (zh) * 2021-11-10 2022-08-12 深圳前海鹏影数字软件运营有限公司 人体姿态检测方法、终端设备及计算机可读存储介质
CN115170998A (zh) * 2022-05-12 2022-10-11 无锡范特智能科技有限公司 人体行为动作识别方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103688275A (zh) * 2011-06-27 2014-03-26 陈信恒 分析体育运动的视频的方法
CN103473530A (zh) * 2013-08-30 2013-12-25 天津理工大学 基于多视图和多模态特征的自适应动作识别方法

Also Published As

Publication number Publication date
CN116152708A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110751224B (zh) 视频分类模型的训练方法、视频分类方法、装置及设备
CN111190939A (zh) 一种用户画像构建方法及装置
CN112866799A (zh) 一种视频抽帧处理方法、装置、设备及介质
CN111161314B (zh) 目标对象的位置区域确定方法、装置、电子设备及存储介质
CN110781960B (zh) 视频分类模型的训练方法、分类方法、装置及设备
CN109614933B (zh) 一种基于确定性拟合的运动分割方法
CN113486752B (zh) 基于心电信号的情感识别方法及***
CN112818955B (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN112929695A (zh) 视频去重方法、装置、电子设备和存储介质
CN111488779B (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
CN116152708B (zh) 高尔夫项目有效动作抽取的方法及装置、存储介质、设备
CN110991298A (zh) 图像的处理方法和装置、存储介质及电子装置
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN113362832A (zh) 一种用于音视频人物的命名方法及相关装置
CN116631017A (zh) 自适应静脉模板注册方法和装置
CN110413750A (zh) 根据用户问句召回标准问句的方法和装置
CN113269658B (zh) 核心数据的生产时长的预估方法、装置、设备及存储介质
CN115174823A (zh) 一种卡点特效视频生成方法、装置及存储介质
CN113051430B (zh) 模型训练方法、装置、电子设备、介质及产品
CN113407031B (zh) Vr交互方法、***、移动终端及计算机可读存储介质
CN110781342B (zh) 一种基于用户行为序列和数据融合的推荐***召回方法及***
CN114372169A (zh) 一种同源视频检索的方法、装置以及存储介质
CN111274924A (zh) 一种掌静脉检测模型建模方法、掌静脉检测方法及装置
CN108153863B (zh) 一种视频信息的表示方法及装置
CN111680499A (zh) 基于自然语言处理的物品应用分析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant