CN112416124A - 舞蹈姿势反馈方法及装置 - Google Patents

舞蹈姿势反馈方法及装置 Download PDF

Info

Publication number
CN112416124A
CN112416124A CN202011242298.9A CN202011242298A CN112416124A CN 112416124 A CN112416124 A CN 112416124A CN 202011242298 A CN202011242298 A CN 202011242298A CN 112416124 A CN112416124 A CN 112416124A
Authority
CN
China
Prior art keywords
preset
dance
standard
dancer
deviation amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011242298.9A
Other languages
English (en)
Inventor
廖文龙
沈志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bosheng Photoelectric Technology Co ltd
Original Assignee
Shenzhen Bosheng Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bosheng Photoelectric Technology Co ltd filed Critical Shenzhen Bosheng Photoelectric Technology Co ltd
Priority to CN202011242298.9A priority Critical patent/CN112416124A/zh
Publication of CN112416124A publication Critical patent/CN112416124A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及电子教学技术领域，公开了一种舞蹈姿势反馈方法及装置，该方法包括：通过3D摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。对于任何舞蹈的教学内容都能定制，对舞蹈动作进行精确捕捉，对每个舞蹈动作都能进行精确分析和判断，教学效果比较好。

Description

舞蹈姿势反馈方法及装置
技术领域
本发明一般电子教学技术领域，具体涉及一种舞蹈姿势反馈方法及装置。
背景技术
舞蹈是一种在三维空间里通过身体表演来表达情感的艺术，它以人体的动作、姿态造型作为表现形式。在对舞者进行培养的过程中，对于舞蹈动作的精准是十分重要的。传统的训练基本上单凭的肉眼和经验，涉及到具体的技术参数就无法判断，缺乏客观的、科学的指导方法和训练依据，不利于人才的选拔和培养。受疫情的影响，很多教育机构都实施了远程网络的教育，但是舞蹈的教学工作只通过一个平面的视频，老师很难对学生的动作做精确的判断和指导，教学效果也不好。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种舞蹈姿势反馈方法及装置。
第一方面，本发明提供一种舞蹈姿势反馈方法，包括：通过3D摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
在一个实施中，以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量包括：以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
在一个实施中，所述3D摄像头通过散斑结构光、飞行时间测距、激光雷达、或双目视觉方式测量所述预定关节的三维深度信息。
在一个实施中，所述方法还包括：根据所述位置偏差量和所述角度偏差量计算所述舞者肢体动作与所述舞蹈标准姿势的重合率是否符合标准值，包括：比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
在一个实施中，所述方法还包括融合所述动作图像与所述预设舞蹈标准姿势，包括：根据所述转化的三维坐标对所述动作图像进行缩放；将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；显示融合的所述动作图像与所述预设舞蹈标准姿势。
在一个实施中，所述方法还包括构建预设舞蹈标准姿势，包括：在舞蹈标准姿势的示范者作出每个舞蹈动作时，对所述示范者的头部、手掌、足部、锁骨关节点进行检测，获取头部、手掌、足部、锁骨关节点的三维坐标；根据头部、手掌、足部、锁骨关节点的坐标，生成预设舞蹈标准姿势。
第二方面，本发明提供一种舞蹈姿势反馈装置，3D摄像头，用于采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；安装主体，安装主体上自上而下设有三个安装区域，顶部的安装区域用于设置3D摄像头。
在一个实施例中，该装置还包括舞蹈姿势反馈***，所述舞蹈姿势反馈***包括：融合模块，用于融合所述动作图像与所述预设舞蹈标准姿势；处理模块，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量；判断模块，用于比较所述位置偏差量是否舞蹈动作重合率符合标准值。
在一个实施例中，该装置还包括：显示设备，所述显示设备与所述融合模块通信连接，用于显示融合的所述动作图像与所述预设舞蹈标准姿势；声音播放设备，用于当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示；所述安装主体中部的安装区域用于设置显示设备，底部的安装区域用于设置声音播放设备。
在一个实施例中，所述3D摄像头采用Kinect体感设备，所述3D摄像头包括至少一个RGB摄像头。
与现有技术相比，本发明的有益效果是：
本发明提供一种舞蹈姿势反馈方法及装置，该方法包括：通过3D摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。对于任何舞蹈的教学内容都能定制，对舞蹈动作进行精确捕捉，对每个舞蹈动作都能进行精确分析和判断，教学效果比较好。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例涉及的舞蹈姿势反馈方法的一种流程图；
图2示出了本申请实施例涉及的舞蹈姿势反馈方法的另一种流程图；
图3示出了本申请实施例涉及的用于融合多个图像以形成单一图像的示例技术的流程图；
图4示出了本申请实施例涉及的舞蹈姿势反馈装置的一种结构示意图；
图5示出了本申请实施例涉及的舞蹈姿势反馈装置的另一种结构示意图；
图6示出了本申请实施例涉及的舞蹈姿势反馈***的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1和图2示出了本申请提供的舞蹈姿势反馈方法的流程图。
步骤101，通过3D摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；
步骤102，以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
该方法对于任何舞蹈的教学内容都能定制，对舞蹈动作进行精确捕捉，对每个舞蹈动作都能进行精确分析和判断，教学效果比较好。
需要说明的是，所述3D摄像头通过散斑结构光、飞行时间测距、激光雷达、或双目视觉方式测量所述预定关节的三维深度信息
基于散斑结构光光方式从动作图象中获取预定关节的三维深度信息时，3D摄像头由一个红外投影机和红外摄像头组合而成的，投影和接收互为重叠，它能收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。以每秒30帧的速度生成景深图像流，实时3D地再现周围环境。
基于飞行时间测距方式从动作图象中获取预定关节的三维深度信息，飞行时间测距方式是传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
基于激光雷达方式从动作图象中获取预定关节的三维深度信息，激光雷达方式是一种集激光，全球定位***(GPS)和惯性导航***(INS)三种技术于一身的***，用于获得点云数据并生成精确的数字化三维模型。这三种技术的结合，可以在一致绝对测量点位的情况下获取周围的三维实景。
基于计算机双目立体视觉方式从动作图象中获取预定关节的三维深度信息时，具体是将两幅或多幅动作图像通过3D摄像头标定、特征提取与匹配及三维重构等步骤来获取舞者预定关节的三维深度信息。
上述舞者预定关节的偏差量可以包括舞者在舞蹈过程中每个动作中预定关节与预设舞蹈标准姿势中预定关节的位置偏差量，以及每个动作中预定关节与预设舞蹈标准姿势中预定关节的角度偏差量。通过比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标获得。
在本实施例中，步骤102具体可以包括：以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量可以包括：
基于所述动作图像中舞者预定关节的所述转化的三维坐标与预设舞蹈标准姿势中预定关节的所述三维坐标确定所述位置偏差量；基于所述转化的三维坐标计算所述动作图像中舞者预定关节的第一斜率，基于所述三维坐标计算预设舞蹈标准姿势中预定关节的第二斜率，基于所述第一斜率与所述第二斜率的差值确定所述角度偏差量。
位置偏差量具体通过求取动作图像中舞者预定关节与预设舞蹈标准姿势中预定关节同一位置的三维坐标的差值获得；角度偏差量通过求取动作图像中舞者预定关节与预设舞蹈标准姿势中预定关节中同一段的斜率的差值获得。
所述方法还包括：根据所述位置偏差量和所述角度偏差量计算所述舞者肢体动作与所述舞蹈标准姿势的重合率是否符合标准值，包括：比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
第一预设阈值可以是-10cm-10cm，所述位置偏差量小于第一预设阈值具体是：动作图像中头部、手掌、足部、锁骨关节点的坐标与预设舞蹈标准姿势的头部、手臂、腿部、锁骨关节点的坐标在三个坐标轴方向上的偏离值均处于-10cm-10cm之内。
第二预设阈值可以是-10度-10度，所述角度偏差量小于第二预设阈值具体是：在动作图像头部、手臂、腿部、锁骨关节点任意取两个转化的三维坐标，分别计算第一斜率，在预设舞蹈标准姿势中头部、手臂、腿部、锁骨关节点任意取两个三维坐标，分别计算第二斜率。对应部位第一斜率与第二斜率的差值处于-10度-10度内。
所述方法还包括步骤103：融合所述动作图像与所述预设舞蹈标准姿势。步骤103具体可以包括：根据所述转化的三维坐标对所述动作图像进行缩放；将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；显示融合的所述动作图像与所述预设舞蹈标准姿势。
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。所述动作图像与所述预设舞蹈标准姿势经过融合后，形成的图像质量较高，具有较好的视觉显示效果。
图像融合根据动作图像表征层次的不同，图像融合可分为三个层次的融合：像素级融合、特征级融合和决策级融合。因为像素级融合具有局限性，因此在这里选择特征级图像融合。
特征级融合:对动作图像进行特征抽取，将边缘、形状、轮廓、局部特征等信息进行综合处理的过程。特征级图像融合是对图像进行特征抽取后，将边缘、形状、轮廓、局部特征等信息进行综合处理的过程。特征级融合包括：目标状态信息融合和目标特征性融合。
目标状态特征融合是一种基于多尺度和多分辨率的目标统计特征，对图像的原始数据状态的提取被描述，经过严格的配准，最后得到的是一幅包含更多图像信息的图像。目标状态特征融合是对图像的状态信息统计，进行模式匹配。
目标特性融合按照特定的语义对图像特征提取特征的内在描述，或特征属性的重新组合，这些特征向量代表抽象的图像信息，直接对特征进行机器学习理论融合识别，增加了特征的维度，提高了目标识别的精确度。具体通过图像分割、特征提取和特征层信息融合。
图3是示出了用于融合多个图像以形成单一图像的示例的流程图。
在步骤1031，访问多个图像。可以直接从3D摄像头或从存储设备访问图像。
在步骤1032，将图像分组成多个集合。在一个实施例中，这些集合具有相等数目的图像。在另一实施例中，至少两个集合具有不等数目的图像。
在步骤1033，融合每个集合的图像，以形成多个融合图像。在一个实施例中，通过以下操作来融合图像：针对集合中的每个图像计算权重，然后基于这些图像的各自的权重来融合这些图像。可以迭代执行步骤1032和1033，直到在步骤1034获得最终融合图像。
在步骤1035，将最终融合图像存储存储器中。在一个实施例中，将步骤1033产生的融合图像和在步骤1034产生的最终融合图像存储在存储器中。显示时直接从存储器中调取相应融合图像在显示设备播放。
图4至图6示出了本申请提供的舞蹈姿势反馈装置的结构示意图。
该装置包括：
3D摄像头202，用于采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；
安装主体201，所安装主体201上自上而下设有三个安装区域，顶部的安装区域用于设置3D摄像头202。
需要说明的是，所述3D摄像头通过散斑结构光光、飞行时间测距、激光雷达、或双目视觉方式测量预定关节的三维深度信息
因为舞者的位置和角度处于不断变化的状态，因而可以将摄像头设置为可绕其连接点进行360度旋转的。
所述3D摄像头302可以采用Kinect体感设备。
所述3D摄像头202包括至少一个RGB摄像头。根据算法和功能需要也可以适当增加RGB摄像头，RGB摄像头数量不限。一个RGB摄像头由三根不同的线缆给出了三个基本彩色成分。这种类型的摄像头通常是用三个独立的CCD传感器来获取三种彩色信号。RGB摄像头经常被用来做非常精确的彩色图像采集。
该装置还包括舞蹈姿势反馈***200，包括：
处理模块2002，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
融合模块2001，用于融合所述动作图像与所述预设舞蹈标准姿势；
处理模块2002，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量；
判断模块2003，用于比较所述位置偏差量是否舞蹈动作重合率符合标准值。
可选地，所述舞蹈姿势反馈***还包括：预设舞蹈标准姿势构建模块，用于在舞蹈标准姿势的示范者作出每个舞蹈动作时，对所述示范者的头部、手掌、足部、锁骨关节点进行检测，获取头部、手掌、足部、锁骨关节点的三维坐标；根据头部、手掌、足部、锁骨关节点的坐标，生成预设舞蹈标准姿势。
可选地，所述融合模块2001具体包括：根据所述转化的三维坐标对所述动作图像进行缩放；将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；显示融合的所述动作图像与所述预设舞蹈标准姿势。
可选地，所述处理模块2002包括：比例确定单元，用于以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；转化单元，用于基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；比较单元，用于比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
可选地，所述比较单元具体用于，基于所述动作图像中舞者预定关节的所述转化的三维坐标与预设舞蹈标准姿势中预定关节的所述三维坐标确定所述位置偏差量；基于所述转化的三维坐标计算所述动作图像中舞者预定关节的第一斜率，基于所述三维坐标计算预设舞蹈标准姿势中预定关节的第二斜率，基于所述第一斜率与所述第二斜率的差值确定所述角度偏差量。
可选地，所述判断模块2003用于比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
可选地，该装置还包括：显示设备203，所述显示设备与所述融合模块2001通信连接，用于显示融合的所述动作图像与所述预设舞蹈标准姿势；声音播放设备204，当所述重合率符合标准值时，发出合格的语音提示，用于当所述重合率不符合标准值时，发出改进建议的语音提示；所述安装主体201中部的安装区域用于设置显示设备203，底部的安装区域用于设置声音播放设备204。
声音播放设备还可以用于播放舞蹈伴奏，还可以用于舞者与舞蹈姿势反馈***进行语音沟通，实现人机互动。
显示设备203可以包括显示屏幕，例如：LED显示屏。
声音播放设备可以包括一个或者多个扬声器。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种舞蹈姿势反馈方法，其特征在于，包括：
通过3D摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；
以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
2.根据权利要求1所述的舞蹈姿势反馈方法，其特征在于，以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量包括：
以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；
基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；
比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
3.根据权利要求1所述的舞蹈姿势反馈方法，其特征在于，所述3D摄像头通过散斑结构光、飞行时间测距、激光雷达、或双目视觉方式测量所述预定关节的三维深度信息。
4.根据权利要求2所述的舞蹈姿势反馈方法，其特征在于，所述方法还包括：根据所述位置偏差量和所述角度偏差量计算所述舞者肢体动作与所述舞蹈标准姿势的重合率是否符合标准值，包括：
比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；
当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；
当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
5.根据权利要求1所述的舞蹈姿势反馈方法，其特征在于，所述方法还包括融合所述动作图像与所述预设舞蹈标准姿势，包括：
根据所述转化的三维坐标对所述动作图像进行缩放；
将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；
显示融合的所述动作图像与所述预设舞蹈标准姿势。
6.根据权利要求1所述的舞蹈姿势反馈方法，其特征在于，所述方法还包括构建预设舞蹈标准姿势，包括：
在舞蹈标准姿势的示范者作出每个舞蹈动作时，对所述示范者的头部、手掌、足部、锁骨关节点进行检测，获取头部、手掌、足部、锁骨关节点的三维坐标；
根据头部、手掌、足部、锁骨关节点的坐标，生成预设舞蹈标准姿势。
7.一种舞蹈姿势反馈装置，其特征在于，
3D摄像头，用于采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；
安装主体，安装主体上自上而下设有三个安装区域，顶部的安装区域用于设置3D摄像头。
8.根据权利要求7所述的舞蹈姿势反馈装置，其特征在于，还包括舞蹈姿势反馈***，所述舞蹈姿势反馈***包括：
融合模块，用于融合所述动作图像与所述预设舞蹈标准姿势；
处理模块，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量；
判断模块，用于比较所述位置偏差量是否舞蹈动作重合率符合标准值。
9.根据权利要求8所述的舞蹈姿势反馈装置，其特征在于，还包括：
显示设备，所述显示设备与所述融合模块通信连接，用于显示融合的所述动作图像与所述预设舞蹈标准姿势；
声音播放设备，用于当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示；
所述安装主体中部的安装区域用于设置显示设备，底部的安装区域用于设置声音播放设备。
10.根据权利要求7所述的舞蹈姿势反馈装置，其特征在于，所述3D摄像头采用Kinect体感设备，所述3D摄像头包括至少一个RGB摄像头。
CN202011242298.9A 2020-11-09 2020-11-09 舞蹈姿势反馈方法及装置 Withdrawn CN112416124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011242298.9A CN112416124A (zh) 2020-11-09 2020-11-09 舞蹈姿势反馈方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011242298.9A CN112416124A (zh) 2020-11-09 2020-11-09 舞蹈姿势反馈方法及装置

Publications (1)

Publication Number Publication Date
CN112416124A true CN112416124A (zh) 2021-02-26

Family

ID=74780939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011242298.9A Withdrawn CN112416124A (zh) 2020-11-09 2020-11-09 舞蹈姿势反馈方法及装置

Country Status (1)

Country Link
CN (1) CN112416124A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333046A (zh) * 2021-11-16 2022-04-12 清华大学 舞蹈动作评分方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333046A (zh) * 2021-11-16 2022-04-12 清华大学 舞蹈动作评分方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN110544301A (zh) 一种三维人体动作重建***、方法和动作训练***
CN106066701B (zh) 一种ar和vr数据处理设备与方法
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
US20070098250A1 (en) Man-machine interface based on 3-D positions of the human body
CN102171726B (zh) 信息处理装置、信息处理方法、程序以及信息存储介质
US20210158552A1 (en) Systems and methods for enhanced depth determination using projection spots
CN110544302A (zh) 基于多目视觉的人体动作重建***、方法和动作训练***
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和***
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
JP2021060868A (ja) 情報処理装置、情報処理方法、およびプログラム
CN109545003A (zh) 一种显示方法、装置、终端设备及存储介质
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
CN117333644A (zh) 一种虚拟现实的显示画面生成方法、装置、设备和介质
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
JP2008194095A (ja) 走行距離映像生成装置及び走行距離映像生成プログラム
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP7318814B2 (ja) データ生成方法、データ生成プログラムおよび情報処理装置
CN112416124A (zh) 舞蹈姿势反馈方法及装置
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制***及方法
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置
CN112866559B (zh) 图像采集方法、装置、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210226