CN113257055A - 一种智能舞蹈步伐学习装置及方法 - Google Patents

Abstract

本发明涉及舞蹈画面处理技术领域，目的是提供一种智能舞蹈步伐学习装置及方法，其中装置包括主机、显示器、舞蹈特效展示模块、音乐播放器、视频采集模块，所述主机通过通信模块与网端互联，所述显示器上设置有输入模块，所述主机的输出端分别与显示器、舞蹈特效展示模块、音乐播放器连接，所述视频采集模块和显示器的输入模块分别与主机的输入端连接，所述舞蹈特效展示模块包括有多方位的光效模块，所述光效模块包括有多种类型的照明灯，所述照明灯设置在舞蹈训练区的四周，每台步伐学习装置包括有舞蹈训练区，且所述舞蹈训练区与主机的距离与舞蹈训练区的大小成正比。

Description

一种智能舞蹈步伐学习装置及方法

技术领域

本发明涉及舞蹈画面处理技术领域，具体涉及一种智能舞蹈步伐学习装置及方法。

背景技术

随着当今科技、文化的发展，舞蹈已经不仅是一种观赏性艺术表演活动，而是走进千家万户，不同群体均对其青睐有加。但是由于舞蹈的学习要求较高，教学过程多是采用直接教学，缺乏对训练者舞蹈能够进行直接帮助的辅助设备，现有的设备例如申请号为“CN201510649611.3”所述一种智能体育舞蹈脚步学习装置采用定位发射头来分析舞步过程，协助学习者做出纠正，但是发射头的轨迹仅可以形成一条轨迹线，无法很好将整个舞步展示出来，在动作纠正上存在不足，而且缺乏指示设备，不能很好帮助初学者进行学习。

又如CN201711392299.X一种智能舞蹈步伐学习装置及方法，该发明公开了一种智能舞蹈步伐学习装置及方法，包括：舞蹈毯以及与所述舞蹈毯相连接的处理器，所述舞蹈毯上设置有多点舞蹈步伐接触点；所述处理器上连接有显示装置以及动作捕捉装置，所述动作捕捉装置捕捉到学习者的动作后，将学习者的动作传输到处理器中进行处理，合成学习虚拟人物，并且将学习者的动作映射到学习虚拟人物上；所述处理器中设置有舞蹈自学***，所述舞蹈自学***设置有教学分解动作，并且所述教学分解动作通过教学虚拟人物进行虚拟显示。通过将舞蹈动作进行分解，并且将分解动作映射到教学虚拟人物上，将学习者的动作映射到学习虚拟人物上，将两者进行对比后，帮助学习者进行学习，提高学习效率，降低了学习成本，但该发明仅仅提供学习舞蹈的指导，无法在学习者完成舞蹈动作后进行相应，无法增强舞蹈学习的氛围。

舞蹈中，灯光所起到的效果是不言而喻的，高度匹配的灯光能够帮助初学者更加沉浸在舞蹈的魅力当中，如果灯光在舞蹈学习中能够起到指导的作用，那么对初学者来说，更加的人性化，智能化。

发明内容

本发明的目的在于克服现有技术的不足，提供一种智能舞蹈步伐学习装置及方法，能够预存用户所想学习的舞蹈视频，根据视频进行相应的灯光指导，当用户频率跟上后，氛围灯光进行舞蹈效果的增强，帮助学习者更加的享受学习舞蹈的过程。

通过以下技术方案来实现的：一种智能舞蹈步伐学习方法，包括下列步骤：

预先设定表演的舞蹈名称，通过互联网搜索出符合所述舞蹈名称的舞蹈视频，下载所述舞蹈视频至本地文件并对其进行编号；

从本地文件中提取出所述舞蹈视频，并开始播放所述舞蹈视频；

将舞蹈视频按照时长平均分为N段视频，播放第i-1段视频的同时预先加载第i段视频，i＝1，2，3…N；

对每段视频进行预处理得到分解后的舞蹈动作，将视频画面按照类型进行区域划分，划分后的区域进行标记并按照时间轴进行排列；

自舞蹈视频播放开始，以时间轴开始展示舞蹈特效；

舞蹈特效跟随舞蹈视频启动和停止。

优选的，设定舞蹈视频的总时长为K，单位为秒，根据时长均分的计算公式为

N＝K/L，

L＝{30，K≥300；15，180≤K＜300；5，K＜180}，

式中，N、K、L均为正整数。

优选的，每段视频的预处理包括有将视频画面进行消除，并提出视频中的舞蹈动作，按照舞蹈类型，将视频画面划分区域，计算每个区域中肢体出现的时间并以时间轴进行统计。

另一方面，一种智能舞蹈步伐学习装置，包括主机、显示器、舞蹈特效展示模块、音乐播放器、视频采集模块，

所述主机通过通信模块与网端互联，所述显示器上设置有输入模块，所述主机的输出端分别与显示器、舞蹈特效展示模块、音乐播放器连接，所述视频采集模块和显示器的输入模块分别与主机的输入端连接，

所述舞蹈特效展示模块包括有多方位的光效模块，所述光效模块包括有多种类型的照明灯，所述照明灯设置在舞蹈训练区的四周，每台步伐学习装置包括有舞蹈训练区，且所述舞蹈训练区与主机的距离与舞蹈训练区的大小成正比。

优选的，所述视频采集模块用于获取舞蹈训练区内用户的动作，当用户的肢体动作频率超过预设的舞蹈视频时，加速调整以时间轴为标准的光效模块，根据显示器的输入模块中用户输入的字符，所述主机通过联网筛选出字符匹配度最高的舞蹈视频，通过用户的选择确定预设的舞蹈视频，主机通过对预设的视频进行处理，得到视频中肢体动作与光效模块所匹配的照明效果。

优选的，所述步骤3中，所述舞蹈训练区的形状可为多边形结构，根据预设的舞蹈视频，将视频画面进行区域划分，按照时间轴得到画面中肢体出现的方向，所述光效模块的响应与视频画面区域划分相关联。

优选的，主机内包含有判断模块和光效增强模块，当用户的肢体动作频率超过预设的舞蹈视频时，所述判断模块判断频率超过预设的标准值时，所述判断模块驱动所述光效增强模块，所述光效增强模块为多个增强氛围灯，氛围灯为设置在所述照明灯的内侧，当所述判断模块判断频率低于预设的标准值时，所述氛围灯关闭。

优选的，所述主机的工作原理包含下列步骤：

步骤1：主机通过网端匹配出与用户舞蹈名称高相似度的舞蹈视频，将多个舞蹈视频按照相似度高低进行排列，用户根据需求将存入一个或多个舞蹈视频；

步骤2：从本地文件中提取出所述舞蹈视频，并开始播放所述舞蹈视频，将舞蹈视频按照时长平均分为N段视频，播放第i-1段视频的同时预先加载第i段视频，i＝1，2，3…N；

步骤3：对每段视频进行预处理得到分解后的舞蹈动作，将视频画面按照类型进行区域划分，划分后的区域进行标记并按照时间轴进行排列，确定用户位于舞蹈训练区内，显示器自舞蹈视频播放开始，通过舞蹈特效展示模块展示舞蹈特效。

本发明的有益效果是：

(1)练习舞蹈时，能够匹配最佳的灯光效果，熟练舞蹈后，能够得到增强后的舞台氛围。

附图说明

图1为本发明的结构框图；

图2为本发明的一个实施例的场景简图；

图3为本发明的一个实施例的主机工作原理图；

图4为本发明的一个实施例的氛围灯工作原理图；

图5为本发明的一个实施例的图像中人物肢体提取图。

具体实施方式

下面结合本发明的附图1～5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施。

在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1：

一种智能舞蹈步伐学习方法，包括下列步骤：

预先设定表演的舞蹈名称，通过互联网搜索出符合所述舞蹈名称的舞蹈视频，下载所述舞蹈视频至本地文件并对其进行编号；

从本地文件中提取出所述舞蹈视频，并开始播放所述舞蹈视频；

将舞蹈视频按照时长平均分为N段视频，播放第i-1段视频的同时预先加载第i段视频，i＝1，2，3…N；

对每段视频进行预处理得到分解后的舞蹈动作，将视频画面按照类型进行区域划分，划分后的区域进行标记并按照时间轴进行排列；

自舞蹈视频播放开始，以时间轴开始展示舞蹈特效；

舞蹈特效跟随舞蹈视频启动和停止。。

值得说明的是，设定舞蹈视频的总时长为K，单位为秒，根据时长均分的计算公式为

N＝K/L，

L＝{30，K≥300；15，180≤K＜300；5，K＜180}，

式中，N、K、L均为正整数。

值得说明的是，每段视频的预处理包括有将视频画面进行消除，并提出视频中的舞蹈动作，按照舞蹈类型，将视频画面划分区域，计算每个区域中肢体出现的时间并以时间轴进行统计。

值得说明的是，所述步骤S2中，当舞蹈视频开始播放时，舞蹈特效展示装置开始工作，舞蹈特效展示装置通过获取用户的学习步伐变化，控制舞蹈展示装置上的氛围灯变化，所述氛围灯的变化频率与用户肢体的工作频率相关联，

其中，舞蹈特效装置通过对用户进行录像，并将录像生成的RGB图像进行处理，通过深度学习算法对用户的肢体姿态进行处理，具体，通过测算阈值时间内用户肢体姿态上的2D坐标出现的频率得到用户肢体的工作频率，从RGB图像估计每个关节的2D姿势(x，y)坐标，进一步，从RGB图像估计3D姿势(x，y，z)坐标。

人体肢体\骨架通过通过RGB图像进行姿态估计(Pose Estimation)获得，或者通过深度摄像机直接获得(例如Kinect)，(Pose Estimation)是指检测图像和视频中的人物形象的计算机视觉技术，可以确定某人的某个身体部位出现在图像中的位置，也就是在图像和视频中对人体关节的定位问题，也可以理解为在所有关节姿势的空间中搜索特定姿势。简言之，姿态估计的任务就是重建人的关节和肢干，其难点主要在于降低模型分析算法的复杂程度，并能够适应各种多变的情况、环境(光照、遮挡等等)，输入：单帧图像

输出：一个高维的姿态向量表示关节点的位置，而不是某个类别的类标，因此这一类方法需要学习的是一个从高维观测向量到高维姿态向量的映射，单人姿态估计，首先识别出行人，然后再行人区域位置内找出需要的关键点。常见的数据集有MPII、LSP、FLIC、LIP，每种数据集都有不同的精确度指标。其中MPII是当前单人姿态估计中最常见的benchmark，使用的是PCKh指标(可以认为预测的关键点与GT标注的关键点经过head sizenormalize后的距离)，目前有的算法已经可以在上面达到93.9％的准确率，行为识别可以借助姿态估计的相关研究成果来实现，比如HDM05这类姿态库就提供了每一帧视频中人的骨架信息，可以基于骨架信息判断运动类型，上述图像处理为现有技术，这里不赘述。

值得说明的是，所述智能终端部件进行舞蹈动作视频记录，并把捕捉的舞蹈动作视频信息通过网络通讯部件发送至远程计算部件，所述远程计算部件将采集的舞蹈动作视频通过肢体动作辨识算法部件进行肢体辨识，生成肢体轨迹和运动参数后通过人机交互部件进行呈现；或，所述智能终端部件进行舞蹈动作视频记录，并把捕捉的舞蹈动作视频信息发送至肢体动作辨识算法部件，通过肢体动作辨识算法部件进行肢体辨识，生成肢体轨迹和运动参数并通过网络通讯部件发送至远程计算部件，所述远程计算部件将采集的肢体轨迹和运动参数通过人机交互部件进行呈现；

肢体动作辨识算法部件通过深度学习算法将舞蹈动作视频内的舞者肢体进行辨识，所述辨识至少包括对上肢、下肢、手指、脚部、头部、躯干以及所包含的关节的辨识，生成肢体和关节的直角坐标或极坐标参数以及舞蹈过程中的肢体和关节的运动轨迹，即肢体轨迹和运动参数；

舞蹈动作评测部件获取肢体动作辨识算法部件生成的肢体轨迹和运动参数中的某一个动作片段并与舞蹈标准膜板进行数字化匹配，当整个肢体轨迹和运动参数中的不同动作片段与舞蹈标准膜板逐一匹配后，给出当前肢体轨迹和运动参数中的动作片段和舞蹈标准膜板之间的动作差异，并发送至人机交互部件；

舞蹈标准膜板包含了舞蹈动作中的若干标准舞蹈动作参数；

所述人机交互部件设定当前所适用的舞蹈标准膜板数据库，显示当前肢体轨迹和运动参数中的动作片段和舞蹈标准膜板之间的动作差异，并将动作差异向舞者指明。

优选地，所述智能终端部件采用智能手机、平板电脑、笔记本电脑、台式电脑中的任意一种。优选地，所述网络通讯部件采用如下任意一种或任意多种网络通讯模式：3G、4G或5G移动网络、WIFI无线网络、有线网络。

每一个标准舞蹈动作参数包括如下任意一项信息：

各关节轴按照时间基准的运动速度、位置、加速度和角加速度的数据流信息；

各关节轴按照时间基准的运动速度、位置、加速度和角加速度的数据流信息，以及与数据流信息相对应的影像、图片及音乐信息。

值得说明的是，每段舞蹈视频的处理过程包括但不限于，将每帧舞蹈动作进行分帧数处理，拆解舞蹈动作，并通过屏幕进行延迟播放，进一步本发明为了便于舞蹈初学者学习，可以对舞蹈动作幅度较大的地方进行强调突出显示，例如，若用户点击肚皮舞教学视频，该舞蹈视频匹配到的舞蹈类型是腹中动作复杂，得到的视频画面会在中间进行左、中、右三个部分，在上部划分1个区域，在下部也划分1个区域，若该肚皮舞视频共计3分钟，则按照时间轴，上部区域统计舞蹈者上半身的动作如手部、头部出现的时间，下部区域统计舞蹈者的下半身动作如脚部出现时间，中间区域统计腰部、臀部、胸部和大腿部动作出现的时间，将上述动作出现的时间，按照时间轴，依次分区域的排列，统计上述出现的时间，并将处理的结果与实时采集到的舞蹈者的舞蹈动作进行匹配。

实施例2：

一种智能舞蹈步伐学习装置，包括主机、显示器、舞蹈特效展示模块、音乐播放器、视频采集模块，

所述主机通过通信模块与网端互联，所述显示器上设置有输入模块，所述主机的输出端分别与显示器、舞蹈特效展示模块、音乐播放器连接，所述视频采集模块和显示器的输入模块分别与主机的输入端连接，所述舞蹈特效展示模块包括有多方位的光效模块，所述光效模块包括有多种类型的照明灯，所述照明灯设置在舞蹈训练区的四周，每台步伐学习装置包括有舞蹈训练区，且所述舞蹈训练区与主机的距离与舞蹈训练区的大小成正比。

值得说明的是，所述视频采集模块用于获取舞蹈训练区内用户的动作，当用户的肢体动作频率超过预设的舞蹈视频时，加速调整以时间轴为标准的光效模块，根据显示器的输入模块中用户输入的字符，所述主机通过联网筛选出字符匹配度最高的舞蹈视频，通过用户的选择确定预设的舞蹈视频，主机通过对预设的视频进行处理，得到视频中肢体动作与光效模块所匹配的照明效果。

值得说明的是，所述舞蹈训练区的形状为多边形结构，根据预设的舞蹈视频，将视频画面进行区域划分，按照时间轴得到画面中肢体出现的方向，所述光效模块的响应与视频画面区域划分相关联。

值得说明的是，主机内包含有判断模块和光效增强模块，当用户的肢体动作频率超过预设的舞蹈视频时，所述判断模块判断频率超过预设的标准值时，所述判断模块驱动所述光效增强模块，所述光效增强模块为多个增强氛围灯，氛围灯为设置在所述照明灯的内侧，当所述判断模块判断频率低于预设的标准值时，所述氛围灯关闭。

值得说明的是，舞蹈动作匹配算法就是将一连串的舞者舞蹈动作进行分段，并将分段动作通过舞蹈动作训练算法训练出的数学模型与舞蹈标准膜板数据库接口检索的标准舞蹈动作进行匹配，匹配方法包括但不限于关节角度参数匹配、运动末端参数匹配、关节运动参数匹配、影像匹配等；舞蹈动作评估算法就是将给出舞者某一片段的舞蹈动作和舞蹈标准膜板数据库中的标准舞蹈动作的匹配结果进行加权打分，通过分值来指出舞者舞蹈动作的达标程度，并指出舞者舞蹈动作中各肢体关节与标准动作的差异。

值得说明的是，当舞蹈视频为多人舞蹈时，多个用户同时进行舞蹈的学***行的卷积层分支。第一个分支用来预测18个置信图，每个图代表人体骨架中的一个关节。第二个分支预测一个集合，该集合中包含38个关节仿射场(Part Affinity Fields，PAFs)，描述各关节之间的连接程度，OpenPose用一连串的步骤来优化每个分支的预测值。使用关节置信图，可以在每个关节对之间形成二分图(如上图所示)。使用PAF值，二分图里较弱的连接被删除。通过上述步骤，可以检出图中所有人的人体姿态骨架，并将其分配给正确的人。

或者采用DeepCut算法，生成一个由D个关节候选项组成的候选集合。请参照图5，为单帧图像的人物划分，该集合代表了图像中所有人的所有关节的可能位置。在上述关节候选集中选取一个子集。为每个被选取的人体关节添加一个标签。标签是C个关节类中的一个。每个关节类代表一种关节，如“胳膊”“腿”“躯干”等。将被标记的关节划分给每个对应的人，考虑二值随机变量的三元组(x,y,z)，其中的二值变量的域如下，

考虑候选集D中的两个候选关节d和d’，以及类别集C中的两个类c和c’，关节候选项是通过Faster RCNN或稠密CNN获得的，如果x(d,c)＝1，代表候选关节d属于类别c，同样，x(d,d’)＝1代表候选关节d和d’属于同一人，定义了z(d,d’,c,c’)＝x(d,c)*y(d,d’)。如果上式值为1，则代表候选关节d属于类别c，候选关节d’属于类别c’，且候选关节d和d’属于同一人，上述可以表示成关于(x,y,z)的线性方程组。这样一来，整数线性规划(ILP)的模型就建立好了，多人姿态估计就可以化为解这组线性方程的问题。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种智能舞蹈步伐学习方法，其特征在于，通过播放有效音乐，进行舞蹈步伐学习，其中播放有效音乐包括下列步骤：

S1：预先设定表演的舞蹈名称，通过互联网搜索出符合所述舞蹈名称的舞蹈视频，下载所述舞蹈视频至本地文件并对其进行编号；

S2：从本地文件中提取出所述舞蹈视频，并开始播放所述舞蹈视频；

S3：将舞蹈视频按照时长平均分为N段视频，播放第i-1段视频的同时预先加载第i段视频，i＝1，2，3…N，其中，设定舞蹈视频的总时长为K，单位为秒，根据时长均分的计算公式为

N＝[K/L]，

L＝{30，300≤K＜420；

15，180≤K＜300；

5，K＜180}，

式中，“[]”为取整运算符号，其中，当K≥420时，***进行超时预警，并询问用户是否继续选择，若继续选择，则将该视频进行均分，直至均分后的每段视频时长小于420，根据播放的时间先后顺序，依次将均分后的视频发送至S3；

S4：对每段视频进行预处理得到分解后的舞蹈动作，将视频画面按照类型进行区域划分，划分后的区域进行标记并按照时间轴进行排列，自舞蹈视频播放开始，以时间轴开始展示舞蹈特效，舞蹈特效跟随舞蹈视频启动和停止，其中，舞蹈工作分解的工作原理为计算机端预存有肢体动作辨识算法，肢体动作辨识算法将舞蹈动作视频内的舞者肢体进行辨识，所述辨识至少包括对上肢、下肢、手指、脚部、头部、躯干以及所包含的关节的辨识，生成肢体和关节的直角坐标或极坐标参数以及舞蹈过程中的肢体和关节的运动轨迹，即肢体轨迹和运动参数。

2.根据权利要求1所述的一种智能舞蹈步伐学习方法，其特征在于，所述步骤S2中，当舞蹈视频开始播放时，舞蹈特效展示装置开始工作，舞蹈特效展示装置通过获取用户的学习步伐变化，控制舞蹈展示装置上的氛围灯变化，所述氛围灯的变化频率与用户肢体的工作频率相关联，

其中，舞蹈特效装置通过对用户进行录像，并将录像生成的RGB图像进行处理，通过深度学习算法对用户的肢体姿态进行处理，具体，通过测算阈值时间内用户肢体姿态上的2D坐标出现的频率得到用户肢体的工作频率。

3.根据权利要求2所述的一种智能舞蹈步伐学习方法，其特征在于，每段视频的预处理包括有将视频画面进行消除，并提出视频中的舞蹈动作，按照舞蹈类型，将视频画面划分区域，计算每个区域中肢体出现的时间并以时间轴进行统计。

4.一种智能舞蹈步伐学习装置，其特征在于，包括主机、显示器、舞蹈特效展示模块、音乐播放器、视频采集模块，

所述主机通过通信模块与网端互联，所述显示器上设置有输入模块，所述主机的输出端分别与显示器、舞蹈特效展示模块、音乐播放器连接，所述视频采集模块和显示器的输入模块分别与主机的输入端连接，

所述舞蹈特效展示模块包括有多方位的光效模块，所述光效模块包括有多种类型的照明灯，所述照明灯设置在舞蹈训练区的四周，每台步伐学习装置包括有舞蹈训练区，且所述舞蹈训练区与主机的距离与舞蹈训练区的大小成正比。

5.根据权利要求4所述的一种智能舞蹈步伐学习装置，其特征在于，所述视频采集模块用于获取舞蹈训练区内用户的动作，当用户的肢体动作频率超过预设的舞蹈视频时，加速调整以时间轴为标准的光效模块，根据显示器的输入模块中用户输入的字符，所述主机通过联网筛选出字符匹配度最高的舞蹈视频，通过用户的选择确定预设的舞蹈视频，主机通过对预设的视频进行处理，得到视频中肢体动作与光效模块所匹配的照明效果。

6.根据权利要求5所述的一种智能舞蹈步伐学习装置，其特征在于，所述舞蹈训练区的形状可为多边形结构，根据预设的舞蹈视频，将视频画面进行区域划分，按照时间轴得到画面中肢体出现的方向，所述光效模块的响应与视频画面区域划分相关联。

7.根据权利要求6所述的一种智能舞蹈步伐学习装置，其特征在于，主机内包含有判断模块和光效增强模块，当用户的肢体动作频率超过预设的舞蹈视频时，所述判断模块判断频率超过预设的标准值时，所述判断模块驱动所述光效增强模块，所述光效增强模块为多个增强氛围灯，氛围灯为设置在所述照明灯的内侧，当所述判断模块判断频率低于预设的标准值时，所述氛围灯关闭。

8.根据权利要求6所述的一种智能舞蹈步伐学习装置，其特征在于，所述主机的工作原理包含下列步骤：

步骤1：主机通过网端匹配出与用户舞蹈名称高相似度的舞蹈视频，将多个舞蹈视频按照相似度高低进行排列，用户根据需求将存入一个或多个舞蹈视频；

步骤2：从本地文件中提取出所述舞蹈视频，并开始播放所述舞蹈视频，将舞蹈视频按照时长平均分为N段视频，播放第i-1段视频的同时预先加载第i段视频，i＝1，2，3…N；

步骤3：对每段视频进行预处理得到分解后的舞蹈动作，将视频画面按照类型进行区域划分，划分后的区域进行标记并按照时间轴进行排列，确定用户位于舞蹈训练区内，显示器自舞蹈视频播放开始，通过舞蹈特效展示模块展示舞蹈特效。

Images