CN104808798A - 一种基于Kinect的多屏互动民族舞娱乐*** - Google Patents
一种基于Kinect的多屏互动民族舞娱乐*** Download PDFInfo
- Publication number
- CN104808798A CN104808798A CN201510244720.7A CN201510244720A CN104808798A CN 104808798 A CN104808798 A CN 104808798A CN 201510244720 A CN201510244720 A CN 201510244720A CN 104808798 A CN104808798 A CN 104808798A
- Authority
- CN
- China
- Prior art keywords
- projector
- kinect
- player
- curtain
- input end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Toys (AREA)
Abstract
一种基于Kinect的多屏互动民族舞娱乐***，本发明为基于Kinect设备的体感民族舞舞蹈游戏***的技术领域。它是为了解决现有舞蹈游戏缺乏沉浸性与缺少关于民族舞游戏的问题。它的第一投影仪、第二投影仪、第三投影仪和第四投影仪都设置在由第一幕布、第二幕布、第三幕布和第四幕布按顺序围成的一个方型内的中心处，Kinect设备设置在第一幕布前面的下方，第一音箱和第二音箱分别设置在第三幕布两端处，Kinect设备的数据输出端与主机的数据输入端连接。本发明的体感Kinect设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。
Description
技术领域
本发明为基于Kinect设备的体感民族舞舞蹈游戏***的技术领域。
背景技术
近年来人们的精神娱乐生活不断丰富，舞蹈活动得到迅猛发展。不论是电脑舞蹈游戏还是跳舞毯游戏，这些舞蹈游戏都能够丰富人们的精神生活，为人们带来节奏感、韵律感与美感的锻炼与陶冶。现有的各个平台关于舞蹈的游戏包括跳舞毯、电脑游戏、***等。这些设备只能够接受手部动作或者脚步动作，与舞蹈的自然形态差距较大，在进行游戏时无法实现全身心地参与。同时，这些游戏中所含内容以现代西方的舞蹈为主，我国文化底蕴深厚的民族舞极少出现。一方面是由于其利益追求，另一方面也是由于我国的民族舞需要相应的服装与氛围，手机、平板、跳舞毯游戏难于做到民族舞氛围的沉浸。本***在体感设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。
发明内容
本发明的目的是提供一种基于Kinect的多屏互动民族舞娱乐***，是为了解决现有舞蹈游戏缺乏沉浸性与缺少关于民族舞游戏的问题。
所述的目的是通过以下方案实现的：所述的一种基于Kinect的多屏互动民族舞娱乐***，它包括主机1、Kinect设备2、第一幕布3、第二幕布4、第三幕布5、第四幕布6、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10、音响设备11、第一音箱12、第二音箱13；
所述第一投影仪7、第二投影仪8、第三投影仪9和第四投影仪10都设置在由第一幕布3、第二幕布4、第三幕布5和第四幕布6按顺序围成的一个方型内的中心处，并使第一投影仪7的投射影象投射在第一幕布3上，第二投影仪8的投射影象投射在第二幕布4上，第三投影仪9的投射影象投射在第三幕布5上，第四投影仪10的投射影象投射在第四幕布6上，Kinect设备2设置在第一幕布3前面的下方，第一音箱12和第二音箱13分别设置在第三幕布5的两侧端处，第一音箱12的驱动输入端和第二音箱13的驱动输入端都与音响设备11的驱动输出端连接，Kinect设备2的数据输出端与主机1的数据输入端连接，第一投影仪7的数字视频信号输入端、第二投影仪8的数字视频信号输入端、第三投影仪9的数字视频信号输入端和第四投影仪10的数字视频信号输入端都分别与主机1的多路数字视频输出端连接，音响设备11的多路数字音频输入端都分别与主机1的多路数字音品输出端连接；启动主机1、Kinect设备2、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10和音响设备11，初始化Kinect设备2，Kinect设备2获取图像数据，包括颜色流ColorImageSteam、深度流DepthImageSteam、骨架流SkeletonStream，生成OpenCV中的Iplmage图像；主机1通过Kinect设备2判断参与游戏者数目，选择深度值最小即距离设备可见视野最近的玩家进行骨骼跟踪；将玩家骨骼节点与模型骨骼节点进行绑定并将坐标映射到OpenCV绘图坐标***；获取玩家面部关键点121个，分离出玩家面部图像，并通过关键点的匹配将玩家面部图像赋予模型；主机1通过Kinect设备2进行玩家动作判定，动作匹配后可进行下一关游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点之间的相对位置来表示；玩家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对位置进行匹配，判断是否满足特定时间内动作在空间位置上的一定阈值内的匹配。
本发明的体感Kinect设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。
附图说明
图1是本发明的整体结构示意图。
具体实施方式
具体实施方式一：结合图1所示，它包括主机1、Kinect设备2、第一幕布3、第二幕布4、第三幕布5、第四幕布6、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10、音响设备11、第一音箱12、第二音箱13；
所述第一投影仪7、第二投影仪8、第三投影仪9和第四投影仪10都设置在由第一幕布3、第二幕布4、第三幕布5和第四幕布6按顺序围成的一个方型内的中心处，并使第一投影仪7的投射影象投射在第一幕布3上，第二投影仪8的投射影象投射在第二幕布4上，第三投影仪9的投射影象投射在第三幕布5上，第四投影仪10的投射影象投射在第四幕布6上，Kinect设备2设置在第一幕布3前面的下方，第一音箱12和第二音箱13分别设置在第三幕布5的两侧端处，第一音箱12的驱动输入端和第二音箱13的驱动输入端都与音响设备11的驱动输出端连接，Kinect设备2的数据输出端与主机1的数据输入端连接，第一投影仪7的数字视频信号输入端、第二投影仪8的数字视频信号输入端、第三投影仪9的数字视频信号输入端和第四投影仪10的数字视频信号输入端都分别与主机1的多路数字视频输出端连接，音响设备11的多路数字音频输入端都分别与主机1的多路数字音品输出端连接；启动主机1、Kinect设备2、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10和音响设备11，初始化Kinect设备2，Kinect设备2获取图像数据，包括颜色流ColorImageSteam、深度流DepthImageSteam、骨架流SkeletonStream，生成OpenCV中的Iplmage图像；主机1通过Kinect设备2判断参与游戏者数目，选择深度值最小即距离设备可见视野最近的玩家进行骨骼跟踪；将玩家骨骼节点与模型骨骼节点进行绑定并将坐标映射到OpenCV绘图坐标***；获取玩家面部关键点121个，分离出玩家面部图像，并通过关键点的匹配将玩家面部图像赋予模型；主机1通过Kinect设备2进行玩家动作判定，动作匹配后可进行下一关游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点之间的相对位置来表示；玩家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对位置进行匹配，判断是否满足特定时间内动作在空间位置上的一定阈值内的匹配。
工作原理：自由舞原理即获取用户骨骼点信息并赋予模型。教学舞工作原理包括两部分，一部分是进行标准舞蹈动作的数据量化存储，一部分是对于用户动作数据与标准动作数据的比较。通过调研发现民族舞动作多利用肘关节、膝关节与腕关节的变化做出各种形态的舞姿。因此，首先对标准舞蹈动作中的肘关节、膝关节与腕关节的动作数据量化存储。在动作判定中首先针对肘关节膝关节与腕关节的动作进行判定，而后进行其他部位的动作判定。判定方法如下：首先建立空间三维坐标系xyz坐标系，游戏者骨骼节点的空间位置由空间三维坐标系中的点（x，y，z）表示，通过实验测量出动作角度误差范围为值α时最合理，α为π/36。以肘关节形态的判断为例，利用手腕节点、肘节点与肩节点三点的位置可在空间中构建出三条直线。以右手臂为例，肩中央位置为（x0,y0,z0）右肩位置为（x1,y1,z1）, 右肘位置为（x2,y2,z2）, 右腕位置为（x3,y3,z3）。右肩与右手腕两点构成的直线为L13，右肩与右肘构成的直线为L12，右肘与右手腕构成的直线为L23，肩中央与右肩构成的直线为L01.胳膊舞蹈动作的形态与肩部及肘部的转动情况相关,因此将肩部、肘部、手腕处关节之间的相对位置作为判断标准，及不考虑用户的胳膊长度而是以其关节旋转角度作为判定标准。首先，判断L13与L01间的夹角是否满足在区间[K013-α，K013+α]，K013为动作库中储存的标准舞蹈动作中右手腕相对于右肩的角度。L13与L01间的夹角可利用空间向量夹角公式得出，角度计算公式为：
Arccos ；
同理，直线L12与直线L23之间的夹角计算公式为：
Arccos；
判断该角度是否满足动作库中存贮的标准角度范围[K123-α，K123+α] 。
当所有关节点的角度均与动作库中的角度匹配上时，则该动作匹配成功。可进行下一个舞蹈动作的学习。
Claims (1)
1.一种基于Kinect的多屏互动民族舞娱乐***，其特征在于它包括主机（1）、Kinect设备（2）、第一幕布（3）、第二幕布（4）、第三幕布（5）、第四幕布（6）、第一投影仪（7）、第二投影仪（8）、第三投影仪（9）、第四投影仪（10）、音响设备（11）、第一音箱（12）、第二音箱（13）；
所述第一投影仪（7）、第二投影仪（8）、第三投影仪（9）和第四投影仪（10）都设置在由第一幕布（3）、第二幕布（4）、第三幕布（5）和第四幕布（6）按顺序围成的一个方型内的中心处，并使第一投影仪（7）的投射影象投射在第一幕布（3）上，第二投影仪（8）的投射影象投射在第二幕布（4）上，第三投影仪（9）的投射影象投射在第三幕布（5）上，第四投影仪（10）的投射影象投射在第四幕布（6）上，Kinect设备（2）设置在第一幕布（3）前面的下方，第一音箱（12）和第二音箱（13）分别设置在第三幕布（5）的两侧端处，第一音箱（12）的驱动输入端和第二音箱（13）的驱动输入端都与音响设备（11）的驱动输出端连接，Kinect设备（2）的数据输出端与主机（1）的数据输入端连接，第一投影仪（7）的数字视频信号输入端、第二投影仪（8）的数字视频信号输入端、第三投影仪（9）的数字视频信号输入端和第四投影仪（10）的数字视频信号输入端都分别与主机（1）的多路数字视频输出端连接，音响设备（11）的多路数字音频输入端都分别与主机（1）的多路数字音品输出端连接；启动主机（1）、Kinect设备（2）、第一投影仪（7）、第二投影仪（8）、第三投影仪（9）、第四投影仪（10）和音响设备（11），初始化Kinect设备（2），Kinect设备（2）获取图像数据，包括颜色流ColorImageSteam、深度流DepthImageSteam、骨架流SkeletonStream，生成OpenCV中的Iplmage图像；主机（1）通过Kinect设备（2）判断参与游戏者数目，选择深度值最小即距离设备可见视野最近的玩家进行骨骼跟踪；将玩家骨骼节点与模型骨骼节点进行绑定并将坐标映射到OpenCV绘图坐标***；获取玩家面部关键点121个，分离出玩家面部图像，并通过关键点的匹配将玩家面部图像赋予模型；主机（1）通过Kinect设备（2）进行玩家动作判定，动作匹配后可进行下一关游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点之间的相对位置来表示；玩家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对位置进行匹配，判断是否满足特定时间内动作在空间位置上的一定阈值内的匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510244720.7A CN104808798B (zh) | 2015-05-14 | 2015-05-14 | 一种基于Kinect的多屏互动民族舞娱乐*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510244720.7A CN104808798B (zh) | 2015-05-14 | 2015-05-14 | 一种基于Kinect的多屏互动民族舞娱乐*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104808798A true CN104808798A (zh) | 2015-07-29 |
| CN104808798B CN104808798B (zh) | 2017-09-19 |
Family
ID=53693702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510244720.7A Expired - Fee Related CN104808798B (zh) | 2015-05-14 | 2015-05-14 | 一种基于Kinect的多屏互动民族舞娱乐*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104808798B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107115675A (zh) * | 2017-05-26 | 2017-09-01 | 合肥充盈信息科技有限公司 | 一种基于Kinect的体育健身游戏***及实现方法 |
| CN107293162A (zh) * | 2017-07-31 | 2017-10-24 | 广东欧珀移动通信有限公司 | 运动教学辅助方法及装置、终端设备 |
| CN108428424A (zh) * | 2018-06-12 | 2018-08-21 | 孟天奇 | 针对自闭症儿童康复训练用的影音设备 |
| CN109011557A (zh) * | 2018-10-10 | 2018-12-18 | 重庆第二师范学院 | 一种游戏处理方法及装置 |
| WO2019100753A1 (zh) * | 2017-11-23 | 2019-05-31 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
| CN111047925A (zh) * | 2019-12-06 | 2020-04-21 | 山东大学 | 基于房间式互动投影的动作学习***及方法 |
| CN115002428A (zh) * | 2022-04-28 | 2022-09-02 | 北京连屏科技有限公司 | 一种沉浸式空间*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100026624A1 (en) * | 2002-12-13 | 2010-02-04 | Matthew Bell | Interactive directed light/sound system |
| CN202649924U (zh) * | 2012-07-24 | 2013-01-02 | 哈尔滨金融学院 | 一种街舞影像互动装置 |
| CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
| CN104200379A (zh) * | 2014-09-03 | 2014-12-10 | 北京智海金帆科技有限公司 | 基于Kinect的新媒体互动展示*** |
| CN104623910A (zh) * | 2015-01-15 | 2015-05-20 | 西安电子科技大学 | 舞蹈辅助特效伴侣***及实现方法 |
-
2015
- 2015-05-14 CN CN201510244720.7A patent/CN104808798B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100026624A1 (en) * | 2002-12-13 | 2010-02-04 | Matthew Bell | Interactive directed light/sound system |
| CN202649924U (zh) * | 2012-07-24 | 2013-01-02 | 哈尔滨金融学院 | 一种街舞影像互动装置 |
| CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
| CN104200379A (zh) * | 2014-09-03 | 2014-12-10 | 北京智海金帆科技有限公司 | 基于Kinect的新媒体互动展示*** |
| CN104623910A (zh) * | 2015-01-15 | 2015-05-20 | 西安电子科技大学 | 舞蹈辅助特效伴侣***及实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘彬: "多模态三维运动恢复及相似性评估方法", 《中国硕士学位论文全文数据库信息科技辑》 * |
| 孙传明: "民俗舞蹈类非物质文化遗产数字化技术研究", 《中国博士学位论文全文数据库哲学与人文科学辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107115675A (zh) * | 2017-05-26 | 2017-09-01 | 合肥充盈信息科技有限公司 | 一种基于Kinect的体育健身游戏***及实现方法 |
| CN107115675B (zh) * | 2017-05-26 | 2021-04-20 | 合肥酷卓数码科技有限公司 | 一种基于Kinect的体育健身游戏***及实现方法 |
| CN107293162A (zh) * | 2017-07-31 | 2017-10-24 | 广东欧珀移动通信有限公司 | 运动教学辅助方法及装置、终端设备 |
| WO2019100753A1 (zh) * | 2017-11-23 | 2019-05-31 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
| CN108428424A (zh) * | 2018-06-12 | 2018-08-21 | 孟天奇 | 针对自闭症儿童康复训练用的影音设备 |
| CN109011557A (zh) * | 2018-10-10 | 2018-12-18 | 重庆第二师范学院 | 一种游戏处理方法及装置 |
| CN111047925A (zh) * | 2019-12-06 | 2020-04-21 | 山东大学 | 基于房间式互动投影的动作学习***及方法 |
| CN115002428A (zh) * | 2022-04-28 | 2022-09-02 | 北京连屏科技有限公司 | 一种沉浸式空间*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104808798B (zh) | 2017-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104808798A (zh) | 一种基于Kinect的多屏互动民族舞娱乐*** | |
| US9990029B2 (en) | Interface object and motion controller for augmented reality | |
| Huynh et al. | Art of defense: a collaborative handheld augmented reality board game | |
| TWI449953B (zh) | 經由至少第一和第二裝置而可觀看之互動空間的產生方法、及用以共享可攜式裝置間之虛擬實境的可攜式裝置 | |
| Menache | Understanding motion capture for computer animation and video games | |
| CN103218055B (zh) | 用于利用位置、方向或动作与计算程序相接口的控制器 | |
| CN103930180B (zh) | 对游戏控制器校准和偏置的***和方法 | |
| US20170178411A1 (en) | Mobile tele-immersive gameplay | |
| US20150258432A1 (en) | Gaming device with volumetric sensing | |
| CN104010706B (zh) | 视频游戏的方向输入 | |
| US20150078621A1 (en) | Apparatus and method for providing content experience service | |
| US20080001951A1 (en) | System and method for providing affective characteristics to computer generated avatar during gameplay | |
| CN106601043A (zh) | 一种基于增强现实的多媒体互动教育设备及方法 | |
| CN103971401A (zh) | 信息处理装置、终端装置以及信息处理方法 | |
| US9724613B2 (en) | Game device, control method of game device, program, and information storage medium | |
| TW200812675A (en) | Game device, controlling method of game device and information storing media | |
| CN109120990A (zh) | 直播方法、装置和存储介质 | |
| Hakkarainen et al. | SymBall: camera driven table tennis for mobile phones | |
| Lin et al. | Combining leap motion with unity for virtual glove puppets | |
| Ledo et al. | OneSpace: shared depth-corrected video interaction | |
| CN208865163U (zh) | 一种基于蹦床的虚拟现实交互装置 | |
| Loviscach | Playing with all senses: Human–Computer interface devices for games | |
| TW202111480A (zh) | 虛擬實境與擴增實境之互動系統及其方法 | |
| Wetzel et al. | The magic lens box: simplifying the development of mixed reality games | |
| Suen et al. | Mobile and sensor integration for increased interactivity and expandability in mobile gaming and virtual instruments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170919 Termination date: 20180514 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |