CN108874120A - 人机交互***、方法、计算机可读存储介质及交互装置 - Google Patents

人机交互***、方法、计算机可读存储介质及交互装置 Download PDF

Info

Publication number
CN108874120A
CN108874120A CN201810274498.9A CN201810274498A CN108874120A CN 108874120 A CN108874120 A CN 108874120A CN 201810274498 A CN201810274498 A CN 201810274498A CN 108874120 A CN108874120 A CN 108874120A
Authority
CN
China
Prior art keywords
man
coordinate points
people
display unit
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810274498.9A
Other languages
English (en)
Inventor
唐堂
张勃
蒋志鹏
文林福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201810274498.9A priority Critical patent/CN108874120A/zh
Publication of CN108874120A publication Critical patent/CN108874120A/zh
Priority to PCT/CN2019/075927 priority patent/WO2019184633A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种人机交互***、方法、计算机可读存储介质及交互装置，其中，人机交互***包括交互模块和对比模块；交互模块用于在显示单元上显示预存坐标组中的多个坐标点，并采集人的动作图像；对比模块用于将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。

Description

人机交互***、方法、计算机可读存储介质及交互装置
技术领域
本公开涉及人工智能领域，具体而言，涉及一种人机交互***、人机交互方法、计算机可读存储介质及人机交互装置。
背景技术
本公开对于背景技术的描述属于与本公开相关的相关技术，仅仅是用于说明和便于理解本公开的公开内容，不应理解为申请人明确认为或推定申请人认为是本公开在首次提出申请的申请日的现有技术。
近年来，动作捕捉技术已经成为人体运动姿态研究中的一项关键技术，发挥着越来越重要的作用，人们意识到非常有必要通过识别人体运动姿态实现人体动作和信息设备之间的交互功能。然而已有动作捕捉技术一般应用于大型娱乐设备、动画制作、步态分析、生物力学、人机工程等领域，而随着手机、平板电脑等移动设备的使用普及，手机、平板电脑等移动设备以简单、方便、不受时间和地点限制等特点成为人们娱乐消遣必备品，因此，将动作捕捉技术应用到手机随着手机、平板电脑等移动设备中，以使人体验良好的娱乐效果是亟待的问题。
发明内容
本公开第一方面的实施例提供了一种人机交互方法，包括：
在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果。
优选地，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像之前还包括：根据指令获取与所述指令相对应的预存坐标组。
优选地，在显示单元上显示所述预存坐标组中的多个坐标点，采集人的动作图像之前还包括：根据指令获取与所述指令相对应的音频；在将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果之前播放所述音频。
优选地，将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果包括：
将所述人的动作图像转化为包括多个点的图像；
将所述图像中的点与所述坐标点进行匹配，并生成匹配结果；
根据所述匹配结果在所述显示单元上显示相应的动画和/或分数。
优选地，将所述人的动作图像转化为包括多个点的图像包括：
从所述人的动作图像中提取多个单帧图像；
将每一所述单帧图像中的人转换为包括多个点的图像。
优选地，根据指令获取与所述指令相对应的预存坐标组包括：提取预存的多个坐标点中的一个或多个坐标点构成与指令相对应的预存坐标组。
优选地，所述人机交互方法还包括：
在所述匹配结果包括分数时，所述坐标点显示结束后将显示的所有分数汇总得到总分；
将总分与预设的分数评级匹配，并在所述显示单元上显示分数所处的等级。
优选地，在显示所述坐标点之前还包括：
检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始在显示单元上显示所述坐标点。
本公开第二方面的实施例提供了一种人机交互***，包括：交互模块，用于在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；和对比模块，用于将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果。
优选地，人机交互的***还包括：提取模块，用于根据指令获取与所述指令相对应的预存坐标组。
优选地，人机交互的***还包括：提取模块，用于根据指令获取与所述指令相对应的音频；所述交互模块控制所述音频播放。
优选地，所述对比模块包括：处理单元，用于将所述人的动作图像转化为包括多个点的图像；匹配单元，用于将所述图像中的点与所述坐标点进行匹配，并生成匹配结果；和执行单元，用于根据所述匹配结果在所述显示单元上显示相应的动画和/或分数。
优选地，所述处理单元包括：第一子单元，用于从所述人的动作图像中提取多个单帧图像；和第二子单元，用于将每一所述单帧图像中的人转换为包括多个点的图像。
优选地，所述预存坐标组由预存的多个坐标点中的一个或多个坐标点构成。
优选地，所述人机交互***还包括：汇总模块，用于在所述匹配结果包括分数时，所述坐标点显示结束后将显示的所有分数汇总得到总分；和评级模块，用于将总分与预设的分数评级匹配，并在所述显示单元上显示分数所处的等级。
优选地，所述人机交互***还包括：识别模块，用于检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始在显示单元上显示所述多个坐标点。
本公开第三方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述人机交互方法的步骤。
本公开第四方面的实施例提供了一种人机交互装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任一项所述人机交互方法的步骤。
本公开提供的技术方案，显示单元上显示坐标点(在显示单元上坐标点可以显示为如亮点、星星、圆环等图形)，这些坐标点是跳舞时舞蹈动作的关键点(如手、肘、腕、脚、膝盖等关节点)，用户去做符合这些坐标点的肢体动作，使用户形成跳舞的动作，同时，采集用户的图像，对比将人的动作图像与坐标点匹配，根据人的动作与坐标点的匹配程度，在显示单元上显示匹配结果(如分数和/或者动画特效)，对不太会跳舞的用户有引导作用，使用户能够做标准的舞蹈动作，提高了娱乐效果，从而提高了用户的体验效果。
本公开的附加方面和优点将在下面的描述部分中变得明显，或通过本公开的实践了解到。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
本公开的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例的终端设备的硬件结构示意图；
图2是本公开所述人机交互***第一种实施例的结构框图；
图3是本公开所述人机交互***第二种实施例的结构框图；
图4是本公开所述人机交互***第三种实施例的结构框图；
图5是本公开所述人机交互***第四种实施例的结构框图；
图6是本公开所述人机交互***第五种实施例的结构框图；
图7是本公开所述人机交互***第六实施例的流结构框图；
图8是本公开所述人机交互***第七种实施例的结构框图；
图9是本公开所述人机交互***第八种实施例的结构框图；
图10是本公开所述人机交互方法第一种实施例交互方法的流程示意图；
图11是本公开所述人机交互方法第二种实施例交互方法的流程示意图；
图12是本公开所述人机交互方法第三种实施例交互方法的流程示意图；
图13是本公开所述人机交互方法第四种实施例交互方法的流程示意图；
图14是本公开所述人机交互方法第五种实施例交互方法的流程示意图；
图15是本公开所述人机交互方法第六种实施例交互方法的流程示意图；
图16是本公开所述人机交互方法第七种实施例交互方法的流程示意图；
图17是本公开所述人机交互方法第八种实施例交互方法的流程示意图；
图18是本公开实施例的计算机可读存储介质的示意图；
图19是本公开实施例的人机交互装置的结构示意图。
其中，图1至图9、图18和图19中附图标记与部件名称之间的对应关系为：
100人机交互***，101提取模块，1011坐标单元，1012音频单元，102交互模块，103对比模块，1031处理单元，10311第一子单元，10312第二子单元，1032匹配单元，1033执行单元，104汇总模块，105评级模块，106识别模块，1无线通信单元，2输入单元，3用户输入单元，4感测单元，5输出单元，6存储器，7接口单元，8控制器，9电源单元，80人机交互装置，801存储器，802处理器，900计算机可读存储介质，901非暂时性计算机可读指令。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和具体实施方式对本公开进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但是，本公开还可以采用其他不同于在此描述的其他方式来实施，因此，本公开的保护范围并不受下面公开的具体实施例的限制。
下述讨论提供了本公开的多个实施例。虽然每个实施例代表了发明的单一组合，但是本公开不同实施例可以替换，或者合并组合，因此本公开也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含A、B、C，另一个实施例包含B和D的组合，那么本公开也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
如图1所示，人机交互装置即终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
在本公开的一个实施例中，终端设备可以包括无线通信单元1、
A/V(音频/视频)输入单元2、用户输入单元3、感测单元4、输出单元5、存储器6、接口单元7、控制器8和电源单元9等等。其中，A/V(音频/视频)输入单元2包括但不限于，摄像头、前置摄像头，后置摄像头，各类音视频输入设备。本领域的技术人员应该理解，上述实施例列出的终端设备所包括的组件，不止上述所述的种类，可以包括更少或者更多的组件。
本领域的技术人员应该理解，这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。
如图2所示，本公开第一方面的实施例提供的人机交互***100包括：交互模块102和对比模块103。
具体地，交互模块102用于在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；对比模块103用于将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。
本公开提供的人机交互***，显示单元(显示单元可以为显示屏等)上显示坐标点(在显示单元上坐标点可以显示为如亮点、星星、圆环等图形)，这些坐标点是跳舞时舞蹈动作的关键点(如手、肘、腕、脚、膝盖关节点等)，用户去做符合这些坐标点的肢体动作，使用户形成跳舞的动作，同时，交互模块采集用户的图像，对比模块将人的动作图像与坐标点匹配，并根据人的动作与坐标点的匹配程度，在显示单元上显示匹配结果(如分数和/或者动画特效)，对不太会跳舞的用户有引导作用，使用户能够做标准的舞蹈动作，提高了娱乐效果，从而提高了用户的体验效果。
如图3所示，本公开第一方面的实施例提供的人机交互***100包括：提取模块101、交互模块102和对比模块103。
具体地，提取模块101用于根据指令获取与指令相对应的预存坐标组；交互模块102用于在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；对比模块103用于将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。
本公开提供的人机交互***，显示单元(显示单元可以为显示屏等)上显示坐标点(在显示单元上坐标点可以显示为如亮点、星星、圆环等图形)，这些坐标点是跳舞时舞蹈动作的关键点(如手、肘、腕、脚、膝盖关节点等)，用户去做符合这些坐标点的肢体动作，使用户形成跳舞的动作，同时，交互模块采集用户的图像，对比模块将人的动作图像与坐标点匹配，并根据人的动作与坐标点的匹配程度，在显示单元上显示匹配结果(如分数和/或者动画特效)，对不太会跳舞的用户有引导作用，使用户能够做标准的舞蹈动作，提高了娱乐效果，从而提高了用户的体验效果。
在本公开的一个实施例中，提取模块101用于根据指令获取与指令相对应的预存坐标组和音频；交互模块102用于播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；对比模块103用于将人的动作图像与当前显示的坐标点匹配，并在显示单元上显示匹配结果。
本公开提供的人机交互***，随着音乐的播放，显示单元上显示坐标点(在显示单元上坐标点可以显示为如亮点、星星、圆环等图形)，这些坐标点是跳舞时舞蹈动作的关键点(如手、肘、腕、脚、膝盖关节点
等)，用户随着音乐去做符合这些坐标点的肢体动作，使用户形成跳舞的动作，同时，交互模块采集用户的图像，对比模块将人的动作图像与坐标点匹配，并根据人的动作与坐标点的匹配程度，在显示单元上显示匹配结果(如分数和/或者动画特效)，对不太会跳舞的用户有引导作用，使用户能够做标准的舞蹈动作，提高了娱乐效果，从而提高了用户的体验效果。
在本公开的一个实施例中，如图4所示，对比模块103包括：处理单元1031、匹配单元1032和执行单元1033。
具体地，处理单元1031用于将人的动作图像转化为包括多个点的图像；匹配单元1032用于将图像中的点与坐标点进行匹配，并生成匹配结果；执行单元1033用于根据匹配结果在显示单元上显示相应的动画和/或分数。
在该实施例中，处理单元1031将人的动作图像转换为多个点的图像，在本公开的一个实施例中，将人体的图像转化为包括17个点的简单人体图像，这些点代表人体的关节点，匹配单元1032通过将17个点与坐标点匹配能够实现精准的检测，提高了产品的检测精度，从而提高了产品的体验效果；匹配单元1032将图像中与坐标点相对应的点与坐标点匹配，如显示单元上显示的坐标点为用户腿部做动作的点，匹配单元1032将图像中腿部的点与该坐标点匹配，如显示单元上显示的坐标点为用户手臂做动作的点，匹配单元1032将图像中手臂的点与该坐标点匹配；显示单元上显示分数和/或动画，动画可为perfect、good、great、miss等数字动画，或者从在显示单元上显示下心雨、下星星雨等特效。本领域的技术人员应该理解，包括多个点的简单人体图像点的个数不止限于17个，如8个、10个、11个、12个、15个、19个、21个等，在此就不一一列举了，但都应该在本公开的保护范围内。
在本公开的一个实施例中，如图5所示，处理单元1031包括：第一子单元10311和第二子单元10312。
具体地，第一子单元10311用于从人的动作图像中提取多个单帧图像；第二子单元10312用于将每一单帧图像中的人转换为包括多个点的图像。
在该实施例中，第一子单元10311从动作图像中提取单帧图像，第二子单元10312将单帧图像转换为多个点的图像，通过判断单位时间内多个单帧图像与坐标点对应的点与坐标点的重合率，而判断用户的舞蹈动作的得分，这种检测方式能够实现精准的检测，提高了产品的检测精度，从而提高了产品的体验效果。在本公开的一个实施例中，通过判断单位时间内多个单帧图像与坐标点对应的点与以坐标点为中心一定区域内的重合率，而判断用户的舞蹈动作的得分。
在本公开的一个实施例中，如图6所示，提取模块101包括：坐标单元1011和音频单元1012。
具体地，坐标单元1011用于提取多个预存的坐标点中的至少部分坐标点构成与指令相对应的预存坐标组，即预存坐标组由预存的多个坐标点中的一个或多个坐标点构成；音频单元1012用于调出与指令相对应的音频。
在该实施例中，坐标单元1011中预先可以存储有很多坐标点模板，坐标单元1011根据用户选择不同的指令提取多个坐标点模板并排序构成预存坐标组；在本公开的一个实施例中，包括100个坐标点模板，根据第一指令提取第1、3、5、20、66、78、82、96坐标点模板构成预存坐标组；根据第二指令提取第2、12、22、25、37、47、55、69、73、86、96坐标点模板构成预存坐标组；根据第三指令提取第7、13、29、35、38、46、52、68、71、86、91坐标点模板构成预存坐标组，音频单元1012根据用户选择不同的指令提取相应的音乐。
在本公开的一个实施例中，提取模块101中预先可以存储有很多坐标点模板，提取模块101根据用户选择不同的指令提取多个坐标点模板并排序构成预存坐标组，即预存坐标组由预存的多个坐标点中的一个或多个坐标点构成；在本公开的一个实施例中，包括100个坐标点模板，根据第一指令提取第1、3、5、20、66、78、82、96坐标点模板构成预存坐标组；根据第二指令提取第2、12、22、25、37、47、55、69、73、86、96坐标点模板构成预存坐标组；根据第三指令提取第7、13、29、35、38、46、52、68、71、86、91坐标点模板构成预存坐标组。
在本公开的一个实施例中，如图7所示，人机交互***100还包括：汇总模块104和评级模块105。
具体地，汇总模块104用于在所述匹配结果包括分数时，音频结束或者显示坐标点结束后将显示的所有分数汇总得到总分；评级模块105用于将总分与预设的分数评级匹配，并在显示单元上显示分数所处的等级。
在该实施例中，通过汇总模块104和评级模块105用户可以知道这段跳舞的分数和等级，一方面，用户可以根据分数和等级与其他用户的分数和等级进行排名，增加了产品的互动性和趣味性，另一方面，用户可将带有分数和等级的视频分享给朋友，使朋友能够对自己跳舞好坏有个直接的判断。
在本公开的一个实施例中，如图8和图9所示，人机交互***100还包括：识别模块106。
具体地，识别模块106用于检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始播放音频和/或准备开始在显示单元上显示多个坐标点。
在该实施例中，识别模块106的设置，一方面，能够保证用户完全处在显示单元内，能够使用户做的舞蹈动作与显示单元上的坐标点更好的匹配，即避免了用户的肢体超出显示单元导致匹配不准的情况发生，从而提高了产品的使用舒适度，进而提高了产品的市场竞争力，另一方面，使用户与手机之间的距离处于合理的范围内，从而使用户能够清楚的看到显示单元上显示的内容，进而增加了产品的使用舒适，进而增加了产品的市场竞争力。
实施例一
如图10所示，本公开第二方面的实施例提供的人机交互方法，包括如下步骤：
步骤30，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤40，将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。
本公开提供的人机交互的方法，显示单元上显示坐标点(在显示单元上坐标点可以显示为如亮点、星星、圆环等图形)这些坐标点是跳舞时舞蹈动作的关键点(如手、肘、腕、脚、膝盖关节点等)，用户随着音乐去做符合这些坐标点的肢体动作，使用户形成跳舞的动作，根据人的动作与坐标点的匹配程度，在显示单元上显示匹配结果(如分数和/或者动画特效)，对不太会跳舞的用户有引导作用，使用户能够做标准的舞蹈动作，提高了娱乐效果，从而提高了用户的体验效果。
实施例二
在本公开的一个实施例中，如图11所示，在本实施例中人机交互方法包括：
步骤10，根据指令获取与指令相对应的预存坐标组及音频；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤40，将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。
实施例三
在本公开的一个实施例中，如图12所示，步骤40包括：
步骤41，将人的动作图像转化为包括多个点的图像；
步骤42，将图像中与坐标点对应的点与坐标点进行匹配，并生成匹配结果；
步骤43，根据匹配结果在显示单元上显示相应的动画和/或分数。
在本实施例中人机交互方法包括：
步骤10，根据指令获取与指令相对应的预存坐标组及音频；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤41，将人的动作图像转化为包括多个点的图像；
步骤42，将图像中的点与坐标点进行匹配，并生成匹配结果；
步骤43，根据匹配结果在显示单元上显示相应的动画和/或分数。
在该实施例中，将人的动作图像转换为多个点的图像，如将人体的图像转化为包括17个点的简单人体图像，这些点代表人体的关节点，通过将17个点与坐标点匹配能够实现精准的检测，提高了产品的检测精度，从而提高了产品的体验效果；将图像中与坐标点相对应的点与坐标点匹配，如显示单元上显示的坐标点为用户腿部做动作的点，将图像中腿部的点与该坐标点匹配，如显示单元上显示的坐标点为用户上肢做动作的点，将图像中上肢的点与该坐标点匹配；本领域的技术人员应该理解，包括多个点的简单人体图像点的个数不止限于17个，如8个、10个、11个、12个、15个、19个、21个等，都应该在本公开的保护范围内；在显示单元上显示分数和/或动画，动画可为perfect、good、great、miss等数字动画，或者在显示单元上显示下心雨、下星星雨等特效。
实施例四
在本公开的一个实施例中，如图13所示，步骤41包括：
步骤411，从人的动作图像中提取多个单帧图像；
步骤412，将每一单帧图像中的人转换为包括多个点的图像。
在本实施例中人机交互方法包括：
步骤10，根据指令获取与指令相对应的预存坐标组及音频；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤411，将人的动作图像转化成多个单帧图像；
步骤412，将每一单帧图像中的人转换为包括多个点的图像；
步骤42，将图像中的点与坐标点进行匹配，并生成匹配结果；
步骤43，根据匹配结果在显示单元上显示相应的动画和/或分数。
在该实施例中，将动作图像转化为单帧图像，再将单帧图像转换为多个点的图像，通过判断单位时间内多个单帧图像与坐标点对应的点与坐标点的重合率，而判断用户的舞蹈动作的得分，这种检测方式能够实现精准的检测，提高了产品的检测精度，从而提高了产品的体验效果。在本公开的一个实施例中，也可通过判断单位时间内多个单帧图像与坐标点对应的点与以坐标点为中心一定区域内的重合率，而判断用户的舞蹈动作的得分。
实施例五
在本公开的一个实施例中，如图14所示，步骤10，包括：
步骤11，提取多个坐标点中的至少部分坐标点构成与指令相对应的预存坐标组；
步骤12，调出与指令相对应的音频。
在本实施例中人机交互方法包括：
步骤11，提取多个坐标点中的至少部分坐标点构成与指令相对应的预存坐标组；
步骤12，调出与指令相对应的音频；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤40，将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。
在该实施例中，预先可以存储有很多坐标点模板，根据用户选择不同的指令提取多个坐标点模板并排序构成预存坐标组，即预存坐标组由预存的多个坐标点中的一个或多个坐标点构成，具体地，如有100个坐标点模板，根据第一指令提取第1、3、5、20、66、78、82、96坐标点模板构成预存坐标组；根据第二指令提取第2、12、22、25、37、47、55、69、73、86、96坐标点模板构成预存坐标组；根据第三指令提取第7、13、29、35、38、46、52、68、71、86、91坐标点模板构成预存坐标组。
实施例六
在本公开的一个实施例中，如图15所示，人机交互方法还包括：
步骤50，在音频结束或者坐标点显示结束后将显示的所有分数汇总得到总分；
步骤60，将总分与预设的分数评级匹配，并在显示单元上显示分数所处的等级。
在本实施例中人机交互方法包括：
步骤10，根据指令获取与指令相对应的预存坐标组及音频；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤40，将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果；
步骤50，在音频结束或者坐标点显示结束后将显示的所有分数汇总得到总分；
步骤60，将总分与预设的分数评级匹配，并在显示单元上显示分数所处的等级。
在该实施例中，用户可以知道这段跳舞的分数和等级，一方面，用户可以根据分数和等级与其他用户的分数和等级进行排名，增加了产品的互动性和趣味性，另一方面，用户可将带有分数和等级的视频分享给朋友，使朋友能够对自己跳舞好坏有个直接的判断。
在本公开的一个实施例中，如图16和图17所示，在显示坐标点之前还包括：
步骤20，显示单元上显示识别框，人的图像处于识别框内时，准备开始播放音频和/或准备开始在显示单元上显示多个坐标点。
实施例七
在本实施例中人机交互方法包括：
步骤10，根据指令获取与指令相对应的预存坐标组及音频；
步骤20，检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始在显示单元上显示多个坐标点；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤40，将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果。
或者，实施例八
在本实施例中人机交互方法包括：
步骤10，根据指令获取与指令相对应的预存坐标组及音频；
步骤20，检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始在显示单元上显示多个坐标点；
步骤30，播放音频，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
步骤40，将人的动作图像与当前显示的多个坐标点匹配，并在显示单元上显示匹配结果；
步骤50，在坐标点显示结束后将显示的所有分数汇总得到总分；
步骤60，将总分与预设的分数评级匹配，并在显示单元上显示分数所处的等级。
在该实施例中，识别步骤的设置，一方面，能够保证用户完全处在显示单元内，能够使用户做舞蹈动作更好的与显示单元上的坐标点匹配，即避免了用户的肢体超出显示单元导致匹配不准的情况发生，保证了检测精度，另一方面，使用户与手机之间的距离处于合理的范围内，从而使用户能够清楚的看到显示单元上显示的内容，从而增加了产品的使用舒适，进而增加了产品的市场竞争力。
在本公开的一个实施例中，显示单元上显示识别框，所采集的人的图像处于识别框内时，准备开始播放音频或者准备开始在显示单元上显示所述坐标点，优选地，识别框为人形框，该人形框为人的全身形状，用户根据人形框做与人形框形状相同的动作，且用户的全部位于人形框内时，准备开始播放音频或者准备开始在显示单元上显示所述坐标点，显示单元上出现倒计时，倒计时结束播放音频。在本公开的另一具体实施例中，识别框为人形框，该人形框为人的上半身形状(也可为下半身)，用户根据人形框做与人形框形状相同的动作，且用户的上半身位于人形框内时，准备开始播放音频或者准备开始在显示单元上显示所述坐标点，显示单元上出现倒计时，倒计时结束播放音频。本领域的技术的人员应该理解，识别框的作用是识别目标，以确保交互的顺利的进行，因此，只要能够满足识别作用的识别框都应该在本公开的保护范围内。
如图18所示，本公开第三方面的实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项人机交互方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、静态随机访问存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米***(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。在本公开的一个实施例中，计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照上述描述的根据本公开实施例的基于人体动态姿态的人机交互方法。
本公开第四方面的实施例提供的人机交互装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任一项人机交互方法方法的步骤。
在本公开的一个实施例中，存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在本公开的一个实施例中，处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制人机交互装置中的其它组件以执行期望的功能。在本公开的一个实施例中，处理器用于运行存储器中存储的计算机可读指令，使得人机交互装置执行上述交互方法。
在本公开的一个实施例中，如图19所示，人机交互装置80包括存储器801和处理器802。人机交互装置80中的各组件通过总线***和/或其它形式的连接机构(未示出)互连。
存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制人机交互装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行存储器801中存储的计算机可读指令，使得人机交互装置80执行上述基于人体动态姿态的人机交互方法。人机交互装置与上述基于人体动态姿态的人机交互方法描述的实施例相同，在此将省略其重复描述。
在本公开的一个实施例中，人机交互装置为移动设备，移动设备的摄像头采集用户的图像，通过移动设备下载与指令相对应的歌曲和预存坐标组，歌曲和预存坐标组下载好后，移动设备的显示单元上出现识别框(该识框可为人形框)，通过调整用户与移动设备的距离，将用户的图像处于识别框内，移动设备开始播放音乐，同时显示单元上显示多个坐标点(在显示单元上坐标点可以显示为如亮点、星星、圆环等图形)，用户开始做舞蹈动作，以使自己的肢体动作与这些坐标点匹配，根据用户的动作与坐标点的匹配程度，在显示单元上显示分数和/或动画(动画可为perfect、good、great、miss等数字动画，或者从在显示单元上显示下心雨、下星星雨等特效)，音乐播放完成后，移动设备的显示单元上显示分数和等级，用户可将自己的跳舞视频下载下来或者分享出去或者进入排行榜，移动设备可为手机、平板电脑等。
在本公开中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (18)

1.一种人机交互方法，其特征在于，包括：
在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；
将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果。
2.根据权利要求1所述的人机交互方法，其特征在于，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像之前还包括：
根据指令获取与所述指令相对应的预存坐标组。
3.根据权利要求1所述的人机交互方法，其特征在于，在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像之前还包括：
根据指令获取与所述指令相对应的音频；
在将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果之前播放所述音频。
4.根据权利要求1所述的人机交互方法，其特征在于，将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果包括：
将所述人的动作图像转化为包括多个点的图像；
将所述图像中的点与所述坐标点进行匹配，并生成匹配结果；
根据所述匹配结果在所述显示单元上显示相应的动画和/或分数。
5.根据权利要求4所述的人机交互方法，其特征在于，将所述人的动作图像转化为包括多个点的图像包括：
从所述人的动作图像中提取多个单帧图像；
将每一所述单帧图像中的人转换为包括多个点的图像。
6.根据权利要求2所述的人机交互方法，其特征在于，根据指令获取与所述指令相对应的预存坐标组包括：
提取预存的多个坐标点中的一个或多个坐标点构成与指令相对应的预存坐标组。
7.根据权利要求4所述的人机交互方法，其特征在于，还包括：
在所述匹配结果包括分数时，所述坐标点显示结束后将显示的所有分数汇总得到总分；
将总分与预设的分数评级匹配，并在所述显示单元上显示分数所处的等级。
8.根据权利要求1至7中任一项所述的人机交互方法，其特征在于，在显示所述坐标点之前还包括：
检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始在显示单元上显示所述多个坐标点。
9.一种人机交互***，其特征在于，包括：
交互模块，用于在显示单元上显示预存坐标组中的多个坐标点，采集人的动作图像；和
对比模块，用于将所述人的动作图像与当前显示的所述多个坐标点匹配，并在所述显示单元上显示匹配结果。
10.根据权利要求9所述的人机交互***，其特征在于，还包括：
提取模块，用于根据指令获取与所述指令相对应的预存坐标组。
11.根据权利要求9所述的人机交互***，其特征在于，还包括：
提取模块，用于根据指令获取与所述指令相对应的音频；
所述交互模块控制所述音频播放。
12.根据权利要求9所述的人机交互***，其特征在于，所述对比模块包括：
处理单元，用于将所述人的动作图像转化为包括多个点的图像；
匹配单元，用于将所述图像中的点与所述坐标点进行匹配，并生成匹配结果；和
执行单元，用于根据所述匹配结果在所述显示单元上显示相应的动画和/或分数。
13.根据权利要求12所述的人机交互***，其特征在于，
所述处理单元包括：
第一子单元，用于从所述人的动作图像中提取多个单帧图像；和
第二子单元，用于将每一所述单帧图像中的人转换为包括多个点的图像。
14.根据权利要求10所述的人机交互***，其特征在于，
所述预存坐标组由预存的多个坐标点中的一个或多个坐标点构成。
15.根据权利要求12所述的人机交互***，其特征在于，还包括：
汇总模块，用于在所述匹配结果包括分数时，所述坐标点显示结束后将显示的所有分数汇总得到总分；和
评级模块，用于将总分与预设的分数评级匹配，并在所述显示单元上显示分数所处的等级。
16.根据权利要求9至15中任一项所述的人机交互***，其特征在于，还包括：
识别模块，用于检测人机之间的距离，当人机之间的距离在预设范围内时，准备开始在显示单元上显示所述多个坐标点。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-8中任一项所述人机交互方法的步骤。
18.一种人机交互装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-8中任一项所述人机交互方法的步骤。
CN201810274498.9A 2018-03-29 2018-03-29 人机交互***、方法、计算机可读存储介质及交互装置 Pending CN108874120A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810274498.9A CN108874120A (zh) 2018-03-29 2018-03-29 人机交互***、方法、计算机可读存储介质及交互装置
PCT/CN2019/075927 WO2019184633A1 (zh) 2018-03-29 2019-02-22 人机交互***、方法、计算机可读存储介质及交互装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810274498.9A CN108874120A (zh) 2018-03-29 2018-03-29 人机交互***、方法、计算机可读存储介质及交互装置

Publications (1)

Publication Number Publication Date
CN108874120A true CN108874120A (zh) 2018-11-23

Family

ID=64326448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810274498.9A Pending CN108874120A (zh) 2018-03-29 2018-03-29 人机交互***、方法、计算机可读存储介质及交互装置

Country Status (2)

Country Link
CN (1) CN108874120A (zh)
WO (1) WO2019184633A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184633A1 (zh) * 2018-03-29 2019-10-03 北京字节跳动网络技术有限公司 人机交互***、方法、计算机可读存储介质及交互装置
WO2020107908A1 (zh) * 2018-11-29 2020-06-04 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN115079876A (zh) * 2021-03-12 2022-09-20 北京字节跳动网络技术有限公司 交互方法、设备、储存介质及计算机程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562523B1 (en) * 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020037770A1 (en) * 1998-08-10 2002-03-28 Paul George V. Real-time head tracking system for computer games and other applications
WO2007096893A3 (en) * 2006-02-27 2009-04-09 Prime Sense Ltd Range mapping using speckle decorrelation
CN103116857A (zh) * 2013-02-01 2013-05-22 武汉百景互动科技有限责任公司 一种基于体感控制的虚拟样板房漫游***
CN104598867A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分***
CN104784929A (zh) * 2014-01-21 2015-07-22 鈊象电子股份有限公司 体感式游戏机的分数判定方法
CN106448279A (zh) * 2016-10-27 2017-02-22 重庆淘亿科技有限公司 一种舞蹈教学互动体验方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120198359A1 (en) * 2011-01-28 2012-08-02 VLoungers, LLC Computer implemented system and method of virtual interaction between users of a virtual social environment
CN102724449A (zh) * 2011-03-31 2012-10-10 青岛海信电器股份有限公司 互动式电视机和利用显示装置实现与用户互动的方法
CN108874120A (zh) * 2018-03-29 2018-11-23 北京字节跳动网络技术有限公司 人机交互***、方法、计算机可读存储介质及交互装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020037770A1 (en) * 1998-08-10 2002-03-28 Paul George V. Real-time head tracking system for computer games and other applications
WO2007096893A3 (en) * 2006-02-27 2009-04-09 Prime Sense Ltd Range mapping using speckle decorrelation
CN103116857A (zh) * 2013-02-01 2013-05-22 武汉百景互动科技有限责任公司 一种基于体感控制的虚拟样板房漫游***
CN104598867A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分***
CN104784929A (zh) * 2014-01-21 2015-07-22 鈊象电子股份有限公司 体感式游戏机的分数判定方法
CN106448279A (zh) * 2016-10-27 2017-02-22 重庆淘亿科技有限公司 一种舞蹈教学互动体验方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184633A1 (zh) * 2018-03-29 2019-10-03 北京字节跳动网络技术有限公司 人机交互***、方法、计算机可读存储介质及交互装置
WO2020107908A1 (zh) * 2018-11-29 2020-06-04 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN115079876A (zh) * 2021-03-12 2022-09-20 北京字节跳动网络技术有限公司 交互方法、设备、储存介质及计算机程序产品

Also Published As

Publication number Publication date
WO2019184633A1 (zh) 2019-10-03

Similar Documents

Publication Publication Date Title
CN108874120A (zh) 人机交互***、方法、计算机可读存储介质及交互装置
CN108536293A (zh) 人机交互***、方法、计算机可读存储介质及交互装置
CN105917404B (zh) 用于实现数字个人助理的方法、设备和***
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
CN105190699B (zh) 基于面部运动数据的卡拉ok化身动画
CA2843343C (en) Systems and methods of detecting body movements using globally generated multi-dimensional gesture data
US20130278501A1 (en) Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
WO2019062716A1 (zh) 一种音乐的生成方法和装置
CN111640202B (zh) 一种ar场景特效生成的方法及装置
CN106462725A (zh) 监测游戏场所的活动的***和方法
CN108345385A (zh) 虚拟陪跑人物建立与交互的方法及装置
CN112396679B (zh) 虚拟对象显示方法及装置、电子设备、介质
CN110298220B (zh) 动作视频直播方法、***、电子设备、存储介质
CN109064387A (zh) 图像特效生成方法、装置和电子设备
CN109978975A (zh) 一种动作的迁移方法及装置、计算机设备
WO2018135246A1 (ja) 情報処理システム及び情報処理装置
WO2023065676A1 (zh) 用于控制空调的方法、装置及空调
JP2019126360A (ja) ゲームプログラム、方法、及び情報処理装置
CN107590197A (zh) 一种音乐封面生成方法及移动终端
JP2014023745A (ja) ダンス教習装置
CN108815845B (zh) 人机交互的信息处理方法及装置、计算机设备及可读介质
JP6450485B1 (ja) ゲームプログラム、方法、及び情報処理装置
CN108563331A (zh) 动作匹配结果确定装置、方法、可读存储介质及交互装置
CN108509047A (zh) 动作匹配结果确定装置、方法、可读存储介质及交互装置
CN108415574B (zh) 对象数据获取方法、装置、可读存储介质及人机交互装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123