CN105773612A - 机器人舞蹈的控制***及其方法 - Google Patents

机器人舞蹈的控制***及其方法 Download PDF

Info

Publication number
CN105773612A
CN105773612A CN201610181541.8A CN201610181541A CN105773612A CN 105773612 A CN105773612 A CN 105773612A CN 201610181541 A CN201610181541 A CN 201610181541A CN 105773612 A CN105773612 A CN 105773612A
Authority
CN
China
Prior art keywords
information
robot
data
music
dance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610181541.8A
Other languages
English (en)
Other versions
CN105773612B (zh
Inventor
李明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YYD ROBO Co.,Ltd.
Original Assignee
Shenzhen Qianhai Yyd Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Yyd Robot Co Ltd filed Critical Shenzhen Qianhai Yyd Robot Co Ltd
Priority to CN201610181541.8A priority Critical patent/CN105773612B/zh
Publication of CN105773612A publication Critical patent/CN105773612A/zh
Application granted granted Critical
Publication of CN105773612B publication Critical patent/CN105773612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • B25J11/0035Dancing, executing a choreography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明公开一种智能跳舞机器人的控制方法及其***,用于控制机器人动作装置,并与服务数据库连接,至少包括音乐节拍处理装置、舞步控制装置以及中央控制装置,其中所述音乐节拍处理装置接收音频信息提取获得音乐节拍信息,并将其传送至所述的中央控制装置;所述的中央控制装置根据所获得的音乐节拍信息读取所述的服务数据库的数据以及所述舞步控制装置的舞步信息并控制所述机器人动作装置动作。本发明可以解决机器人跳舞时编舞的灵活性问题和机器人停止时的姿态控制问题。

Description

机器人舞蹈的控制***及其方法
技术领域
本发明涉及智能机器人技术领域,尤其涉及一种机器人舞蹈的控制方法及***。
背景技术
随着工业机器人的迅速发展,中国已经成为全球最大的工业机器人市场,服务机器人的发展也越来越火热,智能化程度也越来越高。服务机器人属于普通的消费电子产品,价格不高,体积不大,智能化程度高,慢慢地被广大消费者接受,主要可应用于陪护、娱乐、教育和医疗、安全等方面。其中轮式服务机器人因其控制简单,而被广泛应用,目前轮式服务机器人主要有由三轮、四轮和多轮驱动的方式,普遍采用直流电机或步进电机来控制。
专利CN101693371公开了一种能跟踪音乐节拍跳舞的机器人,包括音乐信号输入装置、模数转换装置、处理装置、控制装置和电机。该机器人通过音乐输入装置输入模拟音频信号,再根据模拟音频信号中包含音乐乐谱的节拍信息控制机器人执行舞蹈动作,不会受限于原始音乐文件的编码格式。该专利文件中公开的能跟踪音乐节拍而跳舞的机器人,实现结构比较复杂,制造成本比较高。
而在专利CN102489023公开了一种边唱歌边跳舞的机器人。该机器人安装有电子播放器,通过导线将电子播放器与扬声器、CPU程序控制芯片、机器人电动马达、开关和电池接通,电子播放器把U盘存入的歌曲电子信号,输出CPU程序控制芯片,控制机器人电子马达转动,随着电子音乐节奏变化,机器人即可做出不同姿势的机械舞蹈动作。而该专利公布的机器人的跳舞的方案,则是采用舞蹈动作固化编程的方法,灵活性不强,只能跳在程序中编组好的舞蹈动作。
基于此,可见目前大部分服务机器人的跳舞控制都是采用固化写死的方式,让机器人随着音乐节奏翩翩起舞的动作。即事先对音乐进行编程,将其频率编码和简谱码与舞蹈的相关动作进行对应,然后音乐播放时,同时启动机器人跳舞动作,这样机器人就会随着音乐而起舞。但是采用这种方法进行舞蹈动作的编程,不够灵活,必须事先进行舞蹈动作的编写,如何换一首歌曲进行跳舞的话,机器人则不能跳舞,如果希望机器人能够跟随多首音乐跳舞,就需要对每一首歌曲进行动作编程,不仅工作量巨大,并且局限了机器人的智能性。
另外,现有技术中的大部分机器人(尤其是轮式机器人)在跳舞时,会存在急刹车的现象,这使得机器人的舞蹈动作不柔顺,并且使得机器人姿态不稳定,容易产生冲击的现象。为了解决这个问题,可以采用复杂伺服控制***,电机的控制效果很好,但是成本高,不适用于普通的消费者;而对于采用直流有刷或者是无刷电机的服务机器人,如果不采用好的控制策略,则不能很好地控制电机的启停状态,尤其是停止时的状态,机器人容易发生由于惯性作用而引起的震动的现象。
因此现有技术中机器人跳舞时编舞灵活性以及机器人停止时的姿态控制问题是本发明旨在解决的问题。
发明内容
本发明目的是提出一种机器人舞蹈的控制方法及其***,解决机器人跳舞时编舞的灵活性问题和机器人停止时的姿态控制问题。
本发明解决技术问题采用如下技术方案:一种智能跳舞机器人的控制***,用于控制机器人动作装置,并与服务数据库连接,至少包括音乐节拍处理装置、舞步控制装置以及中央控制装置,其中所述音乐节拍处理装置接收音频信息提取获得音乐节拍信息,并将其传送至所述的中央控制装置;所述的中央控制装置根据所获得的音乐节拍信息读取所述的服务数据库的数据以及所述舞步控制装置的舞步信息并控制所述机器人动作装置动作。
其中,所述的音乐节拍处理装置至少包括音乐数据接收单元,音乐频率数据获取转换单元,音频预处理单元,数字滤波单元,音频数据分析单元,其中;
所述的音乐数据接收单元,接收音乐数据;
所述的音乐频率数据获取转换单元,接收所述音乐数据接收单元传递的音乐数据并将数据进行格式转换;
所述的音频预处理单元,接收所述音乐频率数据获取转换单元转换的数据,并去除干扰的音频信息并压缩数据;
所述的数字滤波单元,接收所述的音频预处理单元的音频信息,获得音频信息中的低频频谱信息;
所述的音频数据分析单元,根据设置的特征筛除音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间。
其中,还包括语音命令理解单元,接收语音命令并分析语音信息,所述的中央控制装置根据所理解的语音命令调取舞步信息以及音乐信息并控制机器人动作装置动作;其中所述的语音命令理解单元至少包括语音识别子单元以及语义理解子单元,其中所述的语音识别子单元解析所述的语音命令并传送至所述的语义理解子单元,所述的语义理解子单元理解所述的语义命令并传送至所述的中央控制装置。
其中,还包括所述的语音输出单元,根据对所述语音命令的理解,调取数据库中的语音信息输出给所述语音命令发出方进行语音对话。
其中,还包括触摸屏控制单元,根据设置的触摸屏装置输入控制指令。
其中,所述的数字滤波单元包括数字低通滤波器以及FIR型数字高斯滤波器,所述的数字低通滤波器滤除音频中的噪声信息,并压缩数据;所述的FIR型数字高斯滤波器接收所述的压缩数据再次滤波后获得音频中的低频频谱信息。
其中,还包括延时控制单元,在所述舞步控制装置发出迅速启动或停止舞步时,由所述的中央控制装置启动延时控制所述的机器人动作装置动作。
一种智能跳舞机器人的控制方法,其特征在于,主要包括以下步骤:
A、接收音频信息提取获得音乐节拍信息;
B、根据步骤A中获得的音乐节拍信息获取舞步信息;
C、根据步骤B中的舞步信息控制机器人动作。
其中,所述步骤A至少包括:
A1、接收音频数据;
A2、对所接收的音频数据进行格式转换;
A3、去除格式转换后的音频信息并进行数据压缩;
A4、对音频数据进行滤波处理,获得音频信息中的低频频谱信息;
A5、根据设置的特征筛除音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间。
其中,还包括,在发出迅速启动或停止舞步指令时,启动延时控制所述的机器人动作的步骤本发明具有如下有益效果:
因此,在本发明中,提出了一种根据音乐节拍幅度和节拍持续时间而编舞的控制方法,使得机器人舞蹈动作更加灵活、多样,更好地适应播放不同音乐时舞蹈的编排,适应性更强,编舞动作更加智能;在本发明中也提出了一种机器人姿态控制方法,即电机延时停止的控制方法,使得机器人跳舞时的动作更加柔顺,不会产生急刹车的现象。在本发明中,也提出了一种语音控制机器人跳舞或其他动作的方法,使得用户操作机器人更加方便。
附图说明
图1为本发明的智能舞蹈机器人控制***的结构框图;
图2为本发明的智能舞蹈机器人控制***的音乐节拍处理装置的结构图;
图3为本***的应用的实施例的硬件结构示意图;
图4为本***的应用的实施例的软件架构示意图;
图5为本***的应用的实施例的服务架构示意图;
图6为本发明的智能舞蹈机器人控制方法的流程图。
具体实施方式
下面结合实施例及附图对本发明的技术方案作进一步阐述。
本发明提出了一种智能跳舞机器人的控制***,用以控制机器人动作装置,并与服务数据库相连接,如图1所示,本发明的***中至少包括音乐节拍处理装置、舞步控制装置以及中央控制装置,其中所述音乐节拍处理装置接收音频信息提取获得音乐节拍信息,并将其传送所述的中央控制装置;所述的中央控制装置根据所获得的音乐节拍信息读取所述服务数据的数据以及所述舞步控制装置的舞步信息并控制所述机器人动作装置动作。
参考图2,本发明中的音乐节拍处理装置至少包括用于接收音乐数据的音乐数据接收单元,所述的音乐频率数据获取转换单元,接收所述音乐数据接收单元传递的音乐数据并将数据进行格式转换;所述的音频预处理单元,接收所述音乐频率数据获取转换单元转换的数据,并去除干扰的音频信息并压缩数据;所述的数字滤波单元,接收所述的音频预处理单元的音频信息,获得音频信息中的低频频谱信息;所述的音频数据分析单元,根据设置的特征筛除音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间。
在本发明中,本***可以接收各种数据格式的音乐信息,现有的音乐数据几乎所有的有损压缩格式都是从WAV格式压缩、转换而来,但是其实内部的编码依然是PCM(PulseCodeModulation,脉冲编码调制),所以曾经很多MP3设备并不支持FLAC、APE、AAC等等格式,是因为它们不支持这些文件的解压缩,但是从没有一款播放器不支持WAV格式,因为WAV格式本身,就等于PCM码流。MP3是一种属于有损压缩的数字音频格式,因此在本实施例中对于存储于机器人内存中MP3格式的数字音频文件,可由所述的音乐频率数据获取转换单元将MP3格式的数字音频文件转换成WAV格式,然后进行PCM数据的预处理。
在本发明的实施例中,PCM编码的音乐文件能够记录真实的声音,是大部分数字音频文件的基础。但是PCM编码音乐信号采样密度高、数据量大。这增大了节拍提取算法的计算量,降低了整体效率。为克服50Hz干扰信号的影响,本发明的实施例由音频处理单元对PCM编码数据进行预处理:采用20ms为累积单位,对这个时间内所有采样点的幅度值进行累加。定义Ak为求取绝对值后的信号序列中第k个采样点的幅度值。定义Wi为时间点t前后各10ms内采样点的频率幅度累加值,采样率一般为44.1kHz,也可从音频文件中读取,采用式(1)进行计算。
W i = Σ n - k - 441 k + 441 A n t = t + 10 , k = t × 44.1 , i = t / 20 - - - ( 1 )
在本发明的***中,图2中所示的数字滤波单元为数字低通滤波器和FIR型数字高斯滤波器,所述的数字低通滤波器滤除音频中的噪声信息,并压缩数据;所述的数字高斯滤波器接收所述的压缩数据再次滤波后获得音频中的低频频谱信息。在本实施例中,所述的高斯滤波器为FIR型数字滤波器,FIR滤波器称为有限长冲激响应滤波器,其阶数较高,能得到线性相位特性;采用非递归结构,运算精度稳定,误差也小。根据中心极限定理可知,均值函数可以作为高斯函数的一个逼近函数,可以用以均值函数为权函数的均值滤波器作为逼近的高斯滤波器。均值滤波器易于实现。其时域表达式如式(2)所示。
| h v ( t ) | = 1 D , | t | ≤ D 2 0 , | t | > D 2 - - - ( 2 )
其中D为均值滤波器的时域宽度。其傅里叶变换采用归一化频率表示,如式3所示。
H v ( Ω ) = ∫ - ∞ + ∞ H v ( t ) e - j Ω Ω c t d t = ∫ - D 2 D 2 1 D e - j Ω Ω c t d t = S a ( D Ω 2 Ω c ) - - - ( 3 )
Ωc为截止频率。通过多级均值滤波器的级联可以构造高斯滤波器的逼近滤波器,其频率响应为均值滤波器频域的自相乘,如式(4)所示。
H v n ( Ω ) = Sa n ( D Ω 2 Ω c ) - - - ( 4 )
当n→∞时,Hvn即为高斯滤波器。
在本实施例中,所述的数字高斯滤波器为FIR型数字高斯滤波器构造均值滤波器的Z域表达式为:
H d v ( z ) = 1 2 k + 1 Σ r - k r = k z r - - - ( 5 )
其中,k=D/(2ΩcTd),Td为采样间隔,2k+1表示D区间内的采样点数。它是一种FIR型数字滤波,本身是一个矩形窗。
均值滤波器的Z域幅度特性为:
H d v ( ω ) = 1 2 k + 1 s i n ( ω ( 2 k + 1 ) 2 ) s i n ( ω 2 ) - - - ( 6 )
因为多级均值滤波器的级联可以在幅频上逼近高斯滤波器,所以多级均值滤波器的Z域表达式可以表示为如下:
H d v n ( z ) = [ 1 2 k + 1 z - k ( 1 - Z 2 k + 1 ) 1 - Z ] n - - - ( 7 )
其幅频特性为均值滤波器Z域幅频特性的自相乘:
H d v ( ω ) = [ 1 2 k + 1 s i n ( ω ( 2 k + 1 ) 2 ) s i n ( ω 2 ) ] n - - - ( 8 )
设n级逼近滤波器的输入序列为x(i),输出序列为y(i),M为输入序列的长度。单次均值计算如下:
y ( i ) = 1 2 k + 1 Σ j = i - k i + k x ( j ) - - - ( 9 )
n级均值滤波器计算过程:
y0(1)=x(1),y0(2)=x(2),......,y0(M)=x(M)
y p ( p k + 1 ) = Σ j = ( p - 1 ) k + 1 ( p + 1 ) k + 1 y p - 1 ( j )
yp(i)=yp(i-1)+yp-1(i+k)-yp-1(i-(k+1))
i=pk+2,pk+3,......,M-pk;p=1,2,3,......,n
y ( i ) = y n ( i ) ( 2 k + 1 ) n i = n k + 2 , n k + 3 , ... ... , M - n k
将信号与上面所设计的高斯低通滤波器进行卷积运算,如式(5)所示。
y ( n ) = Σ k = - ∞ ∞ x ( k ) δ ( n - k ) = Σ k = - ∞ ∞ x ( k ) h ( n - k ) ≈ x ( n ) * h ( n ) - - - ( 5 )
x(k)为***输入,h(n-k)为近似高斯低通滤波器。在以高斯函数为窗函数的滤波处理中,y(n)为窗口内有效频率的信号能量之和。
在本发明中所述的音频数据分析单元,是根据设置的特征筛除音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间,在本实施例中,首先进行峰值检测,在经过高斯滤波卷积处理后,得到比较光滑的、能代表低频率信号起伏变化的包络线。然后可以通过移动窗口定位局部最大值。设窗口长度为L,根据音乐节拍间隔的性质,定义两节拍间隔时间不小于0.5秒,由于信号经过压缩处理,所以选择L=0.5*44100*0.01的窗口对己求得的包络线进行局部最大值检测。如设窗口移动步长为M,选取M=L/20,即约36ms。如果一个局部最大值在窗口移动的过程中在窗口中出现的概率大于等于90%,则可认为此最大值是峰值点。在通过窗口移动峰值检测得到所有的峰值点信息后,先假设所有的峰值点都为节拍点,记录峰值点的时间信息,然后通过比较相邻节拍点时间信息的不同,得到所有相邻节拍点的时间间隔,该时间间隔就为节拍所持续的时间。
另外,在本发明的***中,还包括语音命令理解单元,接收语音命令并分析语音信息,由所述的中央控制装置根据所理解的语音命令调取舞步信息以及音乐信息并控制机器人动作装置动作。其中,所述的语音命令理解单元至少包括语音识别子单元以及语义理解子单元,其中所述的语音识别子单元解析所述的语音命令并传送至所述的语义理解子单元,所述的语义理解子单元理解所述的语义命令并传送至所述的中央控制装置。本发明的***还包括所述的语音输出单元,根据对所述语音命令的理解,调取数据库中的语音信息输出给所述语音命令发出方进行语音对话。在本实施例中,由上述的单元实现对语音指令的理解再从所述的服务数据库中调取相应的语音信息实现机器人的智能对话功能。在本发明所述的***中,还包括触摸屏控制单元,根据设置的触摸屏装置输入控制指令来启动机器人跳舞的功能,即可通过触摸屏选取相应的音乐启动机器人跳舞。
另外,在本发明所述的***中,还包括延时控制单元,在所述舞步控制装置发出迅速启动或停止舞步的指令时,所述的中央控制装置启动所述的延时控制单元再延时控制所述的机器人动作装置动作。
下面结合具体的应用例子对本发明的***做出进一步说明:如图3所示,图中的主控芯片MT6735M是一款手机平台芯片集音乐节拍处理装置、舞步控制装置以及中央控制装置于一体,具有很强大的多媒体能力,能通过WIFI、3G/4G模块上网连接所述的服务数据库。四个电机的驱动是通过外加一个电机驱动IC来进行驱动,控制信号来自主控芯片的GPIO,主控芯片的GPIO被配置成普通输入/输出模式。麦克风为语音输入装置,用户可以通过麦克风向机器人发送各种命令,包括语音控制命令和语音聊天内容。喇叭会播放机器人跳舞时的音乐,也会播放机器人合成的各种语音信息。
在本发明的实施例中,所设计的机器人动作执行装置可设置有四个直流电机,分别控制底盘和头部的运动。该机器人底盘由是由电机带动轮子行走(前进、后退、转弯),头部由两个直流电机驱动,分别控制头部的上下运动和左右运动。根据节拍时间间隔编排每个舞蹈动作所持续的时间。动作的编排由音乐频率幅度峰值及节拍时间计算结果来进行自由组合编排。机器人跳舞一般是随着音乐的节奏而开始跳舞,音乐的节拍不一样,舞蹈动作和幅度也不一样,如根据节拍的快慢,确定动作的幅度和速度,又可以根据获取的音频数据来确定机器人动作的上下左右各种组合,具体的设置可以根据现有的舞蹈的美感进行具体组合,在此不再赘述。本发明提出了一种从数字音频文件中提取音乐节拍的算法,从而可根据音乐的节拍来动态编排机器人的舞蹈动作。
结合图3的硬件结构,参考图4所示的实施的软件架构,机器人跳舞可通过手机APP语音控制,也可通过机器人端的麦克风给机器人发送语音控制命令,同时也可以通过上述的机器人端触摸屏控制。具体的跳舞控制的流程为:机器人端上层应用软件是在JAVA环境进行开发;语音控制机器人跳舞时通过设置的语音引擎接口进行语音识别和语义解析,生成机器人的控制命令,从而控制机器人动作和跳舞;另外,手机通过WIFI或4G网络将语音控制指令或动作控制指令发送给机器人,机器人接收到相应的命令后,执行相应的动作。本实施例中,以本***与所述的机器人分离设置进行说明,在实际应用中,也可以将本发明的***嵌入智能跳舞机器人中,又可以通过网络控制所述的智能跳舞机器人。
在图4中,Service模块位于机器人端,主要是和服务数据库的数据交互传递数据,包括来自手机端来的各种数据和语音识别数据,然后通过消息的方式传输给master模块,master模块直接执行机器人相应的动作,master模块是由机器人端各种应用app组成,包括舞蹈控制的app。在主控芯片端,可以运行android5.1操作***,节拍获取算法有一部分数学计算代码运行在kernel层,上层通过so库来调用这些数学运算函数,算法实现的另外一部分代码以函数的形式封装成jar库,供应用程序进行调用。
如图5所示的***服务框图,机器人的舞蹈可以通过手机端(IOS***,Android***)或者机器人端语音进行控制。在机器人端,Service模块通过设置的语音引擎解析出来的语音命令,通过广播的形式,发送消息给Master模块执行相应的机器人动作控制。在手机端,通过语音识别及语义理解解析出来的各种语音控制命令,发送给服务器,服务器将相应的数据转发给机器人端的Service模块,Service模块通过广播的形式,发送消息给Master模块执行相应的机器人动作控制。
在机器人的舞动过程中,机器人姿态控制对于机器人的运行非常重要,尤其是机器人启/停时的姿态控制对于机器人运行和使用更是非常之重要,机器人在跳舞的时候会频繁发生启动/停止的动作,如果机器人停止控制不当,就很有可能导致机器人倾倒。在本发明的实施例中,机器人的电机的驱动可以采用L9110芯片,L9110芯片是一种两通道推挽式功率放大专用集成电路器件,其两个输出端可以直接驱动电机的正反向运动及刹车,该芯片的输入端连接MT6735M主控芯片的两个GPIO口,GPIO的控制信号经过L9110驱动芯片驱动电机的正反转及刹车动作。在机器人跳舞过程中,在控制电机刹车时,可以采用延时的方式来减小机器人的惯性动作,例如在实施例中,可以设置延时时间500ms。
在用户向智能机器人发出语音命令后,如用户输入“传奇”,则机器人接收到信息后,自动从数据库中搜索到该音乐,并进行音乐节拍信息获取,然后由中央控制装置根据设置获取舞步信息,按照上述的架构控制机器人执行跳舞动作。
另外本发明还提出了一种智能跳舞机器人的控制方法,如图6所示,主要包括以下步骤:
A、接收音频信息提取获得音乐节拍信息;
B、根据步骤A中获得的音乐节拍信息获取舞步信息;
C、根据步骤B中的舞步信息控制机器人动作。
所述步骤A至少包括:
A1、接收音频数据;
A2、对所接收的音频数据进行格式转换;
A3、去除格式转换后的音频信息并进行数据压缩;
A4、对音频数据进行滤波处理,获得音频信息中的低频频谱信息;
A5、根据设置的特征提取音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间。
另外在所述步骤A1中还包括:A11、对语音指令进行语音识别以及语义理解生成语音对话。
在本发明中还包括,在所述舞步控制装置发出迅速启动或停止舞步时,通过延时控制机器人停止姿态的方法控制机器人的启停姿态。
本发明的方法流程与所述的***结构的工作过程相对应,在此不再进行赘述。
本发明提出的动态获取数字音频文件的节拍的算法,使得机器人跳舞时能适应各种不同音乐的节奏:实现了一种动态获取音频文件的节拍的算法,采用n级均值滤波器在幅频上逼近高斯滤波的特性,实现基于FIR型数字高斯滤波器,提取出节拍幅度和节拍时间,从而可以根据节拍幅度和节拍时间来编排机器人的舞蹈动作,另外对于机器人运动状态的控制,本发明采用了一种延时控制的方式,使得机器人在停止控制时的姿态更加平稳。本发明的用户可以通过智能手机或机器人端以语音来控制机器人舞蹈动作,这大大方便了用户的操作便捷度,也使得机器人更加智能,用户也可以和机器人进行简单的语音聊天。
以上实施例的先后顺序仅为便于描述,不代表实施例的优劣。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能跳舞机器人的控制***,用于控制机器人动作装置,并与服务数据库连接,其特征在于,至少包括音乐节拍处理装置、舞步控制装置以及中央控制装置,其中所述音乐节拍处理装置接收音频信息提取获得音乐节拍信息,并将其传送至所述的中央控制装置;所述的中央控制装置根据所获得的音乐节拍信息读取所述的服务数据库的数据以及所述舞步控制装置的舞步信息并控制所述机器人动作装置动作。
2.根据权利要求1所述的智能跳舞机器人的控制***,其特征在于,所述的音乐节拍处理装置至少包括音乐数据接收单元,音乐频率数据获取转换单元,音频预处理单元,数字滤波单元,音频数据分析单元,其中;
所述的音乐数据接收单元,接收音乐数据;
所述的音乐频率数据获取转换单元,接收所述音乐数据接收单元传递的音乐数据并将数据进行格式转换;
所述的音频预处理单元,接收所述音乐频率数据获取转换单元转换的数据,并去除干扰的音频信息并压缩数据;
所述的数字滤波单元,接收所述的音频预处理单元的音频信息,获得音频信息中的低频频谱信息;
所述的音频数据分析单元,根据设置的特征提取音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间。
3.根据权利要求1或2所述的智能跳舞机器人的控制***,其特征在于,还包括语音命令理解单元,接收语音命令并分析语音信息,所述的中央控制装置根据所理解的语音命令调取舞步信息以及音乐信息并控制机器人动作装置动作;其中所述的语音命令理解单元至少包括语音识别子单元以及语义理解子单元,其中所述的语音识别子单元解析所述的语音命令并传送至所述的语义理解子单元,所述的语义理解子单元理解所述的语义命令并传送至所述的中央控制装置。
4.根据权利要求3所述的智能跳舞机器人的控制***,其特征在于,还包括所述的语音输出单元,根据对所述语音命令的理解,调取数据库中的语音信息输出给所述语音命令发出方进行语音对话。
5.根据权利要求1或2所述的智能跳舞机器人的控制***,其特征在于,还包括触摸屏控制单元,根据设置的触摸屏装置输入控制指令。
6.根据权利要求2所述的智能跳舞机器人的控制***,其特征在于,所述的数字滤波单元包括数字低通滤波器以及FIR数字高斯滤波器,所述的数字低通滤波器滤除音频中的噪声信息,并压缩数据;所述的FIR数字高斯滤波器接收所述的压缩数据再次滤波后获得音频中的低频频谱信息。
7.根据权利要求1所述的智能跳舞机器人的控制***,其特征在于,还包括延时控制单元,在所述舞步控制装置发出迅速启动或停止舞步时,由所述的中央控制装置启动延时控制所述的机器人动作装置动作。
8.一种智能跳舞机器人的控制方法,其特征在于,主要包括以下步骤:
A、接收音频信息提取获得音乐节拍信息;
B、根据步骤A中获得的音乐节拍信息获取舞步信息;
C、根据步骤B中的舞步信息控制机器人动作。
9.根据权利要求8所述的控制方法,其特征在于,所述步骤A至少包括:
A1、接收音频数据;
A2、对所接收的音频数据进行格式转换;
A3、去除格式转换后的音频信息并进行数据压缩;
A4、对音频数据进行滤波处理,获得音频信息中的低频频谱信息;
A5、根据设置的特征筛除音乐信息的峰值,获得所述音乐数据的节拍点幅值以及节拍时间。
10.根据权利要求8所述的智能跳舞机器人的控制***,其特征在于,还包括,在发出迅速启动或停止舞步指令时,启动延时控制所述的机器人动作的步骤。
CN201610181541.8A 2016-03-28 2016-03-28 机器人舞蹈的控制***及其方法 Active CN105773612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610181541.8A CN105773612B (zh) 2016-03-28 2016-03-28 机器人舞蹈的控制***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610181541.8A CN105773612B (zh) 2016-03-28 2016-03-28 机器人舞蹈的控制***及其方法

Publications (2)

Publication Number Publication Date
CN105773612A true CN105773612A (zh) 2016-07-20
CN105773612B CN105773612B (zh) 2018-04-17

Family

ID=56392125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610181541.8A Active CN105773612B (zh) 2016-03-28 2016-03-28 机器人舞蹈的控制***及其方法

Country Status (1)

Country Link
CN (1) CN105773612B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933952A (zh) * 2017-01-18 2017-07-07 北京光年无限科技有限公司 一种用于手机家长端的舞蹈动作文件生成及处理方法
CN107009371A (zh) * 2017-06-14 2017-08-04 上海思依暄机器人科技股份有限公司 一种自动调节机器人舞蹈动作的方法及装置
CN107594739A (zh) * 2017-09-03 2018-01-19 泉州迪特工业产品设计有限公司 一种智能炫酷鞋及其实现方法
CN107945799A (zh) * 2017-12-18 2018-04-20 深圳市今视通数码科技有限公司 一种多功能语音交互智能机器
CN108202334A (zh) * 2018-03-22 2018-06-26 东华大学 一种能够识别音乐节拍和风格的舞蹈机器人
CN108393906A (zh) * 2018-03-01 2018-08-14 深圳普得技术有限公司 一种控制机器人实现机械律动方法及机器人
CN108744542A (zh) * 2018-06-08 2018-11-06 武汉蛋玩科技有限公司 一种机器人舞蹈动作设计方法及一种机器人
CN109176541A (zh) * 2018-09-06 2019-01-11 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN109986552A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 机器人动作控制方法、智能终端及具有存储功能的装置
CN111113418A (zh) * 2019-12-25 2020-05-08 深圳市优必选科技股份有限公司 机器人的舞蹈控制方法及装置
CN112847340A (zh) * 2020-12-25 2021-05-28 深圳市优必选科技股份有限公司 一种控制方法、控制装置及机器人
CN113894801A (zh) * 2020-06-22 2022-01-07 山西农业大学 一种控制机器人跳舞的方法
CN114211485A (zh) * 2021-12-07 2022-03-22 深圳市优必选科技股份有限公司 机器人舞蹈控制方法、装置、机器人及存储介质
GB2603485A (en) * 2021-02-04 2022-08-10 Pei chun lin Melody concretization identification system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117865A (ja) * 2001-10-04 2003-04-23 Yamaha Corp ロボット、ロボットの動作パターン制御プログラム、および、音楽情報ファイル
US7297860B2 (en) * 2004-11-12 2007-11-20 Sony Corporation System and method for determining genre of audio
CN101145032A (zh) * 2007-08-29 2008-03-19 南京工业大学 智能机器人识别舞蹈音乐节奏的方法
CN101524594A (zh) * 2009-04-17 2009-09-09 中国地质大学(武汉) 随节奏自主舞蹈的人形机器人
CN101587706A (zh) * 2009-07-08 2009-11-25 沈阳蓝火炬软件有限公司 流媒体实时音乐节拍分析与舞蹈控制***及方法
CN101693371A (zh) * 2009-09-30 2010-04-14 深圳先进技术研究院 跟踪音乐节拍跳舞的机器人
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台***及其多模式智能交互与智能行为的实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117865A (ja) * 2001-10-04 2003-04-23 Yamaha Corp ロボット、ロボットの動作パターン制御プログラム、および、音楽情報ファイル
US7297860B2 (en) * 2004-11-12 2007-11-20 Sony Corporation System and method for determining genre of audio
CN101145032A (zh) * 2007-08-29 2008-03-19 南京工业大学 智能机器人识别舞蹈音乐节奏的方法
CN101524594A (zh) * 2009-04-17 2009-09-09 中国地质大学(武汉) 随节奏自主舞蹈的人形机器人
CN101587706A (zh) * 2009-07-08 2009-11-25 沈阳蓝火炬软件有限公司 流媒体实时音乐节拍分析与舞蹈控制***及方法
CN101693371A (zh) * 2009-09-30 2010-04-14 深圳先进技术研究院 跟踪音乐节拍跳舞的机器人
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台***及其多模式智能交互与智能行为的实现方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933952B (zh) * 2017-01-18 2021-04-27 北京光年无限科技有限公司 一种用于手机家长端的舞蹈动作文件生成及处理方法
CN106933952A (zh) * 2017-01-18 2017-07-07 北京光年无限科技有限公司 一种用于手机家长端的舞蹈动作文件生成及处理方法
CN107009371B (zh) * 2017-06-14 2020-04-07 上海思依暄机器人科技股份有限公司 一种自动调节机器人舞蹈动作的方法及装置
CN107009371A (zh) * 2017-06-14 2017-08-04 上海思依暄机器人科技股份有限公司 一种自动调节机器人舞蹈动作的方法及装置
CN107594739A (zh) * 2017-09-03 2018-01-19 泉州迪特工业产品设计有限公司 一种智能炫酷鞋及其实现方法
CN107945799A (zh) * 2017-12-18 2018-04-20 深圳市今视通数码科技有限公司 一种多功能语音交互智能机器
CN109986552A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 机器人动作控制方法、智能终端及具有存储功能的装置
CN109986552B (zh) * 2017-12-29 2021-01-08 深圳市优必选科技有限公司 机器人动作控制方法、智能终端及具有存储功能的装置
CN108393906A (zh) * 2018-03-01 2018-08-14 深圳普得技术有限公司 一种控制机器人实现机械律动方法及机器人
CN108393906B (zh) * 2018-03-01 2021-04-27 深圳小墨智能科技有限公司 一种控制机器人实现机械律动方法及机器人
CN108202334A (zh) * 2018-03-22 2018-06-26 东华大学 一种能够识别音乐节拍和风格的舞蹈机器人
CN108202334B (zh) * 2018-03-22 2020-10-23 东华大学 一种能够识别音乐节拍和风格的舞蹈机器人
CN108744542A (zh) * 2018-06-08 2018-11-06 武汉蛋玩科技有限公司 一种机器人舞蹈动作设计方法及一种机器人
CN109176541A (zh) * 2018-09-06 2019-01-11 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN109176541B (zh) * 2018-09-06 2022-05-06 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN111113418A (zh) * 2019-12-25 2020-05-08 深圳市优必选科技股份有限公司 机器人的舞蹈控制方法及装置
CN113894801A (zh) * 2020-06-22 2022-01-07 山西农业大学 一种控制机器人跳舞的方法
CN112847340A (zh) * 2020-12-25 2021-05-28 深圳市优必选科技股份有限公司 一种控制方法、控制装置及机器人
GB2603485A (en) * 2021-02-04 2022-08-10 Pei chun lin Melody concretization identification system
CN114211485A (zh) * 2021-12-07 2022-03-22 深圳市优必选科技股份有限公司 机器人舞蹈控制方法、装置、机器人及存储介质
CN114211485B (zh) * 2021-12-07 2024-05-17 深圳市优必选科技股份有限公司 机器人舞蹈控制方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
CN105773612B (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN105773612B (zh) 机器人舞蹈的控制***及其方法
CN101524594B (zh) 随节奏自主舞蹈的人形机器人
KR101384434B1 (ko) 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US20020077028A1 (en) Electronic toy and control method therefor
CN104123938A (zh) 语音控制***、电子装置及语音控制方法
JP2019204074A (ja) 音声対話方法、装置及びシステム
CN111933108B (zh) 一种智能网联终端智能语音交互***自动化测试方法
CN110992932B (zh) 一种自学习的语音控制方法、***及存储介质
JP6783339B2 (ja) 音声を処理する方法及び装置
CN110097890A (zh) 一种语音处理方法、装置和用于语音处理的装置
CN105278355A (zh) 一种利用音频控制马达震动的方法及装置
CN105551493A (zh) 儿童语音机器人数据处理方法、装置及儿童语音机器人
CN102064832B (zh) 一种随音乐变化振动效果的实现方法
CN103731711A (zh) 智能电视对于操作的执行方法和***
CN104598152A (zh) 基于手写输入或笔迹输入的终端及其播放同步伴音的方法
CN111739506B (zh) 一种应答方法、终端及存储介质
CN203167075U (zh) 移动终端
CN108687779A (zh) 一种家用机器人的舞蹈开发方法和***
CN105609123A (zh) 音频播放装置和终端
CN102739844A (zh) 一种检测移动终端设备的运动轨迹演奏音乐的实现方法
CN105336327B (zh) 音频数据的增益控制方法及装置
CN2862265Y (zh) 声控mp3播放器
KR100775131B1 (ko) 오디오 신호에 따른 로봇 제어 방법 및 장치
CN112597332A (zh) 一种嵌入在mcu中的语音播放方法及装置
CN102456305A (zh) 一种基于语音识别的便携式智能多媒体导览***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518000 Guangdong, Shenzhen, Baoan District, Baoan District Air Town Street Development Area, 2A, building 4 and 4, 4

Patentee after: SHENZHEN YYD ROBO Co.,Ltd.

Address before: 518052 1002E room, building C, 5 software industry base, Xuefu Road, Shenzhen, Guangdong, Nanshan District

Patentee before: SHENZHEN QIANHAI YONGYIDA ROBOT Co.,Ltd.