CN104985599B - 基于人工智能的智能机器人控制方法、***及智能机器人 - Google Patents
基于人工智能的智能机器人控制方法、***及智能机器人 Download PDFInfo
- Publication number
- CN104985599B CN104985599B CN201510428895.3A CN201510428895A CN104985599B CN 104985599 B CN104985599 B CN 104985599B CN 201510428895 A CN201510428895 A CN 201510428895A CN 104985599 B CN104985599 B CN 104985599B
- Authority
- CN
- China
- Prior art keywords
- user
- signal
- intelligent robot
- intention
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提出了一种基于人工智能的智能机器人控制方法、***及智能机器人,其中,方法包括:接收多模态的输入信号,多模态的输入信号包括用户输入的语音信号和/或图像信号;根据语音信号和/或图像信号确定用户的意图;以及根据用户的意图控制智能机器人执行相应的动作。该方法能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
Description
技术领域
本发明涉及智能终端技术领域,特别涉及一种基于人工智能(ArtificialIntelligence,简称:AI)的智能机器人控制方法、控制***及智能机器人。
背景技术
通常人类要做出一个动作或是移动到一个指定的地点的方式,一般是在眼睛看到或是耳朵听到声音之后,经过大脑分析过后进行合理的运动。而对于机器人而言,要使其按照人类的意图进行动作,通常是采用遥控或者提前设定好的程序来控制机器人执行相关的动作。这种通过遥控或者提前设定好的程序来执行相关动作的机器人存在以下缺点:
与人类之间的交互方式单一且互动性差,这是由于遥控操作功能有限,机器人无法完成遥控操作功能以外的动作,同样,机器人按照提前设定好的程序进行动作,也是存在无法完成设定程序以外的其它动作,不能针对不同用户需求进行不同的运动。此外,机器人的运动方式完全是被动的,即:智能按照遥控操作或者设定程序进行动作,因此,在使用机器人时,需要使用者使用大量的操作,导致机器人的智能性较差。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此,本发明的一个目的在于提出一种基于人工智能的智能机器人控制方法。该方法能够提升用户与智能机器人的交互体验,提升智能机器人的智能性。
本发明的另一个目的在于提出一种基于人工智能的智能机器人控制***。
本发明的再一个目的在于提出一种智能机器人。
为达到上述目的,本发明的第一方面的实施例公开了一种基于人工智能的智能机器人控制方法,包括以下步骤:接收多模态的输入信号,所述多模态的输入信号包括用户输入的语音信号和/或图像信号;根据所述语音信号和/或图像信号确定所述用户的意图;以及根据所述用户的意图控制所述智能机器人执行相应的动作。
根据本发明实施例的基于人工智能的智能机器人控制方法,能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
本发明第二方面的实施例公开了一种基于人工智能的智能机器人控制***,包括:接收模块,用于接收多模态的输入信号,所述多模态的输入信号包括用户输入的语音信号和/或图像信号;人工智能模块,用于根据所述语音信号和/或图像信号确定所述用户的意图;控制模块,所述控制模块用于根据所述用户的意图生成相应的控制信号;以及执行模块,所述执行模块用于根据所述控制信号控制所述智能机器人执行相应的动作。
根据本发明实施例的基于人工智能的智能机器人控制***,能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
本发明第三方面的实施例公开了一种智能机器人,包括:如上述第二方面实施例所述的基于人工智能的智能机器人控制***。该智能机器人能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明所述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的用于MapReduce的中间数据传输方法的流程图;以及
图2是根据本发明一个实施例的基于人工智能的智能机器人控制方法的确定所述用户的意图的详细流程图;
图3是根据本发明另一个实施例的基于人工智能的智能机器人控制方法的确定所述用户的意图的详细流程图;
图4是根据本发明一个实施例的基于人工智能的智能机器人控制方法控制智能机器人移动至用户面前的流程图;
图5是根据本发明一个实施例的基于人工智能的智能机器人控制***的结构框图;
图6是根据本发明一个实施例的基于人工智能的智能机器人控制***的框架图;以及
图7是根据本发明一个实施例的基于人工智能的智能机器人控制***的执行步骤图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解所述术语的具体含义。
为了解决相关技术中存在的机器人智能性差且不能很好与人类进行交互的问题,本发明基于人工智能实现了智能性高且与人类交互体验好的智能机器人控制方法、***及智能机器人,其中,人工智能(Artificial Intelligence,简称:AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。人工智能是计算机科学的一个分支,企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。
人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考,也可能超过人的智能。人工智能是包括十分广泛的科学,由不同的领域组成,如机器学习,计算机视觉等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
以下结合附图描述根据本发明实施例的基于人工智能的智能机器人控制方法、控制***及智能机器人。
图1是根据本发明一个实施例的基于人工智能的智能机器人控制方法的流程图。如图1所示,该方法包括如下步骤:
S101:接收多模态的输入信号,其中,多模态的输入信号包括用户输入的语音信号和/或图像信号。
具体地,用户输入的语音信号可以是用户通过麦克风输入的;上述的图像信号可以是通过摄像头采集得到的。
S102:根据语音信号和/或图像信号确定用户的意图。即:通过人工智能可以对语音信号和/或图像信号进行分析处理,从而确定出用户的意图。需要说明的是,通过人工智能可以对语音信号和图像信号中的任意一个进行分析处理确定出用户的意图,也可以是通过对两者的结合确定出用户的意图。
具体地,如图2所示,可以根据以下两种方式确定用户的意图,具体包括:
1、对语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以确定用户的意图。具体来说,对于语音信号的处理需要进行语音识别、自然语言理解、语义分析、机器翻译、情感分析等,通过上述的处理,智能机器人在与用户进行交互的过程中,当用户说出一句话的时候,才能够得知用户输入的语音的含义。
2、对语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以及结合图像信号确定用户的意图。具体来说,当智能机器人得知用户输入的语音的含义,可以进一步结合用户的图像信号来更加明确用户的意图。例如:当用户输入的语音为“握手”,并通过用户的图像信号识别出用户给出了伸出右手的动作,则此时可以明确用户的意图为与智能机器人握手。
另外,通过两者结合的方式不但可以更加明确用户的意图,还可以在其中一个没有识别出来的情况下,通过另一个确定用户的意图。例如:当用户的动作含糊不清或者没有给出明确的动作时,可以通过识别出的语音“握手”来确定用户的意图。同样,当语音信号不好,不能识别出语音信号时,则可以根据图像信号中识别到的用户的“用户伸出右手的动作”确定用户出用户的意图,即握手的意图。
如图3所示,还可以根据另外两种方式确定用户的意图,具体包括:
3、对图像信号进行图像识别,确定图像信号中的用户,并根据图像信号中多帧图像之间的用户的动作差异确定用户的肢体动作,以及根据用户的肢体动作确定用户的意图。具体来说,在很短的时间内(如2秒)采集用户的视频信号(即多个连续的图像),然后根据多个连续的图像信号中用户的动作差异确定用户的肢体动作,还以“用户伸出右手的动作”为例,则确定出用户的肢体动作为“用户伸出右手的动作”,从而确定出用户的意图为“握手”。
4、对图像信号进行图像识别,确定图像信号中的用户,并根据图像信号中多帧图像之间的用户的动作差异确定用户的肢体动作,以及根据用户的肢体动作和/或语音信号确定用户的意图。具体来说,当通过图像信号确定出用户的肢体动作为“用户伸出右手的动作”之后,结合语音信号,识别出语音信号的含义为“握手”,则两者结合可以更加明确用户的意图。
另外,通过两者结合的方式不但可以更加明确用户的意图,还可以在其中一个没有识别出来的情况下,通过另一个确定用户的意图。例如:当用户的动作含糊不清或者没有给出明确的动作时,可以通过识别出的语音“握手”来确定用户的意图。同样,当语音信号不好,不能识别出语音信号时,则可以根据图像信号中识别到的用户的“用户伸出右手的动作”确定用户出用户的意图,即握手的意图。
S103:根据用户的意图控制智能机器人执行相应的动作。例如:当智能机器人确定出用户的意图为“握手”,则可以智能地控制机器人伸出它的右手。
如图4所示,在本发明的一个实施例中,在根据语音信号和/或图像信号确定用户的意图之前,还包括:
S401:根据用户输入的语音信号进行声源定位以确定用户所在的位置。
例如,可通过ManyEars声源定位技术来检测智能机器人周围的声音,具体地,可根据麦克风阵列来采集声源信号,之后可对声源信号进行有效音频信号检测,并且还可通过ManyEars技术将检测到的多个声源进行分离以得到多个独立的声源。其中,本实施例的术语“至少一个”可理解为一个或多个。进一步地,可通过ManyEars技术中的声源定位运算对上述某个声源进行定位,从而确定出用户的位置。
S402:根据用户所在的位置控制智能机器人移动至用户的面前。进一步地,检测智能机器人是否移动到用户的面前;如果否,则进一步控制智能机器人进行移动直至达到用户的面前。从而对智能机器人的运动控制形成闭环,保证智能机器人的运动更加精确。
在本发明的一个实施例中,该方法还包括:根据图像信号进行人脸识别,并根据识别结果确定用户的身份信息。一方面可以防止非法用户使用智能机器人,另一方面,也可根据用户身份信息使智能机器人为用户提供个性化的服务,提升智能机器人的使用体验。
作为一个具体的例子,假设当智能机器人通过人工智能判断出用户呼叫,智能机器人通过麦克风采集到用户的位置,然后智能地移动到用户面前,并将智能机器人头部摆动对准用户,通过摄像头进行拍照后进行人脸识别确定用户身份,从而为用户提供理想的交互手段或者为用户提供个性化的服务。这时当用户伸出手时,机器人采集到这一动作对应的图像信号,然后利用人工智能经过对用户行为进行针对性分析后确定是握手的动作,此时,便会主动伸出手臂到合适的位置。当用户说出“摇头”的指令后,经过语音识别后就会进行摇头的动作,从而很好地与用户进行交互。
根据本发明实施例的基于人工智能的智能机器人控制方法,能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
图5是根据本发明一个实施例的基于人工智能的智能机器人控制***的结构框图。如图5所示,该控制***500,包括:接收模块510、人工智能模块520、控制模块530和执行模块540。
具体地说,结合图6和图7所示,接收模块510用于接收多模态的输入信号,其中,多模态的输入信号包括用户输入的语音信号和/或图像信号。如图6和图7所示,用户输入的语音信号可以是用户通过麦克风输入的;上述的图像信号可以是通过摄像头采集得到的。其中,麦克风和摄像头可以是如图6中所述的反馈***,即接收模块510。反馈***包含摄像头和麦克风阵列两部分,分别对应视觉和听觉的反馈***。可以采集用户的信息从而提供人工智能进行分析和计算。
人工智能模块520用于根据语音信号和/或图像信号确定用户的意图。人工智能520是核心运算机构,能够将采集的信息进行分析、比较和计算等。
具体地人工智能模块520可以根据以下两种方式确定用户的意图,具体包括:
1、对语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以确定用户的意图。具体来说,对于语音信号的处理需要进行语音识别、自然语言理解、语义分析、机器翻译、情感分析等,通过上述的处理,智能机器人在与用户进行交互的过程中,当用户说出一句话的时候,才能够得知用户输入的语音的含义。
2、对语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以及结合图像信号确定用户的意图。具体来说,当智能机器人得知用户输入的语音的含义,可以进一步结合用户的图像信号来更加明确用户的意图。例如:当用户输入的语音为“握手”,并通过用户的图像信号识别出用户给出了伸出右手的动作,则此时可以明确用户的意图为与智能机器人握手。
另外,通过两者结合的方式不但可以更加明确用户的意图,还可以在其中一个没有识别出来的情况下,通过另一个确定用户的意图。例如:当用户的动作含糊不清或者没有给出明确的动作时,可以通过识别出的语音“握手”来确定用户的意图。同样,当语音信号不好,不能识别出语音信号时,则可以根据图像信号中识别到的用户的“用户伸出右手的动作”确定用户出用户的意图,即握手的意图。
人工智能模块520还可以根据另外两种方式确定用户的意图,具体包括:
3、对图像信号进行图像识别,确定图像信号中的用户,并根据图像信号中多帧图像之间的用户的动作差异确定用户的肢体动作,以及根据用户的肢体动作确定用户的意图。具体来说,在很短的时间内(如2秒)采集用户的视频信号(即多个连续的图像),然后根据多个连续的图像信号中用户的动作差异确定用户的肢体动作,还以“用户伸出右手的动作”为例,则确定出用户的肢体动作为“用户伸出右手的动作”,从而确定出用户的意图为“握手”。
4、对图像信号进行图像识别,确定图像信号中的用户,并根据图像信号中多帧图像之间的用户的动作差异确定用户的肢体动作,以及根据用户的肢体动作和/或语音信号确定用户的意图。具体来说,当通过图像信号确定出用户的肢体动作为“用户伸出右手的动作”之后,结合语音信号,识别出语音信号的含义为“握手”,则两者结合可以更加明确用户的意图。
另外,通过两者结合的方式不但可以更加明确用户的意图,还可以在其中一个没有识别出来的情况下,通过另一个确定用户的意图。例如:当用户的动作含糊不清或者没有给出明确的动作时,可以通过识别出的语音“握手”来确定用户的意图。同样,当语音信号不好,不能识别出语音信号时,则可以根据图像信号中识别到的用户的“用户伸出右手的动作”确定用户出用户的意图,即握手的意图。
控制模块530(如图6所示的控制***)用于根据用户的意图生成相应的控制信号。控制***将人工智能发出的指令转化为执行机构可以执行运动的信号,并且能够检测到执行机构是否运动到指令规定的位置,从而对整个运动机构的控制形成闭环。
执行模块540(如图6所示的执行机构)用于根据控制信号控制智能机器人执行相应的动作。执行机构是将机器人运动实现机构,由电池、舵机、运动骨架及执行终端(包含轮子、手臂及头部等部件)。可以将控制***的指令最终转化为机器人的动作,从而达到与用户交互的直观感受。
在本发明的一个实施例中,在人工智能模块520根据语音信号和/或图像信号确定用户的意图之前,人工智能模块520还用于:根据用户输入的语音信号进行声源定位以确定用户所在的位置;根据用户所在的位置控制智能机器人移动至用户的面前。进一步地,控制模块530还用于:检测智能机器人是否移动到用户的面前;如果否,则进一步通过执行模块控制所述智能机器人进行移动直至达到用户的面前。
其中,可通过ManyEars声源定位技术来检测智能机器人周围的声音,具体地,可根据麦克风阵列来采集声源信号,之后可对声源信号进行有效音频信号检测,并且还可通过ManyEars技术将检测到的多个声源进行分离以得到多个独立的声源。其中,本实施例的术语“至少一个”可理解为一个或多个。进一步地,可通过ManyEars技术中的声源定位运算对上述某个声源进行定位,从而确定出用户的位置。
在本发明的一个实施例中,人能智能模块520还用于:根据图像信号进行人脸识别,并根据识别结果确定用户的身份信息。一方面可以防止非法用户使用智能机器人,另一方面,也可根据用户身份信息使智能机器人为用户提供个性化的服务,提升智能机器人的使用体验。此外,还可以将用户的身份信息发至云端(即云端服务器),通过云端给出针对性的动作分析。
根据本发明实施例的基于人工智能的智能机器人控制***,能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
需要说明的是,本发明实施例的基于人工智能的智能机器人控制***的具体实现方式与本发明实施例的基于人工智能的智能机器人控制方法的具体实现方式类似,具体请参见方法部分的描述,为了减少冗余,此处不做赘述。
进一步地,本发明公开了一种智能机器人,包括:上述任意一个实施例所述的基于人工智能的智能机器人控制***。该智能机器人能够实时的采集用户的语音信号和/或图像信号,经过人工智能的分析后自主地控制智能机器人进行相应的动作,与用户的交互手段丰富。此外,智能机器人的运动完全是基于视觉和听觉的反馈方式实现,具有拟人的自主运动的意识,易于用户操作,同时更加全面地体现智能机器人的智能性,提升用户的使用体验。
另外,根据本发明实施例的智能机器人的其它构成以及作用对于本领域的普通技术人员而言都是已知的,为了减少冗余,此处不做赘述。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种基于人工智能的智能机器人控制方法,其特征在于,包括以下步骤:
接收多模态的输入信号,所述多模态的输入信号包括用户输入的语音信号和/或图像信号;
根据所述语音信号和/或图像信号确定所述用户的意图,包括:对所述语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以确定所述用户的意图;或者对所述语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以及结合所述图像信号确定所述用户的意图,所述根据图像信号确定所述用户的意图,具体包括:对所述图像信号进行图像识别,确定所述图像信号中的用户,并根据所述图像信号中多帧图像之间的用户的动作差异确定所述用户的肢体动作,以及根据所述用户的肢体动作确定所述用户的意图;或者对所述图像信号进行图像识别,确定所述图像信号中的用户,并根据所述图像信号中多帧图像之间的用户的动作差异确定所述用户的肢体动作,以及根据所述用户的肢体动作和/或所述语音信号确定所述用户的意图;以及
根据所述用户的意图控制所述智能机器人执行相应的动作,
在所述根据所述语音信号和/或图像信号确定所述用户的意图之前,还包括:
根据所述用户输入的语音信号进行声源定位以确定所述用户所在的位置;
根据所述用户所在的位置控制所述智能机器人移动至所述用户的面前;
还包括:检测所述智能机器人是否移动到所述用户的面前;如果否,则进一步控制所述智能机器人进行移动直至达到所述用户的面前。
2.根据权利要求1所述的基于人工智能的智能机器人控制方法,其特征在于,还包括:
根据所述图像信号进行人脸识别,并根据识别结果确定所述用户的身份信息。
3.一种基于人工智能的智能机器人控制***,其特征在于,包括:
接收模块,用于接收多模态的输入信号,所述多模态的输入信号包括用户输入的语音信号和/或图像信号;
人工智能模块,用于根据所述语音信号和/或图像信号确定所述用户的意图,包括对所述语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以确定所述用户的意图;或者对所述语音信号进行语音识别,并对识别结果进行自然语言理解、语义分析、情感分析中的一种或多种,以及结合所述图像信号确定所述用户的意图,和/或,对所述图像信号进行图像识别,确定所述图像信号中的用户,并根据所述图像信号中多帧图像之间的用户的动作差异确定所述用户的肢体动作,以及根据所述用户的肢体动作确定所述用户的意图;或者对所述图像信号进行图像识别,确定所述图像信号中的用户,并根据所述图像信号中多帧图像之间的用户的动作差异确定所述用户的肢体动作,以及根据所述用户的肢体动作和/或所述语音信号确定所述用户的意图;
控制模块,所述控制模块用于根据所述用户的意图生成相应的控制信号;以及
执行模块,所述执行模块用于根据所述控制信号控制所述智能机器人执行相应的动作,
在所述人工智能模块根据所述语音信号和/或图像信号确定所述用户的意图之前,所述人工智能模块还用于:根据所述用户输入的语音信号进行声源定位以确定所述用户所在的位置;根据所述用户所在的位置控制所述智能机器人移动至所述用户的面前,
所述控制模块还用于:检测所述智能机器人是否移动到所述用户的面前;如果否,则进一步通过所述执行模块控制所述智能机器人进行移动直至达到所述用户的面前。
4.根据权利要求3所述的基于人工智能的智能机器人控制***,其特征在于,所述人工智能模块还用于:
根据所述图像信号进行人脸识别,并根据识别结果确定所述用户的身份信息。
5.一种智能机器人,其特征在于,包括:根据权利要求3或4所述的基于人工智能的智能机器人控制***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510428895.3A CN104985599B (zh) | 2015-07-20 | 2015-07-20 | 基于人工智能的智能机器人控制方法、***及智能机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510428895.3A CN104985599B (zh) | 2015-07-20 | 2015-07-20 | 基于人工智能的智能机器人控制方法、***及智能机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104985599A CN104985599A (zh) | 2015-10-21 |
CN104985599B true CN104985599B (zh) | 2018-07-10 |
Family
ID=54297552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510428895.3A Active CN104985599B (zh) | 2015-07-20 | 2015-07-20 | 基于人工智能的智能机器人控制方法、***及智能机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104985599B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11815880B2 (en) * | 2019-10-15 | 2023-11-14 | UiPath, Inc. | Human-in-the-loop robot training for robotic process automation |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205043794U (zh) * | 2015-06-01 | 2016-02-24 | 刘学勇 | 机器人 |
CN105427865A (zh) * | 2015-11-04 | 2016-03-23 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人的语音控制***以及方法 |
CN105807933B (zh) * | 2016-03-18 | 2019-02-12 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN105844329A (zh) * | 2016-03-18 | 2016-08-10 | 北京光年无限科技有限公司 | 面向智能机器人的思维数据处理方法及*** |
CN105867633B (zh) * | 2016-04-26 | 2019-09-27 | 北京光年无限科技有限公司 | 面向智能机器人的信息处理方法及*** |
CN105912128B (zh) * | 2016-04-29 | 2019-05-24 | 北京光年无限科技有限公司 | 面向智能机器人的多模态交互数据处理方法及装置 |
CN105930167A (zh) * | 2016-05-10 | 2016-09-07 | 北京光年无限科技有限公司 | 一种智能机器人及应用于智能机器人的操作*** |
CN105929827B (zh) * | 2016-05-20 | 2020-03-10 | 北京地平线机器人技术研发有限公司 | 移动机器人及其定位方法 |
CN106022294B (zh) * | 2016-06-01 | 2020-08-18 | 北京光年无限科技有限公司 | 一种面向智能机器人的人机交互方法及装置 |
CN106663001A (zh) * | 2016-06-28 | 2017-05-10 | 深圳狗尾草智能科技有限公司 | 基于单意图的技能包并行执行管理方法、***及机器人 |
WO2018000259A1 (zh) * | 2016-06-29 | 2018-01-04 | 深圳狗尾草智能科技有限公司 | 一种机器人交互内容的生成方法、***及机器人 |
CN106078743B (zh) * | 2016-07-05 | 2019-03-01 | 北京光年无限科技有限公司 | 智能机器人,应用于智能机器人的操作***及应用商店 |
CN106407882A (zh) * | 2016-07-26 | 2017-02-15 | 河源市勇艺达科技股份有限公司 | 机器人通过人脸检测实现头部转动的方法及装置 |
CN106092091B (zh) * | 2016-08-10 | 2019-07-02 | 京东方科技集团股份有限公司 | 电子机器设备 |
CN106328132A (zh) * | 2016-08-15 | 2017-01-11 | 歌尔股份有限公司 | 一种智能设备的语音交互控制方法和装置 |
JP6662746B2 (ja) * | 2016-10-07 | 2020-03-11 | ファナック株式会社 | 機械学習部を備えた作業補助システム |
CN106557164A (zh) * | 2016-11-18 | 2017-04-05 | 北京光年无限科技有限公司 | 应用于智能机器人的多模态输出方法和装置 |
CN106782519A (zh) * | 2016-12-23 | 2017-05-31 | 深圳先进技术研究院 | 一种机器人 |
CN106903695B (zh) * | 2017-01-16 | 2019-04-26 | 北京光年无限科技有限公司 | 应用于智能机器人的投影交互方法及*** |
CN107273944A (zh) * | 2017-05-16 | 2017-10-20 | 北京元视觉科技有限公司 | 自主社交的智能设备、自主交互方法及存储介质 |
CN107195301A (zh) * | 2017-05-19 | 2017-09-22 | 深圳市优必选科技有限公司 | 智能机器人语义处理的方法及装置 |
CN107341739A (zh) * | 2017-06-02 | 2017-11-10 | 国网福建省电力有限公司 | 一种用于电力服务领域的人工智能机器人*** |
CN110852133A (zh) * | 2018-07-27 | 2020-02-28 | 宝时得科技(中国)有限公司 | 自动行走设备、及其控制方法、控制装置及计算机设备 |
CN110969053B (zh) * | 2018-09-29 | 2023-12-22 | 深圳市神州云海智能科技有限公司 | 一种彩民分类的方法、装置及彩票机器人 |
CN109382827A (zh) * | 2018-10-26 | 2019-02-26 | 深圳市三宝创新智能有限公司 | 一种机器人***及其智能记忆识别方法 |
CN109605373A (zh) * | 2018-12-21 | 2019-04-12 | 重庆大学 | 基于机器人的语音交互方法 |
CN110125932B (zh) * | 2019-05-06 | 2024-03-19 | 达闼科技(北京)有限公司 | 一种机器人的对话交互方法、机器人及可读存储介质 |
CN110164285A (zh) * | 2019-06-19 | 2019-08-23 | 上海思依暄机器人科技股份有限公司 | 一种实验机器人及其实验操控方法和装置 |
CN110695989A (zh) * | 2019-09-20 | 2020-01-17 | 浙江树人学院(浙江树人大学) | 一种用于智能机器人的视听交互***及其交互控制方法 |
US11440201B2 (en) | 2019-10-15 | 2022-09-13 | UiPath, Inc. | Artificial intelligence-based process identification, extraction, and automation for robotic process automation |
US11488015B2 (en) | 2019-10-15 | 2022-11-01 | UiPath, Inc. | Artificial intelligence layer-based process extraction for robotic process automation |
CN111331614A (zh) * | 2020-03-19 | 2020-06-26 | 上海陆根智能传感技术有限公司 | 一种基于人工智能的机器人 |
CN111428006A (zh) * | 2020-04-27 | 2020-07-17 | 齐鲁工业大学 | 一种基于nao机器人的辅助教学***及方法 |
CN112518743B (zh) * | 2020-11-20 | 2022-04-01 | 南京航空航天大学 | 一种面向空间机械臂在轨操作的多模态神经解码控制***及方法 |
CN112925235A (zh) * | 2021-01-21 | 2021-06-08 | 深圳市普渡科技有限公司 | 交互时的声源定位方法、设备和计算机可读存储介质 |
CN113601511B (zh) * | 2021-08-17 | 2023-03-14 | 北京百度网讯科技有限公司 | 机器人控制方法、装置、电子设备、机器人及服务器 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100360204C (zh) * | 2005-06-16 | 2008-01-09 | 上海交通大学 | 基于多处理器协作的智能表演机器人的控制*** |
JP4786516B2 (ja) * | 2006-12-13 | 2011-10-05 | 三菱重工業株式会社 | ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム |
CN101927492B (zh) * | 2010-06-23 | 2012-01-04 | 焦利民 | 一种家用智能机器人*** |
FR2963132A1 (fr) * | 2010-07-23 | 2012-01-27 | Aldebaran Robotics | Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface |
CN102457607B (zh) * | 2010-10-20 | 2016-05-04 | 浪潮乐金数字移动通信有限公司 | 一种影像感应输入移动通信终端及其影像感应输入方法 |
KR101568347B1 (ko) * | 2011-04-12 | 2015-11-12 | 한국전자통신연구원 | 지능형 로봇 특성을 갖는 휴대형 컴퓨터 장치 및 그 동작 방법 |
-
2015
- 2015-07-20 CN CN201510428895.3A patent/CN104985599B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11815880B2 (en) * | 2019-10-15 | 2023-11-14 | UiPath, Inc. | Human-in-the-loop robot training for robotic process automation |
Also Published As
Publication number | Publication date |
---|---|
CN104985599A (zh) | 2015-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104985599B (zh) | 基于人工智能的智能机器人控制方法、***及智能机器人 | |
Wu et al. | Multimodal large language models: A survey | |
Hossain et al. | An audio-visual emotion recognition system using deep learning fusion for a cognitive wireless framework | |
CN105868827B (zh) | 一种智能机器人多模态交互方法和智能机器人 | |
CN105093986A (zh) | 基于人工智能的拟人机器人控制方法、***及拟人机器人 | |
Minato et al. | Overview of dialogue robot competition 2023 | |
CN107030691A (zh) | 一种看护机器人的数据处理方法及装置 | |
EP3683730A1 (en) | Dynamic learning method and system for robot, robot, and cloud server | |
CN108942919A (zh) | 一种基于虚拟人的交互方法及*** | |
Valstar et al. | Ask Alice: an artificial retrieval of information agent | |
CN106502382A (zh) | 用于智能机器人的主动交互方法和*** | |
CN108133259A (zh) | 人工虚拟生命与外界交互的***及方法 | |
Cooper et al. | Social robotic application to support active and healthy ageing | |
Hu et al. | Follow me Robot-Mind: Cloud brain based personalized robot service with migration | |
Wake et al. | Verbal focus-of-attention system for learning-from-observation | |
CN115063709A (zh) | 基于跨模态注意与分层融合的多模态情感分析方法及*** | |
Wang et al. | Multimodal Human–Robot Interaction for Human‐Centric Smart Manufacturing: A Survey | |
CN109240510B (zh) | 基于视线追踪的增强现实人机交互设备及控制方法 | |
CN108388399B (zh) | 虚拟偶像的状态管理方法及*** | |
US20190193280A1 (en) | Method for personalized social robot interaction | |
CN109961152A (zh) | 虚拟偶像的个性化互动方法、***、终端设备及存储介质 | |
CN106541408B (zh) | 基于智能机器人的儿童行为引导方法及*** | |
Rach et al. | Emotion recognition based preference modelling in argumentative dialogue systems | |
Proudfoot | On Wittgenstein on cognitive science | |
CN108447487B (zh) | 基于文本输入与输出训练模拟人脑思维的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |