CN114385000A - 智能设备控制方法、装置、服务器和存储介质 - Google Patents

智能设备控制方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN114385000A
CN114385000A CN202111450709.8A CN202111450709A CN114385000A CN 114385000 A CN114385000 A CN 114385000A CN 202111450709 A CN202111450709 A CN 202111450709A CN 114385000 A CN114385000 A CN 114385000A
Authority
CN
China
Prior art keywords
target
virtual object
environment
digital
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111450709.8A
Other languages
English (en)
Inventor
马世奎
呼明浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Priority to CN202111450709.8A priority Critical patent/CN114385000A/zh
Publication of CN114385000A publication Critical patent/CN114385000A/zh
Priority to PCT/CN2022/105815 priority patent/WO2023098090A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种智能设备控制方法、装置、服务器和存储介质,该方法包括:获取数字虚拟环境,数字虚拟环境是对智能设备所处的物理环境映射得到的;将物理环境中的目标真实物体映射为目标虚拟对象;若数字虚拟环境中不包含目标虚拟对象,则基于目标虚拟对象的类型,确定需要对目标虚拟对象做出的反应信息;向智能设备输出反应信息,以使得智能设备基于反应信息做出相应的反应动作。本发明提供的方案减少了人工干预,提升了智能设备行为的自然度,提高了智能设备的使用灵活度。

Description

智能设备控制方法、装置、服务器和存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种智能设备控制方法、装置、服务器和存储介质。
背景技术
相关技术中的一些智能设备可以根据用户给出的指令来执行对应的动作。比如说,用户对智能音箱说“播放A歌曲”,那么该智能音箱会调取出A歌曲对应的音频并播放该音频。相关技术中的智能设备是被动的,如果用户不向智能设备输入任何指令,则智能设备会一直处于静默状态。因此,相关技术中的智能设备的使用灵活性较差。
发明内容
本发明实施例提供一种智能设备控制方法、装置、服务器和存储介质,用以实现提高智能设备的使用灵活性。
第一方面,本发明实施例提供一种智能设备控制方法,应用于服务器,该方法包括:
获取数字虚拟环境,所述数字虚拟环境是对智能设备所处的物理环境映射得到的;
将所述物理环境中的目标真实物体映射为目标虚拟对象;
若所述数字虚拟环境中不包含所述目标虚拟对象,则基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息;
向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作。
可选地,若所述数字虚拟环境中不包含所述目标虚拟对象,所述方法还包括:
将所述目标虚拟对象添加到所述数字虚拟环境中。
可选地,在获取数字虚拟环境之前,所述方法还包括:
通过数字孪生技术,将所述智能设备所处的物理环境映射为所述数字虚拟环境;
所述将所述物理环境中的目标真实物体映射为目标虚拟对象,包括:
通过所述数字孪生技术,将所述物理环境中的目标真实物体映射为目标虚拟对象。
可选地,所述若所述数字虚拟环境中不包含所述虚拟对象,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息,包括:
获取所述数字虚拟环境中包含的各虚拟对象,其中,所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的;
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
可选地,所述若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息,包括:
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征;
识别所述目标虚拟对象对应的物理特征;
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
可选地,若所述目标虚拟对象对应的所述目标真实物体为人物,则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
可选地,所述反应信息包括状态机的目标接口;
所述基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息,包括:
确定所述目标虚拟对象的类型触发的目标事件;
根据预设的事件与任务的对应关系,确定所述目标事件对应的目标任务;
执行所述目标任务,以获取所述状态机的所述目标接口,其中,所述目标接口用于驱动所述智能设备做出反应动作。
可选地,所述反应信息包括语音信息和动作信息;
所述向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作,包括:
向所述智能设备输出所述反应信息,以使得所述智能设备播放所述语音信息,以及基于所述动作信息进行运动。
可选地,所述动作信息为目标动画;
所述向所述智能设备输出所述反应信息,以使得所述智能设备基于所述动作信息进行运动,包括:
调取所述目标动画,所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作;
控制所述智能设备按照所述目标动画中设定的动作,与所述智能设备对应的虚拟对象同步进行运动。
第二方面,本发明实施例提供一种智能设备控制装置,包括:
获取模块,用于获取数字虚拟环境,所述数字虚拟环境是对智能设备所处的物理环境映射得到的;
映射模块,用于将所述物理环境中的目标真实物体映射为目标虚拟对象;
确定模块,用于若所述数字虚拟环境中不包含所述目标虚拟对象,则基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息;
输出模块,用于向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作。
可选地,若所述数字虚拟环境中不包含所述目标虚拟对象,所述装置还包括添加模块;
所述添加模块,用于:
将所述目标虚拟对象添加到所述数字虚拟环境中。
可选地,所述映射模块,用于:
通过数字孪生技术,将所述智能设备所处的物理环境映射为所述数字虚拟环境;
通过所述数字孪生技术,将所述物理环境中的目标真实物体映射为目标虚拟对象。
可选地,所述确定模块,用于:
获取所述数字虚拟环境中包含的各虚拟对象,其中,所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的;
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
可选地,所述确定模块,用于:
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征;
识别所述目标虚拟对象对应的物理特征;
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
可选地,如果所述目标虚拟对象对应的所述目标真实物体为人物,则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
可选地,所述反应信息包括状态机的目标接口;
所述确定模块,用于:
确定所述目标虚拟对象的类型触发的目标事件;
根据预设的事件与任务的对应关系,确定所述目标事件对应的目标任务;
执行所述目标任务,以获取所述状态机的所述目标接口,其中,所述目标接口用于驱动所述智能设备做出反应动作。
可选地,所述反应信息包括语音信息和动作信息;
所述输出模块,用于:
向所述智能设备输出所述反应信息,以使得所述智能设备播放所述语音信息,以及基于所述动作信息进行运动。
可选地,所述动作信息为目标动画;
所述输出模块,用于:
调取所述目标动画,所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作;
控制所述智能设备按照所述目标动画中设定的动作,与所述智能设备对应的虚拟对象同步进行运动。
第三方面,本发明实施例提供一种服务器,其中包括处理器和存储器,其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器至少可以实现第一方面中的智能设备控制方法。
第四方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被服务器的处理器执行时,使所述处理器至少可以实现第一方面中的智能设备控制方法。
采用本发明,可以将物理环境中出现的目标真实物体映射为目标虚拟对象,然后通过检测数字虚拟环境是否包含该目标虚拟对象,以确定该目标虚拟对象是否是数字虚拟环境中新出现的虚拟对象。如果数字虚拟环境中出现了目标虚拟对象,则表示物理环境中对应出现了新的真实物体。在检测到新的真实物体之后,可以控制智能设备自主地针对不同的真实物体做出相应的反应。相较于相关技术中的需要用户输入指令设备才能对应做出反应的方案来说,本发明提供的方案减少了人工干预,提升了智能设备行为的自然度,提高了智能设备的使用灵活度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种智能设备控制方法的流程示意图;
图2为本发明实施例提供的一种智能设备控制方法的流程示意图;
图3为本发明实施例提供的一种智能设备控制装置的结构示意图;
图4为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为本发明实施例提供的一种智能设备控制方法的流程图,该方法应用于服务器,并由智能设备配合实现。在某些可选实施例中,服务器可以是云端服务器,智能设备可以是机器人等。如图1所示,该方法包括如下步骤:
101、获取数字虚拟环境,数字虚拟环境是对智能设备所处的物理环境映射得到的。
102、将物理环境中的目标真实物体映射为目标虚拟对象。
103、若数字虚拟环境中不包含目标虚拟对象,则基于目标虚拟对象的类型,确定需要对目标虚拟对象做出的反应信息。
104、向智能设备输出反应信息,以使得智能设备基于反应信息做出相应的反应动作。
需要说明的是,数字虚拟环境是对真实的物理环境进行仿真、映射得到的。真实的物理环境是真实存在的实体,数字虚拟环境是针对服务器建立的,使得服务器通过看数字虚拟环境来观察真实的物理环境。
可以理解的是,智能设备中可以设置有多种传感器、图像采集装置,通过这些传感器、图像采集装置可以采集智能设备所处的物理环境的图像以及深度等,智能设备可以将采集到的图像以及深度发送至服务器,由服务器基于图像以及深度对智能设备所处的物理环境进行仿真、映射、重构等。
可选地,建立数字虚拟环境的过程可以实现为:通过数字孪生技术,将智能设备所处的物理环境映射为数字虚拟环境。
其中,数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的真实物体的全生命周期过程。采用数字孪生技术,不仅能够实现对真实物体的外观的建模,还可以实现对真实物体的几何结构、空间位置、物理结构约束、物理特性(如摩擦系数、重力等)仿真等。总体来说,采用数字孪生技术可以实现物理环境与数字虚拟环境的1:1的仿真映射,可以降低虚实迁移的成本。
在本发明实施例中,首先需要通过数字孪生技术,将智能设备所处的物理环境映射为数字虚拟环境。在某些具体应用场景中,假设智能设备被放置在某个房间内,则该房间内的天花板、地板、过道等都可以作为物理环境中需要映射的对象。通过对物理环境的映射,智能设备可以知道所处的空间结构是什么样子的、哪些地方可以通过以用于进行本体的移动等。
需要说明的是,数字虚拟环境中还包括智能设备本体,可以对智能设备本体进行映射,这样智能设备对应的虚拟对象也可以出现在数字虚拟环境中。
接着,如果物理环境在初始阶段没有其他真实物体(如一个空房间),则可以仅将物理环境映射为数字虚拟环境。如果物理环境在初始阶段还存在其他真实物体,则还可以将物理环境中设置的其他真实物体映射为各自对应的虚拟对象,并将这些虚拟对象添加到数字虚拟环境中。该真实物体是固定的、或者说在一段时间之内是不变化的。在某些具体应用场景中,仍假设智能设备被放置在某个房间内,则该房间内设置的桌子、椅子、柜子等物体都可以作为上述真实物体。
需要说明的是,实际应用中,并不需要将物理环境中所有出现的真实物体都映射到数字虚拟环境中。比如说,如果桌子上有个杯子,如果该杯子并不影响智能设备执行任务,则可以不对该杯子进行映射。这样,可以降低映射过程中的计算量,也可以降低映射的第一虚拟对象的数量,从而减少智能设备在执行任务过程中的干扰。
可以理解的是,在建立数字虚拟环境以及确定数字虚拟环境之中包括的虚拟对象之后,可以对数字虚拟环境以及虚拟对象进行存储,在后续需要使用到这些数据时,再进行调用。
在建立数字虚拟环境之后,可以将物理环境中的目标真实物体映射为目标虚拟对象。需要说明的是,目标真实物体可以是当前出现在物理环境中的任一真实物体。
可选地,可以通过数字孪生技术,将物理环境中的目标真实物体映射为目标虚拟对象。
在重构目标虚拟对象之后,可以判断数字虚拟环境中是否包含该目标虚拟对象。若数字虚拟环境中不包含目标虚拟对象,表示目标虚拟对象是新出现在数字虚拟环境中的,则可以基于目标虚拟对象的类型,确定需要对目标虚拟对象做出的反应信息。
举例来说,假设房间内走进了一个人物,且该人物来到智能设备附近。对于智能设备来说,之前没有检测到过该人物,进而未对该人物进行重构。那么该人物对应的虚拟对象也就不可能出现在数字虚拟环境中,所以数字虚拟环境中不包含该人物对应的虚拟对象。
另外值得注意的是,对于智能设备来说,只需要对特定类型的目标虚拟对象进行反应。比如说,如果目标虚拟对象是人物,则需要对人物做出反应。如果目标虚拟对象是新搬进房间内的一个桌子,那么不需要对该桌子做出反应。
可选地,如果数字虚拟环境中不包含目标虚拟对象,还可以将目标虚拟对象添加到数字虚拟环境中。
通过这样的方式,数字虚拟环境是不断迭代更新的,随着新的真实物体进入物理环境,对应重构出的虚拟对象也会相应添加到数字虚拟环境中。
可选地,上述若数字虚拟环境中不包含虚拟对象,则基于虚拟对象的类型,确定需要对虚拟对象做出的反应信息的过程可以实现为:获取数字虚拟环境中包含的各虚拟对象,其中,数字虚拟环境中包含的各虚拟对象是在映射目标虚拟对象之前对物理环境中的各真实物体映射得到的;若目标虚拟对象与数字虚拟环境中包含的各虚拟对象都不匹配,则基于虚拟对象的类型,确定需要对虚拟对象做出的反应信息。
如前文所述,数字虚拟环境是不断迭代更新的,它其中可能不包含任何虚拟对象,也可能通过更新添加了一些虚拟对象。如果数字虚拟环境中不包含任何虚拟对象,则目标虚拟对象是不包含在数字虚拟环境中的。如果数字虚拟环境中包含虚拟对象,则可以对目标虚拟对象和数字虚拟环境中包含的各虚拟对象进行比较匹配,以确定数字虚拟环境中包含的虚拟对象中是否有目标虚拟对象。
可选地,若目标虚拟对象与数字虚拟环境中包含的各虚拟对象都不匹配,则基于虚拟对象的类型,确定需要对虚拟对象做出的反应信息的过程可以实现为:获取数字虚拟环境中包含的各虚拟对象对应的物理特征;识别目标虚拟对象对应的物理特征;若目标虚拟对象对应的物理特征分别和数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配,则基于虚拟对象的类型,确定需要对虚拟对象做出的反应信息。
其中,在某些可选实施例中,如果虚拟对象对应的真实物体为人物,则上述物理特征包括但不限于人脸特征、人物的位姿。
实际应用中,服务器在前后两次检测到虚拟对象时,可以对检测到的虚拟对象进行比较匹配,以避免将前后两次检测到的同一虚拟对象重复映射到数字虚拟环境中。
如果虚拟对象对应的真实物体为人物,则可以通过对前后两次检测到的人物的人脸特征、人物的位姿的比较匹配来确定前后两次检测到的人物是否是同一人物。如果前面没有检测到过人物但是后面检测到了某个人物,或者后面检测到的人物与前面检测到的任何一个人物都不匹配,则表示后面检测到的人物是新出现的人物。
需要说明的是,在比较匹配人物的位姿的过程中,如果前后两次检测到的人物的位姿差别在预设范围内,且前后两次检测到的人物的人脸特征相匹配,则表示前后两次检测到的人物为同一人物。之所以将前后两次检测到的人物的位姿差别限定在一定范围内是因为,同一人物可能会在两次检测间隔之间进行小幅度的移动和调整。
另外,通过对前后检测到的人物的比较匹配,可以保证人机对话过程的延续性。举例来说,假设当智能设备检测到一个新出现的人物时,会对该人物主动打招呼。那么如果检测到两个新出现的人物时,可以依次对两个人物分别打招呼。也就会有以下场景:
智能设备对着人物A说:你好!
智能设备转向人物B说:你好!
如果智能设备不对前后检测到的人物进行比较匹配,那么智能设备再次检测到人物A时,会误认为该人物A是新出现的人物,然后又会转向人物A说“你好!”,这样对话流程无法进行下去。而当智能设备能够通过比较匹配的方式确定前后检测到的人物A是同一人物,则智能设备可以继续延续对话流程。比如说,智能设备可以转向人物A说“请问有什么可以帮助您的?”
通过上述方式确定出数字虚拟环境中出现新的目标对象之后,可以基于目标对象的对象类型,确定需要对目标对象做出的反应信息。比如说,目标对象是人物,需要对新出现的人物做出视角跟随以及打招呼的反应。
可选地,反应信息可以包括状态机的目标接口。相应地,如图2所示,基于目标虚拟对象的类型,确定需要对目标虚拟对象做出的反应信息的过程可以实现为:确定目标虚拟对象的类型触发的目标事件;根据预设的事件与任务的对应关系,确定目标事件对应的目标任务;执行目标任务,以获取状态机的目标接口,其中,目标接口用于驱动智能设备做出反应动作。
其中,预设的事件与任务的对应关系可以实现为行为树,也就是说将目标事件输入到行为树中,行为树根据目标事件判断进入的分支,不同分支代表着不同任务,目标事件对应的分支为目标任务,因此行为树可以输出与目标事件对应的目标任务。
此外,状态机由状态寄存器和组合逻辑电路构成,能够根据控制信号按照预先设定的状态进行状态转移,是协调相关信号动作、完成特定操作的控制中心。
最后,可以向智能设备输出反应信息,以使得智能设备基于反应信息做出相应的反应动作。
可选地,反应信息可以包括语音信息和动作信息。向智能设备输出反应信息,以使得智能设备基于反应信息做出相应的反应动作的过程可以实现为:向智能设备输出反应信息,以使得智能设备播放语音信息,以及基于动作信息进行运动。
具体来说,通过调用状态机中对应的目标接口,可以使得服务器向智能设备发送控制指令,以使得智能设备播放语音信息,以及基于动作信息进行运动。
举例来说,假设服务器检测到一个新出现的人物,触发看见人的事件。将看见人的事件输入到行为树中,行为树根据看见人的事件判断进入到看见人的分支。假设该分支对应的任务是打招呼的任务,则通过执行打招呼的任务,以调用状态机中对应的打招呼的接口。这样状态机就进入到打招呼的状态中。通过调用打招呼的接口,服务器向智能设备发送打招呼的控制指令,使得智能设备获取“你好”的音频并播放该音频,同时,使得智能设备看向需要打招呼的人物的脸部,控制机械手臂进行摇摆,以做出招手的动作。
在某些可选实施例中,在数字虚拟环境中,可以映射有需要打招呼的人物对应的虚拟人物模型。该虚拟人物模型是参照真实的人物进行仿真映射的,该虚拟人物模型在数字虚拟环境中所处的位置与该人物在物理环境中所站的位置是相对应的。另外,该虚拟人物模型的高度与该人物的身高是相对应的。
基于此,可以基于数字虚拟环境中的智能设备对应的虚拟对象的位置和高度、以及虚拟人物模型的位置和高度,确定智能设备对应的虚拟对象需要朝向的角度以及该虚拟对象的头部的俯仰角,以可以在数字虚拟环境中让智能设备对应的虚拟对象可以面向虚拟人物模型。通过控制智能设备与智能设备对应的虚拟对象做出同步的动作,可以使得智能设备最终面向需要打招呼的人物。
可选地,对于一些构造有骨骼的智能设备来说,上述动作信息可以是目标动画。相应地,向智能设备输出反应信息,以使得智能设备基于动作信息进行运动的过程可以实现为:调取目标动画,目标动画中包括与智能设备对应的虚拟对象在数字虚拟环境中执行的动作;控制智能设备按照目标动画中设定的动作,与智能设备对应的虚拟对象同步进行运动。
在某些可选实施例中,可以预先设计好打招呼的动作,将打招呼的动作制作为模型骨骼动画。需要说明的是,虚拟人物模型可以由多个骨骼构成,通过控制虚拟人物模型的骨骼调整相应的位姿,可以使得虚拟人物模型完成预设的动作。可以将虚拟人物模型调整骨骼位姿的过程记录在骨骼动画中。除了这里的举例,可以将不同动作都制成不同的骨骼动画。在需要使用到某目标动作时,可以调取与该目标动作对应的骨骼动画。
需要说明的是,智能设备可以是由多个机械结构组成的,该机械结构可以作为智能设备的骨骼,虚拟人物模型中的骨骼与智能设备的骨骼相对应。这样,通过智能设备与智能设备对应的虚拟对象的同步,当虚拟人物模型中的某个骨骼调整了相应的位姿时,对应的智能设备的骨骼也调整相同的位姿,进而就实现了智能设备模仿骨骼动画中设定的动作进行运动。
采用本发明,可以将物理环境中出现的目标真实物体映射为目标虚拟对象,然后通过检测数字虚拟环境是否包含该目标虚拟对象,以确定该目标虚拟对象是否是数字虚拟环境中新出现的虚拟对象。如果数字虚拟环境中出现了目标虚拟对象,则表示物理环境中对应出现了新的真实物体。在检测到新的真实物体之后,可以控制智能设备自主地针对不同的真实物体做出相应的反应。相较于相关技术中的需要用户输入指令设备才能对应做出反应的方案来说,本发明提供的方案减少了人工干预,提升了智能设备行为的自然度,提高了智能设备的使用灵活度。
以下将详细描述本发明的一个或多个实施例的智能设备控制装置。本领域技术人员可以理解,这些智能设备控制装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图3为本发明实施例提供的一种智能设备控制装置的结构示意图,如图3所示,该装置包括:
获取模块31,用于获取数字虚拟环境,所述数字虚拟环境是对智能设备所处的物理环境映射得到的;
映射模块32,用于将所述物理环境中的目标真实物体映射为目标虚拟对象;
确定模块33,用于若所述数字虚拟环境中不包含所述目标虚拟对象,则基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息;
输出模块34,用于向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作。
可选地,若所述数字虚拟环境中不包含所述目标虚拟对象,所述装置还包括添加模块;
所述添加模块,用于:
将所述目标虚拟对象添加到所述数字虚拟环境中。
可选地,所述映射模块32,用于:
通过数字孪生技术,将所述智能设备所处的物理环境映射为所述数字虚拟环境;
通过所述数字孪生技术,将所述物理环境中的目标真实物体映射为目标虚拟对象。
可选地,所述确定模块33,用于:
获取所述数字虚拟环境中包含的各虚拟对象,其中,所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的;
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
可选地,所述确定模块33,用于:
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征;
识别所述目标虚拟对象对应的物理特征;
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
可选地,如果所述目标虚拟对象对应的所述目标真实物体为人物,则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
可选地,所述反应信息包括状态机的目标接口;
所述确定模块33,用于:
确定所述目标虚拟对象的类型触发的目标事件;
根据预设的事件与任务的对应关系,确定所述目标事件对应的目标任务;
执行所述目标任务,以获取所述状态机的所述目标接口,其中,所述目标接口用于驱动所述智能设备做出反应动作。
可选地,所述反应信息包括语音信息和动作信息;
所述输出模块34,用于:
向所述智能设备输出所述反应信息,以使得所述智能设备播放所述语音信息,以及基于所述动作信息进行运动。
可选地,所述动作信息为目标动画;
所述输出模块34,用于:
调取所述目标动画,所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作;
控制所述智能设备按照所述目标动画中设定的动作,与所述智能设备对应的虚拟对象同步进行运动。
图3所示装置可以执行前述图1至图2所示实施例中提供的智能设备控制方法,详细的执行过程和技术效果参见前述实施例中的描述,在此不再赘述。
在一个可能的设计中,上述图3所示智能设备控制装置的结构可实现为一服务器,如图4所示,该服务器可以包括:处理器91、存储器92。其中,所述存储器92上存储有可执行代码,当所述可执行代码被所述处理器91执行时,使所述处理器91至少可以实现如前述图1至图2所示实施例中提供的智能设备控制方法。
可选地,该服务器中还可以包括通信接口93,用于与其他设备进行通信。
另外,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被服务器的处理器执行时,使所述处理器至少可以实现如前述图1至图2所示实施例中提供的智能设备控制方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例提供的智能设备控制方法可以由某种程序/软件来执行,该程序/软件可以由网络侧提供,前述实施例中提及的服务器可以将该程序/软件下载到本地的非易失性存储介质中,并在其需要执行前述智能设备控制方法时,通过CPU将该程序/软件读取到内存中,进而由CPU执行该程序/软件以实现前述实施例中所提供的智能设备控制方法,执行过程可以参见前述图1至图2中的示意。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种智能设备控制方法,其特征在于,应用于服务器,所述方法包括:
获取数字虚拟环境,所述数字虚拟环境是对智能设备所处的物理环境映射得到的;
将所述物理环境中的目标真实物体映射为目标虚拟对象;
若所述数字虚拟环境中不包含所述目标虚拟对象,则基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息;
向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作。
2.根据权利要求1所述的方法,其特征在于,若所述数字虚拟环境中不包含所述目标虚拟对象,所述方法还包括:
将所述目标虚拟对象添加到所述数字虚拟环境中。
3.根据权利要求1所述的方法,其特征在于,在获取数字虚拟环境之前,所述方法还包括:
通过数字孪生技术,将所述智能设备所处的物理环境映射为所述数字虚拟环境;
所述将所述物理环境中的目标真实物体映射为目标虚拟对象,包括:
通过所述数字孪生技术,将所述物理环境中的目标真实物体映射为目标虚拟对象。
4.根据权利要求1所述的方法,其特征在于,所述若所述数字虚拟环境中不包含所述虚拟对象,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息,包括:
获取所述数字虚拟环境中包含的各虚拟对象,其中,所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的;
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
5.根据权利要求4所述的方法,其特征在于,所述若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息,包括:
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征;
识别所述目标虚拟对象对应的物理特征;
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
6.根据权利要求5所述的方法,其特征在于,若所述目标虚拟对象对应的所述目标真实物体为人物,则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
7.根据权利要求1所述的方法,其特征在于,所述反应信息包括状态机的目标接口;
所述基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息,包括:
确定所述目标虚拟对象的类型触发的目标事件;
根据预设的事件与任务的对应关系,确定所述目标事件对应的目标任务;
执行所述目标任务,以获取所述状态机的所述目标接口,其中,所述目标接口用于驱动所述智能设备做出反应动作。
8.根据权利要求1所述的方法,其特征在于,所述反应信息包括语音信息和动作信息;
所述向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作,包括:
向所述智能设备输出所述反应信息,以使得所述智能设备播放所述语音信息,以及基于所述动作信息进行运动。
9.根据权利要求8所述的方法,其特征在于,所述动作信息为目标动画;
所述向所述智能设备输出所述反应信息,以使得所述智能设备基于所述动作信息进行运动,包括:
调取所述目标动画,所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作;
控制所述智能设备按照所述目标动画中设定的动作,与所述智能设备对应的虚拟对象同步进行运动。
10.一种智能设备控制装置,其特征在于,包括:
获取模块,用于获取数字虚拟环境,所述数字虚拟环境是对智能设备所处的物理环境映射得到的;
映射模块,用于将所述物理环境中的目标真实物体映射为目标虚拟对象;
确定模块,用于若所述数字虚拟环境中不包含所述目标虚拟对象,则基于所述目标虚拟对象的类型,确定需要对所述目标虚拟对象做出的反应信息;
输出模块,用于向所述智能设备输出所述反应信息,以使得所述智能设备基于所述反应信息做出相应的反应动作。
11.根据权利要求10所述的装置,其特征在于,若所述数字虚拟环境中不包含所述目标虚拟对象,所述装置还包括添加模块;
所述添加模块,用于:
将所述目标虚拟对象添加到所述数字虚拟环境中。
12.根据权利要求10所述的装置,其特征在于,所述映射模块,用于:
通过数字孪生技术,将所述智能设备所处的物理环境映射为所述数字虚拟环境;
通过所述数字孪生技术,将所述物理环境中的目标真实物体映射为目标虚拟对象。
13.根据权利要求10所述的装置,其特征在于,所述确定模块,用于:
获取所述数字虚拟环境中包含的各虚拟对象,其中,所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的;
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
14.根据权利要求13所述的装置,其特征在于,所述确定模块,用于:
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征;
识别所述目标虚拟对象对应的物理特征;
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配,则基于所述虚拟对象的类型,确定需要对所述虚拟对象做出的反应信息。
15.根据权利要求14所述的装置,其特征在于,如果所述目标虚拟对象对应的所述目标真实物体为人物,则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
16.根据权利要求10所述的装置,其特征在于,所述反应信息包括状态机的目标接口;
所述确定模块,用于:
确定所述目标虚拟对象的类型触发的目标事件;
根据预设的事件与任务的对应关系,确定所述目标事件对应的目标任务;
执行所述目标任务,以获取所述状态机的所述目标接口,其中,所述目标接口用于驱动所述智能设备做出反应动作。
17.根据权利要求10所述的装置,其特征在于,所述反应信息包括语音信息和动作信息;
所述输出模块,用于:
向所述智能设备输出所述反应信息,以使得所述智能设备播放所述语音信息,以及基于所述动作信息进行运动。
18.根据权利要求17所述的装置,其特征在于,所述动作信息为目标动画;
所述输出模块,用于:
调取所述目标动画,所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作;
控制所述智能设备按照所述目标动画中设定的动作,与所述智能设备对应的虚拟对象同步进行运动。
19.一种服务器,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-9中任一项所述的智能设备控制方法。
20.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被服务器的处理器执行时,使所述处理器执行如权利要求1-9中任一项所述的智能设备控制方法。
CN202111450709.8A 2021-11-30 2021-11-30 智能设备控制方法、装置、服务器和存储介质 Pending CN114385000A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111450709.8A CN114385000A (zh) 2021-11-30 2021-11-30 智能设备控制方法、装置、服务器和存储介质
PCT/CN2022/105815 WO2023098090A1 (zh) 2021-11-30 2022-07-14 智能设备控制方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111450709.8A CN114385000A (zh) 2021-11-30 2021-11-30 智能设备控制方法、装置、服务器和存储介质

Publications (1)

Publication Number Publication Date
CN114385000A true CN114385000A (zh) 2022-04-22

Family

ID=81195980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111450709.8A Pending CN114385000A (zh) 2021-11-30 2021-11-30 智能设备控制方法、装置、服务器和存储介质

Country Status (2)

Country Link
CN (1) CN114385000A (zh)
WO (1) WO2023098090A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098090A1 (zh) * 2021-11-30 2023-06-08 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033845A1 (zh) * 2017-08-18 2019-02-21 南京阿凡达机器人科技有限公司 一种机器人主动交互方法及***
WO2019169854A1 (zh) * 2018-03-09 2019-09-12 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
WO2020221445A1 (en) * 2019-04-30 2020-11-05 Siemens Aktiengesellschaft Method and system for finding objects

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223271B (zh) * 2016-12-28 2021-10-15 达闼机器人有限公司 一种显示数据处理方法及装置
CN111216127A (zh) * 2019-12-31 2020-06-02 深圳优地科技有限公司 一种机器人控制方法、装置、服务器及介质
CN111243101B (zh) * 2019-12-31 2023-04-18 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、***及装置
CN111857335A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 虚拟对象的驱动方法、装置、显示设备和存储介质
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033845A1 (zh) * 2017-08-18 2019-02-21 南京阿凡达机器人科技有限公司 一种机器人主动交互方法及***
WO2019169854A1 (zh) * 2018-03-09 2019-09-12 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
WO2020221445A1 (en) * 2019-04-30 2020-11-05 Siemens Aktiengesellschaft Method and system for finding objects
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098090A1 (zh) * 2021-11-30 2023-06-08 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
WO2023098090A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
US10888785B2 (en) Method and system for real-time animation generation using machine learning
US8976184B2 (en) System and method for controlling animation by tagging objects within a game environment
JP2022531057A (ja) インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体
US9805493B2 (en) Social identity models for automated entity interactions
CN114419205B (zh) 虚拟数字人的驱动方法及位姿获取模型的训练方法
CN114241100B (zh) 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品
JP2023525173A (ja) レンダリングされたグラフィカル出力を利用する会話型aiプラットフォーム
US20200122039A1 (en) Method and system for a behavior generator using deep learning and an auto planner
CN105141587A (zh) 一种虚拟玩偶互动方法及装置
JP2022530935A (ja) インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体
CN111095170B (zh) 虚拟现实场景及其交互方法、终端设备
WO2014051584A1 (en) Character model animation using stored recordings of player movement interface data
CN112673400A (zh) 化身动画
CN113633983A (zh) 虚拟角色表情控制的方法、装置、电子设备及介质
US20230267668A1 (en) Joint twist generation for animation
CN114385000A (zh) 智能设备控制方法、装置、服务器和存储介质
CN112973130B (zh) 虚拟场景的回放模型构建方法、装置、设备及存储介质
Fu et al. Real-time multimodal human–avatar interaction
CN114385002B (zh) 智能设备控制方法、装置、服务器和存储介质
US20230259540A1 (en) Conversational ai platform with extractive question answering
CN115617429A (zh) 一种数据处理方法及相关设备
CN115564803B (zh) 一种动画处理方法、装置、设备、存储介质及产品
US20240233229A1 (en) Synthetic audio-driven body animation using voice tempo
CN115222871B (zh) 模型评估方法、装置、存储介质及电子设备
US20240193894A1 (en) Data processing method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information