CN107678617A - 面向虚拟机器人的数据交互方法和*** - Google Patents

Abstract

本发明提供一种面向虚拟机器人的数据交互***，交互***包括：硬件设备，其具有数据处理单元、存储单元、以及输入接口和输出接口；机器人操作***，其装载在存储单元中，以在加载运行时使得硬件设备整体具有机器人处理能力；虚拟机器人工具，其利用能力单元解析单模态和/或多模态交互指令并生成多模态输出内容，然后将其发送到硬件设备的输出接口以向用户展现。本发明采用的面向虚拟机器人的数据处理方法和***，一方面，由于具备多种功能、场景以及工具，使得用户与虚拟机器人之间的交互更加丰富；另一方面，虚拟机器人以及机器人操作***组成的完整产品，使得交互更加便捷，与其他***的对接性能优良，兼容度高。

Description

面向虚拟机器人的数据交互方法和***

技术领域

本发明涉及人工智能领域，具体地说，涉及一种面向虚拟机器人的数据交互方法和***。

背景技术

机器人聊天交互***的开发致力于模仿人类的对话。早期广为人知的聊天机器人应用程序包括小i聊天机器人、苹果手机上的siri聊天机器人等处理所接收的输入(包括语音或文本)并进行响应，以试图在上下文之间模仿人类，聊天机器人是一种虚拟机器人，目前存在的虚拟机器人，还包括有虚拟形象的机器人，虚拟机器人是智能机器人发展的一个重要方向。

然而，目前虚拟机器人未能达到产品的形态，往往以聊天机器人或虚拟形象的方式接入到应用中。无法使虚拟机器人作为成型的产品进行使用，且与各个***的对接性差，兼容度无法保证而带来大量的开发负担。

发明内容

为解决上述问题，本发明提供了一种面向虚拟机器人的数据交互***，所述数据交互***包括：

硬件设备，其具有数据处理单元、存储单元、以及输入接口和输出接口，所述输入接口用以接收用户发送的单模态和/或多模态交互指令，所述输出接口用以向用户展现多模态输出内容；

机器人操作***，其装载在所述存储单元中，以在加载运行时使得所述硬件设备整体具有机器人处理能力；

虚拟机器人工具，其与所述机器人操作***的能力单元存在调用关系，以利用所述能力单元解析所述单模态和/或多模态交互指令并生成多模态输出内容，然后将其发送到所述硬件设备的输出接口以向用户展现。

根据本发明的一个实施例，所述机器人操作***包括：

能力单元，其包含语音识别模块、动作模块、表情模块、唤醒模块；

工具单元，其为配置模块，以用于支持所述机器人操作***进行数据处理；

场景单元，其包含对话场景和用户自定义场景；

其中，所述虚拟机器人为所述机器人操作***的工具。

根据本发明的一个实施例，所述硬件设备上还可安装有能够与所述机器人操作***兼容或对接的硬件嵌入式操作***。

根据本发明的一个实施例，所述***包含三维动态模型单元，其用以根据确定的UI形象设计来输出三维动态模型数据。

根据本发明的一个实施例，所述***包含：

表情输出单元，其与所述机器人操作***连接，以接收所述机器人操作***发送的表情输出数据并传递给所述三维动态模型单元进行UI形象的表情输出。

动作输出单元，其与所述机器人操作***连接，以接收所述机器人操作***发送的动作输出数据并传递给所述三维动态模型单元进行UI形象的动作输出。

口型输出单元，其与所述机器人操作***连接，以接收所述机器人操作***发送的口型输出数据并传递给所述三维动态模型单元进行UI形象的动作输出。

根据本发明的一个实施例，所述用户自定义场景用于在用户选择的场景下与用户进行交互。

根据本发明的另一个方面，还提供了一种面向虚拟机器人的数据交互方法，所述方法包含：

接收用户发送的单模态和/或多模态交互指令；

通过能力单元解析所述单模态和/或多模态交互指令并生成多模态输出内容；

通过硬件设备的输出接口以向用户展现所述输出内容。

本发明采用的面向虚拟机器人的数据处理方法和***，一方面，由于具备多种功能、场景以及工具，使得用户与虚拟机器人之间的交互更加丰富；另一方面，虚拟机器人以及机器人操作***组成的完整产品，使得交互更加便捷，与其他***的对接性能优良，兼容度高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的面向多模态虚拟机器人的数据交互***的交互过程示意图；

图2显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的设备示意图；

图3显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的机器人操作***的结构示意图；

图4显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的结构框图；

图5显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的模块结构图；

图6显示了根据本发明的一个实施例的面向虚拟机器人的数据交互方法的流程图；

图7进一步详细的显示了根据本发明的一个实施例的面向虚拟机器人的数据交互方法的细节流程图；

图8显示了根据本发明的一个实施例的面向虚拟机器人的数据交互方法的另一流程图；以及

图9进一步详细地显示了根据本发明的一个实施例在用户、硬件设备以及云端服务器三方之间进行通信的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

为表述清晰，需要在实施例前进行如下说明：

所述虚拟机器人为多模态交互机器人，使得多模态交互机器人成为交互过程中的一员，用户与该多模态交互机器人进行问答、聊天、游戏。所述虚拟形象为所述多模态交互机器人的载体，对所述多模态交互机器人的多模态输出进行表现。虚拟机器人(以虚拟形象为载体)为：所述多模态交互机器人与虚拟形象为载体的共同体，即：以确定的UI形象设计为载体；基于多模态人机交互，具有语义、情感、认知等AI能力；使用户享受流畅体验的个性化及智能化的服务机器人。在本实施例中，所述虚拟机器人包括：3D高模动画的虚拟机器人形象。

所述云端服务器为，提供所述多模态交互机器人对用户的交互需求进行处理能力的终端，实现与用户的交互。

图1显示了根据本发明的一个实施例的面向多模态虚拟机器人的数据交互***的交互过程示意图。本发明提供的面向虚拟机器人的数据交互***的目的之一是为了用户与虚拟机器人之间的交互更加方便，因此，特在此对用户与虚拟机器人之间的交互过程进行介绍。

如图1所示，包含用户101、硬件设备102、虚拟机器人103以及云端服务器104。其中，与虚拟机器人103交互的用户101可以为单个的人、另一个虚拟机器人以及实体的机器人，另一虚拟机器人以及实体机器人与虚拟机器人的交互过程与单个的人与虚拟机器人的交互过程类似，因此，在图1中仅展示的是用户(人)与虚拟机器人的多模态交互过程。

另外，硬件设备102包括显示区域1021以及硬件设备1022。显示区域1021用于显示虚拟机器人103的形象，硬件设备1022与云端服务器104配合使用，用于交互过程中的数据处理。虚拟机器人103需要屏显载体来呈现。因此，显示区域1021包括：PC屏、投影仪、电视机、多媒体显示屏、全息投影、VR以及AR。本发明提出的多模态交互过程需要一定的硬件性能作为支撑，一般来说，选用有主机的PC端来作为硬件设备1022。在图1中显示区域1021选用的是PC屏。

与一般的硬件设备102不同的地方在于，本发明提供的面向虚拟机器人的数据交互***中的硬件设备102中安装了虚拟机器人操作***。另外，硬件设备102中还安装有嵌入式***。虚拟机器人操作***装载在硬件设备102的存储单元中，以在加载运行时使得硬件设备整体具有机器人处理能力。

图1中虚拟机器人103与用户101之间交互的过程可以为：

首先，在交互之前，用户101需要唤醒虚拟机器人103进入交互模式。唤醒虚拟机器人103的手段可以为声纹、虹膜等生物特征、触摸、按键、遥控器以及特定肢体动作、手势等。另外，交互模式也可以在用户之前设定好的特定时间进入。

在此需要说明的是，虚拟机器人103的形象以及装扮不限于一种模式。虚拟机器人103可以具备不同的形象以及装扮。虚拟机器人103可以具备不同的外貌以及装饰。例如，虚拟机器人103可以为形象清纯的大姐姐形象，也可以是帅气阳光的大哥哥形象。每种虚拟机器人103的形象还会对应多种不同的装扮，装扮的分类可以依据季节分类，也可以依据场合分类。这些形象以及装扮可以存在于云端服务器104中，也可以存在于硬件设备102中，在需要调用这些形象以及装扮时可以随时调用。后期运营人员会定期上传新的形象与装扮至交互平台，用户可以根据需要，选择自己喜爱的形象以及装扮。

在用户101唤醒虚拟机器人103并且虚拟机器人103进入交互模式后，用户101就可以与虚拟机器人问103展开交互。在用户101输出单模态和/或多模态的交互指令时，硬件设备102会采集这些指令，并传送给虚拟机器人103，虚拟机器人103会调用机器人操作***中的能力单元对这些指令进行解析，以获取交互指令里包含的语义信息以及情绪信息等信息。一般来说，用户101输出的单模态和/或多模态交互指令包含语音信息、文本信息、图像信息以及视频信息。

虚拟机器人103解析交互指令的过程需要调用机器人操作***中的能力单元，能力单元具备一些系列的能力，能够对交互指令进行解析，一般来说，能力单元首先会对交互指令进行语义理解，分析交互指令中包含的浅层或深层的语义含义。然后，对交互指令进行情感的分析，如果用户101为老用户，即之前有过与虚拟机器人103交互经历的用户，则虚拟机器人103调用之前的交互信息，对用户101的性格以及行为习惯进行分析。如果用户101为新用户，即之前从未与虚拟机器人103交互过的用户，则虚拟机器人103会默认用户为初次用户，对用户101的交互指令进行记录，以便以后交互时能够调取方便。虚拟机器人103会根据之前做出的语义理解以及情感分析来做出对应的回答，即输出内容。

在生成输出内容后，需要输出并展示给用户101，此时，虚拟机器人103会将输出内容传送给机器人操作***，通过操作***配合硬件设备102进行输出内容的输出。一般来说，输出内容的输出方式有多种，由于虚拟机器人103能够输出多模态的信息，因此，在输出输出内容时一般会包含虚拟机器人语音输出、虚拟机器人文本输出、虚拟机器人图像输出以及虚拟机器人视频输出。这四种输出方式可以配合同时输出同一个输出内容，也可以单独或组合输出的形式输出内容。输出的形式可以根据用户101的需求来进行变化。

以上交互步骤简单来说就是，首先，接收用户发送的单模态和/或多模态交互指令。然后，通过能力单元解析单模态和/或多模态交互指令并生成多模态输出内容。最后，通过硬件设备的输出接口以向用户展现所述输出内容。

在本发明中，硬件设备102事实上是用做了虚拟机器人103的显示载体以及交互对话内容的显示载体。云端服务器104为虚拟机器人数据的载体。下面举一个例子说明虚拟机器人103以及用户101的交互对话过程。二者可以这样展开聊天。

虚拟机器人103说：嗨(微笑)，有什么需要帮忙的吗(打招呼)？

用户101说：有的，我想出去旅游，你能帮我查询一下出行工具信息吗？

虚拟机器人103说：好的(微笑)，你想去哪里旅游呢？

用户101说：我想从北京出发去深圳旅游。

虚拟机器人103说：是这样啊(微笑)，那你是打算坐火车去还是坐飞机去呢(疑惑)？

用户101说：你给我推荐一下吧。

虚拟机器人103说：好的(微笑)，北京到深圳有4趟列车，最快的8个小时45分钟，最慢的29个小时。票价从200至3000。飞机的话只需要5个小时，明天的飞机票价是1124元，我觉得还是坐飞机合适(微笑)。

用户101说：好的，那我就坐飞机去。

以上对话中，虚拟机器人103会在做出应答以及等待对方做出应答时改变自己的情绪。以上问答里括号内的内容为虚拟机器人103做出的表情上的应答。除了表情上的应答，虚拟机器人103还可以通过降低语调以及升高语调的方式来表达虚拟机器人当时的情绪。除了表情以及语调上的应答，虚拟机器人103还可以通过肢体上的动作来表达自己的情绪，比如点头、挥手、坐下、站立、走路、跑步等一系列动作。

虚拟机器人103可以通过判断交互对象的情绪变化，根据交互对象的情绪变化来做出对应的表情、语调以及肢体上的变化。虚拟机器人103还可以在程序卡顿或者网络出现问题的时候以跳舞或者其他表演形式弥补程序卡顿以及网络问题所带来的交互过程不流畅的缺陷。此外，对于轻微缺失某些识别能力的用户，这种交互输出也可以提高他们的对话交互能力。

图2显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的设备示意图。如图2所示，***包括手机102A、平板电脑102B、电脑102C、展示设备102D、机器人操作***201以及云端服务器104。

本发明提供的面向虚拟机器人的数据交互***中包含硬件设备102，硬件设备102具有数据处理单元、存储单元、以及输入接口和输出接口，输入接口用以接收用户发送的单模态和/或多模态交互指令，输出接口用以向用户展现多模态输出内容。一般来说，硬件设备102包含手机102A、平板电脑102B、电脑102C以及展示设备102D。在本发明提供的面向虚拟机器人的数据交互***中，硬件设备102可以为以上列举设备中的任一种。在实际的运用当中，用户101可以根据自己的需要选择合适的硬件设备102，通过硬件设备102来实现与虚拟机器人103的交互。

硬件设备102中一般包含嵌入***，嵌入***能够满足日常的生活需要。在本发明中，为了完成与虚拟机器人的交互，硬件设备102还搭载了机器人操作***201。

机器人操作***201装载在存储单元中，以在加载运行时使得硬件设备整体具有机器人处理能力，机器人操作***201是嵌入***的一个补充，使得硬件设备102不仅具备一般的处理能力，还具备机器人处理能力。安装了机器人操作***201后，硬件设备102就能够完成与用户的交互。

除了硬件设备102与机器人操作***201，为了完成用户101与虚拟机器人交互的过程，还需要云端服务器104的支持。云端服务器104通过特定的通讯手段与硬件设备102通讯。在用户101与虚拟机器人103进行交互时，机器人操作***201会将交互的信息传递至云端服务器104，云端服务器104会对交互产生的数据进行处理，然后将处理后的结果传输至机器人操作***201，然后通过虚拟机器人的形象展示给用户101。

图3显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的机器人操作***的结构示意图。如图3所示，机器人操作***201包含功能单元2011、场景单元2012以及工具单元2013。其中，功能单元2011包含语音输出、语音识别、动作、表情以及唤醒等多种不同的功能。场景单元2012包含主场景2012A以及子场景2012B。

机器人操作***201装载在存储单元中，以在加载运行时使得硬件设备整体具有机器人处理能力。具体地说，机器人操作***具备场景选择的功能，能够在用户101与虚拟机器人103进行交互时提供给用户101一个进行场景选择的机会。机器人操作***201中的场景单元2012包含两个场景模式，第一个场景模式是主场景2012A。主场景2012A一般为对话模式，即在主场景2012A下，用户101能够与虚拟机器人103展开对话交互。第二个场景模式是子场景2012B，子场景2012B一般为用户设定的场景，用户可以在开发者提供的场景内选择一个场景。举例来说，子场景2012B可以包含，家庭服务场景、办公服务场景以及外出服务场景等。

另外，机器人操作***201还包含功能单元2011，在选择好场景之后，用户101便可以与虚拟机器人103展开对话。在对话的过程中，功能单元2011能够为对话的顺利开展做出贡献。功能单元2011包含语音输出、语音识别、动作、表情以及唤醒等功能。语音识别功能能够对用户101传输的语音进行识别，以区分语音中包含的含义信息，此处的含义信息包含浅层含义信息以及深层含义信息。

在日常生活中，一句简单的语言能够包含很多的信息，有表面就能获取的浅层次信息也有深层次不易被获取的信息。语音识别功能能够对语言中包含的信息进行识别，不仅能够识别浅层次信息，还能够识别深层次的信息。

动作功能以及表情功能能够对人面部的表情进行识别，获取其中包含的情绪信息，还能够对虚拟机器人103的面部表情以及肢体动作进行输出，展示给用户101。

工具单元2013中包含一些配置模块，虚拟机器人103可以是硬件设备中嵌入***中的应用，或应用中的功能，也可以是机器人操作***中的应用或功能。在本发明中，虚拟机器人103包含在工具单元2013中。另外，工具单元2013还包含其他的一些工具，比如天气工具、时钟工具以及百科工具等。

在用户101与虚拟机器人103展开交互的过程中，虚拟机器人103与工具单元2013之间、功能单元2011之间以及场景单元2012之间都有通信往来。场景单元2012与功能单元2011之间也有通信往来。

图4显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的结构框图。如图4所示，包含用户101、硬件设备102以及云端服务器104。其中，用户101包含实体的人、虚拟机器人以及实体机器人。硬件设备102包含接收设备401以及显示区域1021。

在用户101与虚拟机器人103的交互过程中，用户101会首先发出交互指令，这个交互指令可以是单模态的也可以是多模态的，交互指令可以包含音频、文本、图像以及视频。为了接收这些用户101发送的交互指令，硬件设备102就需要相应的接收装置。一般来说，接收装置包含键盘、麦克风以及摄像头。其中，键盘包含实体键盘以及软键盘，麦克风可以为一切能够接收用户101发送的语音数据的收音介质。摄像头可以拍摄用户101的图像以及视频信息。

当然，用户101发送的应答数据可以包含文本、音频、图像以及视频之外的其他形式的应答数据，硬件设备102还可以配备与其他形式的应答数据匹配的接收装置，本发明不限于此。

另外，用户输入信息设备的例子还包括键盘、光标控制设备(鼠标)、用于语音操作的麦克风、扫描仪、触摸功能(例如用以检测物理触摸的电容型传感器)、摄像头(采用可见或不可见波长检测不涉及触摸的动作)等等。

图5显示了根据本发明的一个实施例的面向虚拟机器人的数据交互***的模块结构图。如图5所示，包含场景选择模块501、接收模块502、处理模块503以及输出模块504。其中，场景选择模块501可以选择主场景以及子场景。接收模块502包含文本采集单元5021、音频采集单元5022、图像采集单元5023以及视频采集单元5024。

在交互之初，用户101需选择合适的场景，然后在此场景下与虚拟机器人101展开交互。主场景为对话场景，子场景为自定义场景。场景选择结束后，接收模块502会接收用户101发送的交互指令，然后传送至处理模块503，对交互指令进行处理并产生输出内容。最后传送至输出模块504，通过虚拟机器人的形象输出输出内容。

图6显示了根据本发明的一个实施例的面向虚拟机器人的数据交互方法的流程图。为了配合本发明提出的面向虚拟机器人的数据交互***的使用，特在此介绍交互方法的流程图。

首先，在步骤S601中，接收用户发送的单模态和/或多模态交互指令。在此步骤发生的同时，说明用户101已经唤醒了虚拟机器人103，并使得虚拟机器人103进入了交互模式。唤醒虚拟机器人103的方式有多种，例如，语音唤醒、触摸唤醒以及机械唤醒。在唤醒虚拟机器人103后，虚拟机器人103会让用户选择交互的场景，等用户101选择完交互的场景后，虚拟机器人103正式进入交互模式。此时，虚拟机器人103便开始接受用户发送的单模态和/或多模态的交互指令。接受交互指令需要接受装置，接受装置简单来说一般包含麦克风、键盘以及摄像头。

接着，在步骤S602中，通过能力单元解析单模态和/或多模态交互指令并生成多模态输出内容。在本步骤中，虚拟机器人103会调用能力单元中的机器人能力，对接收到的交互指令进行解析，以便在解析后生成输出内容。

最后，在步骤S603中，通过硬件设备的输出接口以向用户展示输出内容。在生成输出内容后，虚拟机器人103会将这些内容通过机器人操作***201传输至硬件设备的输出接口，通过输出接口输出输出内容。输出输出内容的时候虚拟机器人103会配合表情、动作以及情绪等来增加输出内容的可观看性。

图7进一步详细的显示了根据本发明的一个实施例的面向虚拟机器人的数据交互方法的细节流程图。首先，在步骤S701中，用户选择交互的场景。在本步骤中，机器人操作***会提供给用户一个界面，界面上有可以被选择的交互场景，用户可以任意选择其中的一个，在此场景下与虚拟机器人103展开交互。

接着，在步骤S702中，接收用户发送的单模态和/或多模态交互指令。进入对应的交互场景后，用户101会输出自己的交互诉求，即交互指令。此时，需要硬件设备的接收装置来接收用户的交互诉求，然后传输至虚拟机器人103，供虚拟机器人来进行进一步的分析。

然后，在步骤S703中，通过语义理解能力解析单模态和/或多模态交互指令。在接受到用户101发送的交互指令后，虚拟机器人103会调用语义理解能力，对交互指令中包含的语义信息进行分析以及理解。以便在生成输出内容时做出更合适的回答。

接着，在步骤S704中，通过情感能力解析单模态和/或多模态交互指令。在接受到用户101发送的交互指令后，虚拟机器人103会调用情感能力，对交互指令中包含的情感信息进行分析以及理解。以便在生成输出内容时做出更合适的回答。

接着，在步骤S705中，通过认知能力解析单模态和/或多模态交互指令。在接受到用户101发送的交互指令后，虚拟机器人103会调用认知能力，对交互指令中包含的信息进行分析以及理解。以便在生成输出内容时做出更合适的回答。

在对交互指令进行过语义理解、情感分析以及认知解析后，在步骤S706中，虚拟机器人103会根据以上能力解析的结果生成多模态的输出内容。

最后，在步骤S707中，通过硬件设备的输出接口以向用户展示输出内容。虚拟机器人103会将生成的输出内容传输至硬件设备的输出接口，通过输出接口来输出输出内容。

图8显示了根据本发明的一个实施例的面向虚拟机器人的数据交互方法的另一流程图。如图所示，在步骤S801中，硬件设备102向云端服务器104发出请求内容。之后，硬件设备102一直处于等待云端服务器104完成云端服务器104部分任务的状态。在等待的过程中，硬件设备102会对返回数据所花费的时间进行计时操作。

如果长时间未得到返回数据，比如，超过了预定的时间长度10S，则硬件设备102会选择进行本地回复，生成本地常用应答数据。然后由虚拟机器人形象输出与本地常用应答配合的动画，并调用语音播放设备播放语音。

图9进一步详细地显示了根据本发明的一个实施例在用户、硬件设备以及云端服务器三方之间进行通信的流程图。

如图9所示，在虚拟机器人103与用户101交互之前，需要进入交互模式，进入交互模式的方式有多种，比如，硬件设备102具有硬件的视觉识别能力或触觉认知能力，例如安装有摄像头以及具有触摸屏。当硬件设备102通过这些硬件接收到进入指令后，在指定的显示区域中进行将虚拟形象显示出来。虚拟机器人103动画形象的构建可以为3D高模动画的虚拟机器人形象。

交互之前，用户101需要明确自己的交互需求，即选择需要的交互场景，此时，用户101发送交互场景选择的结果至硬件设备。交互场景分为主场景以及子场景。主场景为交互场景，子场景为用户的自定义场景。

场景选择结束后，交互正式开始，此时用户101会输出交互指令，交互指令里包含用户101需要表达的信息，硬件设备102会通过接受装置接收这些交互指令。

在接受交互指令后，硬件设备102中的虚拟机器人103会发出调用指令至云端服务器104，请求云端服务器104对交互过程中产生的数据进行处理。虚拟机器人103在本地也会调用能力来解析交互指令。

通过云端服务器104以及虚拟机器人103的共同解析以及处理，虚拟机器人103会针对用户发送的交互指令做出回复，生成输出内容。最后，虚拟机器人103通过硬件设备输出输出内容，并将输出内容展示给用户101。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种面向虚拟机器人的数据交互***，其特征在于，所述数据交互***包括：

硬件设备，其具有数据处理单元、存储单元、以及输入接口和输出接口，所述输入接口用以接收用户发送的单模态和/或多模态交互指令，所述输出接口用以向用户展现多模态输出内容；

机器人操作***，其装载在所述存储单元中，以在加载运行时使得所述硬件设备整体具有机器人处理能力；

虚拟机器人工具，其与所述机器人操作***的能力单元存在调用关系，以利用所述能力单元解析所述单模态和/或多模态交互指令并生成多模态输出内容，然后将其发送到所述硬件设备的输出接口以向用户展现。

2.如权利要求1所述的面向虚拟机器人的数据交互***，其特征在于，所述机器人操作***包括：

能力单元，其包含语音识别模块、动作模块、表情模块、唤醒模块；

工具单元，其为配置模块，以用于支持所述机器人操作***进行数据处理；

场景单元，其包含对话场景和用户自定义场景；

其中，所述虚拟机器人为所述机器人操作***的工具。

3.如权利要求1所述的面向虚拟机器人的数据交互***，其特征在于，所述硬件设备上还可安装有能够与所述机器人操作***兼容或对接的硬件嵌入式操作***。

4.如权利要求2所述的面向虚拟机器人的数据交互***，其特征在于，所述***包含三维动态模型单元，其用以根据确定的UI形象设计来输出三维动态模型数据。

5.如权利要求4所述的面向虚拟机器人的数据交互***，其特征在于，所述***包含：

表情输出单元，其与所述机器人操作***连接，以接收所述机器人操作***发送的表情输出数据并传递给所述三维动态模型单元进行UI形象的表情输出。

动作输出单元，其与所述机器人操作***连接，以接收所述机器人操作***发送的动作输出数据并传递给所述三维动态模型单元进行UI形象的动作输出。

口型输出单元，其与所述机器人操作***连接，以接收所述机器人操作***发送的口型输出数据并传递给所述三维动态模型单元进行UI形象的动作输出。

6.如权利要求2所述的面向虚拟机器人的数据交互***，其特征在于，所述用户自定义场景用于在用户选择的场景下与用户进行交互。

7.一种面向虚拟机器人的数据交互方法，其特征在于，所述方法包含：

接收用户发送的单模态和/或多模态交互指令；

通过能力单元解析所述单模态和/或多模态交互指令并生成多模态输出内容；

通过硬件设备的输出接口以向用户展现所述输出内容。