CN107861626A - 一种虚拟形象被唤醒的方法及*** - Google Patents
一种虚拟形象被唤醒的方法及*** Download PDFInfo
- Publication number
- CN107861626A CN107861626A CN201711276165.1A CN201711276165A CN107861626A CN 107861626 A CN107861626 A CN 107861626A CN 201711276165 A CN201711276165 A CN 201711276165A CN 107861626 A CN107861626 A CN 107861626A
- Authority
- CN
- China
- Prior art keywords
- virtual image
- wake
- mobile device
- waken
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种虚拟形象被唤醒的方法及***，所述虚拟形象在移动设备运行并由成像设备投影呈现，且所述虚拟形象具备预设形象特征和预设属性，包括：获取多模态输入数据；对所述多模态输入数据进行解析，获得解析结果；当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图；当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。本申请提供的虚拟形象被唤醒的方法及***，通过获取多模态输入数据并进行解析，并在解析结果包含唤醒意图时，将虚拟形象进行唤醒，从而提升了虚拟形象的交互能力，增强了用户体验。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种虚拟形象被唤醒的方法及***。
背景技术
全息投影技术(front-projected holographic display)也称虚拟成像技术，是通过成像设备利用干涉和衍射原理记录并再现物体真实的三维图像的技术。全息投影技术不仅可以产生立体的空中幻象，还可以使幻象与表演者产生互动，一起完成表演，产生令人震撼的演出效果。
随着人工智能的不断发展，虚拟形象也从简单重复的机械动作也提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人。通过成像设备展现虚拟形象，以达到逼真、流畅、拟人的交互效果。
目前，主要的技术是集中于在虚拟形象被唤醒后的交互技术的实现，如何将虚拟形象进行唤醒，以提升虚拟形象的交互能力，是需要关注的重要问题。
发明内容
有鉴于此，本申请实施例提供了一种虚拟形象被唤醒的方法及***，以解决现有技术中存在的技术缺陷。
本申请公开了一种虚拟形象被唤醒的方法，所述虚拟形象在移动设备运行并由成像设备投影呈现，且所述虚拟形象具备预设形象特征和预设属性，包括：
获取多模态输入数据；
对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
在本申请的一个示意性的实施方案中，所述唤醒意图的获得可通过如下方式实现：
所述移动设备采集到用户生物特征和/或用户操作信号；
所述移动设备对用户进行视觉位置测距；
所述移动设备和/或成像设备发生位移或所述移动设备与所述成像设备之间发生相对位移；
所述成像设备配置的唤醒按钮开启。
在本申请的一个示意性的实施方案中，本方法还包括：所述解析结果中还包含指示虚拟形象输出多模态数据的意图时，在控制所述虚拟形象进入唤醒状态的同时或之后，输出匹配意图的多模态数据。
在本申请的一个示意性的实施方案中，本方法还包括：检测预先唤醒设置，当预先唤醒设置中包含有主动唤醒的指示，则匹配所述预先唤醒设置的参量，控制所述虚拟形象进入唤醒状态。
在本申请的一个示意性的实施方案中，控制所述虚拟形象进入唤醒状态包括：所述虚拟形象从待机状态切换到活跃状态，包括：
所述移动设备的屏幕从低亮度切换为高亮度；
所述移动设备显示过渡动画；
所述成像设备中的虚拟形象从待机态动画切换为活跃态动画；或
所述成像设备中的虚拟形象出现。
在本申请的一个示意性的实施方案中，本方法还包括：判断所述唤醒意图所包含的唤醒参量；
控制所述虚拟形象进入唤醒状态包括：
根据所述唤醒参量控制所述虚拟形象进入与之匹配的唤醒状态。
本申请还公开了一种虚拟形象被唤醒的***，包括：移动设备、成像设备和云端服务器；
通过移动设备和/或成像设备获取多模态输入数据；
由所述移动设备或云端服务器对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，由所述移动设备根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，由所述移动设备控制所述虚拟形象通过所述成像设备进入唤醒状态。
本申请还公开了一种虚拟形象，所述虚拟形象在移动设备运行，所述虚拟形象执行如上所述虚拟形象被唤醒方法的步骤。
本申请还公开了一种智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取多模态输入数据；
对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
本申请还公开了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现如上所述虚拟形象被唤醒方法的步骤。
本申请提供的虚拟形象被唤醒的方法及***，通过获取多模态输入数据并进行解析，并在解析结果包含唤醒意图时，将虚拟形象进行唤醒，从而提升了虚拟形象的交互能力，增强了用户体验。
附图说明
图1是本申请一实施例的一种虚拟形象被唤醒的交互***的结构示意图；
图2是本申请一实施例的虚拟形象被唤醒的方法流程图；
图3是本申请一实施例的虚拟形象被唤醒的方法流程图；
图4是本申请一实施例的语音唤醒时虚拟形象被唤醒的方法流程图；
图5是本申请一实施例的红外线感应唤醒时虚拟形象被唤醒的方法流程图；
图6是本申请一实施例的移动设备唤醒时虚拟形象被唤醒的方法流程图；
图7是本申请一实施例的智能设备的结构示意图。
具体实施方式
下面结合附图对本申请的具体实施方式进行描述。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
参见图1，为本申请实施例的基于全息投影设备的虚拟形象被唤醒的***的结构示意图。
该基于全息投影设备的虚拟形象被唤醒的***包括移动设备101、成像设备102和云端服务器106。
所述移动设备101与所述成像设备102物理位置参照对齐，以及实现所述移动设备101与所述成像设备102的信号互联。
所述移动设备101可以将运行在自身的虚拟形象投射在所述成像设备102上进行显示，并且所述移动设备101可以与所述云端服务器106连接，使得运行在所述移动设备101上的所述虚拟形象在所述成像设备102上显示多模态人机交互的效果。
所述移动设备101可以包括：通信模块103、中央处理单元104和人机交互输入输出模块105；
其中，所述人机交互输入输出模块105，其用于获取多模态数据以及输出虚拟人执行参数，多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据；
所述通信模块103，其用于调用所述云端服务器106的能力接口并接收通过所述云端服务器106的能力接口解析所述多模态输入数据以决策出多模态输出数据；
所述中央处理单元104，用于利用所述多模态输出数据计算与所述多模态输出数据相对应的应答数据。
所述云端服务器106具备多模态数据解析模块，用于对所述移动设备101发送的多模态数据进行解析，并决策多模态输出数据。
所述成像设备102，其用于在预设显示区域内显示具有特定形象的虚拟形象。
如图1所示，在多模态数据解析过程各个能力接口分别调用对应的逻辑处理。以下为各个接口的说明：
语义理解接口107，其接收从所述通信模块103转发的语音信息，对其进行语音识别以及基于大量语料的自然语言处理。
视觉识别接口108，可以针对人体、人脸、场景依据计算机视觉算法、深度学习算法等进行视频内容检测、识别、跟踪等。即根据预定的算法对图像进行识别，给出定量的检测结果。具备图像预处理功能、特征提取功能、决策功能和具体应用功能；
其中，所述图像预处理功能可以是对获取的视觉采集数据进行基本处理，包括颜色空间转换、边缘提取、图像变换和图像阈值化；
所述特征提取功能可以提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息；
所述决策功能可以是对特征信息，按照一定的决策策略分发给需要该特征信息的具体应用；
所述具体应用功能实现人脸检测、人物肢体识别、运动检测等功能。
情感计算接口110，其接收从所述通信模块103转发的多模态数据，利用情感计算逻辑(可以是情绪识别技术)来计算用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、行为、文本和生理信号识别等方面，通过以上内容来可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态，且并不局限于此。在本实施例中，优选采用二者结合的方式来监控情绪。
情感计算接口110是在进行视觉情绪识别时，通过使用图像采集设备收集人类面部表情图像，而后转换成可分析数据，再利用图像处理等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。
认知计算接口109，其接收从所述通信模块103转发的多模态数据，所述认知计算接口109用以处理多模态数据进行数据采集、识别和学习，以获取用户画像、知识图谱等，以对多模态输出数据进行合理决策。
上述为本申请实施例的基于全息投影设备的虚拟形象交互***的一种示意性的技术方案。为了便于本领域技术人员理解本申请的技术方案，下述内容通过多个实施例对本申请的虚拟形象被唤醒的方法、虚拟形象被唤醒的***、虚拟形象以及智能设备进行进一步的说明。
参见图2，本申请一实施例提供一种虚拟形象被唤醒的方法，所述虚拟形象在移动设备运行并由成像设备投影呈现，且所述虚拟形象具备预设形象特征和预设属性，包括步骤201至步骤204。
201、获取多模态输入数据。
本实施例中，多模态输入数据可以由移动设备和/或成像设备获取。多模态输入数据包括：用户生物特征，如语音、文本、动作、手势、触摸、表情等、也可以是外界环境的光、射线、特定图像等、也可以是由移动该设备和/或成像设备所采集的操作信号、按钮信号等。
本申请实施例中，所述移动设备可以为智能手机、笔记本电脑、平板电脑、掌上电脑及其他移动终端等计算设备，所述计算设备还可以是移动式或静止式的服务器，通过上述计算设备获取多模态输入数据。
所述成像设备即所述全息投影设备可以提供基本的投影成像的载体支撑，并通过所述全息膜将所述移动设备屏幕显示的画面或者文字等内容进行显示，所述移动设备为所述虚拟形象与用户及环境进行交互的主要媒介，但并不排除所述成像设备也可以采集关于视觉、红外和/或蓝牙等信号，以辅助所述移动设备进行交互。
所述移动设备对所述成像设备的显示功能进行控制，其中包括对场景附属物的显示，例如场景中的花草树木等、对灯光、特效、粒子或射线的显示，其中所述灯光、所述特效、所述粒子和所述射线可以由所述成像设备进行显示。
所述移动设备与所述成像设备物理位置参照对齐，以及实现所述移动设备与所述成像设备的信号互联。
202、对所述多模态输入数据进行解析，获得解析结果。
本步骤202中，可以由移动设备对所述多模态唤醒数据进行解析，也可以由云端服务器对所述多模态输入数据进行解析，以确定是否有满足唤醒的指令。
其中，对所述多模态输入数据进行的方法包括：自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算。
唤醒方式可以有多种，多模态输入数据进行解析的端也不同。可以直接在移动设备侧进行多模态输入数据的解析，从而使虚拟形象的唤醒速度更快一些；通过红外线感应唤醒时，需要结合视觉感知进行判断，以免当一个非人导致的误唤醒，这样，红外线感应唤醒时需要云端服务器做出决策后，判断是否唤醒虚拟形象。
当需要云端服务器进行多模态输入数据的解析时，移动设备将多模态输入数据发送至云端服务器，以获取解析结果。
本申请实施例中，可以通过对比存储在所述云端服务器上的所述移动设备的产品序列号是否一致，是否被激活，确定所述移动设备和所述云端服务器的绑定关系。
203、当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图。
本实施例中，唤醒意图即通过生物特征采集、硬件操作、硬件感应、按钮开启等指令方式，达到虚拟形象唤醒状态的开启条件，使虚拟形象处于可交互状态。唤醒意图包括：唤醒语音、对移动设备的唤醒动作或视觉识别结果。
更为详尽地，唤醒意图的获得可通过如下方式实现：
所述移动设备采集到用户生物特征和/或用户操作信号；
所述移动设备对用户进行视觉位置测距；
所述移动设备和/或成像设备发生位移或移动设备与成像设备之间发生相对位移；
所述成像设备配置的唤醒按钮开启。
204、当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
更为详尽地，控制所述虚拟形象进入唤醒状态包括：
作为列举地，如当前虚拟形象的状态为待机状态，则所述虚拟形象从待机状态切换到唤醒状态，可通过如下步骤实现在移动设备和成像设备中的展示，包括：
所述移动设备的屏幕从低亮度切换为高亮度；
所述移动设备显示过渡动画；
所述成像设备中的虚拟形象从待机态动画切换为活跃态动画；或
所述成像设备中的虚拟形象出现。
更为具体地，虚拟形象的唤醒可以表现为输出某种表情、睁开眼睛或在显示区域挥手等。
可选地，本实施例的方法还包括：判断所述唤醒意图所包含的唤醒参量；
控制所述虚拟形象进入唤醒状态包括：根据所述唤醒参量控制所述虚拟形象进入与之匹配的唤醒状态。
以唤醒为唤醒语音为例，唤醒语音中的唤醒参量即唤醒词。判断所述唤醒语音中的唤醒词，响应该唤醒词控制所述虚拟形象进入与之匹配的唤醒状态。
再以唤醒为摇晃移动设备为例，其唤醒参量为大于阈值的摇晃频率和摇晃强度。判断摇晃移动设备时大于阈值的摇晃频率和摇晃强度，根据所述大于阈值的摇晃频率和摇晃强度控制所述虚拟形象进入与之匹配的唤醒状态。
并且，在获取用户对移动设备的摇晃频率和摇晃强度时，可以剔除小于阈值的摇晃频率和摇晃强度，以防止用户的误操作而将虚拟形象唤醒。
本申请提供的虚拟形象被唤醒的方法，通过获取多模态输入数据并进行解析，并在解析结果包含唤醒意图时，将虚拟形象进行唤醒，从而提升了虚拟形象的交互能力，增强了用户体验。
本申请实施例还公开了一种虚拟形象被唤醒的方法，如图3所示，包括：
301、获取多模态输入数据。
所述成像设备即所述全息投影设备可以提供基本的投影成像的载体支撑，并通过所述全息膜将所述移动设备屏幕显示的画面或者文字等内容进行显示，所述移动设备为所述虚拟形象与用户及环境进行交互的主要媒介，但并不排除所述成像设备也可以采集关于视觉、红外和/或蓝牙等信号，以辅助所述移动设备进行交互。
所述移动设备对所述成像设备的显示功能进行控制，其中包括对场景附属物的显示，例如场景中的花草树木等、对灯光、特效、粒子或射线的显示，其中所述灯光、所述特效、所述粒子和所述射线可以由所述成像设备进行显示。
所述移动设备与所述成像设备物理位置参照对齐，以及实现所述移动设备与所述成像设备的信号互联。
302、对所述多模态输入数据进行解析，获得解析结果。
本步骤302中，可以由移动设备对所述多模态唤醒数据进行解析，也可以由云端服务器对所述多模态输入数据进行解析，以确定是否有满足唤醒的指令。
其中，对所述多模态输入数据进行的方法包括：自然语言理解、视觉感知、触摸感知、语言语音输出和情感计算。
唤醒方式可以有多种，例如通过语音唤醒虚拟形象、通过红外线感应唤醒虚拟形象和通过移动设备唤醒虚拟形象。依据唤醒方式的不同，对多模态输入数据进行解析的端也不同。例如通过语音唤醒虚拟形象或移动设备唤醒虚拟形象，可以直接在移动设备侧进行多模态输入数据的解析，从而使虚拟形象的唤醒速度更快一些；通过红外线感应唤醒虚拟形象时，需要结合视觉感知进行判断，以免当一个非人导致的误唤醒，这样，红外线感应唤醒时需要云端服务器做出决策后，判断是否唤醒虚拟形象。
当需要云端服务器进行多模态输入数据的解析时，移动设备将多模态输入数据发送至云端服务器，以获取解析结果。
本申请实施例中，可以通过对比存储在所述云端服务器上的所述移动设备的产品序列号是否一致，是否被激活，确定所述移动设备和所述云端服务器的绑定关系。
303、当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图。
本实施例中，唤醒意图即通过生物特征采集、硬件操作、硬件感应、按钮开启等指令方式，达到虚拟形象唤醒状态的开启条件，使虚拟形象处于可交互状态。唤醒意图包括：唤醒词、靠近移动设备或摇晃移动设备。
更为详尽地，唤醒意图的获得可通过如下方式实现：
所述移动设备采集到用户生物特征和/或用户操作信号；
所述移动设备对用户进行视觉位置测距；
所述移动设备和/或成像设备发生位移或所述移动设备与所述成像设备之间发生相对位移；
所述成像设备配置的唤醒按钮开启。
304、当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
更为具体地，虚拟形象的唤醒可以表现为输出某种表情、睁开眼睛或在显示区域挥手等。
305、所述解析结果中还包含指示虚拟形象输出多模态数据的意图时，在控制所述虚拟形象进入唤醒状态的同时或之后，输出匹配意图的多模态数据。
本申请实施例中，所述移动设备控制所述多模态数据的输出可以为语音、动作或特效的方式输出。
上述步骤301～305均是虚拟形象被动唤醒，本实施例中的虚拟形象还可以主动唤醒，例如设置每天8点准时主动唤醒。所以，本实施例的虚拟形象被唤醒的方法还包括：
检测预先唤醒设置，当预先唤醒设置中包含有主动唤醒的指示，则匹配所述预先唤醒设置的参量，控制所述虚拟形象进入唤醒状态。
本申请提供的虚拟形象被唤醒的方法，通过获取多模态输入数据并进行解析，并在解析结果包含唤醒意图时，将虚拟形象进行唤醒，从而提升了虚拟形象的交互能力，增强了用户体验。
另外，除去被动唤醒外，本申请的方法还可以实现主动唤醒虚拟形象，进一步地提升交互体验。
本申请实施例还公开了一种虚拟形象被唤醒的方法，用于通过语音唤醒虚拟形象时，如图4所示，包括：
401、获取多模态输入数据。
本实施例中，多模态输入数据可以由移动设备和/或成像设备获取。多模态输入数据包括：用户生物特征，如语音、文本、动作、手势、触摸、表情等、也可以是外界环境的光、射线、特定图像等、也可以是由移动该设备和/或成像设备所采集的操作信号、按钮信号等。
402、对所述多模态输入数据进行解析，获得解析结果。
在通过语音唤醒虚拟形象时，移动设备和/或成像设备主要获取多模态输入数据中的唤醒语音。
403、当解析结果包含唤醒语音，根据当前虚拟形象的状态，响应该唤醒语音。
进一步地，本步骤403中，还判断所述唤醒语音所包含的唤醒参量，例如，移动设备接收到用户的“XX，讲个笑话”的唤醒词时(其中，XX为预设的虚拟形象的名字)，响应该唤醒词。
404、当响应所述唤醒语音时，控制所述虚拟形象进入唤醒状态。
所述虚拟形象从待机状态切换到活跃状态，包括：
所述移动设备的屏幕从低亮度切换为高亮度；
所述移动设备显示过渡动画；
所述成像设备中的虚拟形象从待机态动画切换为活跃态动画；或
所述成像设备中的虚拟形象出现。
更为具体地，虚拟形象的唤醒可以表现为输出某种表情、睁开眼睛或在显示区域挥手等。
可选地，虚拟形象进入唤醒状态后，不仅对用户的打招呼进行反馈(例如眨眼)，而且对“讲个笑话”的指令进行处理后输出。
本申请实施例还公开了一种虚拟形象被唤醒的方法，用于通过红外线感应唤醒虚拟形象时，如图5所示，包括：
500、红外线检测设备在检测到有热源后，激活移动设备或成像设备的视觉单元。
501、在视觉单元确定当前交互的对象为真实的人类后，获取多模态输入数据。
502、对所述多模态输入数据进行解析，获得解析结果。
在通过红外线感应唤醒虚拟形象时，需要将多模态输入数据发送至云端服务器进行解析。
本实施例中，在通过红外线感应唤醒虚拟形象时，移动设备和/或成像设备主要获取多模态输入数据中的视觉识别结果。
503、当解析结果包含视觉识别结果，根据当前虚拟形象的状态，响应该视觉识别结果。
进一步地，本步骤503中，判断所述视觉识别结果中所包含的唤醒参量，例如，当解析结果包含视觉识别结果时，判断视觉识别结果中包含的用户的面部表情(例如微笑)。
504、当响应该视觉识别结果时，控制所述虚拟形象进入唤醒状态。
更为具体地，虚拟形象的唤醒可以表现为输出某种表情、睁开眼睛或在显示区域挥手等。
本申请实施例还公开了一种虚拟形象被唤醒的方法，用于移动设备的唤醒动作唤醒虚拟形象时，如图6所示，包括：
601、获取多模态输入数据。
本实施例中，多模态输入数据可以由移动设备获取。多模态输入数据包括：唤醒语音、唤醒动作、唤醒手势、唤醒提示请求和视觉识别结果。
602、对所述多模态输入数据进行解析，获得解析结果。
在本实施例中，移动设备主要获取多模态输入数据中的唤醒动作，主要包括对移动设备的摇晃频率和摇晃强度。
603、当解析结果包含唤醒动作，根据当前虚拟形象的状态，响应该唤醒动作。
进一步地，本步骤603中，判断所述唤醒动作中所包含的唤醒参量，例如，当解析结果包含唤醒动作时，判断对移动设备的摇晃频率和摇晃强度。
604、当响应所述唤醒动作时，控制所述虚拟形象进入唤醒状态。
本申请实施例公开了一种虚拟形象被唤醒的***，包括：移动设备、成像设备和云端服务器；
通过移动设备和/或成像设备获取多模态输入数据；
由移动设备或云端服务器对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，由所述移动设备根据当前虚拟形象的状态，响应该唤醒意图；
当响应唤醒意图时，由移动设备控制虚拟形象通过成像设备进入唤醒状态。
本申请提供的虚拟形象被唤醒的***，通过获取多模态输入数据并进行解析，并在解析结果包含唤醒意图时，将虚拟形象进行唤醒，从而提升了虚拟形象的交互能力，增强了用户体验。
上述为本实施例的虚拟形象被唤醒的交互***的示意性方案。需要说明的是，该虚拟形象被唤醒的交互***的技术方案与虚拟形象被唤醒的交互方法的技术方案属于同一构思，虚拟形象被唤醒的交互***的技术方案未详细描述的细节内容，均可以参见虚拟形象被唤醒的交互方法的技术方案的描述。
本申请实施例公开了一种虚拟形象，所述虚拟形象在移动设备运行，所述虚拟形象执行如上所述虚拟形象被唤醒的方法的步骤。
上述为本实施例的一种虚拟形象的示意性方案。需要说明的是，该虚拟形象的技术方案与上述的虚拟形象被唤醒的方法的技术方案属于同一构思，该虚拟形象的技术方案未详细描述的细节内容，均可以参见上述虚拟形象被唤醒的方法的技术方案的描述。
本申请实施例公开了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现如上所述虚拟形象被唤醒的方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的虚拟形象被唤醒的方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述虚拟形象被唤醒的方法的技术方案的描述。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本申请实施例公开了一种智能设备，参见图7，包括：
一个或多个处理器701以及存储器702，图7中以一个处理器701为例。
执行数据存储方法的设备还可以包括：输入装置703和输出装置704。
处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线705连接为例。
处理器701执行所述程序时实现以下步骤：
获取多模态输入数据；
对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据存储方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据数据存储装置的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至数据存储装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置703可接收输入的数字或字符信息，以及产生与数据存储装置的用户设置以及功能控制有关的键信号输入。输出装置704可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器702中，当被所述一个或者多个处理器701执行时，执行上述任意方法实施例中的数据存储方法。
上述产品可执行本申请实施例所提供的虚拟形象被唤醒的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的虚拟形象被唤醒的方法。
本发明实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：掌上电脑(PDA，Personal DigitalAssistant)、移动互联网设备(MID，Mobile Internet Device)和超级移动个人计算机(UMPC，Ultra-mobile Personal Computer)设备等。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
在本申请所提供的多个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的检测装置的实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
上面结合附图对本申请优选的具体实施方式和实施例作了详细说明，但是本申请并不限于上述实施方式和实施例，在本领域技术人员所具备的知识范围内，还可以在不脱离本申请构思的前提下做出各种变化。
Claims (10)
1.一种虚拟形象被唤醒的方法，其特征在于，所述虚拟形象在移动设备运行并由成像设备投影呈现，且所述虚拟形象具备预设形象特征和预设属性，包括：
获取多模态输入数据；
对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
2.根据权利要求1所述的方法，其特征在于，所述唤醒意图的获得可通过如下方式实现：
所述移动设备采集到用户生物特征和/或用户操作信号；
所述移动设备对用户进行视觉位置测距；
所述移动设备和/或成像设备发生位移或所述移动设备与所述成像设备之间发生相对位移；
所述成像设备配置的唤醒按钮开启。
3.根据权利要求1所述的方法，其特征在于，还包括：所述解析结果中还包含指示虚拟形象输出多模态数据的意图时，在控制所述虚拟形象进入唤醒状态的同时或之后，输出匹配意图的多模态数据。
4.根据权利要求1所述的方法，其特征在于，还包括：检测预先唤醒设置，当预先唤醒设置中包含有主动唤醒的指示，则匹配所述预先唤醒设置的参量，控制所述虚拟形象进入唤醒状态。
5.根据权利要求1所述的方法，其特征在于，控制所述虚拟形象进入唤醒状态包括：
所述虚拟形象从待机状态切换到活跃状态，包括：
所述移动设备的屏幕从低亮度切换为高亮度；
所述移动设备显示过渡动画；
所述成像设备中的虚拟形象从待机态动画切换为活跃态动画；或
所述成像设备中的虚拟形象出现。
6.根据权利要求1所述的方法，其特征在于，还包括：判断所述唤醒意图所包含的唤醒参量；
控制所述虚拟形象进入唤醒状态包括：
根据所述唤醒参量控制所述虚拟形象进入与之匹配的唤醒状态。
7.一种虚拟形象被唤醒的***，其特征在于，包括：移动设备、成像设备和云端服务器；
通过移动设备和/或成像设备获取多模态输入数据；
由所述移动设备或云端服务器对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，由所述移动设备根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，由所述移动设备控制所述虚拟形象通过所述成像设备进入唤醒状态。
8.一种虚拟形象，其特征在于，所述虚拟形象在移动设备运行，所述虚拟形象执行如权利要求1-6任意一项所述方法的步骤。
9.一种智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
获取多模态输入数据；
对所述多模态输入数据进行解析，获得解析结果；
当解析结果包含唤醒意图，根据当前虚拟形象的状态，响应该唤醒意图；
当响应所述唤醒意图时，控制所述虚拟形象进入唤醒状态。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711276165.1A CN107861626A (zh) | 2017-12-06 | 2017-12-06 | 一种虚拟形象被唤醒的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711276165.1A CN107861626A (zh) | 2017-12-06 | 2017-12-06 | 一种虚拟形象被唤醒的方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107861626A true CN107861626A (zh) | 2018-03-30 |
Family
ID=61705201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711276165.1A Pending CN107861626A (zh) | 2017-12-06 | 2017-12-06 | 一种虚拟形象被唤醒的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107861626A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521932A (zh) * | 2018-11-06 | 2019-03-26 | 斑马网络技术有限公司 | 语音控件显示处理方法、装置、车辆、存储介质及设备 |
| CN110618757A (zh) * | 2019-09-23 | 2019-12-27 | 北京大米科技有限公司 | 在线教学控制方法、装置和电子设备 |
| CN110767220A (zh) * | 2019-10-16 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
| CN110822645A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法、装置和可读存储介质 |
| CN110822644A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法和计算机存储介质 |
| CN110822642A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法和计算机存储介质 |
| CN110989900A (zh) * | 2019-11-28 | 2020-04-10 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111176740A (zh) * | 2019-12-30 | 2020-05-19 | 星络智能科技有限公司 | 屏幕唤醒方法、控制面板、智能音箱及存储介质 |
| CN111176741A (zh) * | 2019-12-30 | 2020-05-19 | 星络智能科技有限公司 | 屏幕唤醒方法、控制面板、智能音箱及存储介质 |
| CN111291151A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
| CN111290682A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
| CN111459451A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459454A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459450A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459452A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111949117A (zh) * | 2019-05-17 | 2020-11-17 | 深圳欧博思智能科技有限公司 | 设备状态切换方法、装置、存储介质及音箱 |
| CN111949118A (zh) * | 2019-05-17 | 2020-11-17 | 深圳欧博思智能科技有限公司 | 设备状态切换方法、装置、存储介质及音箱 |
| WO2021189967A1 (zh) * | 2020-03-25 | 2021-09-30 | 北京百度网讯科技有限公司 | 人机交互的控制方法、装置和***、电子设备 |
| CN113658254A (zh) * | 2021-07-28 | 2021-11-16 | 深圳市神州云海智能科技有限公司 | 一种处理多模态数据的方法及装置、机器人 |
| CN114639395A (zh) * | 2020-12-16 | 2022-06-17 | 观致汽车有限公司 | 车载虚拟人物的语音控制方法、装置及具有其的车辆 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866101A (zh) * | 2015-05-27 | 2015-08-26 | 世优（北京）科技有限公司 | 虚拟对象的实时互动控制方法及装置 |
| US20170255023A1 (en) * | 2016-03-02 | 2017-09-07 | Gwangju Institute Of Science And Technology | Display system based on hologram and hologram display method using the same |
| CN107340865A (zh) * | 2017-06-29 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人交互方法和*** |
| CN107340859A (zh) * | 2017-06-14 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人的多模态交互方法和*** |
-
2017
- 2017-12-06 CN CN201711276165.1A patent/CN107861626A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866101A (zh) * | 2015-05-27 | 2015-08-26 | 世优（北京）科技有限公司 | 虚拟对象的实时互动控制方法及装置 |
| US20170255023A1 (en) * | 2016-03-02 | 2017-09-07 | Gwangju Institute Of Science And Technology | Display system based on hologram and hologram display method using the same |
| CN107340859A (zh) * | 2017-06-14 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人的多模态交互方法和*** |
| CN107340865A (zh) * | 2017-06-29 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人交互方法和*** |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521932A (zh) * | 2018-11-06 | 2019-03-26 | 斑马网络技术有限公司 | 语音控件显示处理方法、装置、车辆、存储介质及设备 |
| CN111290682A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
| CN111291151A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
| CN111949118A (zh) * | 2019-05-17 | 2020-11-17 | 深圳欧博思智能科技有限公司 | 设备状态切换方法、装置、存储介质及音箱 |
| CN111949117A (zh) * | 2019-05-17 | 2020-11-17 | 深圳欧博思智能科技有限公司 | 设备状态切换方法、装置、存储介质及音箱 |
| CN110618757A (zh) * | 2019-09-23 | 2019-12-27 | 北京大米科技有限公司 | 在线教学控制方法、装置和电子设备 |
| CN110767220B (zh) * | 2019-10-16 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
| CN110767220A (zh) * | 2019-10-16 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
| CN110822644A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法和计算机存储介质 |
| CN110822642A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法和计算机存储介质 |
| CN110822645B (zh) * | 2019-11-25 | 2021-12-17 | 广东美的制冷设备有限公司 | 空调器及其控制方法、装置和可读存储介质 |
| CN110822644B (zh) * | 2019-11-25 | 2021-12-03 | 广东美的制冷设备有限公司 | 空调器及其控制方法和计算机存储介质 |
| CN110822642B (zh) * | 2019-11-25 | 2021-09-14 | 广东美的制冷设备有限公司 | 空调器及其控制方法和计算机存储介质 |
| CN110822645A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法、装置和可读存储介质 |
| CN110989900A (zh) * | 2019-11-28 | 2020-04-10 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| US11769499B2 (en) | 2019-11-28 | 2023-09-26 | Beijing Sensetime Technology Development Co., Ltd. | Driving interaction object |
| CN110989900B (zh) * | 2019-11-28 | 2021-11-05 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| WO2021103609A1 (zh) * | 2019-11-28 | 2021-06-03 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、电子设备以及存储介质 |
| CN111176740A (zh) * | 2019-12-30 | 2020-05-19 | 星络智能科技有限公司 | 屏幕唤醒方法、控制面板、智能音箱及存储介质 |
| CN111176741A (zh) * | 2019-12-30 | 2020-05-19 | 星络智能科技有限公司 | 屏幕唤醒方法、控制面板、智能音箱及存储介质 |
| WO2021189967A1 (zh) * | 2020-03-25 | 2021-09-30 | 北京百度网讯科技有限公司 | 人机交互的控制方法、装置和***、电子设备 |
| CN111459454B (zh) * | 2020-03-31 | 2021-08-20 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459452A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459450A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459454A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459451A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN114639395A (zh) * | 2020-12-16 | 2022-06-17 | 观致汽车有限公司 | 车载虚拟人物的语音控制方法、装置及具有其的车辆 |
| CN113658254A (zh) * | 2021-07-28 | 2021-11-16 | 深圳市神州云海智能科技有限公司 | 一种处理多模态数据的方法及装置、机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107861626A (zh) | 一种虚拟形象被唤醒的方法及*** | |
| CN107894833B (zh) | 基于虚拟人的多模态交互处理方法及*** | |
| CN109522835A (zh) | 基于智能机器人的儿童读物阅读与交互方法及*** | |
| CN107632706B (zh) | 多模态虚拟人的应用数据处理方法和*** | |
| EP4207080A1 (en) | Avatar generation method, apparatus and device, and medium | |
| CN110400251A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN110390704A (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| CN107765852A (zh) | 基于虚拟人的多模态交互处理方法及*** | |
| CN107797663A (zh) | 基于虚拟人的多模态交互处理方法及*** | |
| CN107831905A (zh) | 一种基于全息投影设备的虚拟形象交互方法及*** | |
| CN109324688A (zh) | 基于虚拟人行为标准的交互方法及*** | |
| CN109176535A (zh) | 基于智能机器人的交互方法及*** | |
| CN109343695A (zh) | 基于虚拟人行为标准的交互方法及*** | |
| CN111009031B (zh) | 一种人脸模型生成的方法、模型生成的方法及装置 | |
| CN108942919A (zh) | 一种基于虚拟人的交互方法及*** | |
| CN108416420A (zh) | 基于虚拟人的肢体交互方法及*** | |
| CN108961267A (zh) | 图片处理方法、图片处理装置及终端设备 | |
| US20220207913A1 (en) | Method and device for training multi-task recognition model and computer-readable storage medium | |
| CN108037825A (zh) | 一种虚拟偶像技能开启及演绎的方法及*** | |
| CN108681398A (zh) | 基于虚拟人的视觉交互方法及*** | |
| CN108415561A (zh) | 基于虚拟人的手势交互方法及*** | |
| CN109542389A (zh) | 用于多模态故事内容输出的音效控制方法及*** | |
| CN106875955A (zh) | 一种声音动画的制作方法及电子设备 | |
| CN107729860B (zh) | 人脸识别计算方法及相关产品 | |
| CN112149599B (zh) | 表情追踪方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180330 |
|
| RJ01 | Rejection of invention patent application after publication |