CN111596758A - 人机交互方法、***、存储介质及终端 - Google Patents

Abstract

本发明提供一种人机交互方法、***、存储介质及终端；所述方法包括以下步骤：获取目标用户信息；对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作；执行所述目标动作；本发明从本质上改变了原有的人机交互方式，变主动式为被动式，使用者不需要关注向机器传达操作指令和接收机器对指令的反馈信息，改由机器充当观察者/仆从角色，对使用者察言观色，并根据观察结果做出相应的执行动作，这样可以免除使用者用于人机交互的脑力和体力负荷，同时可显著缩短人机交互的时延，提升用户体验。

Description

人机交互方法、***、存储介质及终端

技术领域

本发明涉及人机交互技术领域，特别是一种人机交互方法、***、存储介质及终端。

背景技术

当前的主流人机交互方式（HMI）都是主动式的，即人需要主动地通过点击触摸屏、点击鼠标、点击按键/键盘、发出语音、作出手势等方式向机器传递信息，指示机器工作。

该类主动式的人机交互方式本质上都需要使用者付出额外的注意力和精力用于向机器传递指令信息，并且从机器接收机器对于指令的反馈信息，这是一种附加的管理成本（Overhead）；另外，受人的反应、动作等生物速度相对于程序执行速度比较缓慢的因素所限，该主动式人机交互方式也影响了人机交互的效率。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人机交互方法、***、存储介质及终端，用于解决现有技术中人机交互效率低、时延长、用户体验差的问题。

为实现上述目的，本发明提供一种人机交互方法，包括以下步骤：获取目标用户信息；对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作；执行所述目标动作。

于本发明的一实施例中，所述获取目标用户信息包括以下步骤：获取摄像头采集的用户状态信息；接收可穿戴设备发送来的用户体感信息。

于本发明的一实施例中，对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作包括：将所述目标用户信息与预设动作集中的用户信息进行比较，判断出所述目标用户信息对应的所述目标动作；所述预设动作集中包括至少一动作，且所述动作对应一用户信息。

于本发明的一实施例中，所述获取摄像头采集的用户状态信息包括：摄像头采集用户状态信息和/或接收外接摄像头采集的用户状态信息。

于本发明的一实施例中，所述用户状态信息包括以下任意一种或几种组合：瞳孔大小、瞳孔位置、面部表情、身体姿势、视线方向、眨眼频率和紧张状态。

于本发明的一实施例中，所述用户体感信息包括以下任意一种或几种组合：心跳、血压、血氧、肌肉紧张程度、呼吸频率和激素水平。

本发明提供一种人机交互***，包括：获取模块、处理模块和执行模块；所述获取模块用于获取目标用户信息；所述处理模块用于对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作；所述执行模块用于执行所述目标动作。

本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的人机交互方法。

本发明提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的人机交互方法。

本发明提供一种人机交互***，包括：上述的终端和采集装置；所述采集装置与所述终端连接，用于采集目标用户信息，并将所述目标用户信息发送至所述终端；所述采集装置包括可穿戴设备和外接摄像头。

如上所述，本发明所述的人机交互方法、***、存储介质及终端，具有以下有益效果：

从本质上改变了原有的人机交互方式，变主动式为被动式，使用者不需要关注向机器传达操作指令和接收机器对指令的反馈信息，改由机器充当观察者/仆从角色，对使用者察言观色，并根据观察结果做出相应的执行动作，这样可以免除使用者用于人机交互的脑力和体力负荷，同时可显著缩短人机交互的时延，提升用户体验。

附图说明

图1显示为本发明的人机交互方法于一实施例中的工作流程图。

图2显示为本发明的获取目标用户信息于一实施例中的工作流程图。

图3显示为本发明的人机交互***于一实施例中的结构示意图。

图4显示为本发明的终端于一实施例中的结构示意图。

图5显示为本发明的人机交互***于另一实施例中的结构示意图。

标号说明

31 获取模块；

32 处理模块；

33 执行模块；

41 处理器；

42 存储器；

51 终端；

52 采集装置；

S1~S3 步骤；

S11~S12 步骤。

具体实施方式

以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的人机交互方法、***、存储介质及终端，从本质上改变了原有的人机交互方式，变主动式为被动式，使用者不需要关注向机器传达操作指令和接收机器对指令的反馈信息，改由机器充当观察者/仆从角色，对使用者察言观色，并根据观察结果做出相应的执行动作，这样可以免除使用者用于人机交互的脑力和体力负荷，同时可显著缩短人机交互的时延，提升用户体验。

如图1所示，于一实施例中，本发明的人机交互方法应用于终端，用于实现人机交互；具体地，该终端包括但不限于智能终端、车载中控、副驾、后座娱乐***。

需要说明的是，所述智能终端包括并不限于智能手机、平板电脑、PDA以及其他具有数据处理功能的终端设备；通常，智能终端是指具有独立的操作***，可以由用户自行安装软件、游戏等第三方服务商提供的程序，通过此类程序来不断对手持设备的功能进行扩充，并可以通过移动通讯网络来实现无线网络接入的这样一类终端设备。

所述人机交互方法包括以下步骤：

步骤S1、获取目标用户信息。

具体地，终端获取目标用户信息。

如图2所示，于一实施例中，所述获取目标用户信息包括以下步骤：

步骤S11、获取摄像头采集的用户状态信息。

具体地，摄像头采集用户状态信息，以使终端获取该用户状态信息。

需要说明的是，该摄像头可以是终端自带的摄像头，也可以是与终端连接的外接摄像头。

于一实施例中，所述获取摄像头采集的用户状态信息包括：摄像头采集用户状态信息和/或接收外接摄像头采集的用户状态信息。

具体地，终端自带摄像头直接采集用户状态信息和/或通过与终端连接的外接摄像头采集用户状态信息，并将其发送至终端，以使终端最终获取用户状态信息。

于一实施例中，所述用户状态信息包括以下任意一种或几种组合：瞳孔大小、瞳孔位置、面部表情、身体姿势、视线方向、眨眼频率和紧张状态。

需要说明的是，所述用户状态信息包括但不限于用户的瞳孔大小、瞳孔位置、面部表情、身体姿势、视线方向、眨眼频率和紧张状态。

步骤S12、接收可穿戴设备发送来的用户体感信息。

具体地，可穿戴设备与终端通过无线（蓝牙/WiFi等）方式连接，可穿戴设备将采集的用户体感信息发送至终端。

需要说明的是，可穿戴设备以预设频率进行用户体感信息的采集。

需要说明的是，可穿戴设备即可直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备；具体地，于本发明中，具体选用何种可穿戴设备不作为限制本发明的条件，可根据实际应用需求进行可穿戴设备的选取。

需要说明的是，步骤S11与步骤S12没有固定的执行顺序，可步骤S11在前执行，步骤S12在后执行；也可步骤S12在前执行，步骤S11在后执行；亦或是步骤S11与步骤S12同时执行。

于一实施例中，所述用户体感信息包括以下任意一种或几种组合：心跳、血压、血氧、肌肉紧张程度、呼吸频率和激素水平。

需要说明的是，所述用户体感信息包括但不限于：用户的心跳、血压、血氧、肌肉紧张程度、呼吸频率和激素水平。

步骤S2、对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作。

具体地，经步骤S1终端获取目标用户信息后，会对该目标用户信息进行一系列的分析处理，以最终确定与该目标用户信息对应的目标动作。

于一实施例中，对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作包括：将所述目标用户信息与预设动作集中的用户信息进行比较，判断出所述目标用户信息对应的所述目标动作。

具体地，预先在终端上设置好预设动作集，在终端接收到目标用户信息后，就会将该目标用户信息与预设动作集中的用户信息进行比较，从预设动作集中找出与该目标用户信息一致的用户信息，进而确定该目标用户信息对应的目标动作。

需要说明的是，所述预设动作集中包括至少一动作，且所述动作对应一用户信息；例如，将预设动作集表示为：预设动作集={用户信息—动作}={瞳孔大小、微表情、心跳、血压、激素、呼吸有变化—提升音量；瞳孔大小、微表情、心跳、血压、激素、呼吸恢复正常—恢复正常音量}。

步骤S3、执行所述目标动作。

具体地，终端经步骤S2确定目标用户信息对应的目标动作后，执行该目标动作。

需要说明的是，常规的主动式人机交互，以按键举例，不管是机械按键，还是对屏幕上的虚拟按键用触摸方式或鼠标进行控制，一般完成整个按压、释放动作需要耗时20~30毫秒；该人机交互方法使得使用者不需要主动地通过触摸、鼠标、按键/键盘、语音、手势等方式向机器传递信息，而是由机器通过自带或外接摄像头观察、采集用户状态信息，接收可穿戴式设备通过无线或有线方式回传的体感信息等，综合分析、判断使用者的注意力、心理状态以及对当前内容关心程度，进而实现机器自动控制界面切换的目的；因为机器观察、采集、处理用户信息的时延可控制在5毫秒内，相应节约的时间可达到20毫秒左右；整体上说，大大提升了使用者的用户体验。

需要说明的是，本发明所述的人机交互方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

下面将通过具体实施例来进一步验证本发明的人机交互方法。

实施例一

将该人机交互方法应用在音乐播放领域；具体地，终端综合判断使用者的瞳孔、微表情、心跳、血压、激素、呼吸等信息：

1、若瞳孔大小、微表情、心跳、血压、激素、呼吸等有变化，则适当提升音量；

2、若瞳孔大小、微表情、心跳、血压、激素、呼吸等恢复正常，则恢复正常音量；

3、若通过瞳孔大小、微表情、心跳、血压、激素、呼吸等判断使用者已逐步进入睡眠状态，则依次降低音量直到最后静音；

4、若通过瞳孔大小、微表情、心跳、血压、激素、呼吸等判断使用者已逐步醒来，则依次增大音量直到正常音量。

实施例二

将该人机交互方法应用在朗读领域，诸如语音天气预报/邮件/文章/新闻等；具体地，终端综合判断使用者的瞳孔，微表情，心跳，血压，激素，呼吸等信息：

1、若瞳孔大小、微表情、心跳、血压、激素、呼吸等有变化，则放慢朗读语速，适当提升音量；

2、若瞳孔大小、微表情、心跳、血压、激素、呼吸等恢复正常，则恢复正常朗读语速和音量。

实施例三

将该人机交互方法应用在电子书阅读领域 ；具体地，终端综合判断使用者的瞳孔位置，瞳孔大小，微表情，心跳，血压，激素，呼吸等信息：

1、若视线焦点移出机器屏幕范围，则保持页面不动；

2、若瞳孔有明显大小变化，或微表情、心跳、血压、激素、呼吸等有变化，则增大当时页面的停留时间；

3、若视线焦点快速移向页面底部，则减少页面停留时间；

4、若瞳孔、微表情、心跳、血压、激素、呼吸等恢复正常，则恢复正常的页面停留时间。

实施例四

将该人机交互方法应用在视频播放/电视领域；具体地，终端综合判断使用者的瞳孔位置，瞳孔大小，微表情，心跳，血压，激素，呼吸等信息：

1、若视线焦点移出机器屏幕范围，则自动进入暂停状态；

2、若瞳孔有明显大小变化，或微表情、心跳、血压、激素、呼吸等有变化，则进入回放模式，回放之前数秒的内容；

3、若瞳孔、微表情、心跳、血压、激素、呼吸等恢复正常，则恢复正常的播放。

如图3所示，于一实施例中，本发明的人机交互***包括获取模块31、处理模块32和执行模块33。

所述获取模块31用于获取目标用户信息。

所述处理模块32用于对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作。

所述执行模块33用于执行所述目标动作。

需要说明的是，所述人机交互***的工作原理与上述人机交互方法的工作原理相同；所述获取模块31、所述处理模块32和所述执行模块33的结构功能与上述人机交互方法的步骤一一对应，在此不再赘述。

需要说明的是，应理解以上***的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述***的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述***的存储器中，由上述***的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的人机交互方法；所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

如图4所示，本发明的终端，包括处理器41及存储器42。

所述存储器42用于存储计算机程序。优选地，所述存储器42包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述终端执行上述的人机交互方法。

优选地，所述处理器41可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，本发明的人机交互***可以实现本发明的人机交互方法，但本发明的人机交互方法的实现装置包括但不限于本实施例列举的人机交互***的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

如图5所示，于一实施例中，本发明的人机交互***包括上述的终端51和采集装置52；所述采集装置52与所述终端51连接，用于采集目标用户信息，并将所述目标用户信息发送至所述终端51；所述采集装置52包括可穿戴设备和外接摄像头。

需要说明的是，该人机交互***的工作原理与上述人机交互方法的工作原理相同，在此不再赘述。

综上所述，本发明的人机交互方法、***、存储介质及终端，从本质上改变了原有的人机交互方式，变主动式为被动式，使用者不需要关注向机器传达操作指令和接收机器对指令的反馈信息，改由机器充当观察者/仆从角色，对使用者察言观色，并根据观察结果做出相应的执行动作，这样可以免除使用者用于人机交互的脑力和体力负荷，同时可显著缩短人机交互的时延，提升用户体验，所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人机交互方法，其特征在于，包括以下步骤：

获取目标用户信息；

对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作；

执行所述目标动作。

2.根据权利要求1所述的人机交互方法，其特征在于，所述获取目标用户信息包括以下步骤：

获取摄像头采集的用户状态信息；

接收可穿戴设备发送来的用户体感信息。

3.根据权利要求1所述的人机交互方法，其特征在于，对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作包括：将所述目标用户信息与预设动作集中的用户信息进行比较，判断出所述目标用户信息对应的所述目标动作；所述预设动作集中包括至少一动作，且所述动作对应一用户信息。

4.根据权利要求2所述的人机交互方法，其特征在于，所述获取摄像头采集的用户状态信息包括：摄像头采集用户状态信息和/或接收外接摄像头采集的用户状态信息。

5.根据权利要求2所述的人机交互方法，其特征在于，所述用户状态信息包括以下任意一种或几种组合：瞳孔大小、瞳孔位置、面部表情、身体姿势、视线方向、眨眼频率和紧张状态。

6.根据权利要求2所述的人机交互方法，其特征在于，所述用户体感信息包括以下任意一种或几种组合：心跳、血压、血氧、肌肉紧张程度、呼吸频率和激素水平。

7.一种人机交互***，其特征在于，包括：获取模块、处理模块和执行模块；

所述获取模块用于获取目标用户信息；

所述处理模块用于对所述目标用户信息进行分析处理，确定与所述目标用户信息对应的目标动作；

所述执行模块用于执行所述目标动作。

8.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的人机交互方法。

9.一种终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至6中任一项所述的人机交互方法。

10.一种人机交互***，其特征在于，包括：权利要求9中所述的终端和采集装置；

所述采集装置与所述终端连接，用于采集目标用户信息，并将所述目标用户信息发送至所述终端；所述采集装置包括可穿戴设备和外接摄像头。

Images