CN104965592A - 基于语音和手势识别的多模态非触摸人机交互方法及*** - Google Patents
基于语音和手势识别的多模态非触摸人机交互方法及*** Download PDFInfo
- Publication number
- CN104965592A CN104965592A CN201510396954.3A CN201510396954A CN104965592A CN 104965592 A CN104965592 A CN 104965592A CN 201510396954 A CN201510396954 A CN 201510396954A CN 104965592 A CN104965592 A CN 104965592A
- Authority
- CN
- China
- Prior art keywords
- voice
- gesture
- input
- semantic
- machine interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于语音和手势识别的多模态非触摸人机交互方法及***，在基本的语音识别、手势识别的基础上，通过定义语音和手势的联合语义表示，基于语音识别和手势识别进行语义理解、融合以及多通道信息冲突处理，基于领域先验知识和对话上下文信息优化语音识别和手势识别的语义空间搜索空间，最终基于多轮次交互对用户意图进行理解，提供非常便利、自然的人机交互方式，具有可靠性高、交互成功率高和资源消耗低的优点。
Description
技术领域
本发明属于人机交互领域，具体涉及一种基于语音和手势识别的多模态非触摸人机交互方法及***。
背景技术
在当前的高速发展的移动互联网技术领域，人与移动终端(比如手机)的接触越来越多，移动终端在人们的生活中也变得越来越不可或缺。随着移动互联网的发展，更加自然的人机交互方法的需求将会非常强烈。
在移动终端领域，现有的人机交互方法主要包括按键、触摸屏等接触式的交互手段以及基于语音的非触摸的交互方法。而在传统人机交互领域，多通道的人机交互方法正在兴起[1]。这类多通道人机交互界面整合了语音及手势的多通道输入，降低了用户的认知负荷，弥补了单一交互模式给用户带来的限制和负担。但是这类方法采用的是单轮次的命令式交互，缺乏对多轮次对话式人机交互的支持。而多轮次对话式的交互正是更加自然、贴近生活的交互方式。
发明内容
本发明的目的旨在针对上述现有技术中的不足之处，提供一种能给用户提供非常自然的交互体验的基于语音和手势识别的多模态非触摸人机交互方法及***。
本发明的目的可以通过以下技术方案来达到：
本发明第一方面提供一种基于语音和手势识别的多模态非触摸人机交互方法，包括以下步骤：
S1、解析用户输入的语音或手势，确定用户意图；
S2、根据用户意图制定语音与手势的联合语义表示，建立语义搜索空间和手势搜索空间的映射；
S3、当语音和手势多路输入同时存在时，融合语音和手势识别的语义，根据对话的状态切换两种不同的输入通道，处理多路输入冲突时的语义解析；
S4、优化缩小语音识别和手势识别的语义搜索空间，最终得到用户的真实意图。
进一步地，步骤S2包括：
使用对话过程中的用户语义和***反馈语义的联合分布定义***状态；
根据不同的***状态以及语音语义和手势语义的交并集处理，对两种输入的语义作语义映射。
进一步地，步骤S3包括：
支持语音输入和手势输入的双通道识别，并在特定的***状态下自动开启手势识别；
将语音和手势作为互斥输入源，一旦接收到其中一路有效输入后就立即关闭另外一路的输入信息。
在处理多路输入冲突时的语义解析时，步骤S3亦可以采取基于统计机器学习、以分类器的置信度或者概率输出进行通道选择判断以及融合的方法处理多路输入冲突。分类器以语音输入和手势输入的信号数字特征、识别中间结果、识别置信度等作为输入特征，通过数据学习，对语音和手势输入输出信号通道的选择置信度或者概率。若其中一方通道的置信度或者概率值大于设置好的阈值时，则关闭另外一路的输入信息；否则以概率整合的形式合并两路输入的语义解析结果。
进一步地，步骤S4包括：
使用语义槽和对应值的方法进行用户意图理解，使用户的一句话可以被解析为许多的语义槽-对应值对；
对于有歧义的语义槽，使用领域先验知识和对话上下文信息作为先验知识，再通过后验概率的加权，优化缩小语音识别和手势识别的语义搜索空间，修改语音识别和手势识别的语义备选项的置信度或概率值，最终得到用户的真实意图。
本发明第二方面提供一种基于语音和手势识别的多模态非触摸人机交互***，包括语音输入和手势输入模块、多通道输入的语义融合、切换以及冲突解析模块和语义搜索空间优化模块。
所述语音输入和手势输入模块用于接收和识别输入的语音信号与手势信号。
所述多通道输入的语义融合、切换以及冲突解析模块用于根据当前***状态以及使用通道判别分类器进行多通道输入的融合、切换和冲突解决。
所述语义搜索空间优化模块用于根据领域信息和对话上下文内容提供语义搜索空间的优化。
所述语音输入和手势输入模块、多通道输入的语义融合、切换以及冲突解析模块与语义搜索空间优化模块依次串联组成流水过程，用于实现上述的一种基于语音和手势的多模态非接触人机交互方法。
本发明提供的所述于语音和手势识别的多模态非触摸人机交互方法及***定义了语音及手势的联合语义，动态整合语音及手势的语义结果，并基于对话的领域先验知识和上下文信息，通过多轮语音或者手势的混合交互手段对用户的意图进行理解，从而提供给用户一种非常自然的交互体验。
附图说明
图1是本发明提供的基于语音和手势识别的多模态非触摸人机交互方法的流程示意图。
具体实施方式
下面将结合附图对本发明的技术方案作进一步详述：
请参照图1，一种基于语音和手势识别的多模态非触摸人机交互方法，包括以下步骤：
S1、解析用户输入的语音或手势，确定用户意图；
S2、根据用户意图制定语音与手势的联合语义表示，建立语义搜索空间和手势搜索空间的映射；
S3、当语音和手势多路输入同时存在时，融合语音和手势识别的语义，根据对话的状态切换两种不同的输入通道，处理多路输入冲突时的语义解析；
S4、优化缩小语音识别和手势识别的语义搜索空间，最终得到用户的真实意图。
在建立语义搜索空间和手势搜索空间的映射时，先使用对话过程中的用户语义和***反馈语义的联合分布定义***状态，然后根据不同的***状态以及语音语义和手势语义的交并集处理，对两种输入的语义作语义映射。比如在机器给用户提供一个二选一的语义反馈的时候，如“确认还是取消？”，手向左移动表示“确认”，向右移动表示“取消”。具体语义函数表示为，机器反馈＝select(slot1,slot2)，左移＝affirm(slot1)，右移＝affirm(slot2)。其中select(slot1,slot2)表示机器请求用户在两个语义槽slot1和slot2中做选择，affirm(slot)表示确定选择其中一个slot。
在处理多路输入冲突时的语义解析时，首先在特定的***状态下自动开启手势识别，再将语音和手势作为互斥输入源，一旦接收到其中一路有效输入后就立即关闭另外一路的输入信息，两路输入通道可以互相打断，语音输入可以打断手势输入，手势输入可以打断语音输入。比如简单地，在机器给出一个二选一的反馈(比如“拨打座机还是手机？”)时，***同时开启语音输入和手势输入通道。一旦检测到有效的手势输入，则丢弃已有的不完整的语音输入。
在处理多路输入冲突时的语义解析时，亦可以采取基于统计机器学习、以分类器的置信度或者概率输出进行通道选择判断以及融合的方法处理多路输入冲突。分类器以语音输入和手势输入的信号数字特征、识别中间结果、识别置信度等作为输入特征，通过数据学习，对语音和手势输入输出信号通道的选择置信度或者概率。若其中一方通道的置信度或者概率值大于设置好的阈值时，则关闭另外一路的输入信息；否则以概率整合的形式合并两路输入的语义解析结果。基于通道选择置信度的不确定性，可以将语音输入的语义结果和手势输入的语义结果以概率整合的方式融合在一起，最后产生带概率的多候选语义结果(所有候选结果的概率和等于一)。该方法可以处理语音和手势输入的不确定性误差。此外，基于上下文模态的先验概率模型也被考虑进来，增强对当前对话轮次的输入通道预测能力。
在优化缩小语音识别和手势识别的语义搜索空间时，首先使用语义槽(slot)和对应值(value)的方法进行用户意图理解，用户的一句话可以被解析为许多的slot-value对，比如：“打电话给小明”的语义是contact＝小明；在此基础上，对于有歧义的value(即有多个可能的语义槽)，根据领域先验知识缩小语义搜索空间。在指定领域中，value对应多个可能的语义槽slot1,slot2,…,slotk,并有在训练数据中统计的value属于某个slot的先验概率p1,p2,…,p k,则在一般情况下对value进行领域先验解析得到:sloti＝value,(i＝1,…,k)。
对于有歧义的语义槽，还可根据上下文信息缩小语义搜索空间。在上一句机器询问用户并向用户请求某个slot的时候(比如：“请说联系人名字”，slot为“联系人名”)，用户回答的内容解析出该slot对应的value的后验概率加大(比如用户回复“移动”，解析得“联系人名＝移动”的可能性加大)，最终得到用户的真实意图。
在上一句机器询问用户并请求用户在多个某个slot下的多个value之间做选择时(比如机器询问“您是要拨打给小明还是移动？”)，用户回答的内容解析出该slot对应的某个value的后验概率加大，最终得到用户的真实意图。
对应上述基于语音和手势识别的多模态非触摸人机交互方法，可构建一种基于语音和手势识别的多模态非触摸人机交互***，包括语音输入和手势输入模块、多通道输入的语义融合、切换以及冲突解析模块和语义搜索空间优化模块。
所述语音输入和手势输入模块用于接收和识别输入的语音信号与手势信号。
所述多通道输入的语义融合、切换以及冲突解析模块用于根据当前***状态以及使用通道判别分类器进行多通道输入的融合、切换和冲突解决。
所述语义搜索空间优化模块用于根据领域信息和对话上下文内容提供语义搜索空间的优化。
所述语音输入和手势输入模块、多通道输入的语义融合、切换以及冲突解析模块与语义搜索空间优化模块依次串联组成流水过程，用于实现上述的一种基于语音和手势的多模态非接触人机交互方法。
本发明提供的所述基于语音和手势识别的多模态非触摸人机交互方法及***定义了语音及手势的联合语义，动态整合语音及手势的语义结果，并基于对话的领域先验知识和上下文信息，通过多轮语音或者手势的混合交互手段优化缩小语音识别和手势识别的语义搜索空间，对用户的意图进行理解。
综上，本发明所述的基于语音和手势识别的多模态非触摸人机交互方法及***具有如下有益效果：
1、使用语音和手势的多模态非接触式交互方法，提供了更加便利、自然的人机交互方式；
2、提供了语音和手势的多模态输入的融合、通道切换以及冲突语义解析方案，可靠性高；
3、使用领域知识和对话上下文信息，降低语义的歧义性，交互成功率高。
4、优化缩小语义搜索空间，资源消耗低。
上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。
Claims (8)
1.一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，包括以下步骤：
S1、解析用户输入的语音或手势，确定用户意图；
S2、根据用户意图制定语音与手势的联合语义表示，建立语义搜索空间和手势搜索空间的映射；
S3、当语音和手势多路输入同时存在时，融合语音和手势识别的语义，根据对话的状态切换两种不同的输入通道，处理多路输入冲突时的语义解析；
S4、优化缩小语音识别和手势识别的语义搜索空间，最终得到用户的真实意图。
2.根据权利要求1所述的一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，步骤S2包括：
使用对话过程中的用户语义和***反馈语义的联合分布定义***状态；
根据不同的***状态以及语音语义和手势语义的交并集处理，对两种输入的语义作语义映射。
3.根据权利要求1所述的一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，步骤S3包括：
支持语音输入和手势输入的双通道识别，并在特定的***状态下自动开启手势识别；
将语音和手势作为互斥输入源，一旦接收到其中一路有效输入后就立即关闭另外一路的输入信息。
4.根据权利要求1所述的一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，步骤S3采取基于统计机器学习、以分类器的置信度或者概率输出进行通道选择判断以及融合的方法处理多路输入冲突。
5.根据权利要求4所述的一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，分类器以语音输入和手势输入的信号数字特征、识别中间结果、识别置信度等作为输入特征，通过数据学习，对语音和手势输入输出信号通道的选择置信度或者概率。
6.根据权利要求5所述的一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，若其中一方通道的置信度或者概率值大于设置好的阈值时，则关闭另外一路的输入信息；否则以概率整合的形式合并两路输入的语义解析结果。
7.根据权利要求1所述的一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，步骤S4包括：
使用语义槽和对应值的方法进行用户意图理解，使用户的一句话可以被解析为许多的语义槽-对应值对；
对于有歧义的语义槽，使用领域先验知识和对话上下文信息作为先验知识，再通过后验概率的加权，优化缩小语音识别和手势识别的语义搜索空间，修改语音识别和手势识别的语义备选项的置信度或概率值，最终得到用户的真实意图。
8.一种基于语音和手势识别的多模态非触摸人机交互***，其特征在于，包括：
语音输入和手势输入模块，用于接收和识别输入的语音信号与手势信号；
多通道输入的语义融合、切换以及冲突解析模块，用于根据当前***状态以及使用通道判别分类器进行多通道输入的融合、切换和冲突解决；
语义搜索空间优化模块，用于根据领域信息和对话上下文内容提供语义搜索空间的优化；
所述语音输入和手势输入模块、多通道输入的语义融合、切换以及冲突解析模块与语义搜索空间优化模块依次串联组成流水过程，用于实现如上述权利要求1至权利要求7所述的一种基于语音和手势的多模态非接触人机交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510396954.3A CN104965592A (zh) | 2015-07-08 | 2015-07-08 | 基于语音和手势识别的多模态非触摸人机交互方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510396954.3A CN104965592A (zh) | 2015-07-08 | 2015-07-08 | 基于语音和手势识别的多模态非触摸人机交互方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104965592A true CN104965592A (zh) | 2015-10-07 |
Family
ID=54219630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510396954.3A Pending CN104965592A (zh) | 2015-07-08 | 2015-07-08 | 基于语音和手势识别的多模态非触摸人机交互方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104965592A (zh) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426409A (zh) * | 2015-11-02 | 2016-03-23 | 北京奇虎科技有限公司 | 数据查询方法和装置 |
| CN106205611A (zh) * | 2016-06-29 | 2016-12-07 | 北京智能管家科技有限公司 | 一种基于多模态历史响应结果的人机交互方法及*** |
| CN106200679A (zh) * | 2016-09-21 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互***及其控制方法 |
| CN106599196A (zh) * | 2016-12-14 | 2017-04-26 | 竹间智能科技（上海）有限公司 | 一种人工智能对话方法及*** |
| CN106663127A (zh) * | 2016-07-07 | 2017-05-10 | 深圳狗尾草智能科技有限公司 | 一种虚拟机器人的交互方法、***及机器人 |
| CN106997236A (zh) * | 2016-01-25 | 2017-08-01 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
| CN107122109A (zh) * | 2017-05-31 | 2017-09-01 | 吉林大学 | 一种面向三维笔式交互平台的多通道自适应操作方法 |
| CN107273477A (zh) * | 2017-06-09 | 2017-10-20 | 北京光年无限科技有限公司 | 一种用于机器人的人机交互方法及装置 |
| CN107589828A (zh) * | 2016-07-07 | 2018-01-16 | 深圳狗尾草智能科技有限公司 | 基于知识图谱的人机交互方法及*** |
| CN107622300A (zh) * | 2017-08-09 | 2018-01-23 | 北京光年无限科技有限公司 | 多模态虚拟机器人的认知决策方法和*** |
| CN107871500A (zh) * | 2017-11-16 | 2018-04-03 | 百度在线网络技术（北京）有限公司 | 一种播放多媒体的方法和装置 |
| CN108227932A (zh) * | 2018-01-26 | 2018-06-29 | 上海智臻智能网络科技股份有限公司 | 交互意图确定方法及装置、计算机设备及存储介质 |
| CN108399427A (zh) * | 2018-02-09 | 2018-08-14 | 华南理工大学 | 基于多模态信息融合的自然交互方法 |
| CN108459712A (zh) * | 2018-02-11 | 2018-08-28 | 北京光年无限科技有限公司 | 一种基于虚拟人的手势交互方法及*** |
| CN109032345A (zh) * | 2018-07-04 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 设备控制方法、装置、设备、服务端和存储介质 |
| CN109493850A (zh) * | 2017-09-13 | 2019-03-19 | 株式会社日立制作所 | 成长型对话装置 |
| CN109521709A (zh) * | 2018-10-30 | 2019-03-26 | 南宁学院 | 一种多路控制器可选的控制方法 |
| CN109976338A (zh) * | 2019-03-14 | 2019-07-05 | 山东大学 | 一种多模态四足机器人人机交互***及方法 |
| CN110196642A (zh) * | 2019-06-21 | 2019-09-03 | 济南大学 | 一种基于意图理解模型的导航式虚拟显微镜 |
| CN110471531A (zh) * | 2019-08-14 | 2019-11-19 | 上海乂学教育科技有限公司 | 虚拟现实中多模态人机对话***和方法 |
| CN110597382A (zh) * | 2019-08-08 | 2019-12-20 | 中广核工程有限公司 | 一种核电站控制室多通道融合人机交互方法以及*** |
| CN110754948A (zh) * | 2018-07-27 | 2020-02-07 | 九阳股份有限公司 | 一种烹饪过程中的意图识别方法和智能烹饪设备 |
| CN111177346A (zh) * | 2019-12-19 | 2020-05-19 | 爱驰汽车有限公司 | 人机交互方法、装置、电子设备、存储介质 |
| CN111324206A (zh) * | 2020-02-28 | 2020-06-23 | 重庆百事得大牛机器人有限公司 | 基于手势交互的确认信息识别***及方法 |
| CN111489749A (zh) * | 2019-01-28 | 2020-08-04 | 丰田自动车株式会社 | 交互设备、交互方法和程序 |
| CN111787264A (zh) * | 2020-07-21 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
| CN111966320A (zh) * | 2020-08-05 | 2020-11-20 | 湖北亿咖通科技有限公司 | 用于车辆的多模态交互方法、存储介质以及电子设备 |
| CN112578989A (zh) * | 2020-12-25 | 2021-03-30 | 雄狮汽车科技(南京)有限公司 | 车载触屏的操作方法 |
| WO2021120684A1 (zh) * | 2019-12-16 | 2021-06-24 | 苏宁云计算有限公司 | 用于智能设备的人机交互装置及方法 |
| CN113031765A (zh) * | 2021-03-13 | 2021-06-25 | 杭州翔毅科技有限公司 | 一种基于人工智能的计算机多功能交互*** |
| CN114461063A (zh) * | 2022-01-18 | 2022-05-10 | 深圳时空科技集团有限公司 | 一种基于车载屏幕的人机交互方法 |
| WO2022110564A1 (zh) * | 2020-11-25 | 2022-06-02 | 苏州科技大学 | 智能家居多模态人机自然交互***及其方法 |
| CN115079818A (zh) * | 2022-05-07 | 2022-09-20 | 北京聚力维度科技有限公司 | 一种手部捕捉方法和*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200852A (zh) * | 2010-03-23 | 2011-09-28 | 慧智网股份有限公司 | 可携式通话装置操控计算机的方法 |
| CN102339129A (zh) * | 2011-09-19 | 2012-02-01 | 北京航空航天大学 | 一种基于语音和手势的多通道人机交互方法 |
| CN102428440A (zh) * | 2009-03-18 | 2012-04-25 | 罗伯特·博世有限公司 | 用于多模式输入的同步和消歧的***和方法 |
| CN102646016A (zh) * | 2012-02-13 | 2012-08-22 | 北京百纳信息技术有限公司 | 显示手势语音交互统一界面的用户终端及其显示方法 |
| CN103885585A (zh) * | 2014-02-20 | 2014-06-25 | 深圳市贝特尔机电有限公司 | 一种基于单人手势和语音信息的机器人人工导航方法 |
-
2015
- 2015-07-08 CN CN201510396954.3A patent/CN104965592A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102428440A (zh) * | 2009-03-18 | 2012-04-25 | 罗伯特·博世有限公司 | 用于多模式输入的同步和消歧的***和方法 |
| CN102200852A (zh) * | 2010-03-23 | 2011-09-28 | 慧智网股份有限公司 | 可携式通话装置操控计算机的方法 |
| CN102339129A (zh) * | 2011-09-19 | 2012-02-01 | 北京航空航天大学 | 一种基于语音和手势的多通道人机交互方法 |
| CN102646016A (zh) * | 2012-02-13 | 2012-08-22 | 北京百纳信息技术有限公司 | 显示手势语音交互统一界面的用户终端及其显示方法 |
| CN103885585A (zh) * | 2014-02-20 | 2014-06-25 | 深圳市贝特尔机电有限公司 | 一种基于单人手势和语音信息的机器人人工导航方法 |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426409A (zh) * | 2015-11-02 | 2016-03-23 | 北京奇虎科技有限公司 | 数据查询方法和装置 |
| CN105426409B (zh) * | 2015-11-02 | 2019-02-22 | 北京奇虎科技有限公司 | 数据查询方法和装置 |
| CN106997236B (zh) * | 2016-01-25 | 2018-07-13 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
| CN106997236A (zh) * | 2016-01-25 | 2017-08-01 | 亮风台（上海）信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
| CN106205611A (zh) * | 2016-06-29 | 2016-12-07 | 北京智能管家科技有限公司 | 一种基于多模态历史响应结果的人机交互方法及*** |
| WO2018006375A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 一种虚拟机器人的交互方法、***及机器人 |
| CN106663127A (zh) * | 2016-07-07 | 2017-05-10 | 深圳狗尾草智能科技有限公司 | 一种虚拟机器人的交互方法、***及机器人 |
| CN107589828A (zh) * | 2016-07-07 | 2018-01-16 | 深圳狗尾草智能科技有限公司 | 基于知识图谱的人机交互方法及*** |
| CN106200679B (zh) * | 2016-09-21 | 2019-01-29 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN106200679A (zh) * | 2016-09-21 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互***及其控制方法 |
| CN106599196A (zh) * | 2016-12-14 | 2017-04-26 | 竹间智能科技（上海）有限公司 | 一种人工智能对话方法及*** |
| CN106599196B (zh) * | 2016-12-14 | 2021-07-16 | 竹间智能科技（上海）有限公司 | 一种人工智能对话方法及*** |
| CN107122109A (zh) * | 2017-05-31 | 2017-09-01 | 吉林大学 | 一种面向三维笔式交互平台的多通道自适应操作方法 |
| CN107273477A (zh) * | 2017-06-09 | 2017-10-20 | 北京光年无限科技有限公司 | 一种用于机器人的人机交互方法及装置 |
| CN107622300A (zh) * | 2017-08-09 | 2018-01-23 | 北京光年无限科技有限公司 | 多模态虚拟机器人的认知决策方法和*** |
| CN109493850A (zh) * | 2017-09-13 | 2019-03-19 | 株式会社日立制作所 | 成长型对话装置 |
| CN107871500A (zh) * | 2017-11-16 | 2018-04-03 | 百度在线网络技术（北京）有限公司 | 一种播放多媒体的方法和装置 |
| CN107871500B (zh) * | 2017-11-16 | 2021-07-20 | 百度在线网络技术（北京）有限公司 | 一种播放多媒体的方法和装置 |
| CN108227932B (zh) * | 2018-01-26 | 2020-06-23 | 上海智臻智能网络科技股份有限公司 | 交互意图确定方法及装置、计算机设备及存储介质 |
| CN108227932A (zh) * | 2018-01-26 | 2018-06-29 | 上海智臻智能网络科技股份有限公司 | 交互意图确定方法及装置、计算机设备及存储介质 |
| CN108399427A (zh) * | 2018-02-09 | 2018-08-14 | 华南理工大学 | 基于多模态信息融合的自然交互方法 |
| CN108459712A (zh) * | 2018-02-11 | 2018-08-28 | 北京光年无限科技有限公司 | 一种基于虚拟人的手势交互方法及*** |
| CN109032345A (zh) * | 2018-07-04 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 设备控制方法、装置、设备、服务端和存储介质 |
| CN110754948A (zh) * | 2018-07-27 | 2020-02-07 | 九阳股份有限公司 | 一种烹饪过程中的意图识别方法和智能烹饪设备 |
| CN109521709A (zh) * | 2018-10-30 | 2019-03-26 | 南宁学院 | 一种多路控制器可选的控制方法 |
| CN111489749A (zh) * | 2019-01-28 | 2020-08-04 | 丰田自动车株式会社 | 交互设备、交互方法和程序 |
| CN109976338A (zh) * | 2019-03-14 | 2019-07-05 | 山东大学 | 一种多模态四足机器人人机交互***及方法 |
| CN110196642A (zh) * | 2019-06-21 | 2019-09-03 | 济南大学 | 一种基于意图理解模型的导航式虚拟显微镜 |
| CN110196642B (zh) * | 2019-06-21 | 2022-05-17 | 济南大学 | 一种基于意图理解模型的导航式虚拟显微镜 |
| CN110597382B (zh) * | 2019-08-08 | 2023-03-17 | 中广核工程有限公司 | 一种核电站控制室多通道融合人机交互方法以及*** |
| CN110597382A (zh) * | 2019-08-08 | 2019-12-20 | 中广核工程有限公司 | 一种核电站控制室多通道融合人机交互方法以及*** |
| CN110471531A (zh) * | 2019-08-14 | 2019-11-19 | 上海乂学教育科技有限公司 | 虚拟现实中多模态人机对话***和方法 |
| WO2021120684A1 (zh) * | 2019-12-16 | 2021-06-24 | 苏宁云计算有限公司 | 用于智能设备的人机交互装置及方法 |
| CN111177346A (zh) * | 2019-12-19 | 2020-05-19 | 爱驰汽车有限公司 | 人机交互方法、装置、电子设备、存储介质 |
| CN111324206A (zh) * | 2020-02-28 | 2020-06-23 | 重庆百事得大牛机器人有限公司 | 基于手势交互的确认信息识别***及方法 |
| CN111324206B (zh) * | 2020-02-28 | 2023-07-18 | 重庆百事得大牛机器人有限公司 | 基于手势交互的确认信息识别***及方法 |
| CN111787264B (zh) * | 2020-07-21 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
| CN111787264A (zh) * | 2020-07-21 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
| CN111966320A (zh) * | 2020-08-05 | 2020-11-20 | 湖北亿咖通科技有限公司 | 用于车辆的多模态交互方法、存储介质以及电子设备 |
| WO2022110564A1 (zh) * | 2020-11-25 | 2022-06-02 | 苏州科技大学 | 智能家居多模态人机自然交互***及其方法 |
| CN112578989A (zh) * | 2020-12-25 | 2021-03-30 | 雄狮汽车科技(南京)有限公司 | 车载触屏的操作方法 |
| CN113031765A (zh) * | 2021-03-13 | 2021-06-25 | 杭州翔毅科技有限公司 | 一种基于人工智能的计算机多功能交互*** |
| CN114461063A (zh) * | 2022-01-18 | 2022-05-10 | 深圳时空科技集团有限公司 | 一种基于车载屏幕的人机交互方法 |
| CN115079818A (zh) * | 2022-05-07 | 2022-09-20 | 北京聚力维度科技有限公司 | 一种手部捕捉方法和*** |
| CN115079818B (zh) * | 2022-05-07 | 2024-07-16 | 北京聚力维度科技有限公司 | 一种手部捕捉方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104965592A (zh) | 基于语音和手势识别的多模态非触摸人机交互方法及*** | |
| CN107229684B (zh) | 语句分类方法、***、电子设备、冰箱及存储介质 | |
| US11967312B2 (en) | Method and apparatus for training semantic understanding model, electronic device, and storage medium | |
| CN110704641B (zh) | 一种万级意图分类方法、装置、存储介质及电子设备 | |
| CN106297789B (zh) | 智能机器人的个性化交互方法及交互*** | |
| CN107644642B (zh) | 语义识别方法、装置、存储介质及电子设备 | |
| CN112365892B (zh) | 人机对话方法、装置、电子装置及存储介质 | |
| CN109697282B (zh) | 一种语句的用户意图识别方法和装置 | |
| US9123341B2 (en) | System and method for multi-modal input synchronization and disambiguation | |
| CN101641660B (zh) | 为使用脑机接口的命令控制任务提供分层方法的装置、方法 | |
| CN108874895B (zh) | 交互信息推送方法、装置、计算机设备及存储介质 | |
| KR20190046631A (ko) | 자연어 프로세싱을 위한 시스템 및 방법 | |
| CN107491286A (zh) | 移动终端的语音输入方法、装置、移动终端及存储介质 | |
| CN108847225B (zh) | 一种机场多人语音服务的机器人及其方法 | |
| WO2021135457A1 (zh) | 基于循环神经网络的情绪识别方法、装置及存储介质 | |
| CN111179935A (zh) | 一种语音质检的方法和设备 | |
| CN112035647A (zh) | 一种基于人机交互的问答方法、装置、设备及介质 | |
| CN112199486A (zh) | 一种办公场景的任务型多轮对话方法及*** | |
| CN111508472A (zh) | 一种语种切换方法、装置及存储介质 | |
| CN110175242B (zh) | 基于知识图谱的人机交互联想方法、装置及介质 | |
| CN111046674B (zh) | 语义理解方法、装置、电子设备和存储介质 | |
| CN111046149A (zh) | 内容推荐方法及装置、电子设备及存储介质 | |
| CN108206020A (zh) | 一种语音识别方法、装置及终端设备 | |
| CN112035648B (zh) | 一种用户数据的处理方法、装置及电子设备 | |
| CN114860910A (zh) | 智能对话方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151007 |
|
| RJ01 | Rejection of invention patent application after publication |