CN110136707A - 一种用于进行多设备自主决策的人机交互*** - Google Patents
一种用于进行多设备自主决策的人机交互*** Download PDFInfo
- Publication number
- CN110136707A CN110136707A CN201910323610.8A CN201910323610A CN110136707A CN 110136707 A CN110136707 A CN 110136707A CN 201910323610 A CN201910323610 A CN 201910323610A CN 110136707 A CN110136707 A CN 110136707A
- Authority
- CN
- China
- Prior art keywords
- information
- submodule
- terminal device
- equipment
- voice signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 36
- 230000006870 function Effects 0.000 claims description 77
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000007659 motor function Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008649 adaptation response Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 2
- 230000002618 waking effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了一种用于进行多设备自主决策的人机交互***，该用于进行多设备自主决策的人机交互***是若干设备中介模块获取其对应的每个终端设备关于来自外界的语音信号的置信度数据，并根据该置信度数据和知识库模块中关于该终端设备的第一必要信息生成关于该置信度数据的置信度综合信息，最后再通过决策中心模块根据该置信度综合信息和该知识库模块中关于该终端设备的第二必要信息生成用于控制该终端设备的控制反馈信号，并按照预设规则向其中一个终端设备发送该控制反馈信号，以此控制该终端设备作出适应性的响应操作。
Description
技术领域
本发明涉及人机交互的技术领域，特别涉及一种用于进行多设备自主决策的人机交互***。
背景技术
随着人工智能技术的发展，人工智能技术已经逐渐进入到人们的生活和工作中。用户可依靠人工智能技术对不同的终端设备实施不同的控制操作，这种控制操作明显不同于传统的控制操作手段。一般而言，传统的控制操作手段都是基于用户对终端设备实施按键控制等直接接触控制方式来实现的，而目前依靠人工智能技术对终端设备实施控制操作则需要用户对终端设备发出语音控制命令即可驱动终端设备作出适应性的工作状态切换。而终端设备能够依据来自用户的语音控制命令进行工作状态切换主要是通过人工智能技术对该语音控制命令进行语音释义，从而得到该语音控制命令实际包含的关于用户的语音意图含义。这种基于对应语音控制命令进行语音释义的语音交互模式是现有人机交互***采用的主要交互模式，这种语音交互模式能够最大限度地提高用户对不同终端设备的控制便捷性和准确性。
由于语音交互模式广泛应用于不同终端设备的控制操作中，用户与某一空间的单一终端设备进行语音交互的过程中，需要用户通过呼喊终端设备的名字来唤醒该终端设备，再与该终端设备进行一系列的后续交互，从而实现对该终端设备的语音控制操作。但是在实际应用场景中，同一空间并不可能只存在一个具有语音控制功能的终端设备，当同一空间同时存在多个具有语音交互控制功能的终端设备，此时用户需要对每个终端设备设定不同的名字，否则会存在用户呼喊一个名字时，多个不同终端设备同时进行响应的情况发生。为了克服这一问题，用户需要对不同的终端设备设定不同的名字，但是这种方式需要用户同时记忆不同终端设备及其设定名字的匹配关系，这对于用户而言是极不方便的；此外，当不同终端设备分别存在于不同空间时，现有的语音交互方式无法使得用户能够在其中一个空间内对另一个空间的终端设备进行语音控制操作。
发明内容
针对现有技术存在的缺陷，本发明提供一种用于进行多设备自主决策的人机交互***，该用于进行多设备自主决策的人机交互***是若干设备中介模块获取其对应的每个终端设备关于来自外界的语音信号的置信度数据，并根据该置信度数据和知识库模块中关于该终端设备的第一必要信息生成关于该置信度数据的置信度综合信息，最后再通过决策中心模块根据该置信度综合信息和该知识库模块中关于该终端设备的第二必要信息生成用于控制该终端设备的控制反馈信号，并按照预设规则向其中一个终端设备发送该控制反馈信号，以此控制该终端设备作出适应性的响应操作。可见，该用于进行多设备自主决策的人机交互***通过其中的置信度分析模块，对不同终端设备提供的信息进行综合分析与判断，使得该不同终端设备都存在被语音信号唤醒的情况下，确定其中一个最合适的终端设备被该语音信号唤醒，并赋予该被唤醒的终端设备相应的反馈响应角色，从而大大地提高用户的语音控制体验；此外，该用于进行多设备自主决策的人机交互***还通过该决策中心模块结合该知识库模块中关于语音信号中的用户语音意图和终端设备各自的运作功能信息，确定其中的终端设备执行相应的工作模式，从而完成现有语音交互模式无法实现的语音控制功能。
本发明提供一种用于进行多设备自主决策的人机交互***，其特征在于：
所述用于进行多设备自主决策的人机交互***包括若干设备中介模块、置信度分析模块、决策中心模块和知识库模块；其中，
若干所述设备中介模块用于与若干终端设备进行一一对应连接，每一所述设备中介模块用于获取来自外界的语音信号，以此计算出其对应连接的终端设备关于所述语音信号的置信度数据；
所述置信度分析模块用于根据所述知识库模块存储的第一必要信息，生成关于所有所述置信度数据的置信度综合信息；
所述决策中心模块用于根据所述知识库模块存储的第二必要信息和所述置信度综合信息，按照预设规则向所述若干设备中介模块的其中一个发送控制反馈信号，以此控制与所述其中一个设备中介模块对应的终端设备做出适应性响应操作；
进一步，所述若干设备中介模块中的每一个均包括语音信号接收子模块、语音信号唤醒子模块和语音信号分析子模块；其中
所述语音信号接收子模块包括麦克风阵列，所述麦克风阵列用于接收来自外界的语音信号；
所述语音信号唤醒子模块用于根据所述来自外界的语音信号，对其相应的终端设备进行唤醒操作；
所述语音信号分析子模块用于对所述来自外界的语音信号进行分析，以此获取关于所述来自外界的语音信号的语音释义信息；
进一步，所述语音信号唤醒子模块对其相应的终端设备进行唤醒操作具体包括，
所述语音信号唤醒子模块从所述来自外界的语音信号中提取特征关键词，并将所述特征关键词与其对应的终端设备所属的唤醒词进行匹配处理；其中，
若所述特征关键词与所述唤醒词相匹配，则所述语音信号唤醒子模块对其相应的终端设备执行唤醒操作；
若所述特征关键词与所述唤醒词不匹配，则所述语音信号唤醒子模块不对其相应的终端设备执行唤醒操作；
进一步，所述若干设备中介模块中的每一个均包括唤醒词检测引擎子模块和置信度计算子模块；
所述唤醒词检测引擎子模块用于生成所述来自外界的语音信号中关于所述终端设备的唤醒词检测信息；
所述置信度计算子模块用于根据所述语音释义信息、若干所述终端设备中每一个对应的设备功能信息与所述唤醒词检测信息，生成关于所有所述终端设备中每一个对应的所述置信度数据；
进一步，所述若干设备中介模块中的每一个均包括设备功能信息获取子模块；其中，
所述设备功能信息获取子模块用于获取每一个终端设备对应的所述设备功能信息；
所述设备功能信息获取子模块至少包括音频播放功能确定单元、视频播放功能确定单元、照明功能确定单元、温控功能确定单元、运动功能确定单元或者清洗功能确定单元；
所述音频播放功能确定单元用于确定所述终端设备是否具备音频播放功能，以此形成所述设备功能信息的一部分信息；
所述视频播放功能确定单元用于确定所述终端设备是否具备视频播放功能，以此形成所述设备功能信息的一部分信息；
所述照明功能确定单元用于确定所述终端设备是否具备照明功能，以此形成所述设备功能信息的一部分信息；
所述温控功能确定单元用于确定所述终端设备是否具备温控功能，以此形成所述设备功能信息的一部分信息；
所述运动功能确定单元用于确定所述终端设备是否具备运动位移功能，以此形成所述设备功能信息的一部分信息；
所述清洗功能确定单元用于确定所述终端设备是否具备清洗能，以此形成所述设备功能信息的一部分信息；
进一步，所述置信度分析模块包括第一时钟信号生成子模块、置信度数据接收子模块、第一必要信息获取子模块和置信度综合计算子模块；其中，
所述第一时钟信号生成子模块用于生成第一时钟信号；
所述置信度数据接收子模块用于根据所述第一时钟信号，从所有所述设备中介模块中接收所述置信度数据；
所述第一必要信息获取子模块用于从所述知识库模块中获取关于所有所述终端设备对应的所述第一必要信息，其中，所述第一必要信息至少包括关于所述终端设备自身运作功能和工作状态的信息；
所述置信度综合计算子模块用于根据所述第一必要信息和所述置信度数据，计算得到所述置信度综合信息；
进一步，所述决策中心模块包括第二必要信息获取子模块和反馈信号生成子模块；其中
所述第二必要信息获取子模块用于从所述知识库模块中获取关于所有所述终端设备对应的所述第二必要信息，其中，所述第二必要信息至少包括所述语音信号的内容信息、所述语音信号中包含的外界用户意图信息、所述终端设备的类型信息、所述终端设备的名称信息或者所述终端设备的运作功能信息；
所述反馈信号生成子模块用于根据所述第二必要信息和所述置信度综合信息，生成所述控制反馈信号；
进一步，所述决策中心模块包括第二必要信息获取子模块、反馈信号生成子模块和终端设备指定子模块；其中，
所述第二必要信息获取子模块用于从所述知识库模块中获取关于所有终端设备中的每一个与外界用户之间的距离信息，以作为所述第二必要信息；
所述反馈信号生成子模块用于根据所述第二必要信息和所述置信度综合信息，生成所述控制反馈信号；
所述终端设备指定子模块用于将所述控制反馈信号发送至于所述外界用户距离最小的终端设备对应的设备中介模块中，以使所述设备中介模块能够根据所述控制反馈信号实施适应性的反馈操作；
进一步，所述决策中心模块包括第二必要信息获取子模块、反馈信号生成子模块和终端设备指定子模块；其中，
所述第二必要信息获取子模块用于从所述知识库模块中获取所述第二必要信息；
所述反馈信号生成子模块用于根据所述第二必要信息和所述置信度综合信息，生成所述控制反馈信号；
所述终端设备指定子模块用于根据预设选择规则确定若干终端设备中的一个作为目标终端设备，并将所述控制反馈信号发送至所述目标终端设备对应的设备中介模块中，以使所述设备中介模块能够根据所述控制反馈信号实施适应性的反馈操作；
进一步，所述设备中介模块能够根据所述控制反馈信号实施适应性的反馈操作具体包括，
所述设备中介模块能够根据所述控制反馈信号指示其对应的终端设备执行与所述来自外界的语音信号相匹配的语音交互反馈操作；或者，
所述设备中介模块能够根据所述控制反馈信号指示器对应的终端设备执行与所述来自外界的语音信号相匹配的工作状态切换操作。
相比于现有技术，该用于进行多设备自主决策的人机交互***是若干设备中介模块获取其对应的每个终端设备关于来自外界的语音信号的置信度数据，并根据该置信度数据和知识库模块中关于该终端设备的第一必要信息生成关于该置信度数据的置信度综合信息，最后再通过决策中心模块根据该置信度综合信息和该知识库模块中关于该终端设备的第二必要信息生成用于控制该终端设备的控制反馈信号，并按照预设规则向其中一个终端设备发送该控制反馈信号，以此控制该终端设备作出适应性的响应操作。可见，该用于进行多设备自主决策的人机交互***通过其中的置信度分析模块，对不同终端设备提供的信息进行综合分析与判断，使得该不同终端设备都存在被语音信号唤醒的情况下，确定其中一个最合适的终端设备被该语音信号唤醒，并赋予该被唤醒的终端设备相应的反馈响应角色，从而大大地提高用户的语音控制体验；此外，该用于进行多设备自主决策的人机交互***还通过该决策中心模块结合该知识库模块中关于语音信号中的用户语音意图和终端设备各自的运作功能信息，确定其中的终端设备执行相应的工作模式，从而完成现有语音交互模式无法实现的语音控制功能。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种用于进行多设备自主决策的人机交互***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种用于进行多设备自主决策的人机交互***的结构示意图。该用于进行多设备自主决策的人机交互***可包括但不限于若干设备中介模块、置信度分析模块、决策中心模块和知识库模块。
优选地，若干该设备中介模块用于与若干终端设备进行一一对应连接，每一该设备中介模块用于获取来自外界的语音信号，以此计算出其对应连接的终端设备关于该语音信号的置信度数据；
优选地，该置信度分析模块用于根据该知识库模块存储的第一必要信息，生成关于所有该置信度数据的置信度综合信息；
优选地，该决策中心模块用于根据该知识库模块存储的第二必要信息和该置信度综合信息，按照预设规则向该若干设备中介模块的其中一个发送控制反馈信号，以此控制与该其中一个设备中介模块对应的终端设备做出适应性响应操作；
优选地，该若干设备中介模块中的每一个均可包括但不限于语音信号接收子模块、语音信号唤醒子模块和语音信号分析子模块。
优选地，该语音信号接收子模块包括麦克风阵列，该麦克风阵列用于接收来自外界的语音信号；
优选地，该语音信号唤醒子模块用于根据该来自外界的语音信号，对其相应的终端设备进行唤醒操作；
优选地，该语音信号分析子模块用于对该来自外界的语音信号进行分析，以此获取关于该来自外界的语音信号的语音释义信息。
优选地，该语音信号唤醒子模块对其相应的终端设备进行唤醒操作具体包括，
该语音信号唤醒子模块从该来自外界的语音信号中提取特征关键词，并将该特征关键词与其对应的终端设备所属的唤醒词进行匹配处理；其中，
若该特征关键词与该唤醒词相匹配，则该语音信号唤醒子模块对其相应的终端设备执行唤醒操作；
若该特征关键词与该唤醒词不匹配，则该语音信号唤醒子模块不对其相应的终端设备执行唤醒操作。
优选地，该若干设备中介模块中的每一个均可包括但不限于唤醒词检测引擎子模块和置信度计算子模块；
优选地，该唤醒词检测引擎子模块用于生成该来自外界的语音信号中关于该终端设备的唤醒词检测信息；
优选地，该置信度计算子模块用于根据该语音释义信息、若干该终端设备中每一个对应的设备功能信息与该唤醒词检测信息，生成关于所有该终端设备中每一个对应的该置信度数据。
优选地，该若干设备中介模块中的每一个均可包括但不限于设备功能信息获取子模块；
优选地，该设备功能信息获取子模块用于获取每一个终端设备对应的该设备功能信息；
优选地，该设备功能信息获取子模块至少包括音频播放功能确定单元、视频播放功能确定单元、照明功能确定单元、温控功能确定单元、运动功能确定单元或者清洗功能确定单元；
优选地，该音频播放功能确定单元用于确定该终端设备是否具备音频播放功能，以此形成该设备功能信息的一部分信息；
优选地，该视频播放功能确定单元用于确定该终端设备是否具备视频播放功能，以此形成该设备功能信息的一部分信息；
优选地，该照明功能确定单元用于确定该终端设备是否具备照明功能，以此形成该设备功能信息的一部分信息；
优选地，该温控功能确定单元用于确定该终端设备是否具备温控功能，以此形成该设备功能信息的一部分信息；
优选地，该运动功能确定单元用于确定该终端设备是否具备运动位移功能，以此形成该设备功能信息的一部分信息；
优选地，该清洗功能确定单元用于确定该终端设备是否具备清洗能，以此形成该设备功能信息的一部分信息。
优选地，该置信度分析模块可包括但不限于第一时钟信号生成子模块、置信度数据接收子模块、第一必要信息获取子模块和置信度综合计算子模块；
优选地，该第一时钟信号生成子模块用于生成第一时钟信号；
优选地，该置信度数据接收子模块用于根据该第一时钟信号，从所有该设备中介模块中接收该置信度数据；
优选地，该第一必要信息获取子模块用于从该知识库模块中获取关于所有该终端设备对应的该第一必要信息，其中，该第一必要信息至少包括关于该终端设备自身运作功能和工作状态的信息；
优选地，该置信度综合计算子模块用于根据该第一必要信息和该置信度数据，计算得到该置信度综合信息。
优选地，决策中心模块包括但不限于第二必要信息获取子模块和反馈信号生成子模块；
优选地，该第二必要信息获取子模块用于从该知识库模块中获取关于所有该终端设备对应的该第二必要信息，其中，该第二必要信息至少包括该语音信号的内容信息、该语音信号中包含的外界用户意图信息、该终端设备的类型信息、该终端设备的名称信息或者该终端设备的运作功能信息；
优选地，该反馈信号生成子模块用于根据该第二必要信息和该置信度综合信息，生成该控制反馈信号。
优选地，该决策中心模块可包括但不限于第二必要信息获取子模块、反馈信号生成子模块和终端设备指定子模块；
优选地，该第二必要信息获取子模块用于从该知识库模块中获取关于所有终端设备中的每一个与外界用户之间的距离信息，以作为该第二必要信息；
优选地，该反馈信号生成子模块用于根据该第二必要信息和该置信度综合信息，生成该控制反馈信号；
优选地，该终端设备指定子模块用于将该控制反馈信号发送至于该外界用户距离最小的终端设备对应的设备中介模块中，以使该设备中介模块能够根据该控制反馈信号实施适应性的反馈操作。
优选地，该决策中心模块可包括但不限于第二必要信息获取子模块、反馈信号生成子模块和终端设备指定子模块；
优选地，该第二必要信息获取子模块用于从该知识库模块中获取该第二必要信息；
优选地，该反馈信号生成子模块用于根据该第二必要信息和该置信度综合信息，生成该控制反馈信号；
优选地，该终端设备指定子模块用于根据预设选择规则确定若干终端设备中的一个作为目标终端设备，并将该控制反馈信号发送至该目标终端设备对应的设备中介模块中，以使该设备中介模块能够根据该控制反馈信号实施适应性的反馈操作。
优选地，该设备中介模块能够根据该控制反馈信号实施适应性的反馈操作具体包括，
该设备中介模块能够根据该控制反馈信号指示其对应的终端设备执行与该来自外界的语音信号相匹配的语音交互反馈操作；或者，
该设备中介模块能够根据该控制反馈信号指示器对应的终端设备执行与该来自外界的语音信号相匹配的工作状态切换操作。
从上述实施例可以看出，该用于进行多设备自主决策的人机交互***是若干设备中介模块获取其对应的每个终端设备关于来自外界的语音信号的置信度数据，并根据该置信度数据和知识库模块中关于该终端设备的第一必要信息生成关于该置信度数据的置信度综合信息，最后再通过决策中心模块根据该置信度综合信息和该知识库模块中关于该终端设备的第二必要信息生成用于控制该终端设备的控制反馈信号，并按照预设规则向其中一个终端设备发送该控制反馈信号，以此控制该终端设备作出适应性的响应操作。可见，该用于进行多设备自主决策的人机交互***通过其中的置信度分析模块，对不同终端设备提供的信息进行综合分析与判断，使得该不同终端设备都存在被语音信号唤醒的情况下，确定其中一个最合适的终端设备被该语音信号唤醒，并赋予该被唤醒的终端设备相应的反馈响应角色，从而大大地提高用户的语音控制体验；此外，该用于进行多设备自主决策的人机交互***还通过该决策中心模块结合该知识库模块中关于语音信号中的用户语音意图和终端设备各自的运作功能信息，确定其中的终端设备执行相应的工作模式，从而完成现有语音交互模式无法实现的语音控制功能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种用于进行多设备自主决策的人机交互***，其特征在于：
所述用于进行多设备自主决策的人机交互***包括若干设备中介模块、置信度分析模块、决策中心模块和知识库模块；其中，
若干所述设备中介模块用于与若干终端设备进行一一对应连接，每一所述设备中介模块用于获取来自外界的语音信号，以此计算出其对应连接的终端设备关于所述语音信号的置信度数据；
所述置信度分析模块用于根据所述知识库模块存储的第一必要信息，生成关于所有所述置信度数据的置信度综合信息；
所述决策中心模块用于根据所述知识库模块存储的第二必要信息和所述置信度综合信息，按照预设规则向所述若干设备中介模块的其中一个发送控制反馈信号，以此控制与所述其中一个设备中介模块对应的终端设备做出适应性响应操作。
2.如权利要求1所述的用于进行多设备自主决策的人机交互***，其特征在于：所述若干设备中介模块中的每一个均包括语音信号接收子模块、语音信号唤醒子模块和语音信号分析子模块；其中
所述语音信号接收子模块包括麦克风阵列，所述麦克风阵列用于接收来自外界的语音信号；
所述语音信号唤醒子模块用于根据所述来自外界的语音信号，对其相应的终端设备进行唤醒操作；
所述语音信号分析子模块用于对所述来自外界的语音信号进行分析，以此获取关于所述来自外界的语音信号的语音释义信息。
3.如权利要求2所述的用于进行多设备自主决策的人机交互***，其特征在于：
所述语音信号唤醒子模块对其相应的终端设备进行唤醒操作具体包括，所述语音信号唤醒子模块从所述来自外界的语音信号中提取特征关键词，并将所述特征关键词与其对应的终端设备所属的唤醒词进行匹配处理；其中，
若所述特征关键词与所述唤醒词相匹配，则所述语音信号唤醒子模块对其相应的终端设备执行唤醒操作；
若所述特征关键词与所述唤醒词不匹配，则所述语音信号唤醒子模块不对其相应的终端设备执行唤醒操作。
4.如权利要求2所述的用于进行多设备自主决策的人机交互***，其特征在于：所述若干设备中介模块中的每一个均包括唤醒词检测引擎子模块和置信度计算子模块；
所述唤醒词检测引擎子模块用于生成所述来自外界的语音信号中关于所述终端设备的唤醒词检测信息；
所述置信度计算子模块用于根据所述语音释义信息、若干所述终端设备中每一个对应的设备功能信息与所述唤醒词检测信息，生成关于所有所述终端设备中每一个对应的所述置信度数据。
5.如权利要求4所述的用于进行多设备自主决策的人机交互***，其特征在于：所述若干设备中介模块中的每一个均包括设备功能信息获取子模块；其中，
所述设备功能信息获取子模块用于获取每一个终端设备对应的所述设备功能信息；
所述设备功能信息获取子模块至少包括音频播放功能确定单元、视频播放功能确定单元、照明功能确定单元、温控功能确定单元、运动功能确定单元或者清洗功能确定单元；
所述音频播放功能确定单元用于确定所述终端设备是否具备音频播放功能，以此形成所述设备功能信息的一部分信息；
所述视频播放功能确定单元用于确定所述终端设备是否具备视频播放功能，以此形成所述设备功能信息的一部分信息；
所述照明功能确定单元用于确定所述终端设备是否具备照明功能，以此形成所述设备功能信息的一部分信息；
所述温控功能确定单元用于确定所述终端设备是否具备温控功能，以此形成所述设备功能信息的一部分信息；
所述运动功能确定单元用于确定所述终端设备是否具备运动位移功能，以此形成所述设备功能信息的一部分信息；
所述清洗功能确定单元用于确定所述终端设备是否具备清洗能，以此形成所述设备功能信息的一部分信息。
6.如权利要求1所述的用于进行多设备自主决策的人机交互***，其特征在于：所述置信度分析模块包括第一时钟信号生成子模块、置信度数据接收子模块、第一必要信息获取子模块和置信度综合计算子模块；其中，
所述第一时钟信号生成子模块用于生成第一时钟信号；
所述置信度数据接收子模块用于根据所述第一时钟信号，从所有所述设备中介模块中接收所述置信度数据；
所述第一必要信息获取子模块用于从所述知识库模块中获取关于所有所述终端设备对应的所述第一必要信息，其中，所述第一必要信息至少包括关于所述终端设备自身运作功能和工作状态的信息；
所述置信度综合计算子模块用于根据所述第一必要信息和所述置信度数据，计算得到所述置信度综合信息。
7.如权利要求1所述的用于进行多设备自主决策的人机交互***，其特征在于：所述决策中心模块包括第二必要信息获取子模块和反馈信号生成子模块；其中
所述第二必要信息获取子模块用于从所述知识库模块中获取关于所有所述终端设备对应的所述第二必要信息，其中，所述第二必要信息至少包括所述语音信号的内容信息、所述语音信号中包含的外界用户意图信息、所述终端设备的类型信息、所述终端设备的名称信息或者所述终端设备的运作功能信息；
所述反馈信号生成子模块用于根据所述第二必要信息和所述置信度综合信息，生成所述控制反馈信号。
8.如权利要求1所述的用于进行多设备自主决策的人机交互***，其特征在于：所述决策中心模块包括第二必要信息获取子模块、反馈信号生成子模块和终端设备指定子模块；其中，
所述第二必要信息获取子模块用于从所述知识库模块中获取关于所有终端设备中的每一个与外界用户之间的距离信息，以作为所述第二必要信息；
所述反馈信号生成子模块用于根据所述第二必要信息和所述置信度综合信息，生成所述控制反馈信号；
所述终端设备指定子模块用于将所述控制反馈信号发送至于所述外界用户距离最小的终端设备对应的设备中介模块中，以使所述设备中介模块能够根据所述控制反馈信号实施适应性的反馈操作。
9.如权利要求1所述的用于进行多设备自主决策的人机交互***，其特征在于：所述决策中心模块包括第二必要信息获取子模块、反馈信号生成子模块和终端设备指定子模块；其中，
所述第二必要信息获取子模块用于从所述知识库模块中获取所述第二必要信息；
所述反馈信号生成子模块用于根据所述第二必要信息和所述置信度综合信息，生成所述控制反馈信号；
所述终端设备指定子模块用于根据预设选择规则确定若干终端设备中的一个作为目标终端设备，并将所述控制反馈信号发送至所述目标终端设备对应的设备中介模块中，以使所述设备中介模块能够根据所述控制反馈信号实施适应性的反馈操作。
10.如权利要求8或9所述的用于进行多设备自主决策的人机交互***，其特征在于：所述设备中介模块能够根据所述控制反馈信号实施适应性的反馈操作具体包括，
所述设备中介模块能够根据所述控制反馈信号指示其对应的终端设备执行与所述来自外界的语音信号相匹配的语音交互反馈操作；或者，
所述设备中介模块能够根据所述控制反馈信号指示器对应的终端设备执行与所述来自外界的语音信号相匹配的工作状态切换操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323610.8A CN110136707B (zh) | 2019-04-22 | 2019-04-22 | 一种用于进行多设备自主决策的人机交互*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323610.8A CN110136707B (zh) | 2019-04-22 | 2019-04-22 | 一种用于进行多设备自主决策的人机交互*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136707A true CN110136707A (zh) | 2019-08-16 |
| CN110136707B CN110136707B (zh) | 2021-03-02 |
Family
ID=67570731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910323610.8A Active CN110136707B (zh) | 2019-04-22 | 2019-04-22 | 一种用于进行多设备自主决策的人机交互*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136707B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578474A (zh) * | 2013-10-25 | 2014-02-12 | 小米科技有限责任公司 | 一种语音控制方法、装置和设备 |
| CN104598192A (zh) * | 2014-12-29 | 2015-05-06 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| US20150222948A1 (en) * | 2012-09-29 | 2015-08-06 | Shenzhen Prtek Co. Ltd. | Multimedia Device Voice Control System and Method, and Computer Storage Medium |
| CN105529028A (zh) * | 2015-12-09 | 2016-04-27 | 百度在线网络技术（北京）有限公司 | 语音解析方法和装置 |
| CN106030699A (zh) * | 2014-10-09 | 2016-10-12 | 谷歌公司 | 多个设备上的热词检测 |
| CN107004410A (zh) * | 2014-10-01 | 2017-08-01 | 西布雷恩公司 | 语音和连接平台 |
| CN107240398A (zh) * | 2017-07-04 | 2017-10-10 | 科大讯飞股份有限公司 | 智能语音交互方法及装置 |
| CN107316643A (zh) * | 2017-07-04 | 2017-11-03 | 科大讯飞股份有限公司 | 语音交互方法及装置 |
| CN107657949A (zh) * | 2017-04-14 | 2018-02-02 | 深圳市人马互动科技有限公司 | 游戏数据的获取方法及装置 |
| CN108337362A (zh) * | 2017-12-26 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 语音交互方法、装置、设备和存储介质 |
| CN108683574A (zh) * | 2018-04-13 | 2018-10-19 | 青岛海信智慧家居***股份有限公司 | 一种设备控制方法、服务器和智能家居*** |
| CN108847219A (zh) * | 2018-05-25 | 2018-11-20 | 四川斐讯全智信息技术有限公司 | 一种唤醒词预设置信度阈值调节方法及*** |
| CN109215649A (zh) * | 2018-09-12 | 2019-01-15 | 北京盛世辉科技有限公司 | 一种遥控装置 |
| CN109243431A (zh) * | 2017-07-04 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 一种处理方法、控制方法、识别方法及其装置和电子设备 |
| US20190051307A1 (en) * | 2017-08-14 | 2019-02-14 | Lenovo (Singapore) Pte. Ltd. | Digital assistant activation based on wake word association |
| CN109427329A (zh) * | 2017-08-24 | 2019-03-05 | 丰田自动车株式会社 | 信息处理装置、车载装置和存储介质 |
-
2019
- 2019-04-22 CN CN201910323610.8A patent/CN110136707B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150222948A1 (en) * | 2012-09-29 | 2015-08-06 | Shenzhen Prtek Co. Ltd. | Multimedia Device Voice Control System and Method, and Computer Storage Medium |
| CN103578474A (zh) * | 2013-10-25 | 2014-02-12 | 小米科技有限责任公司 | 一种语音控制方法、装置和设备 |
| CN107004410A (zh) * | 2014-10-01 | 2017-08-01 | 西布雷恩公司 | 语音和连接平台 |
| CN106030699A (zh) * | 2014-10-09 | 2016-10-12 | 谷歌公司 | 多个设备上的热词检测 |
| CN104598192A (zh) * | 2014-12-29 | 2015-05-06 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN105529028A (zh) * | 2015-12-09 | 2016-04-27 | 百度在线网络技术（北京）有限公司 | 语音解析方法和装置 |
| CN107657949A (zh) * | 2017-04-14 | 2018-02-02 | 深圳市人马互动科技有限公司 | 游戏数据的获取方法及装置 |
| CN107316643A (zh) * | 2017-07-04 | 2017-11-03 | 科大讯飞股份有限公司 | 语音交互方法及装置 |
| CN107240398A (zh) * | 2017-07-04 | 2017-10-10 | 科大讯飞股份有限公司 | 智能语音交互方法及装置 |
| CN109243431A (zh) * | 2017-07-04 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 一种处理方法、控制方法、识别方法及其装置和电子设备 |
| US20190051307A1 (en) * | 2017-08-14 | 2019-02-14 | Lenovo (Singapore) Pte. Ltd. | Digital assistant activation based on wake word association |
| CN109427329A (zh) * | 2017-08-24 | 2019-03-05 | 丰田自动车株式会社 | 信息处理装置、车载装置和存储介质 |
| CN108337362A (zh) * | 2017-12-26 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 语音交互方法、装置、设备和存储介质 |
| CN108683574A (zh) * | 2018-04-13 | 2018-10-19 | 青岛海信智慧家居***股份有限公司 | 一种设备控制方法、服务器和智能家居*** |
| CN108847219A (zh) * | 2018-05-25 | 2018-11-20 | 四川斐讯全智信息技术有限公司 | 一种唤醒词预设置信度阈值调节方法及*** |
| CN109215649A (zh) * | 2018-09-12 | 2019-01-15 | 北京盛世辉科技有限公司 | 一种遥控装置 |
Non-Patent Citations (2)
| Title |
|---|
| JINGYONG HOU ET AL.: "Investigating Neural Network based Query-by-Example Keyword Spotting Approach for Personalized Wake-up Word Detection in Mandarin Chinese", 《2016 10TH INTERNATIONAL SYMPOSIUM ON CHINESE SPOKEN LANGUAGE PROCESSING (ISCSLP)》 * |
| 刘要华等: "协同人机交互机制的研究与设计", 《计算机工程与设计》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136707B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106297781B (zh) | 控制方法和控制器 | |
| KR102505597B1 (ko) | 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축 | |
| KR102298947B1 (ko) | 음성 데이터 처리 방법 및 이를 지원하는 전자 장치 | |
| KR102543693B1 (ko) | 전자 장치 및 그의 동작 방법 | |
| EP3652734B1 (en) | Voice data processing method and electronic device supporting the same | |
| KR102414122B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 그 동작 방법 | |
| CN104350541B (zh) | 能够将与用户的自然对话合并到其行为中的机器人，以及编程和使用所述机器人的方法 | |
| CN108737933A (zh) | 一种基于智能音箱的对话方法、装置及电子设备 | |
| KR102416782B1 (ko) | 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치 | |
| CN107134279A (zh) | 一种语音唤醒方法、装置、终端和存储介质 | |
| CN106997762A (zh) | 家用电器的语音控制方法以及装置 | |
| CN112735418B (zh) | 一种语音交互的处理方法、装置、终端及存储介质 | |
| EP3738117B1 (en) | System for processing user utterance and controlling method thereof | |
| KR102343084B1 (ko) | 전자 장치 및 전자 장치의 기능 실행 방법 | |
| JP6619488B2 (ja) | 人工知能機器における連続会話機能 | |
| CN110010125A (zh) | 一种智能机器人的控制方法、装置、终端设备及介质 | |
| CN109240107A (zh) | 一种电器设备的控制方法、装置、电器设备和介质 | |
| CN112634897B (zh) | 设备唤醒方法、装置和存储介质及电子装置 | |
| CN109101663A (zh) | 一种基于互联网的机器人对话*** | |
| CN112912955B (zh) | 提供基于语音识别的服务的电子装置和*** | |
| CN110503954B (zh) | 语音技能启动方法、装置、设备及存储介质 | |
| CN106339067A (zh) | 一种控制方法及电子设备 | |
| CN109783049A (zh) | 操作控制方法、装置、设备及存储介质 | |
| KR102369309B1 (ko) | 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치 | |
| CN113611306A (zh) | 基于用户习惯的智能家居语音控制方法、***及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 101, 1st floor, building 1, Xisanqi building materials City, Haidian District, Beijing 100096 Applicant after: Yunzhisheng Intelligent Technology Co.,Ltd. Address before: No.101, 1st floor, building 1, Xisanqi building materials City, Haidian District, Beijing Applicant before: BEIJING UNISOUND INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |