基于语音识别的多模态大屏交互的方法及装置
技术领域
本发明涉及儿童早教领域,特别涉及一种基于语音识别的多模态大屏交互的方法及装置。
背景技术
传统的儿童早教内容,大部分都是简单的以视频形式输出给到孩子观看,孩子只能进行观看视频,不能进行互动和交流。由于知识是单向输出的,缺少内容的互动和交流,无法让孩子形成沉浸式的体验,难以让孩子产生学习的兴趣。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种通过多模态的人机交互,让孩子与学习内容有了更多的互动,大大提高孩子的学习趣味性的基于语音识别的多模态大屏交互的方法及装置。
本发明解决其技术问题所采用的技术方案是:构造一种基于语音识别的多模态大屏交互的方法,包括如下步骤:
A)儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令,如是,执行步骤B);否则,执行步骤F);
B)所述儿童教育智能机器人判断所述语音控制指令是否是唤醒词,如是,执行步骤C),否则,执行步骤F);
C)将所述语音控制指令传送至所述儿童教育智能机器人的主控单元,执行步骤D);
D)所述主控单元判断所述语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令,如是针对所述互联家电的指令,则执行步骤E),如是针对所述机器端的指令,则执行步骤E'),如是针对奥多拉星球平台的指令,则执行步骤E");否则,执行步骤F);
E)所述主控单元根据接收的所述语音控制指令输出控制信号至无线互联装置,使与所述无线互联装置连接的家电按照所述语音控制指令进行相应的操作,执行步骤F);
E')所述主控单元根据接收的所述语音控制指令控制所述儿童教育智能机器人的工况,执行步骤F);
E")所述主控单元根据接收的所述语音控制指令控制所述奥多拉星球平台的操作,并将语音反馈结果在电视屏幕上进行操作显示,执行步骤F);
F)返回步骤A)。
在本发明所述的基于语音识别的多模态大屏交互的方法中,所述家电至少包括电视机、台灯和窗帘。
在本发明所述的基于语音识别的多模态大屏交互的方法中,当将所述儿童教育智能机器人切换为电视游戏模式时,能进入所述奥多拉星球平台。
在本发明所述的基于语音识别的多模态大屏交互的方法中,所述无线互联装置为5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模块、TD-SCDMA模块、Zigbee模块和LoRa模块中任意一种或任意几种的组合。
本发明还涉及一种实现上述基于语音识别的多模态大屏交互的方法的装置,包括:
语音控制指令判断单元:用于使儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令;
唤醒词判断单元:用于使所述儿童教育智能机器人判断所述语音控制指令是否是唤醒词;
语音控制指令传送单元:用于将所述语音控制指令传送至所述儿童教育智能机器人的主控单元;
指令类型判断单元:用于使所述主控单元判断所述语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令;
家电操作单元:用于使所述主控单元根据接收的所述语音控制指令输出控制信号至无线互联装置,使与所述无线互联装置连接的家电按照所述语音控制指令进行相应的操作;
机器端操作单元:用于使所述主控单元根据接收的所述语音控制指令控制所述儿童教育智能机器人的工况;
奥多拉星球平台操作单元:用于使所述主控单元根据接收的所述语音控制指令控制所述奥多拉星球平台的操作,并将语音反馈结果在电视屏幕上进行操作显示;
返回单元:用于返回。
在本发明所述的装置中,所述家电至少包括电视机、台灯和窗帘。
在本发明所述的装置中,当将所述儿童教育智能机器人切换为电视游戏模式时,能进入所述奥多拉星球平台。
在本发明所述的装置中,所述无线互联装置为5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模块、TD-SCDMA模块、Zigbee模块和LoRa模块中任意一种或任意几种的组合。
实施本发明的基于语音识别的多模态大屏交互的方法及装置,具有以下有益效果:由于儿童教育智能机器人通过对语音控制指令进行判断识别,可以控制家电、儿童教育智能机器人的工况或奥多拉星球平台的操作,本发明通过多模态的人机交互,让孩子与学习内容有了更多的互动,大大提高孩子的学习趣味性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于语音识别的多模态大屏交互的方法及装置一个实施例中方法的流程图;
图2为所述实施例中装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明基于语音识别的多模态大屏交互的方法及装置实施例中,其基于语音识别的多模态大屏交互的方法的流程图如图1所示。图1中,该基于语音识别的多模态大屏交互的方法包括如下步骤:
步骤S01儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令:本实施例中,儿童教育智能机器人为乐迪机器人。本步骤中,儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令,其实就是判断语音控制指令接收单元是否接收到语音控制指令,如果判断的结果为是,则执行步骤S02;否则,执行步骤S06。
步骤S02儿童教育智能机器人判断语音控制指令是否是唤醒词:如果上述步骤S01的判断结果为是,则执行本步骤。本步骤中,儿童教育智能机器人判断上述语音控制指令是否是唤醒词,如果判断的结果为是,则执行步骤S03;否则,执行步骤S06。
步骤S03将语音控制指令传送至儿童教育智能机器人的主控单元:如果上述步骤S02的判断结果为是,则执行本步骤。本步骤中,将语音控制指令传送至儿童教育智能机器人的主控单元。执行完本步骤,执行步骤S04。
步骤S04主控单元判断语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令:本步骤中,主控单元判断语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令,如果是针对互联家电的指令,则执行步骤S05,如果是针对机器端的指令,则执行步骤S05',如果是针对奥多拉星球平台的指令,则执行步骤S05";否则,即三者都不是,则执行步骤S06。
步骤S05主控单元根据接收的语音控制指令输出控制信号至无线互联装置,使与无线互联装置连接的家电按照语音控制指令进行相应的操作:如果上述步骤S04的判断结果是针对互联家电的指令,则执行本步骤。本步骤中,主控单元根据接收的语音控制指令输出控制信号至无线互联装置,使得与无线互联装置连接的家电按照语音控制指令进行相应的操作。操作完毕后,进入步骤S06。
值得一提的是,在本实施例的方法中,上述家电至少包括电视机、台灯和窗帘。无线互联装置可以5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模块、TD-SCDMA模块、Zigbee模块和LoRa模块中任意一种或任意几种的组合。通过设置多种无线通讯方式,不仅可以增加无线通讯方式的灵活性,还能满足不同用户和不同场合的需求。尤其是采用LoRa模块时,其通讯距离较远,且通讯性能较为稳定,适用于对通讯质量要求较高的场合。采用5G通讯方式可以达到高数据速率、减少延迟、节省能源、降低成本、提高***容量和大规模设备连接。
步骤S05'主控单元根据接收的语音控制指令控制儿童教育智能机器人的工况:如果上述步骤S04的判断结果是针对机器端的指令,则执行本步骤。本步骤中,主控单元根据接收的语音控制指令控制儿童教育智能机器人的工况。操作完毕后,进入步骤S06。
步骤S05"主控单元根据接收的语音控制指令控制奥多拉星球平台的操作,并将语音反馈结果在电视屏幕上进行操作显示:如果上述步骤S04的判断结果是针对奥多拉星球平台的指令,则执行本步骤。本步骤中,主控单元根据接收的语音控制指令控制奥多拉星球平台的操作,并将语音反馈结果在电视屏幕上进行操作显示。操作完毕后,进入步骤S06。值得一提的是,在本实施例的方法中,当将儿童教育智能机器人切换为电视游戏模式时,能进入奥多拉星球平台。
步骤S06返回步骤S01:本步骤中,返回上述步骤S01。
由于儿童教育智能机器人通过对语音控制指令进行判断识别,可以控制家电、儿童教育智能机器人的工况或奥多拉星球平台的操作,因此本发明的方法通过多模态的人机交互,让孩子与学习内容有了更多的互动,大大提高孩子的学习趣味性。
在双方构建的家庭智娱新方式里,将利用人工智能技术,以儿童教育智能机器人为入口,与电视机、台灯、窗帘等夏普家电进行物联网。只要和儿童教育智能机器人通话,即可进行电视机开关机、内容选择以及其他家电的开关等操作。
本实施例还涉及一种实现上述基于语音识别的多模态大屏交互的方法的装置,该装置的结构示意图如图2所示。图2中,该装置包括语音控制指令判断单元1、唤醒词判断单元2、语音控制指令传送单元3、指令类型判断单元4、家电操作单元5、机器端操作单元6、奥多拉星球平台操作单元7和返回单元8。
其中,语音控制指令判断单元1用于使儿童教育智能机器人的语音控制指令接收单元判断用户是否发出语音控制指令;唤醒词判断单元2用于使儿童教育智能机器人判断语音控制指令是否是唤醒词;语音控制指令传送单元3用于将语音控制指令传送至儿童教育智能机器人的主控单元;指令类型判断单元4用于使主控单元判断语音控制指令是针对互联家电的指令、针对机器端的指令还是针对奥多拉星球平台的指令。
家电操作单元5用于使主控单元根据接收的语音控制指令输出控制信号至无线互联装置,使与无线互联装置连接的家电按照语音控制指令进行相应的操作。值得一提的是,在本实施例的装置中,上述家电至少包括电视机、台灯和窗帘。无线互联装置可以5G通讯模块、4G通讯模块、蓝牙模块、WiFi模块、GSM模块、CDMA模块、CDMA2000模块、WCDMA模块、TD-SCDMA模块、Zigbee模块和LoRa模块中任意一种或任意几种的组合。通过设置多种无线通讯方式,不仅可以增加无线通讯方式的灵活性,还能满足不同用户和不同场合的需求。尤其是采用LoRa模块时,其通讯距离较远,且通讯性能较为稳定,适用于对通讯质量要求较高的场合。采用5G通讯方式可以达到高数据速率、减少延迟、节省能源、降低成本、提高***容量和大规模设备连接。
机器端操作单元6用于使主控单元根据接收的语音控制指令控制儿童教育智能机器人的工况;奥多拉星球平台操作单元7用于使主控单元根据接收的语音控制指令控制奥多拉星球平台的操作,并将语音反馈结果在电视屏幕上进行操作显示;值得一提的是,在本实施例的装置中,当将儿童教育智能机器人切换为电视游戏模式时,能进入奥多拉星球平台。返回单元8用于返回。
总之,本实施例中,通过WiFi局域网与儿童教育智能机器人建立近场通讯,并获得整合AI(人工智能)技术的Alpha OS机器人提供的AI能力,根据不同机器人的能力,提供与之相匹配的课程内容服务,使智能设备与大屏端获得更加丰富场景应用。同时,奥多拉星球平台为Alpha Cloud云平台提供用户的使用数据,基于云端大数据的Alpha Cloud云平台具备对用户数据的统计分析和运营,包括对用户口语发音纠正、提供用户成长报告等。在为儿童教育智能机器人输出整套多模态交互的能力,也作为分时分龄的内容推荐引擎。
基于AI技术的全链条儿童教育机器人及平台的研发与产业化项目,是以AI内容服务、AI多模态交互以及云计算、大数据作为核心,结合Alpha OS、Alpha Cloud平台及技术,打造一个从前端IoT智能设备到后端云端服务管理的奥多拉星球平台,充分运用机器人多模态交互、大屏多模态交互技术等交互技术,打造AI智能教育课程、双商培养课程。其有效地解决了传统技术中的问题,一方面,奥多拉星球平台的内容课程由运营专家进行过滤筛选配对,保证了内容质量的输出,且具备完善的课程教育体系;另一方面,通过多模态的人机创新交互设计,让孩子与学习内容有了更多的互动,大大提高了学习的趣味性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。