发明内容
本发明解决的问题是,提供了一种新的电子白板***,能够满足用户的操作需要,方便、快捷。
为了解决上述问题,本发明提出一种电子白板***,包括语音识别单元、控制单元和执行单元,其中,
所述语音识别单元用于接收用户语音信息,对所述语音信息进行识别,将与语音信息对应的识别结果发送给控制单元;
所述控制单元基于语音识别单元发送的识别结果,与操作指令列表进行对应,获得与识别结果对应的操作指令,将所述操作指令发送至执行单元;
所述执行单元基于控制单元的操作指令进行相应的操作。
可选地,所述语音识别单元包括语音采集单元和语音引擎;其中,
所述语音采集单元采集用户语音信息,将所述语音信息发送至所述语音引擎;
语音引擎,用于对所述语音采集单元发送的所述用户语音信息进行语音识别,若所述与用户语音信息的语音特征与标准语音特征匹配,则产生与标准语音特征对应的识别结果,将所述识别结果发送至控制单元。
可选地,所述语音引擎包括预处理单元、识别单元;
所述预处理单元用于对所述语音采集单元输入的用户的语音信息进行预处理,去除用户语音信息中的噪声,将预处理后的用户语音信息发送至识别单元;
所述识别单元用于对来自预处理单元的语音信息进行特征提取,获得用户的语音特征,基于用户的语音特征进行语音识别,若用户的语音特征与标准语音特征匹配,则产生与标准语音特征对应的识别结果,将所述识别结果发送至控制单元。
可选地,所述识别单元包括特征提取单元、比对单元、标准语音特征单元,
所述特征提取单元用于提取用户语音信息的语音特征,将所述语音特征发送至比对单元;
所述比对单元基于所述语音特征,与标准语音特征单元中存放的标准语音特征进行比对,若所述语音特征与标准语音特征匹配,则比对单元产生与所述标准语音特征对应的识别结果,将所述识别结果发送至控制单元。
可选地,所述标准语音特征单元中存放的标准语音特征的数目范围为大于等于1小于等于300。
可选地,所述语音引擎为基于语音识别技术的Speech SDK 5.1识别引擎或Pattek PC SDK识别引擎。
可选地,所述控制单元包括语音识别接口单元和操作指令单元;
所述语音识别接口单元用于基于用户的控制指令开启语音识别单元或关闭语音识别单元;接收来自语音识别单元的识别结果,将所述识别结果与操作指令单元中的操作指令对应,获得与识别结果对应的操作指令,并将所述操作指令发送至执行单元。
本发明还提供一种电子白板***的语音处理方法,包括:
接收用户的语音信息;
对所述语音信息进行语音识别,获得与所述语音信息对应的识别结果;
基于所述识别结果与操作指令进行对应,产生与所述识别结果对应的操作指令;
基于操作指令进行相应的操作。
可选地,所述对所述语音信息进行语音识别,获得与所述语音信息对应的识别结果包括:
对用户语音信息进行预处理,去除用户语音信息中的噪声;
对预处理后的用户语音信息进行特征提取,获得用户语音信息的语音特征;
基于所述语音特征与标准的语音特征进行比对,若所述语音特征与标准的语音特征匹配,则产生识别结果;反之则继续进行比对,至获得识别结果。
可选地,所述基于所述识别结果与操作指令进行对应,产生与所述识别结果对应的操作指令包括:
将所述识别结果与操作指令列表中的操作指令对应,获得与所述识别结果对应的操作指令。
与现有技术相比,本发明具有以下优点:本发明提供的语音识别单元基于用户的语音信息进行语音识别,获得与所述语音信息对应的识别结果;所述控制单元基于语音识别单元的识别结果产生操作指令;所述执行单元基于控制单元的操作指令进行相应的操作,所述白板***利用用户的语音信息获得操作指令,辅助用户操作电子白板,提供了一种新的人机交互界面,使用户具有更好的使用体验,本发明的白板***使用户的操作更加简单方便,节约了用户的时间,使用户具有更好的使用体验。
进一步优化地,语音识别单元中的标准语音特征的数目范围为1~300个,用户的特征语音与标准语音特征比对的次数少,加快了语音识别的速度,提高了语音识别的正确率。
具体实施方式
发明人发现,现有的电子白板***的功能强大,利用电子笔对白板触摸显示屏上显示的操作界面进行各种操作。用户需要非常熟悉现有电子白板操作***的各种功能按钮,如果用于点选时选错功能按钮,则需要重新退回原操作界面重新点选,浪费用户的时间;并且由于现有的白板操作软件的菜单选项多,用户使用时需要一一选择,不方便;现有的资源库丰富的资源,也给用户查找常用的资源带来了一定的负担。
相对地,本发明利用用户的语音信息取代电子笔,通过语音识别技术识别用户语音,获得对应的操作指令,辅助用户对电子白板进行操作,本发明的电子白板***节约用户时间,并且提供了人机交互的新方法,给用户以更好的使用体验。
本发明提供一种电子白板***,请参考图1所示的本发明一个具体实施方式的电子白板***结构示意图。所述电子白板***包括:语音识别单元100、控制单元200和执行单元300。
在实际中,所述电子白板***还可以包括具有触摸功能的大屏幕液晶显示屏、电子计算机、投影机。本发明所述的语音识别单元100、控制单元200和执行单元300工作时利用计算机的内存存放各种信息数据。
其中所述语音识别单元100用于接收用户语音信息,对所述语音信息进行识别,获得与所述语音信息对应的识别结果,将所述识别结果发送给控制单元200;所述控制单元200基于所述语音识别单元100发送的识别结果,与操作指令列表进行对应,获得与所述识别结果对应的操作指令,将所述操作指令发送至所述执行单元300;所述执行单元300基于控制单元200的操作指令进行相应的操作。
继续参考图1,所述语音识别单元100包括语音引擎101和语音采集单元102。其中,所述语音采集单元102用于接收用户语音信息,将所述语音信息发送至语音引擎101,所述语音引擎101用于对用户的语音信息进行语音识别,若所述与用户语音信息的语音特征与标准语音特征匹配,则产生与标准语音特征即对应的识别结果,将所述识别结果发送至控制单元200。例如,用户输入“铅笔”的语音信息至语音引擎101,用户语音引擎101将“铅笔”的语音特征与标准语音特征匹配,若用户的“铅笔”的语音信息与标准语音特征中的“铅笔”匹配,则识别用户输入的信息是“铅笔”,则语音引擎101输出与标准语音特征中的“铅笔”对应的识别结果,将其发送至控制单元200。
作为一个具体的实施例,所述语音引擎101可以为基于语音识别技术的Speech SDK 5.1识别引擎或Pattek PC SDK识别引擎。其中所述Speech SDK5.1识别引擎为美国微软公司开发的语音识别开发平台,其具有语音识别开发方便快捷的优点;所述Pattek PC SDK识别引擎为中国科学院自动化所开发的语音识别平台,其汉语言识别准确率高。在实际中,本领域技术人员可以根据实际需要进行具体选择。
作为本发明具体实施例,所述语音采集单元102可以进一步包括采样模块、转化模块、通讯模块。所述通讯模块用于与外部通讯,并且基于外部命令控制所述采样模块、转化模块进行工作。所述采样模块用于获得用户的声音信号,将所述用户的声音信号发送至所述转换模块。所述转换模块用于将用户的声音信号进行转换,获得模拟电信号,并且将所述模拟电信号发送至通讯模块。所述通讯模块将模拟电信号作为用户的语音信息,发送至所述语音引擎101。
所述通讯模块接收外部的控制命令,所述控制命令包括开启命令和关闭命令。在接到开启命令后,所述通讯模块发送开启信号,使得所述采样模块和转换模块开始工作;在接到关闭命令后,所述通讯模块发送关闭信号,使得所述采样模块和转换模块停止工作。作为一个实施例,用户需要利用语音信息辅助操作时,通过控制单元输入开启语音识别单元的命令或直接向语音识别单元输入开启命令,语音识别单元开启,由语音识别单元发送开启命令至通讯模块,将通讯模块开启,所述通讯模块控制采样模块和转换模块开始工作。当用户不需要利用语音信息辅助操作时,通过控制单元输入关闭语音识别单元的命令或直接向语音识别单元输入关闭命令,将语音识别单元关闭,所述语音识别单元在关闭之前,发送关闭命令至通讯模块,将通讯模块关闭,由通讯模块控制采样模块和转换模块停止工作。在其他的实施例中,通讯模块还可以有其他的控制方式,例如通讯模块基于来自语音引擎的控制命令工作。
所述采样模块需要在一定的采用频率下工作,以采集用户的声音信号。根据采样定理,所述采样频率应大于用户声音信号的两倍,以保证获得的用户声音信号不失真。
作为本发明的又一具体实施例,所述语音采集单元102可以为具有蓝牙功能的麦克风,其包括电容式麦克风和蓝牙通讯单元(作为通讯模块)。所述电容式麦克风集成了采集模块和转换模块。所述电容式麦克风包括具有两块金属电极板的电容,其中一块电极板表面涂有驻极体薄膜(例如是聚全氟乙丙烯)并接地,另一电极板接在场效应晶体管的栅极上,栅极与源极之间接有一个二极管。当所述驻极体薄膜本身带的电荷的电量为Q,两个电极板间的电容为C时,两个电极板之间的电压为U=Q/C。由于用户发出的声音使得驻极体薄膜发生震动,从而改变两个电极板之间的距离,则所述电容C发生改变。由于所述驻极体薄膜带有的电荷的电量为Q,则相应的两个电极板之间的电压会变化。电压变化的频率反应了用户声音的频率,从而将用户的声音信号转换为模拟电信号。
需要说明的是,作为本发明的一个实施方式,语音采集单元集成于语音识别单元中,接收语音识别单元发送的的控制信号,控制语音采集单元开启或关闭。在用户在希望利用语音指令辅助操作时,选择开启语音识别单元,由语音识别单元开启语音采集单元,这样无需用户进行开启语音采集单元的动作,方便用户操作,并节省时间。
作为本发明的其他实施方式,语音采集单元还可以独立于语音识别单元。语音采集单元基于用户的操作指令开启或关闭,并且在开启时接收用户的声音信息,将其转换后发送至语音识别单元。
下面请参考图2,图2是本发明又一实施方式的电子白板***结构示意图。语音识别单元100包括语音引擎101和语音采集单元101。所述语音引擎101进一步包括预处理单元1011和识别单元1012。
参考图2,所述预处理单元1011用于对语音采集单元101输入的用户的语音信息进行预处理,以去除用户的语音信息中包括的噪声,将明显不属于用户声音的信息过滤,使得预处理后的语音信息更接近真实的用户的语音信息(或更能反应用户的语音信息的本质),从而提高后续识别单元1012的识别速度,并且节约***的资源。由于所述语音采集单元101采集用户语音信息时,环境中可能有噪声(包括来自用户以外的其他人的声音或者其他物体的声音),所述噪声与用户的语音信息相比,在频率、能量等方面具有差异,因此本发明利用所述差异将用户的语音信息与噪声区分开,以去除噪声。在实际中,所述预处理可以利用端点检测技术和语音增强技术。其中所述端点检测技术将语音信号和非语音信号时段区分开,确定语音信号的起始点,后续处理仅对语音信号处理,提高后续语音识别的准确率;语音增强出要用户消除环境噪声对语音的影响,可以利用维纳滤波的方法,可以取得较好的滤波效果。
参考图2,所述识别单元1012用于根据所述预处理单元1011处理后的语音信息进行特征提取,获得用户的语音特征,并基于用户的语音特征进行语音识别,若所述语音特征与标准的语音特征进行匹配,则产生与标准语音信息对应的识别结果,并将所述识别结果发送至控制单元200。具体地,所述识别结果可以是对于某一应用程序的命令字。
具体地,参考图3,图3是本发明的一个实施方式的识别单元结构示意图。所述识别单元1012包括:特征提取单元10121、比对单元10122、标准语音特征单元10123。其中特征提取单元10121基于预处理单元1011发送的处理后的用户语音信息进行特征提取,获得用户语音信息的语音特征。所述语音特征单元10123中存放了标准的语音特征,比对单元10122将特征提取单元10121的中获得的用户的语音特征与标准的语音特征进行比对。若用户的语音特征与语音特征单元10123中存放的语音信息匹配,则比对单元10122产生与标准的语音特征对应的识别结果,将其发送至控制单元200。其中,本发明所述的匹配具体是指,用户的语音特征与标准的语音特征之间的相似度达到预设值。例如,预处理单元1011基于用户的语音信息对其进行统计学的分析,获得用户语音信息的频谱特征,作为用户的语音特征;比对单元10122对用户语音信息的频谱特征与标准的语音的频谱特征相似度达到预定值(例如90%),则比对单元10122产生与标准的频谱特征对应的识别结果,并将所述识别结果至控制单元200。
所述标准语音特征单元10123中存放的标准的语音特征,所述标准的语音特征在实际中通过对标准的语音进行特征提取获得。标准的语音的数目越多,对应的标准的语音特征越多。所述标准的语音可以是若干单词,例如是用户输入计算机中的操作指令(放大、缩小、保存等都属于用户的操作指令)。由于用户的语音特征需要与标准的语音特征进行比对,标准的语音特征越多,比对的速度就越慢,从而语音识别的速度越慢。为了保证语音识别的速度,同时占用***的内存少,标注的语音的数目不宜过多,其数目优选在1~300个之内,从而对应的标准的语音特征在1~300个以内。由于标准的语音特征的存放于计算机中,将其数目设置在1~300个以内,节约了计算机内存。作为优选的实施例,标准的语音特征数目为1~300。在实际中,标准的语音特征数目不限于300以内。
由于用户输入计算机中的操作指令较多,应对各种操作指令进行优选,选择其中部分用户需要利用语音信息辅助操作的指令,作为标准的语音;然后根据标准语音进行特征提取,获得标准的语音特征。
具体地,所述操作指令的选取原则可以首先基于用户需要经常点选、点选操作不方便的功能按钮,这样部分用户常用的功能按钮可以用语音指令辅助操作,例如用户常用的“放大”功能、“缩小”功能,确定所述功能对应的标准语音,以及与标准语音对应标准特征。
然后,由于用户经常使用资源库,将用户的资源库划分节点,将资源库根据节点划分,这样用户在查找资源库时不需要点选节点,直接用语音指令辅助即可,例如教学用的资源库中分为“文科”和“理科”一级节点,在“文科”和“理科”一级节点下包括若干二级节点,确定所述一级节点和二级节点对应的标准语音的标准语音特征。
接着,将用户常用的资源库中的资源进行划分,将部分特殊的或者用户常用的资源用语音指令表示,这样用户在使用常用资源时,无需多次点选,可以直接利用语音指令获得,例如对于化学资源库中的“化学仪器烧杯”、地理资源库中的“中国地图”等资源,确定与其对应的标准语音特征。
最后,在对前述标准的语音特征进行确认,确认标准的语音特征与标准的语音对应,并且标准的语音与功能按钮、资源库的节点以及特殊资源一一对应,以确保后续语音识别的准确性,提高语音识别的速度。
参考图2,所述控制单元200进一步包括语音识别接口单元201和操作指令单元202。其中所述语音识别接口单元201根据语音识别单元100发送的识别结果,将所述识别结果与操作指令单元202中的操作指令对应,将与识别结果对应的操作指令发送至执行单元300。作为本发明的一个实施例,所述语音识别接口单元201还基于用户的控制指令开启或关闭语音识别单元100。例如,用户在希望利用语音信息辅助操作时,输入开启语音辅助操作的控制指令至语音识别接口单元201,所述语音识别接口单元201输出开启操作指令至语音识别单元100,同时所述语音识别接口单元201在计算机内存中为语音识别单元100分配相应的空间,用于语音识别单元100工作。用户不需要利用语音信息辅助操作时,输入关闭语音辅助操作的控制指令至语音识别接口单元201,所述语音识别接口单元201输出关闭操作指令至语音识别单元100,并且将计算机内存中的语音识别单元100的空间释放,以免占用内存。
所述操作指令单元202根据语音识别接口单元201发送的识别结果,将所述识别结果与操作指令单元202中的操作指令对应,确定与识别结果对应的操作指令,将操作指令发送给执行单元300。所述操作指令与用户的语音信息对应,可以为执行某一功能、打开某一资源库或者显示某一特殊资源。所述操作指令代替了用户利用电子笔进行点击操作的动作,简化了用户的操作,使用户更加方便的操作电子白板。所述执行单元300能够执行的操作可以是用户希望用户利用语音信息辅助的任何操作,所述操作与用户的语音信息对应。例如,所述执行单元300接收的操作指令为打印当前文档,则执行单元300与打印机进行通讯,发送当前文档至打印机,进行打印。
本发明的白板***包括电子计算机,白板***在语音识别的过程中的数据存放于计算机内存中,白板***的资源库可以存放于计算机内存中。可以利用执行单元发送的操作指令对电子计算机进行相应的操作,例如执行单元发送保存当前文档的指令,使得计算机进行保存当前文档的操作或者发送调用计算机中存放的资源库等。
本发明提供的白板***操作简单,利用用户的语音信息取代电子笔点击,进行辅助操作,简化了操作电子白板的方法。对于用户而言,若希望实现某一功能或显示某一特殊资源,只需要对麦克风发出相应的声音,由白板***进行后续的操作。例如,用户希望“放大”或希望展示“中国地图”,只需发出“放大”或“中国地图”的声音信号,由语音采集单元转换为语音信息;将语音信息发送至语音识别单元;语音识别单元进行识别,将语音信息与识别单元中的标准语音信息进行匹配,获得与所述语音信息对应的识别结果;将识别结果发送至控制单元,由控制单元根据识别结果发送操作指令至相应的执行单元,执行“放大”功能或将“中国地图”显示在电子白板上。
本发明还提供一种在电子白板***的通讯方法。请参考图4,图4是本发明一个实施方式的电子白板***的通讯方法流程示意图。所述通讯方法包括:
步骤S1,接收用户的语音信息;
步骤S2,对所述语音信息进行语音识别,获得与所述语音信息对应的识别结果;
步骤S3,基于所述识别结果与操作指令进行对应,产生与所述识别结果对应的操作指令;
步骤S4,基于操作指令进行相应的操作。
下面将结合具体实施方式对本发明的技术方案进行详细说明。
首先,接收用户的语音信息。所述用户的语音信息为利用语音采集单元获得。所述语音采集单元输入用户的声音信号,对语音信号进行转换,获得对应的用户的语音信息。所述语音信息为模拟电信号。所述语音采集单元可以为具有蓝牙功能的麦克风,所述麦克风佩戴于用户身上,接收用户的声音信号,将声音信号转换成为语音信息,利用蓝牙功能进行数据传输,将语音信息传输至语音识别单元。
然后,基于用户的语音信息,语音识别单元进行语音识别,获得识别结果,具体包括:
对用户语音信息进行预处理,去除用户语音信息中的噪声;
对预处理后的用户语音信息进行特征提取,获得用户语音信息的语音特征;
基于所述语音特征与标准的语音特征进行比对,若所述语音特征与标准的语音特征匹配,则产生识别结果;反之则继续进行比对,至获得识别结果。
其中,所述预处理将明显不属于用户声音的信息过滤,使得预处理后的语音信息更接近真实的用户的语音信息(或更能反应用户的语音信息的本质),从而提高后续识别单元的识别速度,并且节约***的资源。由于噪声包括来自用户以外的其他人的声音或者其他物体的声音,所述噪声与用户的声音相比,在频率、能量等方面具有差异,利用所述差异将用户的语音信息与噪声区分开,去除噪声。在实际中,所述预处理可以利用端点检测技术和语音增强技术,其中所述端点检测技术将语音信号和非语音信号时段区分开,确定语音信号的起始点,后续处理仅对语音信号处理,提高后续语音识别的准确率;语音增强出要用户消除环境噪声对语音的影响,可以利用维纳滤波的方法,可以取得较好的滤波效果。
所述特征提取用于获获得用户信息的语音特征,所述语音特征可以为用户语音信息的频谱特征,可以通过统计学分析获得。在获得用户的语音信息后,将用户的语音特征与标准的语音特征进行比对,若两者的相似度达到预定值,则认为两者匹配,相应的产生与所述标准的语音特征对应的识别结果,将识别结果发送至控制单元。
然后,基于所述识别结果,将所述识别结果与操作指令单元中的操作指令对应,确定与识别结果对应的操作指令,将操作指令发送给执行单元。所述操作指令与用户的语音信息对应,可以为执行某一功能、打开某一资源库或者显示某一特殊资源。所述操作指令代替了用户利用电子笔进行点击操作的动作,简化了用户的操作,使用户更加方便的操作电子白板。所述执行单元能够执行的操作可以是用户希望用户利用语音信息辅助的任何操作,所述操作与用户的语音信息对应。例如,所述执行单元接收的操作指令为打印当前文档,则执行单元与打印机进行通讯,发送当前文档至打印机,进行打印;或者,所述执行单元接收的操作指令为从计算机中调用某一资源库,则执行单元与计算机进行通讯,使得计算机调用所述资源库。
本发明所述的白板***在进行语音识别前,需要开启语音识别功能,以开启语音识别单元。开启语音识别功能的同时需要在计算机的内存中为语音识别单元分别相应的单元,以便于语音识别单元存放各种数据。语音识别功能由用户选择开启或由控制单元开启。利用控制单元开启,可以进一步减少用户的操作,用户只需要对控制单元进行一次操作就可以获得相应的操作指令。由用户选择开启,可以提高用户自由选择的权利。在用户不想使用语音识别功能的时候,通过控制单元关闭语音识别单元,节约***内存。
综上,本发明提供的白板***利用用户的语音信息辅助操作,节约用户时间,方便用户操作,并且提供了人机交互的新方法。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。