CN110427097A - 语音数据处理方法、装置及*** - Google Patents

语音数据处理方法、装置及*** Download PDF

Info

Publication number
CN110427097A
CN110427097A CN201910526214.5A CN201910526214A CN110427097A CN 110427097 A CN110427097 A CN 110427097A CN 201910526214 A CN201910526214 A CN 201910526214A CN 110427097 A CN110427097 A CN 110427097A
Authority
CN
China
Prior art keywords
processor
target service
server
voice data
handled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910526214.5A
Other languages
English (en)
Inventor
孙渊
屈伸
伍晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910526214.5A priority Critical patent/CN110427097A/zh
Publication of CN110427097A publication Critical patent/CN110427097A/zh
Priority to PCT/CN2020/096545 priority patent/WO2020253715A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3293Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供一种语音数据处理方法、装置及***。其中,针对同时包括第一处理器和第二处理器的终端设备中,当用于处理语音数据的第一处理器在处于低功耗状态时,可以由功耗较低的第二处理器对语音数据中的唤醒词进行检测;并在检测到目标语音数据中包括唤醒词后,第二处理器进一步对语音数据中的指令对应的目标业务是否由第二处理器处理进行判断,若判断目标业务由第二处理器处理,则第二处理器直接处理该指令。使得第一处理器在处于低功耗状态时,依然能够通过功耗较低的第二处理器对语音数据进行唤醒词的检测,并在判断目标业务由第二处理器处理,则第二处理器直接处理该指令,从而减少了对语音数据处理时的功耗。

Description

语音数据处理方法、装置及***
技术领域
本申请涉及电子技术,尤其涉及一种语音数据处理方法、装置及***。
背景技术
随着电子技术的发展,越来越多的终端设备都具有接收语音数据和播放语音数据等相关的数据处理功能,使得终端设备可以通过语音交互的方式与用户进行对话交流。用户可以通过语音向终端设备发出指令,当终端设备接收到用户的语音数据后,处理语音数据所对应的指令。因此,当用户忙于其他事物时,通过语音发出的指令即可控制终端设备实现例如,查询天气、听音乐或者导航等各种各样的功能,该功能使得终端设备具有了很强的实用性以及趣味性。
现有技术中,在用户与终端设备对话时,用户需要在向终端设备说出指令前先说特定的唤醒词。相应地,终端设备会不断接收并检测所接收到的语音数据,并只有在检测唤醒词之后,才继续处理语音数据中该唤醒词之后的指令。由于终端设备除了提供与用户进行语音交互的功能,还需要满足该终端设备本身的例如通信、待机等功能。因此为了减少语音交互功能的耗电量,当一些终端设备处于休眠状态时,功耗较高的中央处理器(centralprocessing unit,CPU)一般不会一直用于接收并检测语音数据中的唤醒词,而是通过一些功耗较低的处理器例如数字信号处理(digital signal processing,DSP)芯片等处理器进行语音数据中唤醒词的检测。当DSP芯片检测到语音数据中包括唤醒词后,DSP芯片再进一步唤醒CPU对语音数据中的指令进行处理。
但是采用现有技术,终端设备在每次处理用户通过语音发出的指令时,都需要唤醒终端设备的CPU以及唤醒终端设备的显示屏为亮屏状态,从而导致了终端设备在处理语音数据时的功耗较大,进而减少了终端设备的待机时间,影响终端设备的用户体验。
发明内容
本申请提供一种语音数据处理方法、装置及***,以减少终端设备在对语音数据处理时的功耗,从而增加终端设备的待机时间,进而提高终端设备的用户体验。
本申请第一方面一实施例提供一种语音数据处理装置,包括:第一处理器和第二处理器;其中,所述第一处理器连接所述第二处理器,所述第一处理器的运行功耗大于所述第二处理器的运行功耗;当所述第一处理器处于低功耗状态时,所述第二处理器用于:
通过麦克风从外部接收语音数据;确定所述语音数据所请求的目标业务;判断所述目标业务是否由所述第二处理器处理;当判断所述目标业务由所述第二处理器处理时,向服务器发送用于请求所述目标业务的请求,其中,所述第一处理器维持所述低功耗状态。
综上,本实施例中提供的语音数据处理装置,能够在装置中用于处理语音数据的第一处理器在处于低功耗状态时,还能够通过功耗较低的第二处理器对语音数据进行唤醒词的检测,并每次处理用户通过语音发出的指令时,若指令对应的目标业务判断由第二处理器处理,则第二处理器直接处理该指令,从而不需要第二处理器在识别出目标语音数据中的唤醒词后,都去唤醒第一处理器,而是通过功耗较小的第二处理器即可处理目标业务对应的指令。从而减少了该装置在对语音数据处理时的功耗,尤其是当第一处理器处于低功耗状态时处理语音数据的功耗,从而增加了上述装置的待机时间,进而提高用户体验。
在本申请第一方面一实施例中,所述第二处理器还用于:向所述服务器发送用于请求所述目标业务的请求之后,接收所述服务器发送的所述目标业务的请求结果;根据所述目标业务的请求结果,对所述目标业务进行处理。
综上,本实施例中提供的语音数据处理装置,当第二处理器处理目标业务对应的指令时,若接收到服务器发送的目标业务的请求结果,则第二处理器直接对目标业务进行处理,而不需要第一处理器再对服务器所发送的目标业务进行处理。进一步减少了装置处理语音数据对应的目标业务的功耗,并进一步增加了待机时间并提高用户体验。
在本申请第一方面一实施例中,所述第二处理器还用于:当判断所述目标业务不是由所述第二处理器处理时,唤醒所述第一处理器处于正常工作状态;
被唤醒的所述第一处理器用于向所述服务器发送用于请求所述目标业务的请求,并接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
综上,本实施例中提供的语音数据处理装置,在第二处理器在对语音数据处理时,在判断目标业务不是由第二处理器处理时,才直接唤醒第一处理器处于正常工作状态,并由第一处理器处理语音数据。从而提供一种更加完整的语音数据处理方式,功耗较小的第二处理器在不能处理目标业务时,可以唤醒功耗较大的第一处理器对目标业务进行处理。
在本申请第一方面一实施例中,所述第二处理器还用于:当判断所述目标业务不是由所述第二处理器处理时,向所述服务器发送用于请求所述目标业务的请求,并指示所述服务器将所述目标业务的请求结果下发给所述第一处理器;
所述第一处理器被所述第二处理器或者所述服务器唤醒后,用于根据所述服务器下发的所述目标业务的请求结果对所述目标业务进行处理。
综上,本实施例中提供的语音数据处理装置,在唤醒第一处理器处于正常工作状态时,通过间接唤醒的方式,第二处理器由于已经判断出语音数据中对应的目标业务,则可以代替第一处理器直接向服务器发送目标业务的请求,并指示服务器将目标业务的请求结果发送给第一处理器处理,从而提高了唤醒第一处理器时的效率。
在本申请第一方面一实施例中,所述第二处理器判断所述目标业务是否由所述第二处理器处理,包括:将所述目标业务与预设业务进行匹配;根据匹配结果,确定所述目标业务是否由所述第二处理器处理。
综上,本实施例中提供的语音数据处理装置,第二处理器可以通过匹配预设业务的方式,判断目标业务是否由第二处理器进行处理。则第二处理器可以读取提前存储的预设业务,通过白名单业务或者黑名单业务,确定目标业务是否能够由第二处理器进行处理。
在本申请第一方面一实施例中,所述预设业务包括运行时所需的处理器运算能力小于第一预设值的业务;或者,所述预设业务包括运行时所需的存储能力小于第二预设值的业务。
在本申请第一方面一实施例中,所述预设业务包括以下的一项或多项:查询天气、查询时间、控制家居、播放音乐、设置闹钟、播放音乐、百科问答、使用日程、使用计算器、节假日查询、翻译、听有声书、听相声和听电台。
在本申请第一方面一实施例中,当所述第一处理器处于低功耗状态时,所述第二处理器与所述服务器保持长连接。
综上,本实施例中提供的语音数据处理装置,由于在第一处理器在处于低功耗状态时,第二处理器需要对语音数据进行唤醒词的检测,并每次处理用户通过语音发出的指令时,若指令对应的目标业务判断由第二处理器处理,则第二处理器需要保持在第一处理器处于低功耗状态时保持与服务器的长连接,从而能够在第二处理器需要向服务器发送目标业务的请求后,即可通过长连接发送至服务器。
在本申请第一方面一实施例中,所述第二处理器确定所述语音数据所请求的目标业务包括:当所述语音数据中包括唤醒词时,确定所述语音数据所请求的目标业务。
在本申请第一方面一实施例中,所述第一处理器为主处理器,所述第二处理器为协处理器;或者,所述第一处理器为多核处理器中的第一处理器核,所述第二处理器为所述多核处理器中的第二处理器核;所述第一处理器的运算能力大于所述第二处理器的运算能力,或者,所述第一处理器的存储能力大于所述第二处理器的存储能力。
在本申请第一方面一实施例中,所述低功耗状态包括休眠状态。
在本申请第一方面一实施例中,所述装置为芯片或者电子设备。
本申请第二方面提供一种语音数据处理***,包括如本申请第一方面任一项所述的语音数据处理装置。
本申请第三方面提供一种语音数据处理***,包括:终端设备和服务器;其中,所述终端设备包括:第一处理器和第二处理器,所述第一处理器连接所述第二处理器,所述第一处理器的运行功耗大于所述第二处理器的运行功耗;
所述第二处理器用于,当所述第一处理器处于低功耗状态时,通过所述终端设备的麦克风从外部接收语音数据;所述第二处理器还用于,确定所述语音数据中包括关键词时,将所述语音数据发送至所述服务器;
所述服务器用于,接收并确定所述语音数据所请求的目标业务;所述服务器还用于,判断所述目标业务是否由所述第二处理器处理;所述服务器还用于,当确定所述目标业务由所述第二处理器处理时,向所述第二处理器处理所述目标业务的请求结果,其中,所述第一处理器维持所述低功耗状态。
综上,本实施例中提供的语音数据处理***,当终端设备中用于处理语音数据的第一处理器在处于低功耗状态时,可以由终端设备中功耗较低的第二处理器对语音数据中的唤醒词进行检测;并在检测到目标语音数据中包括唤醒词后,第二处理器将目标语音数据发送至服务器,由服务器进一步判断语音数据中的指令对应的目标业务是否由第二处理器处理。若判断目标业务由第二处理器处理,则向第二处理器返回目标业务的请求结果,使得第二处理器根据目标业务的请求结果对目标业务进行处理。从而不需要终端设备中的第二处理器只要识别出目标语音数据中的唤醒词,都会去唤醒终端设备的第一处理器,而是在服务器判断目标业务由第二处理器处理的情况下,通过终端设备功耗较小的第二处理器即可处理目标业务对应的指令。并且,本实施例中,由服务器确定语音数据中唤醒词后的指令对应的目标服务、以及对目标服务进行匹配,从而进一步减少了终端设备在语音数据处理时的功耗,并且能够适用于各种运算能力较低的终端设备中,还具有一定的可移植性。
在本申请第三方面一实施例中,所述低功耗状态包括休眠状态。
在本申请第三方面一实施例中,所述服务器还用于,当确定所述目标业务不是由所述第二处理器处理时,唤醒所述第一处理器处于正常工作状态;所述服务器还用于,向所述第一处理器处理所述目标业务的请求结果;被唤醒的所述第一处理器用于,接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
综上,本实施例中提供的语音数据处理***,服务器能够在判断目标业务不是由第二处理器处理时,直接唤醒处于低功耗状态的第一处理器,并将目标业务的请求结果发送给第一处理器进行处理。
在本申请第三方面一实施例中,所述服务器还用于,当确定所述目标业务不是由所述第二处理器处理时,向所述第二处理器发送指示信息,用于指示所述目标业务不是由所述第二处理器处理;所述服务器还用于,向所述第一处理器处理所述目标业务的请求结果;
所述第二处理器还用于,根据所述指示信息,唤醒所述第一处理器处于正常工作状态并与所述服务器建立长连接;
所述第一处理器用于,接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
综上,本实施例提供的语音数据处理***,服务器能够在判断目标业务不是由第二处理器处理时,间接地向第二处理器发送指示信息,使得第二处理器唤醒第一处理器,以使得第一处理器根据服务器发送给第一处理器的目标业务的请求结果,处理所述目标业务。
在本申请第三方面一实施例中,所述服务器判断所述目标业务是否由所述第二处理器处理,包括:将所述目标业务与预设业务进行匹配;根据匹配结果,确定所述目标业务是否由所述第二处理器处理。
综上,本实施例提供的语音数据处理***,服务器可以通过匹配预设业务的方式,判断目标业务是否由第二处理器进行处理。则服务器可以读取提前存储的预设业务,通过白名单业务或者黑名单业务,确定目标业务是否能够由第二处理器进行处理。
在本申请第三方面一实施例中,所述预设业务包括运行时所需的处理器运算能力小于第一预设值的业务;或者,所述预设业务包括运行时所需的存储能力小于第二预设值的业务。
在本申请第三方面一实施例中,当所述第一处理器处于低功耗状态时,所述第二处理器与所述服务器保持长连接。
综上,本实施例提供的语音数据处理***,由于在第一处理器在处于低功耗状态时,第二处理器需要对语音数据进行唤醒词的检测,并每次处理用户通过语音发出的指令时,若指令对应的目标业务判断由第二处理器处理,则第二处理器需要保持在第一处理器处于低功耗状态时保持与服务器的长连接,从而能够在第二处理器需要向服务器发送目标业务的请求后,即可通过长连接发送至服务器。
在本申请第三方面一实施例中,所述第一处理器为主处理器,所述第二处理器为协处理器;或者,所述第一处理器为多核处理器中的第一处理器核,所述第二处理器为所述多核处理器中的第二处理器核;所述第一处理器的运算能力大于所述第二处理器的运算能力,或者,所述第一处理器的存储能力大于所述第二处理器的存储能力。
本申请第四方面提供一种语音数据处理方法,应用于包括第一处理器和第二处理器的语音数据处理器装置,其中,所述第一处理器连接所述第二处理器,所述第一处理器的运行功耗大于所述第二处理器的运行功耗;所述方法包括:
通过第二处理器通过麦克风从外部接收语音数据;
通过所述第二处理器确定所述语音数据所请求的目标业务;
通过所述第二处理器判断所述目标业务是否由所述第二处理器处理;
当判断所述目标业务由所述第二处理器处理时,通过所述第二处理器向服务器发送用于请求所述目标业务的请求,其中,所述第一处理器维持所述低功耗状态。
在本申请第四方面一实施例中,所述方法还包括:
通过所述第二处理器接收所述服务器发送的所述目标业务的请求结果;
通过所述第二处理器根据所述目标业务的请求结果,对所述目标业务进行处理。
在本申请第四方面一实施例中,所述方法还包括:
当判断所述目标业务不是由所述第二处理器处理时,通过所述第二处理器唤醒所述第一处理器处于正常工作状态;
通过所述被唤醒的所述第一处理器,向所述服务器发送用于请求所述目标业务的请求,并接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
在本申请第四方面一实施例中,所述第二处理器还用于:当判断所述目标业务不是由所述第二处理器处理时,向所述服务器发送用于请求所述目标业务的请求,并指示所述服务器将所述目标业务的请求结果下发给所述第一处理器;
所述第一处理器被所述第二处理器或者所述服务器唤醒后,用于根据所述服务器下发的所述目标业务的请求结果对所述目标业务进行处理。
在本申请第四方面一实施例中,所述通过所述第二处理器判断所述目标业务是否由所述第二处理器处理,包括:
通过所述第二处理器将所述目标业务与预设业务进行匹配;
通过所述第二处理器根据匹配结果,确定所述目标业务是否由所述第二处理器处理。
在本申请第四方面一实施例中,所述预设业务包括运行时所需的处理器运算能力小于第一预设值的业务;或者,
所述预设业务包括运行时所需的存储能力小于第二预设值的业务。
在本申请第四方面一实施例中,所述预设业务包括以下的一项或多项:
查询天气、查询时间、控制家居、播放音乐、设置闹钟、播放音乐、百科问答、使用日程、使用计算器、节假日查询、翻译、听有声书、听相声和听电台。
在本申请第四方面一实施例中,当所述第一处理器处于低功耗状态时,所述第二处理器与所述服务器保持长连接。
在本申请第四方面一实施例中,所述通过所述第二处理器确定所述语音数据所请求的目标业务,包括:
当所述语音数据中包括唤醒词时,通过所述第二处理器确定所述语音数据所请求的目标业务。
在本申请第四方面一实施例中,所述第一处理器为主处理器,所述第二处理器为协处理器;或者,所述第一处理器为多核处理器中的第一处理器核,所述第二处理器为所述多核处理器中的第二处理器核;
所述第一处理器的运算能力大于所述第二处理器的运算能力,或者,所述第一处理器的存储能力大于所述第二处理器的存储能力。
在本申请第四方面一实施例中,所述低功耗状态包括休眠状态。
在本申请第四方面一实施例中,所述装置为芯片或者电子设备。
本申请第五方面提供一种语音数据处理方法,应用于语音数据处理***,其中,所述***包括:终端设备和服务器;其中,所述终端设备包括:第一处理器和第二处理器,所述第一处理器连接所述第二处理器,所述第一处理器的运行功耗大于所述第二处理器的运行功耗;所述方法包括:
所述第二处理器当所述第一处理器处于低功耗状态时,通过所述终端设备的麦克风从外部接收语音数据;
所述第二处理器确定所述语音数据中包括关键词时,将所述语音数据发送至所述服务器;
所述服务器接收并确定所述语音数据所请求的目标业务;
所述服务器还判断所述目标业务是否由所述第二处理器处理;
所述服务器当确定所述目标业务由所述第二处理器处理时,向所述第二处理器处理所述目标业务的请求结果,其中,所述第一处理器维持所述低功耗状态。
在本申请第五方面一实施例中,所述低功耗状态包括休眠状态。
在本申请第五方面一实施例中,所述方法还包括:
所述服务器当确定所述目标业务不是由所述第二处理器处理时,唤醒所述第一处理器处于正常工作状态;
所述服务器向所述第一处理器处理所述目标业务的请求结果;
被唤醒的所述第一处理器接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
在本申请第五方面一实施例中,所述方法还包括:
所述服务器当确定所述目标业务不是由所述第二处理器处理时,向所述第二处理器发送指示信息,用于指示所述目标业务不是由所述第二处理器处理;
所述服务器向所述第一处理器处理所述目标业务的请求结果;
所述第二处理器根据所述指示信息,唤醒所述第一处理器处于正常工作状态并与所述服务器建立长连接;
所述第一处理器接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
在本申请第五方面一实施例中,所述服务器判断所述目标业务是否由所述第二处理器处理,包括:将所述目标业务与预设业务进行匹配;根据匹配结果,确定所述目标业务是否由所述第二处理器处理。
在本申请第五方面一实施例中,所述预设业务包括运行时所需的处理器运算能力小于第一预设值的业务;或者,所述预设业务包括运行时所需的存储能力小于第二预设值的业务。
在本申请第五方面一实施例中,当所述第一处理器处于低功耗状态时,所述第二处理器与所述服务器保持长连接。
在本申请第五方面一实施例中,所述第一处理器为主处理器,所述第二处理器为协处理器;或者,所述第一处理器为多核处理器中的第一处理器核,所述第二处理器为所述多核处理器中的第二处理器核;
所述第一处理器的运算能力大于所述第二处理器的运算能力,或者,所述第一处理器的存储能力大于所述第二处理器的存储能力。
本申请第六方面提供一种终端设备,包括:第一处理器、第二处理器和存储器;
所述存储器用于存储程序指令和数据;
所述存储器与所述处理器耦合,所述第一处理器和所述第二处理器可以调用并执行所述存储器中存储的程序指令,用于实现上述第四方面任一项描述的方法中的功能;
所述终端设备还可以包括通信接口,所述通信接口用于该终端设备与其它设备进行通信。
本申请第七方面提供一种终端设备,包括:第一处理器、第二处理器和存储器;
所述存储器用于存储程序指令和数据;
所述存储器与所述处理器耦合,所述第一处理器和所述第二处理器可以调用并执行所述存储器中存储的程序指令,用于实现上述第五方面任一项描述的方法中的功能;
所述终端设备还可以包括通信接口,所述通信接口用于该终端设备与其它设备进行通信。
本申请第八方面提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上述第四方面任一项所述的方法。
本申请第九方面提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上述第五方面任一项所述的方法。
附图说明
图1为本申请所应用场景的示意图;
图2为现有技术中终端设备处理语音数据的方法的流程示意图;
图3为现有技术中终端设备处理语音数据时的状态示意图;
图4为本申请提供的终端设备一实施例的结构示意图;
图5为本申请提供的终端设备一实施例的结构示意图;
图6为本申请提供的语音数据处理方法实施例一的流程示意图;
图7为本申请提供的语音数据处理方法实施例一对应的终端设备的状态示意图;
图8为本申请提供的语音数据处理方法实施例二的流程示意图;
图9为本申请提供的语音数据处理方法实施例三的流程示意图;
图10为本申请提供的语音数据处理方法实施例四的流程示意图;
图11为本申请提供的语音数据处理方法实施例五的流程示意图;
图12为本申请提供的语音数据处理方法实施例六的流程示意图;
图13为本申请提供的终端设备一实施例的结构示意图;
图14为本申请提供的终端设备一实施例的结构示意图。
具体实施方式
图1为本申请所应用场景的示意图。在如图1所示的场景中,用户1可以与终端设备2通过语音交互的方式进行对话交流,终端设备2具有接收语音数据和播放语音数据等相关的数据处理功能。其中,在用户1与终端设备2对话时,用户1需要在向终端设备2说出需要发出的指令前说出唤醒词;终端设备2会不断接收并检测所接收到的语音数据,只有在检测到所接收到的语音数据中包括唤醒词后,才继续处理语音数据中该唤醒词之后的指令。
例如,用户1可以向终端设备2说出“ABCD,今天天气怎么样”,则终端设备2在接收到语音数据“ABCD,今天天气怎么样”并识别出其开头的唤醒词“ABCD”后,终端设备2才继续处理语音数据中唤醒词“ABCD”之后的“今天天气怎么样”的指令。终端设备2可以将“今天天气怎么样”的指令发送至设置在云端网络侧的服务器3,使得服务器3确定该指令所请求的天气业务后,将对应的天气信息发送至终端设备2。终端设备2在接收到服务器3发送的天气信息后,可以根据天气信息通过终端设备的扬声器进行播放“今天晴,15到25度”的语音,从而实现终端设备2与用户1之间的语音交互。
可选地,在如图1所示的场景中,终端设备可以是:手机、手表、手环、电视、智能相框、车载后视镜、智能行车记录仪、平板电脑、笔记本电脑或者台式电脑等具有相关语音交互功能的智能设备。
同时,终端设备通常并不仅仅用于与用户进行语音交互而还具有其他功能,例如,终端设备为手机时,除了提供与用户进行语音交互的功能,还需要满足日常的待机、通信等功能,并且手机需要通过电池供电。因此,手机等终端设备对其所提供的语音交互功能的耗电量具有较高的要求,以提高终端设备的待机时间、减少充电频率。
图2为现有技术中终端设备处理语音数据的方法的流程示意图,如图2示出了一些对耗电量有较高要求的终端设备的语音数据处理流程。其中,以该终端设备为手机为例,手机内耗电量较高的中央处理器(central processing unit,CPU)一般不会一直用于接收并检测语音数据中的唤醒词,尤其是当终端设备处在休眠状态,CPU此时处于低功耗状态。则为了满足语音交互的功能,手机内部的数字信号处理(digital signal processing,DSP)芯片一般会在CPU处于低功耗状态时,检测语音数据中的唤醒词。
则当DSP芯片通过麦克风(microphone,MIC)接收到音频流形式的语音数据后,对语音数据进行检测,若检测到语音数据中包括唤醒词,DSP芯片再进一步唤醒CPU对语音数据中唤醒词后的指令进行处理。例如,若唤醒词后是操作智能家居设备的指令,则CPU可以通过通信模块将该指令直接发送至对应的智能家居设备;或者,若唤醒词后是查询天气的指令,则CPU可以通过通信模块将该指令发送至服务器,并接收到服务器返回的天气信息后,由CPU根据天气信息生成语音数据,并通过扬声器进行播放。
例如,图3为现有技术中终端设备处理语音数据时的状态示意图,以如图2所示的终端设备在对语音数据进行处理为例,所述终端设备以手机为例。
在图3的A状态中,当手机处于休眠状态,手机内部的CPU处于低功耗状态,不会进行语音数据处理,手机内的DSP芯片通过MIC接收语音数据并进行唤醒词的检测。此时,手机的显示界面处于黑屏、熄屏或者灭屏状态下。
当DSP芯片检测到语音数据中包括唤醒词,则唤醒CPU对语音数据中唤醒词之后的指令进行进一步处理,此时手机的状态从图3中的A状态切换至B状态。当手机的CPU被唤醒,CPU退出低功耗状态,开始以正常工作状态工作,相应地,手机B同时退出待机状态,手机的显示屏也处于亮屏状态。
随后,在图3所示的C状态中,手机的CPU进一步处理语音数据中唤醒词后的指令“今天天气怎么样”,并通过通信模块将该内容发送至服务器。所述通信模块包括:蜂窝通信模块或无线保真(wireless fidelity,WiFi)模块等。随后,CPU通过通信模块接收到服务器返回的天气信息后,通过扬声器进行播放“今天晴,15到25度”的语音。
综上,在上述现有技术中,如图2所示的终端设备中标号①的部分仅用于接收语音数据并对语音数据中的唤醒词进行检测,而一旦检测到语音数据中的唤醒词,就需要唤醒终端设备中标号②的部分,并通过CPU和通信模块对语音数据中唤醒词后的指令进行进一步处理。而如图3所示的状态中,终端设备在每次接收并检测到语音数据中包括唤醒词后,都需要唤醒终端设备的CPU以及唤醒终端设备的显示屏为亮屏状态。因此,终端设备在对语音数据进行处理时,需要频繁地退出休眠模式以及频繁地亮屏,从而导致了现有技术中,终端设备在处理语音数据时的功耗较大,进而减少了终端设备的待机时间,影响终端设备的用户体验。
本申请基于上述现有技术中的不足,提供一种语音数据处理方法及装置,以减少终端设备在对语音数据处理时的功耗,从而增加终端设备的待机时间,进而终端设备的提高用户体验。
其中,图4为本申请提供的终端设备一实施例的结构示意图。如图4所示的示例中所示的终端设备可用于如图1所示的应用场景中,具有接收语音数据并对语音数据进行识别和进一步处理的能力。其中,如图4所示的终端设备2具体包括:第一处理器21和第二处理器22。第一处理器21和第二处理器22可以通信例如可以通过处理器核间通信方式进行通信,并且第一处理器21正常运行时的功耗大于第二处理器22正常运行时的功耗,即第一处理器的运行功耗大于第二处理器的运行功耗。
可选地,第一处理器21包括所述终端设备2的CPU;第二处理器22包括:所述终端设备2的微控制单元(microcontroller unit,MCU)、DSP芯片或者通用智能传感集线器(sensorhub)。或者,可选地,所述第一处理器21和第二处理器22还可以是终端设备2的同一多核处理器中不同的内核。其中,多核处理器中可以集成两个或多个内核(所述内核又可被称为:计算引擎),每个内核可单独执行处理器的计算。
在如图4所示的示例中,第一通信模块23可以是第一处理器21中的通信模块(包括:蜂窝通信模块、WiFi模块或其它通信模块)、第二通信模块24可以是第二处理器22中的通信模块(包括:蜂窝通信模块、WiFi模块或其它通信模块)。第一处理器21可以使用第一通信模块23与服务器3通信;第二处理器22可以使用第二通信模块24与服务器通信。
可选地,如图4所示的第二处理器22和第二通信模块24绘制在终端设备2所在范围内,仅指代二者逻辑上的包含关系,而在具体的实现中,第二处理器22和第二通信模块24还可以设置在与终端设备2连接的配件4内。例如,若配件4为终端设备所连接的耳机,则此时第二处理器22可以包括耳机中的DSP芯片,第二通信模块24可以包括耳机内的网络通信模块。
或者,在如图4所示的基础之上,图5为本申请提供的终端设备一实施例的结构示意图。如图5所示的实施例中,终端设备2内的第一处理器21和第二处理器22可共用终端设备2内的通信模块25(包括:蜂窝通信模块、WiFi模块或其它通信模块)。即,第一处理器21可以使用通信模块25与服务器3通信,第二处理器22也可以使用通信模块25与服务器3通信。
同样地,在具体实现中,第二处理器22也可以是逻辑上包含在终端设备2内、终端设备2所连接的配件4中的DSP芯片。当配件4连接终端设备2后,配件4中的第二处理器22可以通过终端设备2内的通信模块25与服务器3通信。
下面结合附图,对本申请提供的语音数据处理方法进行说明。本申请各实施例中的方法可以由如图4所示的终端设备2或者如图5所示的终端设备2执行。
若由图4执行,则在后续各实施例中,所描述的第一处理器与服务器之间的通信具体为第一处理器21通过第一通信模块23与服务器通信、所描述的第二处理器与服务器之间的通信具体为第二处理器22通过第二通信模块24与服务器通信。若由图5所示的终端设备执行,则所描述的第一处理器与服务器之间的通信具体为第一处理器21通过通信模块25与服务器通信、所描述的第二处理器与服务器之间的通信具体为第二处理器22通过通信模块25与服务器通信,不再赘述。此外,处理器通过通信模块与服务器通信的方式可参照现有技术,本实施例对此不做限定。
图6为本申请提供的语音数据处理方法实施例一的流程示意图。如图6所示的语音数据处理方法中,以终端设备作为执行主体为例进行说明,而非对其进行限定。如图6所示的语音数据处理方法还可以由其他任何具有至少两个处理器的电子设备执行,例如:音箱、手机、电视等,或者,如图6所示的语音数据处理方法还可以由电子设备中的芯片执行。
如图6所示,本实施例提供的语音数据处理方法包括:
S100:终端设备的第一处理器进入低功耗状态。
具体地,当终端设备中所述的第一处理器处于正常工作状态时,终端设备可用于如图1所示的应用场景中,终端设备中的第一处理器用于通过麦克风接收终端设备外部的语音数据,并对语音数据中是否包括唤醒词进行检测。若检测到语音数据中包括唤醒词,则第一处理器继续对语音数据中唤醒词后的指令进行处理。
而本申请如图6所示实施例中,针对终端设备的第一处理器进入低功耗状态运行后,终端设备对语音数据进行处理的应用场景。
其中,第一处理器的工作状态至少包括:正常运行状态和所述低功耗状态。当第一处理器处于正常运行状态下,第一处理器会执行终端设备中所有第一处理器应执行的任务,不会因耗电量大或者终端设备的电量不足而不执行某些任务或者减少执行某些任务的频率。而在低功耗状态下,第一处理器会放弃执行第一处理器应执行的部分任务以及降低第一处理器执行任务的频率,以使终端设备降低一部分终端设备的电池给第一处理器的电压输出,从而减少第一处理器所消耗终端设备的电量。可以理解的是,第一处理器在低功耗状态下运行时所消耗的电量小于其在正常运行状态下所消耗的电量。所述低功耗状态也可以包括第一处理器所处于的休眠状态,则当第一处理器处于休眠状态时不会处理任务。或者,所述低功耗状态也可以不是休眠状态,而是不处理语音数据(语音命令),但是处理其他功耗小的功能例如锁屏或者CPU在后台时需要处理的任务。其中,本实施例中第一处理器在正常运行状态下,可以与服务器之间保持长连接。可选的,当第一处理器处在低功耗状态时,可以断开第一处理器与服务器之间的长连接。其中,所述长连接指在该连接上可以连续发送多个数据包,在第一处理器和服务器之间的长连接保持期间,如果没有数据包发送,需要双方发链路检测包,从而实现一次建立后,可以多次使用的连接。例如,所述长连接可以包括:传输控制协议(transmission control protocol,TCP)连接、超文本传输协议(hypertext transfer protocol,HTTP)连接、用户数据报协议(user datagram protocol,UDP)连接或者超文本传输安全协议(hyper text transfer protocol over Secure SocketLayer,HTTPS)协议连接。
可选地,当终端设备进入休眠模式时,第一处理器进入低功耗状态运行。其中,终端设备可以在检测到用户的锁屏操作后,进入休眠模式;或者,终端设备可以在预设时间内没有检测到用户操作后,自行进入休眠模式。
可选地,第一处理器可以在接收到终端设备中所设置的状态切换模块的指示后,进入低功耗状态;其中,所述状态切换模块用于根据终端设备的状态切换第一处理器和第二处理器的状态。或者,第一处理器也可以自行确定进入低功耗状态后,并向第二处理器通知其已进入低功耗状态,使得第二处理器执行后续步骤。
S101:终端设备的第二处理器与服务器建立长连接。
具体地,本实施例中第二处理器在确定第一处理器已进入低功耗状态状态后,与服务器建立长连接。所述长连接例如可以包括:TCP连接、UDP连接、HTTPS连接或者HTTP连接。并且,在如图6所示的实施例中,第二处理器在建立与服务器的长连接之后,在需要与服务器通信时,可以使用所述长连接与服务器传输数据。
其中,本申请各实施例中所述的第二处理器的运行功耗小于第一处理器的运行功耗。所述处理器的功耗可以通过处理器运行时,在单位时间中所消耗的能源的数量来量化衡量。所述能源的数量的单位可以是瓦特(W)、毫安时(mAh)或者微安时(μAh)等。本实施例中对于第一处理器和第二处理器的具体实现不做限定,只需满足第二处理器的功耗小于第一处理器即可。或者,在其他具体的对第一处理器和第二处理器进行区分的可能中,第一处理器的运算能力可以大于第二处理器的运算能力;或者,第一处理器的存储能力大于第二处理器的存储能力。所述存储能力可以通过所述终端设备的随机存取存储器(randomaccess memory,RAM)大小进行衡量。
例如,若第一处理器为终端设备的主处理器,如:CPU,第二处理器可以是终端设备的协处理器,如:MCU、DSP芯片或者通用智能传感集线器等;或者,若第一处理器是终端设备中的某DSP芯片,则第二处理器可以是终端设备中运行功耗小于第一处理器的其它DSP芯片;又或者,所述第一处理器可以是终端设备中多核处理器的第一处理器核,第二处理器可以是该多核处理器中的第二处理器核。
可选地,第二处理器可以在接收到终端设备中所设置的状态切换模块的指示后,向服务器请求建立长连接;其中,所述状态切换模块用于根据终端设备的状态切换第一处理器和第二处理器的状态。或者,第二处理器可以在接收到第一处理器进入低功耗状态时发送的通知后,向服务器请求建立长连接。
S102:第二处理器通过麦克风从外部接收语音数据。
具体地,当终端设备中的第一处理器通过S100进入低功耗状态、第二处理器通过S101与服务器建立长连接之后,此时终端设备的MIC采集终端设备所在环境内的语音数据后,将所采集的语音数据发送至第二处理器,由第二处理器对语音数据中是否包括唤醒词进行检测。
S103:第二处理器识别语音数据中是否包括唤醒词。
其中,第二处理器识别S102中所获取的语音数据是否包括唤醒词。本实施例中将S102中第二处理器所获取的包括唤醒词的语音数据记为目标语音数据。则当第二处理器识别出包括唤醒词的目标语音数据后,根据目标语音数据执行S104进行进一步处理;而当第二处理器识别出语音数据不包括唤醒词后,不会继续对语音数据进行处理,并返回S102中再次获取新的语音数据。
例如:若唤醒词为“ABCD”,当第二处理器获取的语音数据为“ABCD,今天天气怎么样”的目标语音数据时,则第二处理器检测到语音数据中包括“ABCD”,则继续对目标语音数据进行处理;当第二处理器获取的语音数据为“你好”时,识别该语音数据中不包括唤醒词,则不对该语音数据进行进一步处理。其中,本实施例S103中第二处理器识别语音数据中唤醒词的技术不做限定。
进一步地,本申请还提供一种能够应用于轻量级处理器识别语音数据中唤醒词的方法,可用于S103中第二处理器识别唤醒词,以使得终端设备内功耗较小的第二处理器能够以较少的计算量对语音数据中的唤醒词进行较快的识别。
具体地,现有的终端设备中通常设置的MIC为阵列形式的阵列MIC。例如,一个MIC阵列包括4个MIC、5个MIC或者6个MIC等。而MIC阵列中的每个MIC都会采集终端设备所在环境的语音数据,并共同发送至终端设备的处理器进行唤醒词识别。因此,第二处理器中识别语音数据唤醒词的识别模型也是通过MIC阵列中每个MIC的语音数据共同得到,其模型较大,导致了处理器在进行唤醒词识别时的计算量较大、计算速度较慢。进而导致了当终端设备的第二处理器计算能力较差时,第二处理器对语音数据中唤醒词的识别速度较慢,造成终端设备在接收到用户的语音数据后,无法立即被唤醒,影响终端设备的语音数据交互时的用户体验。
因此,本实施例提供的第二处理器中可以设置轻量级的唤醒词识别方法。具体的,第二处理器中用于识别唤醒词的识别模型通过一个MIC的语音数据得到;在识别过程中,第二处理器将MIC阵列中多个MIC得到的语音数据进行多路拾音处理,然后选择其中的一个MIC得到的语音数据,根据识别模型对该一个MIC得到的语音数据中的唤醒词进行识别。由此,减小了唤醒词识别时的计算量,使得计算能力较小的第二处理器核也能较快的识别唤醒词。
在一种具体的实现方式中,第二处理器可以根据终端设备摆放位置,选择最优的MIC。例如,若终端设备靠近墙面时,MIC阵列中靠墙位置的MIC所接收到的语音数据为反射声波得到,则第二处理器可以对远离墙面位置的MIC的语音数据进行唤醒词识别;或者,第二处理器还可以确定强噪声源方向后,根据声源位置记录结果,选择频率最高的声源位置方向的MIC的语音数据进行唤醒词识别。
S104:第二处理器进一步确定S103中确定出的目标语音数据所对应的目标业务。
具体地,第二处理器可以通过语音识别的方式,确定语音数据中唤醒词之后的指令,并进一步确定指令所对应的目标业务。例如,若目标语音数据为“ABCD,今天天气怎么样”,则第二处理器在S104中进一步对语音数据中唤醒词“ABCD”之后的“今天天气怎么样”进行语音识别,确定出该指令对应的目标业务为“天气查询”。
可选地,本实施例中第二处理器可以通过对目标语音数据中唤醒词之后的指令进行语义分析的方式,确定该指令对应的目标业务。例如,指令“今天天气怎么样”通过语义分析可以得到该指令对应的目标业务为“天气查询”、指令“今天星期几”通过语义分析可以得到该指令对应的目标业务为“日期查询”的对应关系。其中,本申请对第二处理器进行语义分析的具体方式不做具体限定。
S105:第二处理器判断S104中所确定的目标业务是否应由该第二处理器进行处理。
其中,本实施例提供的语音数据处理方法中,第二处理器除了需要确定目标语音数据中的指令所对应的目标业务,还需要对目标业务进行进一步判断,只有所确定的目标业务应该由第二处理器进行处理的情况下,才进一步对目标语音数据中的指令进行处理;否则,当目标语音数据中的指令所对应的目标业务不是由第二处理器进行处理时,第二处理器不会继续对目标语音数据中的指令所对应的目标业务进行处理。
可选地,本实施例中,第二处理器可以具体通过将所确定的目标业务与预设业务进行匹配后,根据匹配结果确定是否由第二处理器处理该目标业务。其中,所述预设业务可以存储在第二处理器中,或者,存储在所述终端设备的存储设备中,并可以由第二处理器进行调用。
在一种可能的实现方式中,预设业务包括由第二处理器处理的业务白名单,即该业务白名单中的业务均可以由第二处理器处理,该业务白名单以外的业务则由第一处理器处理。第二处理器在确定目标语音数据中指令对应的目标业务后,将目标业务与业务白名单进行匹配,若匹配,则目标业务由第二处理器处理;若不匹配,则目标业务不是由第二处理器处理,即目标业务应该由第一处理器处理。例如,业务白名单包括:“天气查询”、“日期查询”和“控制智能设备”,则当第二处理器经过前述步骤确定目标业务为“天气查询”后,匹配到业务白名单中包括与目标业务相同的“天气查询”,则确定目标业务由第二处理器处理,并执行后续步骤。
在另一种可能的具体实现方式中,预设业务包括由第二处理器处理的业务黑名单,即该业务黑名单以外的业务均可以由第二处理器处理,该业务黑名单中的业务则由第一处理器处理。第二处理器确定目标语音数据中指令对应的目标业务后,将目标业务与业务黑名单进行匹配,若匹配,则目标业务不由第二处理器处理,而由第一处理器处理;若不匹配,则目标业务由第二处理器处理。例如,业务黑名单包括:“地址导航”和“视频通话”,则当第二处理器经过前述步骤确定目标业务为“天气查询”后,匹配业务黑名单中并不包括与目标业务相同的“天气查询”,则确定目标业务由第二处理器处理,并执行后续步骤。
可选地,在本实施例中,需要第二处理器所处理的业务,即业务白名单,包括终端设备所需要处理的较为简单、对处理器资源消耗较小的业务。其衡量标准可以是,处理器在处理所述第一预设业务时,所需的处理器运算能力小于第一预设值的业务;或者,所需的存储能力小于第二预设值的业务。所述存储能力可以通过所述终端设备的随机存取存储器(random access memory,RAM)大小进行衡量。例如:所述业务白名单包括以下的一项或多项:查询天气、查询时间、控制家居设备、播放音乐、设置闹钟、播放音乐、百科问答、使用日程、使用计算器、节假日查询、翻译、听有声书、听相声和听电台等业务。
而需要第一处理器所存储的业务,即业务黑名单,包括终端设备所需要处理器的较为复杂、对处理器资源消耗较大的业务,其衡量标准可以是,处理器在处理所述第二预设业务时,所需的处理器运算能力大于或等于第一预设值的业务;或者,所需的存储能力大于或等于第二预设值的业务。例如:导航、视频、设置手机和来电接听等业务,这些业务可以由第一处理器进行处理。
可以理解的是,若S105中第二处理器经过确定的目标业务为“地址导航”,根据上述示例该目标业务不是由第二处理器处理,则第二处理器不会执行如图6所示S105的后续步骤,此时,第二处理器对于该目标业务的后续步骤可参照图8所示实施例。
S106:若判断目标业务由第二处理器处理时,则第二处理器向服务器发送目标业务的请求。
具体地,若第二处理器在S105中判断目标业务由第二处理器处理时,则确定可以由第二处理器对目标语音数据中唤醒词后的指令进行后续处理。第二处理器可以根据目标业务,向服务器发送目标业务的请求。例如,若目标语音数据中的指令为“今天天气怎么样”,该指令所对应的目标业务为“查询天气”,则第二处理器在判断“查询天气”与预设业务匹配后,确定可以由第二处理器处理查询天气的服务。
因此,在S106中,第二处理器可以向服务器发送天气查询请求,以向服务器请求天气查询业务对应的天气信息数据;或者,第二处理器还可以直接将目标语音数据中的指令“今天天气怎么样”发送至服务器,由服务器确定该指令对应的目标业务为“查询天气”后,向第二处理器返回天气信息数据。
S107:服务器向第二处理器返回目标业务的请求结果。对于第二处理器,则接收来自于服务器所发送的目标业务的请求结果。
当服务器接收到第二处理器所发送的目标业务请求后,根据该请求确定目标业务的请求结果,并将目标业务的请求结果发送至第二处理器。例如,若目标业务请求为天气查询请求,则服务器确定实时的天气信息后,将所获取的天气查询请求对应的天气信息作为目标业务的请求结果发送至第二处理器。
S108:当第二处理器通过S107接收到服务器所发送的目标业务的请求结果后,可以根据目标业务的请求结果,对目标业务进行处理。
例如,若目标业务的请求结果为天气信息时,则S108中第二处理器可以根据所接收到的目标业务的请求结果,控制终端设备的扬声器播放该天气信息的语音。
或者,可选地,若语音数据中的指令为控制智能设备的指令,例如“开灯”,则第二处理器在判断该指令对应的目标业务由第二处理器处理后,通过S106向服务器发送“开灯”的请求,则服务器可以根据该请求向需要开启的灯发送开灯的控制信号,而不需要再通过S107向第二处理器返回目标业务的请求结果,第二处理器也就不需要对目标业务进行处理。
可以理解的是,在如图6所述的S101-S108的整个流程中,第一处理器均维持其低功耗状态。而当第一处理器处于低功耗状态时,第二处理器可以保持与服务器所建立的长连接。由此使得第二处理器可以跟服务器进行较快速的通信。
综上,在本实施例所提供的语音数据处理方法中,终端设备中用于处理语音数据的第一处理器在处于低功耗状态时,可以由终端设备中功耗较低的第二处理器对语音数据中的唤醒词进行检测;并在检测到目标语音数据中包括唤醒词后,第二处理器进一步对语音数据中的指令对应的目标业务是否由第二处理器处理进行判断,若判断目标业务由第二处理器处理,则第二处理器直接处理该指令。使得终端设备的第一处理器在处于低功耗状态时,终端设备能够通过功耗较低的第二处理器对语音数据进行唤醒词的检测,并每次处理用户通过语音发出的指令时,若指令对应的目标业务判断由第二处理器处理,则第二处理器直接处理该指令,从而不需要第二处理器在识别出目标语音数据中的唤醒词后,都去唤醒终端设备的第一处理器,而是通过功耗较小的第二处理器即可处理目标业务对应的指令。从而减少了终端设备在对语音数据处理时的功耗,尤其是终端设备中的第一处理器处于低功耗状态时的功耗,从而增加终端设备的待机时间,进而提高终端设备的用户体验。
例如,图7为本申请提供的语音数据处理方法实施例一对应的终端设备的状态示意图,以终端设备使用如图6所示的方法对语音数据处理过程中,终端设备的状态为例进行说明,所述终端设备以手机为例,第一处理器为手机中的CPU、第二处理器为手机中的DSP。
其中,手机在正常工作状态下,手机内部的CPU用于对语音数据进行唤醒词的检测,以及检测到包含唤醒词的语音数据中指令的进一步处理。而在图6的A1状态中,当手机处于休眠状态,手机内部的CPU处于低功耗状态,不会进行语音数据处理,手机内功耗较小的DSP接收语音数据并进行唤醒词的检测。此时,手机的显示界面处于黑屏、熄屏或者灭屏状态下。
当DSP检测到语音数据中包括唤醒词“ABCD”,则进一步确定语音数据中唤醒词后的指令对应的目标业务,并确定目标业务是否由DSP处理。此时,如图7中的B1状态中,手机的CPU并没有被唤醒,显示界面依然处于黑屏、熄屏或者灭屏状态下。
若DSP确定目标业务由DSP处理时,则DSP不需要唤醒CPU,而是直接处理指令对应的目标业务。其中,DSP可以通过通信模块向服务器发送目标业务的请求,并通过通信模块接收服务器返回的目标业务的请求结果后,由DSP处理目标业务。例如,DSP可以直接根据目标业务的请求结果,控制手机的扬声器播放“今天晴,15到25度”的语音。而在整个DSP处理目标业务的指令过程中,CPU都没有被唤醒而一直处于低功耗状态,同样地,在图7中的C1状态中,由于CPU没有被唤醒,手机的显示界面也没有亮屏而一直处于黑屏、熄屏或者灭屏状态下。
因此,通过图7和图3中所示的手机的状态示意图可以得出,使用本实施例提供的语音数据处理方法的终端设备,能够在不唤醒终端设备的显示屏幕的情况下,即可对判断由第二处理器处理的目标业务的指令进行处理,并完成终端设备的语音交互的功能。从而减少了终端设备处于休眠状态或低功耗状态时处理语音数据时的功耗,从而增加了终端设备的待机时间、能够提高终端设备的用户体验。
进一步地,图8为本申请提供的语音数据处理方法实施例二的流程示意图。在如图8所示的实施例二中,示出了在图6所示实施例一的基础上,若S105中第二处理器将目标业务与预设业务进行匹配失败后,对目标语音数据的后续处理。
如图8所示,S100-S105可参照如图6所示实施例一中的描述,其实现方式与原理相同。
在S206中,若第二处理器通过S105确定目标业务不是由第二处理器处理时,例如,目标业务为“地址导航”,则第二处理器可以唤醒第一处理器,使得第一处理器处理对目标业务进行进一步的处理。
可选地,S206中第二处理器具体通过核间通信的方式,向第一处理器发送唤醒事件,当第一处理器接收到该唤醒事件后,退出低功耗状态,切换为正常工作状态。其中,第一处理器在退出低功耗状态时,与服务器建立长连接。从而使得第一处理器在退出低功耗状态之后,通过所建立的长连接与服务器通信。
可选地,在S206第二处理器唤醒第一处理器之后,第二处理器可以断开与服务器的长连接。
在S207中,当第一处理器被唤醒并处于正常工作状态时,第二处理器将所获取的目标语音数据发送至第一处理器,以使得第一处理器对目标语音数据进行后续处理。
可选地,当第一处理器接收到目标语音数据后,可以对目标语音数据中的唤醒词进行再次检测。并在检测目标语音数据中的唤醒词后,确定目标语音数据中唤醒词后的指令对应的目标业务。
在S208中,第一处理器向根据目标业务,向服务器发送目标业务的请求。例如,若目标语音数据中的指令为“导航去A地址”,该指令所对应的目标业务为“地址导航”,则第一处理器可以向服务器发送A地址的导航请求,以向服务器请求对应的导航数据;或者,第一处理器还可以直接将目标语音数据中的指令“导航去A地址”发送至服务器,由服务器确定该指令对应的目标业务为“地址导航”后,向服务器返回对应的导航数据。
S209:服务器向第一处理器返回目标业务的请求结果,则对于第一处理器,则接收来自于服务器所发送的目标业务的请求结果。
当服务器接收到第一处理器所发送的目标业务请求后,根据该请求确定目标业务的请求结果,并将目标业务的请求结果发送至第一处理器。例如,若目标业务请求为A地址的导航请求,则服务器确定A地址的导航数据后,将所获取的导航数据信息作为所述目标业务的请求结果发送至第一处理器。
S210:当第一处理器通过S209接收到服务器所发送的目标业务的请求结果后,根据目标业务的请求结果,对目标业务进行处理。
例如,若目标业务的请求结果为导航数据时,则S210中第一处理器可以根据所接收到的目标业务的请求结果,通过终端设备的显示界面显示导航路径,并通过扬声器播放导航路径语音提示等。
可选地,在S210中第一处理器处理目标业务的请求结果之后,此时第一处理器处于正常工作状态,则可以由第一处理器继续通过MIC接收终端设备所在环境周围的语音数据,并对语音数据中是否包括唤醒词进行检测。若检测到语音数据中包括唤醒词,直接由第一处理器继续对语音数据中唤醒词后的指令进行处理。
而当S210之后的预设时间(例如:30分钟)内,终端设备都没有在接收到的语音数据中检测到唤醒词,则说明用户预设时间内都没有再次使用语音交互的功能。因此,为了节省终端设备的功耗,第一处理器再次进入低功耗状态,并且第二处理器可以建立与服务器之间的长连接,由第二处理器继续执行如图6所示的S102。
进一步地,图9为本申请提供的语音数据处理方法实施例三的流程示意图。
在如图9所示的实施例三中,S306第二处理器唤醒第一处理器之后,第二处理器不会将目标语音数据直接发送给第一处理器,而是根据S102-S105中的处理器结果,由第二处理器通过S307向服务器发送目标业务请求。并由后续实施例中服务器向第一处理器返回目标业务的请求结果。
由于第二处理器在唤醒第一处理器之后,不需要等待第一处理器退出低功耗状态的时间,因此,S306和S307可以同时由第二处理器执行。
可选地,S306中第二处理器具体通过核间通信的方式,向第一处理器发送唤醒事件,当第一处理器接收到该唤醒事件后,退出低功耗状态,切换为正常工作状态。其中,第一处理器在退出低功耗状态时,与服务器建立长连接。从而使得第一处理器在退出低功耗状态之后,通过所建立的长连接与服务器通信。
可选地,在S306和S307之后,第二处理器可以断开与服务器之间的长连接。
在S308中,当服务器接收到第二处理器发送的目标业务的请求后,进一步需要确定目标业务是否由第二处理器处理,以确定需要将目标业务的请求结果返回至第一处理器或第二处理器。
在一种可能的实现方式中,服务器中也可以存储业务白名单和/或业务黑名单。服务器在接收到目标服务的请求后,还需要根据所存储的业务白名单或者业务黑名单,对目标服务是否由第二处理器处理进行判断。若判断目标业务不是由第二处理器处理时,则将目标业务的请求结果返回至第一处理器,使得第一处理器处理目标业务。若判断目标业务由第二处理器处理时,则将目标业务的请求结果返回至第二处理器,使得第二处理器处理目标业务。
在另一种可能的实现方式中,S307中第二处理器向服务器发送目标业务请求时,还可以携带第一处理器的标识信息,使得服务器能够根据该标识信息,确定需要将目标业务的请求结果返回至第一处理器。
随后,在S308中,服务器若判断目标业务不是由第二处理器处理时,则确定由第一处理器处理目标业务,因此,在S309中,服务器与第一处理器之间建立长连接。其中,第一处理器可以首先与第一处理器之间建立低功耗的心跳连接,随后,通过所建立的心跳连接通知第一处理器建立与服务器之间的长连接。
在S310中,服务器根据S308中所建立的长连接,将目标业务的请求结果返回至第一处理器以及后续第一处理器对目标业务进行处理的流程可参照如图8所示的S209-210中的描述,其实现方式与原理相同。
可选地,在S310中第一处理器处理目标业务的请求结果之后,此时第一处理器处于正常工作状态,则可以由第一处理器接收终端设备所在环境周围的语音数据,并对语音数据中是否包括唤醒词进行检测。若检测到语音数据中包括唤醒词,直接由第一处理器继续对语音数据中唤醒词后的指令进行处理。而当S310之后的预设时间(例如:30分钟)内,终端设备都没有在接收到的语音数据中检测到唤醒词,则说明用户预设时间内都没有再次使用语音交互的功能。因此,为了节省终端设备的功耗,第一处理器再次进入低功耗状态,并且第二处理器可以建立与服务器之间的长连接,由第二处理器继续执行如图6所示的S102。
进一步地,在如图9所示的实施例中,由于服务器中也需要存储与第二处理器中相同的预设业务,因此,当服务器中存储的预设业务更新,服务器会向第二处理器发送更新消息,用于指示第二处理器同步对第二处理器中所存储的预设业务进行更新。
如图6-10所示的实施例中,第二处理器能够判断目标业务由第二处理器处理时,从而确定是否由第二处理器自己处理目标业务,或者由第二处理器唤醒第一处理器处理目标业务。
而在本申请另一种可能的实现方式中,还提供一种由服务器确定目标业务是否由第二处理器处理,从而服务器指示第二处理器处理目标业务,或者服务器唤醒第一处理器处理目标业务的方式。
具体地,图10为本申请提供的语音数据处理方法实施例四的流程示意图,在如图10所示的实施例中,S400-S403可参照如图6所示实施例中所描述的S100-S103,其实现方式与原理相同,不再赘述。
当第二处理器通过S403识别出目标语音数据包括唤醒词之后,第二处理器随后在S404中,将所获取的目标语音数据发送给服务器,由服务器对目标语音数据进行进一步处理。
在S405中,当服务器接收到目标语音数据之后,可以确定目标语音数据对应的目标业务,具体地,服务器可以通过语音识别的方式,确定语音数据中唤醒词之后的指令,并进一步确定指令所对应的目标业务。例如,若目标语音数据为“ABCD,今天天气怎么样”,则服务器对目标语音数据进行语音识别得到指令为“今天天气怎么样”,并进一步确定出该指令对应的目标业务为“天气查询”。可选地,本实施例中服务器中可以通过语义识别的方式确定指令对应的目标业务。
在S406中,服务器可以进一步判断目标业务是否由第二处理器处理。其中,在一种可能的具体实现方式中,服务器在确定目标语音数据中指令对应的目标业务后,通过服务器中存储的至少一个第一预设业务的匹配结果判断目标业务是否由第二处理器处理;其中,若匹配至少一个第一预设业务中包括目标业务,则目标业务由第二处理器处理;若匹配至少一个第一预设业务中不包括目标业务,则目标业务是是否由第二处理器处理。或者,通过服务器中存储的至少一个第二预设业务的匹配结果判断目标业务是否由第二处理器处理;其中,若匹配至少一个第二预设业务中包括目标业务,则目标业务不是否由第二处理器处理;若匹配至少一个第二预设业务中不包括目标业务,则目标业务由第二处理器处理。
在S407中,服务器向第二处理器发送S406中的判断结果。
并且在如图10所示的实施例中,若S406中服务器确定目标业务由第二处理器处理时,服务器进一步通过S408向第二处理器返回目标业务的请求结果。即,若判断目标业务由第二处理器处理,则服务器根据S405中所确定的目标业务,获取目标业务的请求结果并返回给第二处理器。
则在S409中,对于第二处理器,当接收到服务器发送的目标业务的请求结果后,可以根据目标业务的请求结果,对目标业务进行处理。例如,若目标业务的请求结果为导航数据时,则第二处理器可以根据所接收到的目标业务的请求结果,通过终端设备的显示界面显示导航路径,并通过扬声器播放导航路径语音提示等,以处理目标业务。
综上,在如图10所示的本实施例所提供的语音数据处理方法中,终端设备中用于处理语音数据的第一处理器在处于低功耗状态时,可以由终端设备中功耗较低的第二处理器对语音数据中的唤醒词进行检测;并在检测到目标语音数据中包括唤醒词后,第二处理器将目标语音数据发送至服务器,由服务器进一步判断语音数据中的指令对应的目标业务是否由第二处理器处理。若判断目标业务由第二处理器处理,则向第二处理器返回目标业务的请求结果,使得第二处理器根据目标业务的请求结果对目标业务进行处理。从而不需要第二处理器只要识别出目标语音数据中的唤醒词,都会去唤醒终端设备的第一处理器,而是在服务器判断目标业务由第二处理器处理的情况下,通过终端设备功耗较小的第二处理器即可处理目标业务对应的指令。并且,本实施例中,由服务器确定语音数据中唤醒词后的指令对应的目标服务、以及对目标服务进行匹配,从而进一步减少了终端设备在语音数据处理时的功耗,并且能够适用于各种运算能力较低的终端设备中,还具有一定的可移植性。
进一步地,图11为本申请提供的语音数据处理方法实施例五的流程示意图。在如图11所示的实施例五中,示出了在图10所示实施例四的基础上,若S406中服务器判断目标业务不是由第二处理器处理后,对目标语音数据的后续处理。
如图11所示,S400-S407可参照如图10所示实施例四中的描述,其实现方式与原理相同。
而在S508中,若第二处理器确定S407中服务器返回的判断结果确定即目标业务不是由第二处理器处理,则第二处理器可以唤醒第一处理器,使得第一处理器对目标业务进行进一步处理。
可选地,第二处理器可以具体通过核间通信的方式,向第一处理器发送唤醒事件,当第一处理器接收到该唤醒事件后,退出低功耗状态,切换为正常工作状态。其中,第一处理器在退出低功耗状态时,与服务器建立长连接。从而使得第一处理器在退出低功耗状态之后,通过所建立的长连接与服务器通信。可选地,在第二处理器唤醒第一处理器之后,第二处理器可以断开与服务器的长连接。
在S509中,第二处理器被第一处理器唤醒之后,与服务器建立长连接。
随后,在S510中,服务器根据S509中所建立的长连接,将目标业务的请求结果返回给第一处理器,则对于第一处理器,则接收来自于服务器所发送的目标业务的请求结果。
在S511中,当第一处理器通过接收到服务器所发送的目标业务的请求结果后,对目标业务进行处理。所述处理可参照S210中的描述,不再赘述。
可选地,在S510中第一处理器处理目标业务的请求结果之后,此时第一处理器处于正常工作状态,则可以由第一处理器继续通过MIC接收终端设备所在环境周围的语音数据,并对语音数据中是否包括唤醒词进行检测。若检测到语音数据中包括唤醒词,直接由第一处理器继续对语音数据中唤醒词后的指令进行处理。
而当S510之后的预设时间(例如:30分钟)内,终端设备都没有在接收到的语音数据中检测到唤醒词,则说明用户在预设时间内都没有再次使用语音交互的功能。因此,为了节省终端设备的功耗,第一处理器再次进入低功耗状态,并且第二处理器可以建立与服务器之间的长连接,由第二处理器继续执行如图10所示的S402。
进一步地,图12为本申请提供的语音数据处理方法实施例六的流程示意图。在如图12所示的实施例六中,示出了在图10所示实施例四的基础上,若S406中服务器判断目标业务不是由第二处理器处理后,另一种对目标语音数据进行后续处理的方式。
其中,如图12所示,S400-S406可参照如图10所示实施例四中的描述,其实现方式与原理相同。
而在S607中,若S406中服务器确定的目标业务不是由第二处理器处理时,则可以确定由第一处理器处理目标业务,因此,服务器与第一处理器之间建立长连接。其中,第一处理器可以首先与第一处理器之间建立低功耗的心跳连接,随后,通过所建立的心跳连接通知第一处理器建立与服务器之间的长连接。
随后,在S608中,服务器根据S405中所确定的目标业务,获取目标业务的请求结果并返回给第一处理器。
在S609中,对于第一处理器,当接收S607中来自于服务器所发送的目标业务的请求结果后,退出低功耗状态,并切换为正常工作状态。
可选地,在S609第二处理器第一处理器被唤醒之后,服务器可以与第二处理器断开长连接;或者,第一处理器核可以通知第二处理器核断开与服务器的长连接。
并在随后的S610中,当第一处理器退出低功耗状态之后,根据接收到服务器所发送的目标业务的请求结果,对目标业务进行处理。所述处理可参照S210中的描述,不再赘述。
进一步地,图13为本申请提供的终端设备一实施例的结构示意图,如图13所示的实施例中,示出了一种可用于执行上述实施例的终端设备,在该终端设备中,除了第一处理器和第二处理器还包括:唤醒控制模块和前处理算法模块。
可选地,在一种具体的实现方式中,所述唤醒控制模块和所述前处理算法模块为存储在终端设备的存储设备中的两段独立的程序代码,用于第一处理器和第二处理器在处理语音数据时调用。其中,当第一处理器用于对语音数据进行唤醒词识别时,调用唤醒控制模块和前处理算法模块依次对MIC接收到的语音数据进行处理后,再对处理后的语音数据进行唤醒词识别;当第二处理器用于对语音数据进行唤醒词识别时,调用唤醒控制模块和前处理算法模块依次对MIC接收到的语音数据进行处理后,再对处理后的语音数据进行唤醒词识别。
其中,所述唤醒控制模块用于根据终端设备的状态,对第一处理器的工作状态和第二处理器的工作状态进行切换。
所述前处理算法模块,用于对终端设备的MIC接收到的音频流形式的语音数据进行处理,并将处理后的语音数据发送至第二处理器,由第二处理器进行唤醒词识别。所述前处理算法模块对语音数据进行的处理包括以下的一项或多项:语速自适应算法、频率自适应、定向拾音增强、语音特征老化算法、模型配比优化、唤醒模型以及MIC阵列自动择优算法。
具体地,当终端设备的状态为低功耗状态,则唤醒控制模块可以指示第一处理器断开与服务器的长连接,并指示第二处理器建立与所述服务器的长连接;当终端设备退出低功耗状态,则唤醒模块可以指示第一处理器建立与所述服务器的长连接,并指示第二处理器断开与所述服务器的长连接。
所述前处理算法模块中包括:正常识别模型和轻量级识别模型,其中,所述正常识别模型通过MIC阵列中每个MIC的语音数据共同得到,所述轻量级识别模型通过MIC阵列中一个MIC的语音数据得到。可以理解的是,轻量级识别模型的所占用的存储空间小于所述正常识别模型所占用的存储空间。
则当终端设备的状态为低功耗状态,唤醒控制模块将前处理算法模块中的轻量级识别模型加载到第二处理器中,使得第二处理器通过唤醒控制模块对MIC阵列中多个MIC接收到的语音数据进行多路拾音处理后,根据轻量级识别模型对语音数据中的唤醒词进行识别。而当终端设备退出低功耗状态后,唤醒模块将前处理算法模块中的正常识别模型加载到第一处理器中,使得第一处理器通过唤醒控制模块获取MIC阵列中多个MIC接收到的语音数据中的唤醒词进行识别后,根据正常识别模型对语音数据中的唤醒词进行识别。
上述本申请提供的实施例中,分别从网络设备、终端、以及网络设备和终端之间交互的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,网络设备和终端可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
例如,如图14为本申请提供的终端设备一实施例的结构示意图,可用于实现上述任一实施例中终端设备的功能。其中,该终端设备可以为终端设备中的芯片***。所述芯片***可以由芯片构成,也可以包含芯片和其他分立器件。终端设备1000包括至少一个处理器,例如,第一处理器1021和第二处理器1022。终端设备1000中的处理器可用于实现本申请上述任一实施例提供的方法中处理器的功能。
终端设备1000还可以包括至少一个存储器1030,用于存储程序指令和/或数据。存储器1030与第一处理器1021、第二处理器1022耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。第一处理器1021可能和存储器1030协同操作,例如第一处理器1021可能执行存储器1030中存储的程序指令。第二处理器1022可能和存储器1030协同操作,例如第一处理器1022可能执行存储器1030中存储的程序指令。所述至少一个存储器1030中的至少一个可以包括于第一处理器1021中和/或所述至少一个存储器1030中的至少一个可以包括于第二处理器1022中。
终端设备1000还可以包括第一通信接口1011和第二通信接口1012,用于通过传输介质和其它设备进行通信,从而用于终端设备1000中的装置可以和其它设备进行通信。示例性地,该其它设备可以是服务器。第一处理器1021可以利用第一通信接口1011收发数据,并用于实现本申请前述任一实施例中所述的第一处理器所执行的方法。第二处理器1022可以利用第二通信接口1012收发数据,并用于实现本申请前述任一实施例中所述的第二处理器所执行的方法。所述第一通信接口1011和第二通信接口1012可以是终端设备1000中的同一个通信接口。
示例性地,若所述终端设备1000可用于执行如图6-9中所示的实施例中终端设备所执行的方法,则当第一处理器1021处于低功耗状态时,第二处理器1022可用于通过麦克风从外部接收语音数据;确定所述语音数据所请求的目标业务;判断所述目标业务是否由所述第二处理器处理;当判断所述目标业务由所述第二处理器处理时,通过第二通信接口1012向服务器发送用于请求所述目标业务的请求。或者,第二处理器1022还可以用于通过第二通信接口1012接收目标业务的请求结果,并对目标业务进行处理。具体参见前述实施例中示例的详细描述,此处不做赘述。
又示例性地,若所述终端设备1000可用于执行如图10-12中所示的实施例中终端设备所执行的方法,则当第一处理器1021处于低功耗状态时,第二处理器1022可用于通过麦克风从外部接收语音数据;若确定所述语音数据中包括关键词,则通过第二通信接口1012将语音数据发送至服务器。或者,第二处理器1022还可以用于通过第二通信接口1012接收目标业务的请求结果,并对目标业务进行处理。具体可参见前述实施例中示例的详细描述,此处不做赘述。
本申请实施例中不限定上述通信接口、处理器以及存储器之间的具体连接介质。本申请实施例在图14中以存储器、处理器以及通信接口之间通过总线1040连接,总线在图14中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器(random-access memory,RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD))、或者半导体介质(例如,SSD)等。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (21)

1.一种语音数据处理装置,其特征在于,包括:第一处理器和第二处理器;其中,所述第一处理器连接所述第二处理器,所述第一处理器的运行功耗大于所述第二处理器的运行功耗;当所述第一处理器处于低功耗状态时,所述第二处理器用于:
通过麦克风从外部接收语音数据;
确定所述语音数据所请求的目标业务;
判断所述目标业务是否由所述第二处理器处理;
当判断所述目标业务由所述第二处理器处理时,向服务器发送用于请求所述目标业务的请求,其中,所述第一处理器维持所述低功耗状态。
2.根据权利要求1所述的装置,其特征在于,所述第二处理器还用于:
向所述服务器发送用于请求所述目标业务的请求之后,接收所述服务器发送的所述目标业务的请求结果;
根据所述目标业务的请求结果,对所述目标业务进行处理。
3.根据权利要求1或2所述的装置,其特征在于,
所述第二处理器还用于:当判断所述目标业务不是由所述第二处理器处理时,唤醒所述第一处理器处于正常工作状态;
被唤醒的所述第一处理器用于向所述服务器发送用于请求所述目标业务的请求,并接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
4.根据权利要求1或2所述的装置,其特征在于,
所述第二处理器还用于:当判断所述目标业务不是由所述第二处理器处理时,向所述服务器发送用于请求所述目标业务的请求,并指示所述服务器将所述目标业务的请求结果下发给所述第一处理器;
所述第一处理器被所述第二处理器或者所述服务器唤醒后,用于根据所述服务器下发的所述目标业务的请求结果对所述目标业务进行处理。
5.根据权利要求1-4任一项所述的装置,其特征在于,所述第二处理器判断所述目标业务是否由所述第二处理器处理,包括:
将所述目标业务与预设业务进行匹配;
根据匹配结果,确定所述目标业务是否由所述第二处理器处理。
6.根据权利要求5所述的装置,其特征在于,
所述预设业务包括运行时所需的处理器运算能力小于第一预设值的业务;或者,
所述预设业务包括运行时所需的存储能力小于第二预设值的业务。
7.根据权利要求5或6所述的装置,其特征在于,所述预设业务包括以下的一项或多项:
查询天气、查询时间、控制家居、播放音乐、设置闹钟、播放音乐、百科问答、使用日程、使用计算器、节假日查询、翻译、听有声书、听相声和听电台。
8.根据权利要求1-7任一项所述的装置,其特征在于,
当所述第一处理器处于低功耗状态时,所述第二处理器与所述服务器保持长连接。
9.根据权利要求1-7任一项所述的装置,其特征在于,所述第二处理器确定所述语音数据所请求的目标业务包括:
当所述语音数据中包括唤醒词时,确定所述语音数据所请求的目标业务。
10.根据权利要求1-9任一项所述的装置,其特征在于,
所述第一处理器为主处理器,所述第二处理器为协处理器;或者,所述第一处理器为多核处理器中的第一处理器核,所述第二处理器为所述多核处理器中的第二处理器核;
所述第一处理器的运算能力大于所述第二处理器的运算能力,或者,所述第一处理器的存储能力大于所述第二处理器的存储能力。
11.根据权利要求1-10任一项所述的装置,其特征在于,所述低功耗状态包括休眠状态。
12.根据权利要求1-11任一项所述的装置,其特征在于,所述装置为芯片或者电子设备。
13.一种语音数据处理***,其特征在于,包括:服务器和如权利要求1-11任一项所述的装置。
14.一种语音数据处理***,其特征在于,包括:终端设备和服务器;其中,所述终端设备包括:第一处理器和第二处理器,所述第一处理器连接所述第二处理器,所述第一处理器的运行功耗大于所述第二处理器的运行功耗;
所述第二处理器用于,当所述第一处理器处于低功耗状态时,通过所述终端设备的麦克风从外部接收语音数据;
所述第二处理器还用于,确定所述语音数据中包括关键词时,将所述语音数据发送至所述服务器;
所述服务器用于,接收并确定所述语音数据所请求的目标业务;
所述服务器还用于,判断所述目标业务是否由所述第二处理器处理;
所述服务器还用于,当确定所述目标业务由所述第二处理器处理时,向所述第二处理器处理所述目标业务的请求结果,其中,所述第一处理器维持所述低功耗状态。
15.根据权利要求14所述的***,其特征在于,所述低功耗状态包括休眠状态。
16.根据权利要求14或15所述的***,其特征在于,
所述服务器还用于,当确定所述目标业务不是由所述第二处理器处理时,唤醒所述第一处理器处于正常工作状态;
所述服务器还用于,向所述第一处理器处理所述目标业务的请求结果;
被唤醒的所述第一处理器用于,接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
17.根据权利要求14或15所述的***,其特征在于,
所述服务器还用于,当确定所述目标业务不是由所述第二处理器处理时,向所述第二处理器发送指示信息,用于指示所述目标业务不是由所述第二处理器处理;
所述服务器还用于,向所述第一处理器处理所述目标业务的请求结果;
所述第二处理器还用于,根据所述指示信息,唤醒所述第一处理器处于正常工作状态并与所述服务器建立长连接;
所述第一处理器用于,接收所述服务器发送的所述目标业务的请求结果,根据所述目标业务的请求结果对所述目标业务进行处理。
18.根据权利要求14-17任一项所述的***,其特征在于,所述服务器判断所述目标业务是否由所述第二处理器处理,包括:
将所述目标业务与预设业务进行匹配;
根据匹配结果,确定所述目标业务是否由所述第二处理器处理。
19.根据权利要求18所述的***,其特征在于,
所述预设业务包括运行时所需的处理器运算能力小于第一预设值的业务;或者,
所述预设业务包括运行时所需的存储能力小于第二预设值的业务。
20.根据权利要求14-19任一项所述的***,其特征在于,
当所述第一处理器处于低功耗状态时,所述第二处理器与所述服务器保持长连接。
21.根据权利要求14-20任一项所述的***,其特征在于,
所述第一处理器为主处理器,所述第二处理器为协处理器;或者,所述第一处理器为多核处理器中的第一处理器核,所述第二处理器为所述多核处理器中的第二处理器核;
所述第一处理器的运算能力大于所述第二处理器的运算能力,或者,所述第一处理器的存储能力大于所述第二处理器的存储能力。
CN201910526214.5A 2019-06-18 2019-06-18 语音数据处理方法、装置及*** Pending CN110427097A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910526214.5A CN110427097A (zh) 2019-06-18 2019-06-18 语音数据处理方法、装置及***
PCT/CN2020/096545 WO2020253715A1 (zh) 2019-06-18 2020-06-17 语音数据处理方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910526214.5A CN110427097A (zh) 2019-06-18 2019-06-18 语音数据处理方法、装置及***

Publications (1)

Publication Number Publication Date
CN110427097A true CN110427097A (zh) 2019-11-08

Family

ID=68407754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910526214.5A Pending CN110427097A (zh) 2019-06-18 2019-06-18 语音数据处理方法、装置及***

Country Status (2)

Country Link
CN (1) CN110427097A (zh)
WO (1) WO2020253715A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429911A (zh) * 2020-03-11 2020-07-17 云知声智能科技股份有限公司 一种降低噪音场景下语音识别引擎功耗的方法及装置
CN111755002A (zh) * 2020-06-19 2020-10-09 北京百度网讯科技有限公司 语音识别装置、电子设备和语音识别方法
WO2020253715A1 (zh) * 2019-06-18 2020-12-24 华为技术有限公司 语音数据处理方法、装置及***
CN112382281A (zh) * 2020-11-05 2021-02-19 北京百度网讯科技有限公司 一种语音识别方法、装置、电子设备和可读存储介质
CN112506331A (zh) * 2020-12-11 2021-03-16 北京搜狗科技发展有限公司 一种数据处理方法和耳机收纳装置
CN112581956A (zh) * 2020-12-04 2021-03-30 海能达通信股份有限公司 一种双模终端的语音识别方法及双模终端
CN112835826A (zh) * 2021-03-04 2021-05-25 深圳市广和通无线股份有限公司 一种通信方法、装置、设备及可读存储介质
CN112968783A (zh) * 2021-01-20 2021-06-15 广州技象科技有限公司 基于发送数据的低功耗处理方法及装置
CN112992135A (zh) * 2019-12-17 2021-06-18 Oppo广东移动通信有限公司 电子设备及语音控制的显示方法
CN112996089A (zh) * 2019-12-17 2021-06-18 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备
CN113269318A (zh) * 2021-06-04 2021-08-17 安谋科技(中国)有限公司 电子设备及其神经网络模型运行方法、存储介质
CN114222062A (zh) * 2021-12-13 2022-03-22 杭州萤石软件有限公司 取流方法、低功耗电池设备、客户端、取流***及设备
CN114285892A (zh) * 2021-08-26 2022-04-05 海信视像科技股份有限公司 服务器、智能设备及带屏智能设备唤醒方法
CN116828007A (zh) * 2023-05-24 2023-09-29 广州汽车集团股份有限公司 服务下发的方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278435A1 (en) * 2013-03-12 2014-09-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
CN105493180A (zh) * 2013-08-26 2016-04-13 三星电子株式会社 用于语音识别的电子装置和方法
CN108600219A (zh) * 2018-04-23 2018-09-28 海信(广东)空调有限公司 一种语音控制方法及设备
CN108877805A (zh) * 2018-06-29 2018-11-23 上海与德通讯技术有限公司 语音处理模组和具有语音功能的终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427097A (zh) * 2019-06-18 2019-11-08 华为技术有限公司 语音数据处理方法、装置及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278435A1 (en) * 2013-03-12 2014-09-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
CN105493180A (zh) * 2013-08-26 2016-04-13 三星电子株式会社 用于语音识别的电子装置和方法
CN108600219A (zh) * 2018-04-23 2018-09-28 海信(广东)空调有限公司 一种语音控制方法及设备
CN108877805A (zh) * 2018-06-29 2018-11-23 上海与德通讯技术有限公司 语音处理模组和具有语音功能的终端

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253715A1 (zh) * 2019-06-18 2020-12-24 华为技术有限公司 语音数据处理方法、装置及***
CN112996089B (zh) * 2019-12-17 2022-10-21 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备
CN112992135A (zh) * 2019-12-17 2021-06-18 Oppo广东移动通信有限公司 电子设备及语音控制的显示方法
CN112996089A (zh) * 2019-12-17 2021-06-18 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备
CN111429911A (zh) * 2020-03-11 2020-07-17 云知声智能科技股份有限公司 一种降低噪音场景下语音识别引擎功耗的方法及装置
CN111755002B (zh) * 2020-06-19 2021-08-10 北京百度网讯科技有限公司 语音识别装置、电子设备和语音识别方法
CN111755002A (zh) * 2020-06-19 2020-10-09 北京百度网讯科技有限公司 语音识别装置、电子设备和语音识别方法
CN112382281A (zh) * 2020-11-05 2021-02-19 北京百度网讯科技有限公司 一种语音识别方法、装置、电子设备和可读存储介质
CN112382281B (zh) * 2020-11-05 2023-11-21 北京百度网讯科技有限公司 一种语音识别方法、装置、电子设备和可读存储介质
CN112581956A (zh) * 2020-12-04 2021-03-30 海能达通信股份有限公司 一种双模终端的语音识别方法及双模终端
CN112506331A (zh) * 2020-12-11 2021-03-16 北京搜狗科技发展有限公司 一种数据处理方法和耳机收纳装置
CN112968783A (zh) * 2021-01-20 2021-06-15 广州技象科技有限公司 基于发送数据的低功耗处理方法及装置
CN112835826A (zh) * 2021-03-04 2021-05-25 深圳市广和通无线股份有限公司 一种通信方法、装置、设备及可读存储介质
CN113269318A (zh) * 2021-06-04 2021-08-17 安谋科技(中国)有限公司 电子设备及其神经网络模型运行方法、存储介质
CN114285892A (zh) * 2021-08-26 2022-04-05 海信视像科技股份有限公司 服务器、智能设备及带屏智能设备唤醒方法
CN114285892B (zh) * 2021-08-26 2023-10-31 海信视像科技股份有限公司 服务器、智能设备及带屏智能设备唤醒方法
CN114222062A (zh) * 2021-12-13 2022-03-22 杭州萤石软件有限公司 取流方法、低功耗电池设备、客户端、取流***及设备
CN116828007A (zh) * 2023-05-24 2023-09-29 广州汽车集团股份有限公司 服务下发的方法、装置、电子设备及存储介质
CN116828007B (zh) * 2023-05-24 2024-06-11 广州汽车集团股份有限公司 服务下发的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020253715A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN110427097A (zh) 语音数据处理方法、装置及***
CN103270466B (zh) 经由对定时器相关任务的协调和选择性操作的功率管理
CN103716905B (zh) 管理无线设备之间的连接
CN107027141B (zh) 信息处理方法、装置和移动终端
CN107168851B (zh) 信息处理方法、装置和移动终端
CN107809793A (zh) 智能终端的唤醒控制方法及装置
CN110853644B (zh) 语音唤醒方法、装置、设备及存储介质
CN108566634A (zh) 降低蓝牙音箱连续唤醒延时的方法、装置及蓝牙音箱
CN107731231A (zh) 一种支持多云端语音服务的方法及一种存储设备
WO2015081664A1 (zh) 控制无线网络开关方法、装置、设备及***
CN107145425B (zh) 信息处理方法、装置和移动终端
CN109544183A (zh) 一种业务咨询方法及装置
CN108922524A (zh) 智能语音设备的控制方法、***、装置、云服务器及介质
US20170123484A1 (en) Audio processing during low-power operation
CN112230877A (zh) 一种语音操作方法、装置、存储介质及电子设备
CN109741740A (zh) 基于外部触发的语音交互方法及装置
CN109298775A (zh) 一种终端设备及任务处理方法
CN108566706A (zh) 闪光灯控制方法、装置、终端设备及存储介质
CN108563468A (zh) 一种蓝牙音箱数据处理的方法、装置及蓝牙音箱
WO2021180162A1 (zh) 功耗控制、模式配置与vad方法、设备及存储介质
CN110543333B (zh) 针对处理器的休眠处理方法、装置、移动终端和存储介质
CN102291677A (zh) 一种无线网络测试装置和方法
CN107027160A (zh) 信息处理方法、装置和移动终端
CN107193707A (zh) 信息处理方法、装置和移动终端
CN109511139A (zh) Wifi控制方法、装置、移动设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination