CN116456441B - 声音处理装置、方法和电子设备 - Google Patents
声音处理装置、方法和电子设备 Download PDFInfo
- Publication number
- CN116456441B CN116456441B CN202310718953.0A CN202310718953A CN116456441B CN 116456441 B CN116456441 B CN 116456441B CN 202310718953 A CN202310718953 A CN 202310718953A CN 116456441 B CN116456441 B CN 116456441B
- Authority
- CN
- China
- Prior art keywords
- sound
- detection processing
- signal
- processing unit
- main control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 448
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000005236 sound signal Effects 0.000 claims abstract description 334
- 238000001514 detection method Methods 0.000 claims abstract description 323
- 238000000034 method Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 21
- 238000002604 ultrasonography Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
- H04W52/0209—Power saving arrangements in terminal devices
- H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
- H04W52/0274—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof
- H04W52/028—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof switching on or off only a part of the equipment circuit blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种声音处理装置,应用于电子设备,该声音处理装置包括主控模块和声音检测处理模块,声音检测处理模块包括第一声音检测处理单元,其中,第一声音检测处理单元用于接收第一声音信号,在根据第一声音信号确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块;主控模块用于接收第一信息,并响应于第一信息,处于唤醒状态。如此,由主控模块之外的声音检测处理模块根据声音检测结果,将主控模块从休眠状态唤醒为唤醒状态,或者使主控模块保持唤醒状态,可以有效地降低主控模块的功耗,从而有效地降低电子设备的功耗,以及可以及时进行相应业务。本申请还公开了一种声音处理方法和电子设备。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种声音处理装置、方法和电子设备。
背景技术
随着科学技术的发展,例如语音交互、声波支付等声音技术被广泛应用于电子设备中。以手机为例,当前有些手机可以支持例如语音交互、声波支付等业务。当前,手机为了能够及时识别出声音,以进行对应业务,手机中的例如***级芯片(System on Chip,SOC)和编解码器(Codec)等器件需要一直处于唤醒状态(也可以称为上电状态)。这些器件一直处于唤醒状态,使得手机存在功耗较高的问题。
发明内容
本申请提供了一种声音处理装置、方法和电子设备,用于解决上述电子设备的一些器件一直处于唤醒状态,电子设备的功耗较高的问题。即可以有效地降低设备功耗,并且在降低功耗的情况下,能及时进行对应业务,提高用户的体验感。
为解决上述技术问题,第一方面,本申请的实施方式提供了一种声音处理装置,应用于电子设备,声音处理装置包括主控模块和声音检测处理模块,声音检测处理模块包括第一声音检测处理单元,其中,第一声音检测处理单元用于接收第一声音信号,在根据第一声音信号确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块;主控模块用于接收第一信息,并响应于第一信息,处于唤醒状态。
本实现方式中,电子设备例如可以是手机,也可以是电脑、手表、耳机等设备,其可以根据需要选择和设置。主控模块例如可以是SOC,声音检测处理模块例如可以是Codec,第一声音信号例如可以是手机的麦克风或者特定的超声波接收器件接收到的声音信号对应的经过模数转换等处理后的声音信号。第一类型声音信号例如可以是超声信号,即本方案可以应用于例如手机中基于超声的声波支付场景。当然,第一类型声音信号也可以是次声信号、某一用户对应的用户声音信号等,其可以根据需要选择和设置。第一信息例如可以是用于调整SOC的工作状态的中断信号,SOC的工作状态包括唤醒状态(也可以称为下电状态)和休眠状态。
进一步地,本实现方式中,由主控模块之外的声音检测处理模块检测声音信号,并根据声音信号对应的检测结果,在满足预设条件的情况下(即第一声音信号包括第一类型声音信号的情况下)使主控模块处于唤醒状态。如此,在不存在需要进行的业务的情况下(例如第一声音信号不包括第一类型声音信号的情况下),主控模块可以处于休眠状态,在存在需要执行的业务的情况下(例如第一声音信号包括第一类型声音信号的情况下),声音检测处理模块可以通过第一信息唤醒主控模块,以使主控模块进行对应业务,有效地降低了主控模块的功耗,从而有效地降低了声音处理装置的功耗,进而有效地降低了电子设备的功耗。并且,处于唤醒状态的主控模块能及时进行对应业务,提高了用户的体验感。另外,声音检测处理模块也可以在确定第一声音信号包括第一类型声音信号的情况下,通过第一信息使主控模块持续处于唤醒状态,以使主控模块可以及时进行对应业务,提高了用户的体验感。
在上述第一方面的一种可能的实现中,主控模块与声音检测处理模块可以通过接口连接,也可以通过其他方式连接,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,声音检测处理模块还包括第二声音检测处理单元,第二声音检测处理单元用于接收第一声音信号,并存储第一声音信号;主控模块还用于在处于唤醒状态的情况下,从第二声音检测处理单元中获取第一声音信号,并根据第一声音信号进行第一业务。
如此,声音检测处理模块可以通过第二声音检测处理单元存储第一声音信号,在主控模块唤醒后再发送给主控模块进行对应的业务处理,可以避免声音信号丢失的问题,保证业务的正常处理。
进一步地,第一业务可以是前述基于超声的声波支付业务,也可以是语音交互等业务,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一声音检测处理单元包括第一声音检测处理子单元和第二声音检测处理子单元,其中,第一声音检测处理子单元用于接收第一声音信号,根据第一声音信号得到第一目标声音信号,并将第一目标声音信号发送给第二声音检测处理子单元,第一目标声音信号为第一声音信号中的第一频段信号;第二声音检测处理子单元用于接收第一目标声音信号,根据第一目标声音信号确定第一目标声音信号是否包括第一类型声音信号,以及在确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块。
如此,第一声音检测处理子单元可以从第一声音信号中筛选出第一频段的信号作为第一目标声音信号,以使第二声音检测处理子单元根据第一目标声音信号方便、准确地确定第一目标声音信号是否为第一类型声音信号,或者第一目标声音信号中是否包括第一类型声音信号。
第一频段的信号例如可以是大于预设的频率阈值的频段,频率阈值例如可以是超声对应的20kHz。第一频段的信号也可以是位于预设频率范围的信号,例如大于20kHz,小于2MHz的信号等,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一声音检测处理子单元与第二声音检测处理子单元可以电连接,例如第一声音检测处理子单元的输出端与第二声音检测处理子单元的输入端电连接。当然,第一声音检测处理子单元与第二声音检测处理子单元也可以通过其他方式连接,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一声音检测处理单元也可以包括第一声音检测处理子单元和第二声音检测处理子单元中的部分,或者可以包括其他的声音检测处理子单元或者器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一类型声音信号为超声信号,第一声音检测处理单元包括高通滤波器或者带通滤波器。
在上述第一方面的一种可能的实现中,第一类型声音信号也可以为次声信号,第一声音检测处理单元包括低通滤波器。或者第一类型声音信号也可以是某一用户对应的具有其声音特征的声音信号,第一声音检测处理单元可以是对应的滤波器,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第二声音检测处理子单元包括声音检测算法,也可以称为声音类型检测函数或者声音类型检测算法,用于通过例如计算声音信号的增益等信号特征信息,根据计算结果确定声音信号的类型。
在上述第一方面的一种可能的实现中,声音检测算法例如可以是用于计算声音信号增益的增益处理算法或者增益处理函数,增益处理函数用于确定第一目标声音信号的增益,并根据增益确定第一目标声音信号是否包括第一类型声音信号。
示例性的,增益处理函数根据例如经过高通滤波器输出的声音信号,计算对应的增益,若得到的增益大于等于预设的增益阈值,则认为该声音信号是超声信号,或者包括超声信号,即确定第一声音信号包括第一类型声音信号。否则,确定第一声音信号不包括第一类型声音信号。增益阈值例如可以是30dB,也可以是其他值,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第二声音检测处理子单元也可以包括其他类型的声音检测算法,以实现应用场景中声音信号类型的识别,得到对应的声音信号类型。
在上述第一方面的一种可能的实现中,第二声音检测处理单元包括先进先出存储器。如此,可以方便地存储声音信号,避免声音信号丢失的问题。
当然,第二声音检测处理单元也可以包括其他类型的存储器件,以及可以包括其他器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,主控模块和声音检测处理模块通过第一接口连接,第一接口用于传输第一信息,即主控模块用于通过第一接口接收第一信息。
在上述第一方面的一种可能的实现中,第一接口例如可以是通用型之输入输出接口。当然,第一接口也可以是其他类型的接口,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,主控模块和声音检测处理模块通过第二接口连接,第二接口用于传输第一声音信号,即主控模块用于通过第二接口从声音检测处理模块获取第一声音信号。
在上述第一方面的一种可能的实现中,第二接口例如可以是串行音频接口。当然,第二接口也可以是其他类型的接口,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,主控模块和声音检测处理模块通过第一接口和第二接口连接,其中,第一接口用于传输第一信息,第二接口用于传输第一声音信号。当然,主控模块和声音检测处理模块也可以通过其他更多或者更少的接口连接,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,主控模块包括第一主控处理单元和第二主控处理单元,其中,第一主控处理单元用于接收第一信息,并且响应于第一信息,处于唤醒状态,以及向第二主控处理单元发送第二信息;第二主控处理单元用于接收第二信息,并响应于第二信息,处于唤醒状态,以及向声音检测处理模块发送第三信息,以从声音检测处理模块获取第一声音信号。
如此,主控模块在处于唤醒状态后,可以从声音检测处理模块获取声音信号,以进行对应业务处理,保证了业务的正常处理,有效地提升了用户体验。
在上述第一方面的一种可能的实现中,第一信息可以是前述的中断信号,第二信息可以是用于唤醒第二主控处理单元的通知信号,第三信息可以是用于获取声音信号的请求信号。第一信息、第二信息和第三信息的形式和内容,可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一主控处理单元和第二主控处理单元电连接,当然,第一主控处理单元和第二主控处理单元也可以通过其他方式连接,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,主控模块也可以包括第一主控处理单元和第二主控处理单元中的部分,或者可以包括其他的主控处理单元或者器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一信息为用于调整主控模块的工作状态的中断信号;或者第一信息为包括唤醒状态标识信息的通知信号。当然,第一信息也可以是其他信息或者信号,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,声音检测处理模块还包括第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元,其中,第三声音检测处理单元用于接收第二声音信号,对第二声音信号进行放大处理,得到第一声音子信号,并将第一声音子信号发送给第四声音检测处理单元,第二声音信号为电子设备采集到的声音信号;第四声音检测处理单元用于接收第一声音子信号,对第一声音子信号进行模数转换处理,得到第二声音子信号,并将第二声音子信号发送给第五声音检测处理单元;第五声音检测处理单元用于接收第二声音子信号,对第二声音子信号进行信号抽取滤波处理,得到第一声音信号,并将第一声音信号分别发送给第一声音检测处理单元和第二声音检测处理单元。
如此,第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元可以将电子设备采集到的声音信号处理成便于后续处理的第一声音信号。
在上述第一方面的一种可能的实现中,第三声音检测处理单元与第四声音检测处理单元连接,第四声音检测处理单元与第五声音检测处理单元连接,第五声音检测处理单元分别与第一声音检测处理单元和第二声音检测处理单元连接。
在上述第一方面的一种可能的实现中,第三声音检测处理单元的输出端与第四声音检测处理单元的输入端连接,第四声音检测处理单元的输出端与第五声音检测处理单元的输入端连接,第五声音检测处理单元的输出端分别与第一声音检测处理单元的输入端和第二声音检测处理单元的输入端连接。
当然,第一声音检测处理单元、第二声音检测处理单元、第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元也可以通过其他方式连接,其可以根据需要选择和设置。
另外,电子设备采集到的声音信号例如可以是电子设备的麦克风采集到的声音信号,也可以是电子设备中用于采集例如超声信号等对应声音信号的声音采集器件采集到的声音信号。
在上述第一方面的一种可能的实现中,第三声音检测处理单元包括可编程增益放大器,第四声音检测处理单元包括模数转换器,第五声音检测处理单元包括信号抽取滤波器。
当然,可编程增益放大器、模数转换器、信号抽取滤波器也可以是其他用于实现相同或者类型功能的其他器件,第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元也可以包括其他的器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,声音检测处理模块也可以包括第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元中的部分,或者可以包括其他的声音检测处理单元或者器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,主控模块用于响应于第一信息,处于唤醒状态,包括:主控模块用于响应于第一信息,从休眠状态切换至唤醒状态;或者主控模块用于响应于第一信息,保持唤醒状态。
即,在主控模块处于休眠状态的情况下,主控模块可以根据第一信息从休眠状态切换至唤醒状态。在主控模块处于唤醒状态的情况下,主控模块可以保持唤醒状态不变。
在上述第一方面的一种可能的实现中,主控模块为***级芯片。当然,主控模块也可以是与业务实现相关的其他控制模块,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一主控处理单元例如可以是应用处理器。当然,第一主控处理单元也可以是其他器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第二主控处理单元例如可以是数字信号处理器或者高级数字信号处理器等。当然,第二主控处理单元也可以是其他器件,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,声音检测处理模块为编解码器。当然,编解码器也可以是与声音信号处理相关的其他模块,即声音检测处理模块也可以是其他器件,其可以根据需要选择和设置。
第二方面,本申请的实施方式提供了一种电子设备,该电子设备包括前述的声音处理装置。
当然,电子设备还可以其他的器件或者部件,其可以根据需要选择和设置。
第三方面,本申请的实施方式提供了一种声音处理方法,应用于电子设备,电子设备包括声音处理装置,声音处理装置包括主控模块和声音检测处理模块,声音检测处理模块包括第一声音检测处理单元,该方法包括:第一声音检测处理单元接收第一声音信号,在根据第一声音信号确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块;主控模块接收第一信息,并响应于第一信息,处于唤醒状态。
在上述第三方面的一种可能的实现中,声音检测处理模块还包括第二声音检测处理单元,该方法还包括:第二声音检测处理单元接收第一声音信号,并存储第一声音信号;主控模块在处于唤醒状态的情况下,从第二声音检测处理单元中获取第一声音信号,并根据第一声音信号进行第一业务。
在上述第三方面的一种可能的实现中,第一声音检测处理单元包括第一声音检测处理子单元和第二声音检测处理子单元,第一声音检测处理单元接收第一声音信号,在根据第一声音信号确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块,包括:第一声音检测处理子单元接收第一声音信号,根据第一声音信号得到第一目标声音信号,并将第一目标声音信号发送给第二声音检测处理子单元,第一目标声音信号为第一声音信号中的第一频段信号;第二声音检测处理子单元接收第一目标声音信号,根据第一目标声音信号确定第一目标声音信号是否包括第一类型声音信号,以及在确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块。
在上述第三方面的一种可能的实现中,第二声音检测处理子单元接收第一目标声音信号,根据第一目标声音信号确定第一目标声音信号是否包括第一类型声音信号,包括:确定第一目标声音信号的增益,并根据增益确定第一目标声音信号是否包括第一类型声音信号。
在上述第三方面的一种可能的实现中,主控模块包括第一主控处理单元和第二主控处理单元,该方法还包括:第一主控处理单元接收第一信息,并且响应于第一信息,处于唤醒状态,以及向第二主控处理单元发送第二信息;第二主控处理单元接收第二信息,并响应于第二信息,处于唤醒状态,以及向声音检测处理模块发送第三信息,以从声音检测处理模块获取第一声音信号。
在上述第三方面的一种可能的实现中,声音检测处理模块还包括第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元,该方法还包括:第三声音检测处理单元接收第二声音信号,对第二声音信号进行放大处理,得到第一声音子信号,并将第一声音子信号发送给第四声音检测处理单元,第二声音信号为电子设备采集到的声音信号;第四声音检测处理单元接收第一声音子信号,对第一声音子信号进行模数转换处理,得到第二声音子信号,并将第二声音子信号发送给第五声音检测处理单元;第五声音检测处理单元接收第二声音子信号,对第二声音子信号进行信号抽取滤波处理,得到第一声音信号,并将第一声音信号发送给第一声音检测处理单元和第二声音检测处理单元。
在上述第三方面的一种可能的实现中,处于唤醒状态包括:从休眠状态切换至唤醒状态;或者保持唤醒状态。
第四方面,本申请的实现方式提供了一种电子设备,包括:存储器,用于存储计算机程序,计算机程序包括程序指令;处理器,用于执行程序指令,以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的声音处理方法。
第五方面,本申请的实现方式提供了一种计算机可读取存储介质,计算机可读取存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被电子设备运行以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的声音处理方法。
第六方面,本申请的实现方式提供了一种计算机程序产品,包括计算机程序,该计算机程序被电子设备运行以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的声音处理方法。
上述第二方面至第六方面的相关有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施方式描述中所使用的附图作简单介绍。
图1是根据本申请的一些实施方式,示出了本申请提供的不同频段的声音的一些示意图;
图2是根据本申请的一些实施方式,示出了声音处理装置的一种结构示意图;
图3是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图4是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图5是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图6是根据本申请的一些实现方式,示出了本申请提供的手机的一种硬件结构示意图;
图7是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图8是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图9是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图10是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图11是根据本申请的一些实施方式,示出了声音处理装置的另一种结构示意图;
图12是根据本申请的一些实现方式,示出了电子设备的一种结构示意图;
图13是根据本申请的一些实现方式,示出了电子设备的另一种结构示意图;
图14是根据本申请的一些实现方式,示出了***级芯片(SoC)的一种结构示意图。
具体实施方式
下面将结合附图对本申请的技术方案作进一步描述。
如图1所示,声音按照频率可以分为次声(Infrasound)、自然声(Acoustic)、超声(Ultrasound)等,其中,20Hz以下是次声,20Hz至20kHz是自然声,20kHz以上是超声。另外,自然声中靠近20Hz的部分为低音(low bass notes),超声中靠近20kHz的部分为动物和化学(animals and chemistry)相关的声音,频率再高一点的声音是医疗和破坏(medicaland destructive)相关的声音,大于2MHz的声音包括诊断和无损检测(diagnostic andNDE)等相关的声音。
其中,超声可以应用于例如声波支付、声波身份认证、声波传输文件等场景中。声波支付例如是指通过将支付信息映射为超声,通过超声实现支付的功能。声波身份认证例如是指将身份认证信息设置成唯一编码,将编码映射成唯一声波信息,进行身份认证的功能,声波身份认证的应用场景主要为声波会员卡、声波券票、声音名片、声波签到、声波排队等。声波传输文件例如是指将文件内容映射为超声,通过超声实现文件传输的功能。
电子设备可以通过设置声音处理装置以实现声音处理以及业务实现。下面以手机作为本申请实现方式提供的电子设备的一种示例,超声业务作为声音相关业务的一种示例,对本申请提供的声音处理装置和声音处理方法进行说明。
如图2所示,在本申请的一种实现方式中,手机中用于实现声音业务处理的声音处理装置包括***级芯片(System on Chip,SOC)和编解码器(Codec),SOC和Codec连接。其中,Codec用于对例如麦克风采集到的声音信号进行例如编码、解码等处理,并将处理后的声音信号发送给SOC,SOC用于根据声音信号进行对应业务处理,例如进行声波支付业务。
当前,手机为了能够及时检测到超声,手机中的SOC和Codec通常都需要一直处于唤醒状态,即需要常开以监听超声波事件,这使得手机存在功耗较高的问题。另外,由于超声波非自然声音,超声波需要借助特定仪器发出,并且超声波所应用的频率很低,因此超声波检测相关的功耗是否能做到极低尤为关键。
如图3所示,在一种实现方式中,SOC包括应用处理器(Application Processor,AP)和数字信号处理器(digital signal processor,DSP),AP和DSP连接。另外,Codec例如可以是模数(Analog-to-Digital,AD)和/或数模(Digital-to-Analog,DA)Codec。
本实现方式中,为了降低手机的功耗,在不存在需要执行的超声业务的情况下,SOC中的AP可以处于休眠状态,DSP进入低功率干扰(Low Power Interference,LPI)模式,并且进行场景识别,以确定接收到的声音信号中是否包括超声信号。
示例性的,Codec处于唤醒状态,并且Codec将处理后的声音信号发送给DSP,DSP对声音信号进行进一步处理,以确定声音信号中是否存在超声信号。若存在,DSP唤醒AP,并将声音信号发送给AP,以使AP根据声音信号进行对应的超声业务。若不存在,则不需要唤醒AP。
这种方式中,虽然AP处于休眠状态,可以降低声音处理装置的功耗,但是声音处理装置的功耗还包括DSP产生的功耗、Codec产生的功耗,以及例如与超声业务相关的双倍速率(Double Data Rate,DDR)存储器、紧耦合(Tightly Coupled Memory,TCM)存储器等用于存储声音信号的存储器的功耗。因此,声音处理装置的功耗仍然较高。
基于此,本申请实现方式提供了一种声音处理装置和声音处理方法。如图4所示,在本申请的一种实现方式中,手机包括的声音处理装置包括SOC(作为主控模块的一种示例)和Codec(作为声音检测处理模块的一种示例)。SOC和Codec可以通过通用型之输入输出(General-purpose input/output,GPIO)接口(作为第一接口的一种示例)和串行音频接口(serial audio interface,SAI)(作为第二接口的一种示例)连接。其中,SOC包括AP(作为第一主控处理单元的一种示例)和高级数字信号处理器(advanced digital signalprocessor,ADSP)(作为第二主控处理单元的一种示例),ADSP例如也可以是前述的DSP。
Codec包括可编程增益放大器(Programmable Gain Amplifier,PGA)(作为第三声音检测处理单元的一种示例)、模数转换器(Analog-to-Digital Converter,ADC)(作为第四声音检测处理单元的一种示例)、信号抽取滤波器(Decimation Filter,DF)(作为第五声音检测处理单元的一种示例)、超声检测(Ultrasound Detection)模块(作为第一声音检测处理单元的一种示例)和先进先出(FIFO)存储器(作为第二声音检测处理单元的一种示例)。
超声检测模块的作用是判断采集到的声音信号中是否有超声信号,超声检测模块包括高通滤波器(High Pass Filter,HPF)(或者也可以是包括带通滤波器(Band PassFilter,BPF))(作为第一声音检测处理子单元的一种示例),以及包括Mag Det单元(作为第二声音检测处理子单元的一种示例)。Mag Det单元指的是基于幅值(magnitude),计算声音信号的增益的处理单元,可以包括相应的增益处理函数或者增益处理算法。并且,Mag Det单元可以计算输入声音信号的增益,根据计算得到的增益大小,确定声音信号中是否有超声信号。例如,若增益大于等于预设的增益阈值,则确定声音信号中存在超声信号,若增益小于预设的增益阈值,则确定声音信号中没有超声信号。增益阈值例如可以是30dB,也可以是其他值,其可以根据需要选择和设置。
FIFO的作用是缓存预设数量的声音信号,用于解决唤醒SOC时的丢数据问题。另外,预设数量可以根据需要选择和设置。
其中,示例性的,PGA的输入端例如与麦克风的输出端连接,用于接收麦克风采集到的声音信号,PGA的输出端与ADC的输入端连接,ADC的输出端与信号抽取滤波器的输入端连接,信号抽取滤波器的输出端分别与例如高通滤波器的输入端和FIFO的输入端连接。高通滤波器的输出端与Mag Det单元的输入端连接,Mag Det单元的输出端与GPIO接口连接。另外,FIFO的输出端与SAI接口连接。
本实现方式中,在不存在需要执行的超声业务的情况下,SOC处于休眠状态,即SOC包括的AP和ADSP都处于休眠状态,可以有效地降低手机的功耗。外置的Codec处于常开状态,以用于检测声音信号,以确定采集到的声音信号中是否包括超声信号(也可以称为超声波信号)。
示例性的,当手机中的麦克风采集到声音信号(也可以称为声音数据或者音频数据)S1之后,麦克风通过例如模拟信号输入(Analog signal input,AINP)接口将声音信号S1(作为第二声音信号的一种示例)发送给PGA作为输入信号,PGA对声音信号S1进行放大处理,得到放大后的声音信号S2(作为第一声音子信号的一种示例),然后将放大后的声音信号S2发送给ADC。ADC对放大后的声音信号S2进行模数转换,得到对应的数字声音信号S3(作为第二声音子信号的一种示例),并将声音信号S3发送给信号抽取滤波器。信号抽取滤波器对声音信号S3进行抽取滤波处理得到声音信号S4(作为第一声音信号的一种示例),并且将声音信号S4按照两路分别发送给超声检测模块中的HPF,以及发送给FIFO进行缓存。超声检测模块的作用是判断声音信号中是否有超声信号,FIFO的作用是缓存预设数量的声音信号,即用于缓存声音信号S4,用于解决唤醒SOC时的丢数据问题。其中,声音信号S4可以理解为MIC的上行信号。
HPF接收到声音信号S4后,对声音信号S4进行滤波处理,通过高频信号,滤除低频信号,得到声音信号S5(作为第一目标声音信号的一种示例),将得到的声音信号S5发送给Mag Det单元。Mag Det单元计算输入的声音信号S5的增益,若增益大于等于前述预设的增益阈值,则确定声音信号S5中存在超声信号,Mag Det单元通过GPIO接口向SOC中的AP发送中断信号(作为第一信息的一种示例),触发检测到中断,以唤醒SOC。若增益小于前述预设的增益阈值,则确定声音信号S5中不包括超声信号,Mag Det单元不需要向SOC发送中断信号,即不需要唤醒SOC。
AP接收到中断信号后,响应于该中断信号,从休眠状态切换至唤醒状态,并且向ADSP发送通知信息(作为第二信息的一种示例),将ADSP从休眠状态唤醒切换至唤醒状态,并且建立对应于SAI接口的超声检测通路,使得ADSP通过SAI接口路从FIFO获取FIFO的上行数据,即获取FIFO存储的声音信号S4。并且,ADSP通过SAI接口还可以从FIFO获取FIFO存储的声音信号S4之后的声音信号。ADSP根据获取到的声音信号,可以进行对应超声业务,该超声业务例如是前述的声波支付业务。即,ADSP侧根据获取到的声音信号,开始超声波应用算法,以进行对应的业务。另外,ADSP也可以将获取到的声音信号进行进一步处理后,将得到的声音信号发送给AP,以使AP根据声音信号进行对应超声业务,该超声业务例如是前述的声波支付业务。ADSP通过SAI接口从FIFO获取FIFO存储的声音信号S4,可以是ADSP通过SAI接口向FIFO发送数据获取请求(作为第三信息的一种示例),FIFO响应于数据获取请求,将对应的声音信号发送给ADSP。
本实现方式中,在不存在需要执行的超声业务的情况下,SOC处于休眠状态,即SOC包括的AP和ADSP都处于休眠状态,在外置于SOC的超声检测模块检测到超声信号的情况下,才唤醒SOC,相比于前述DSP不能处于休眠状态的方式,可以进一步降低声音处理装置的功耗,从而有效地降低了手机的功耗。
进一步地,本实现方式中,直接由Codec中的高通滤波器和Mag Det单元配合检测声音信号中是否存在超声信号,这2个器件的功耗相比于DSP更低,因此可以有效地降低声音处理装置的功耗,从而降低手机的功耗。
并且,由Codec中的高通滤波器和Mag Det单元配合检测声音信号中是否存在超声信号的方式,是一种将超声波检测算法(例如前述的增益处理算法)硬化的方案,即是一种将超声波检测算法硬化在Codec中的方案。这种方式中,SOC包括的AP和ADSP都处于休眠状态,仅Codec电路存在功耗消耗,相比上述DSP上运行超声波检测算法的方式,功耗更低。
另外,本实现方式中,在超声检测模块检测声音信号中是否存在超声信号的过程中,将得到的声音信号存储至FIFO,在SOC唤醒后再发送给SOC进行业务处理,可以避免声音信号丢失的问题,保证业务的正常处理,提升了用户体验。
进一步地,在另一种实现方式中,如图5所示,在确定不存在需要执行的超声业务的情况下,SOC可以处于休眠状态,即SOC包括的AP和DSP都处于休眠状态。其中,Codec中可以单独设置一个DSP用于识别声音信号中是否存在超声信号,并且在存在超声信号的情况下,Codec中的DSP向SOC发送中断信号,以唤醒SOC。这种实现方式中,由于内置的DSP耗电较高,并且Codec中的例如麦克风(Microphone,MIC)通路等也需要耗电,因此声音处理模块的功耗仍然较高。
而本申请图4所示的实现方式中,如前所述,将超声波检测算法硬化在Codec中,这种方式中,直接由Codec中的高通滤波器和Mag Det单元配合检测声音信号中是否存在超声信号,仅Codec电路存在功耗消耗,并且高通滤波器和Mag Det单元这2个器件的功耗相比于DSP上运行超声波检测算法的方式,功耗更低,因此可以有效地降低声音处理装置的功耗,从而降低了手机的功耗。
在本申请的另一些实现方式中,前述中断信号也可以是包括唤醒状态标识信息的通知信号(即通知信息),以使AP根据该通知信号唤醒。当然,Mag Det单元也可以向AP发送其他类型的信号,以唤醒AP,其可以根据需要选择和设置。
进一步地,在本申请的另一种实现方式中,在SOC处于唤醒状态的情况下,若超声检测模块检测到超声信号,也可以向SOC发送包括唤醒状态标识信息的通知信号,以使SOC保持唤醒状态,以用于进行超声业务。并且,若SOC在预设时间内未接收到包括唤醒状态标识信息的通知信号,SOC则切换至休眠状态。
在本申请的另一些实现方式中,Mag Det单元也可以是基于其他类型的声音类型检测函数实现的声音类型检测单元,其可以根据需要选择和设置。
在本申请的另一些实现方式中,前述PGA、ADC、信号抽取滤波器、PHF、BPF、FIFO、AP、ADSP等器件也可以是其他用于实现相同或者相似功能的器件,或者也可以是用于实现不同功能的器件,以及声音处理装置可以包括其他更多或者更少的器件,其可以根据需要选择和设置。
另外,前述GPIO接口和SAI接口也可以是其他类型的接口,其可以根据需要设置。
在本申请的一些实现方式中,上述各器件之间的连接可以是基于接口的电连接,也可以是其他类型的通信连接、有线连接或者其他连接等,其可以根据需要选择和设置。
本实现方式中提供的声音处理装置,应用于超声业务场景,能够实现更低的功耗,即可以降低超声波场景的功耗,解决超声波识别功耗问题,因此也可以称为低功耗超声波检测装置。
下面对本申请实现方式提供的手机的结构进行说明。
图6示出了手机的一种结构示意图。
手机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接头130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对手机的具体限定。在本申请另一些实施例中,手机可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用型之输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口等。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机的结构限定。在本申请另一些实施例中,手机也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
手机的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手机的各种功能应用以及数据处理。
手机可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。手机可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机可以设置至少一个麦克风170C。在另一些实施例中,手机可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
在本申请的另一些实现方式中,上述手机例如也可以是平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如包括:智能手表、智能手环、计步器等)、个人数字助理、便携式媒体播放器、导航设备、视频游戏设备、机顶盒、虚拟现实和/或增强现实设备、物联网设备、工业控制设备、流媒体客户端设备、电子书、阅读设备、P车载设备、OS机以及其他设备,其可以根据需要选择和设置。
在本申请的另一些实现方式中,声音处理装置也可以应用于超声以外的其他场景中,并且在例如Codec确定接收到的声音信号中包括某一种类的信号的情况下,唤醒SOC。例如,应用于前述的次声场景,在声音信号中包括次声波的情况下,唤醒SOC。或者,应用于前述的自然声场景,在声音信号中包括自然声的情况下,唤醒SOC。或者,应用于语音识别场景,在声音信号中包括唤醒词、或者声音信号包括预设用户的声音的情况下,唤醒SOC。
本申请实现方式提供的声音处理装置,基于应用的场景不同,声音处理装置的结构可以不同。下面对本申请实现方式提供的声音处理装置的结构进行进一步说明。
如图7所示,本申请提供了一种声音处理装置,应用于电子设备,在本申请的一种实现方式中,该声音处理装置包括主控模块和声音检测处理模块,主控模块与声音检测处理模块连接。主控模块可以为***级芯片。当然,主控模块也可以是与业务实现相关的其他控制模块,其可以根据需要选择和设置。声音检测处理模块为编解码器。当然,编解码器也可以是与声音信号处理相关的其他模块,其可以根据需要选择和设置。
其中,主控模块可以处于休眠状态,声音检测处理模块包括第一声音检测处理单元。第一声音检测处理单元用于接收第一声音信号,在根据第一声音信号确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块;主控模块用于接收第一信息,并响应于第一信息,从休眠状态切换至唤醒状态。
因此,本实现方式中,主控模块可以处于休眠状态,由主控模块之外的声音检测处理模块检测声音信号,并根据声音信号对应的检测结果在满足条件的情况下唤醒主控模块,有效地降低了主控模块的功耗,从而有效地降低了声音处理装置的功耗,进而有效地降低了电子设备的功耗。并且,在降低功耗的情况下,主控模块能及时进行对应业务,提高了用户的体验感。
另外,主控模块也可以处于唤醒状态,声音检测处理模块包括第一声音检测处理单元。第一声音检测处理单元用于接收第一声音信号,在根据第一声音信号确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块;主控模块用于接收第一信息,并响应于第一信息,保持唤醒状态。如此,可以使主控模块能保持唤醒状态,进行对应业务,提高了用户体验。
进一步地,如图8所示,在本申请的一种实现方式中,第一声音检测处理单元包括第一声音检测处理子单元和第二声音检测处理子单元,第一声音检测处理子单元的输出端与第二声音检测处理子单元的输入端连接。其中,第一声音检测处理子单元用于接收第一声音信号,根据第一声音信号得到第一目标声音信号,并将第一目标声音信号发送给第二声音检测处理子单元,第一目标声音信号为第一声音信号中的第一频段信号。第二声音检测处理子单元用于接收第一目标声音信号,根据第一目标声音信号确定第一目标声音信号是否包括第一目标类型声音信号,以及在确定第一声音信号包括第一类型声音信号的情况下,生成第一信息,并将第一信息发送给主控模块。
如此,第一声音检测处理子单元可以从第一声音信号中筛选出第一频段的信号作为第一目标声音信号,以使第二声音检测处理子单元根据第一目标声音信号方便准确地确定第一目标声音信号是否为第一类型声音信号,或者第一目标声音信号中是否包括第一类型声音信号。第一频段可以根据需要选择和设置。
进一步地,如图9所示,在本申请的一种实现方式中,声音检测处理模块还包括第二声音检测处理单元,第二声音检测处理单元用于接收第一声音信号,并存储第一声音信号;主控模块还用于在处于唤醒状态的情况下,从第二声音检测处理单元中获取第一声音信号,并根据第一声音信号进行第一业务。
如此,声音检测处理模块可以通过第二声音检测处理单元存储第一声音信号,在主控模块唤醒后再发送给主控模块进行对应的业务处理,可以避免声音信号丢失的问题,保证业务的正常处理。
进一步地,如图10所示,在本申请的一种实现方式中,声音检测处理模块还包括第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元,第三声音检测处理单元与第四声音检测处理单元连接,第四声音检测处理单元与第五声音检测处理单元连接,第五声音检测处理单元分别与第一声音检测处理单元和第二声音检测处理单元连接。其中,第三声音检测处理单元用于接收第二声音信号,对第二声音信号进行放大处理,得到第一声音子信号,并将第一声音子信号发送给第四声音检测处理单元,第二声音信号为声音处理装置采集到的声音信号;第四声音检测处理单元用于接收第一声音子信号,对第一声音子信号进行模数转换处理,得到第二声音子信号,并将第二声音子信号发送给第五声音检测处理单元;第五声音检测处理单元用于接收第二声音子信号,对第二声音子信号进行信号抽取滤波处理,得到第一声音信号,并将第一声音信号分别发送给第一声音检测处理单元和第二声音检测处理单元。
如此,声音检测处理模块可以将电子设备检测到的声音信号处理成便于后续处理的信号。
进一步地,如图11所示,在本申请的一种实现方式中,第三声音检测处理单元的输入端用于接收电子设备采集到的声音信号,第三声音检测处理单元的输出端与第四声音检测处理单元的输入端连接,第四声音检测处理单元的输出端与第五声音检测处理单元的输入端连接,第五声音检测处理单元的输出端分别与第一声音检测处理单元和第二声音检测处理单元的输入端连接。
另外,如图11所示,主控模块和声音检测处理模块通过第一接口和第二接口连接,其中,第一接口用于传输第一信息,第二接口用于传输第一声音信号。当然,主控模块和声音检测处理模块也可以通过其他更多或者更少的接口连接。
另外,主控模块包括第一主控处理单元和第二主控处理单元,第一主控处理单元和第二主控处理单元连接。其中,第一主控处理单元用于通过第一接口接收第一信息,并且响应于第一信息处于唤醒状态,以及向第二主控处理单元发送第二信息;第二主控处理单元用于接收第二信息,并响应于第二信息,处于唤醒状态,以及向声音检测处理模块发送第三信息,以通过第二接口从声音检测处理模块获取第一声音信号。
如此,主控模块在处于唤醒状态后,可以从声音检测处理模块获取声音信号,以进行对应业务处理,保证了业务的正常处理,有效地提升了用户体验。
本申请提供的声音处理装置,当电子设备中的例如麦克风采集到声音信号之后,麦克风通过对应接口将声音信号发送给第三声音检测处理单元,第三声音检测处理单元对声音信号进行放大处理,得到放大后的声音信号,然后将放大后的声音信号发送给第四声音检测处理单元。第四声音检测处理单元对放大后的声音信号进行模数转换,得到对应的数字声音信号,并将声音信号发送给第五声音检测处理单元。第五声音检测处理单元对声音信号进行抽取滤波处理得到声音信号,并且将声音信号分别发送给第一声音检测处理子单元和第二声音检测处理单元。第一声音检测处理子单元对声音信号进行处理,得到第一目标声音信号,将得到的第一目标声音信号发送给第二声音检测处理子单元。第二声音检测处理子单元在确定第一目标声音信号中包括第一类型声音信号的情况下,通过第一接口向主控模块中的第一主控处理单元发送例如中断信号(作为第一信息的一种示例),以唤醒主控模块。在确定声音信号中不包括第一类型声音信号的情况下,不需要向主控模块发送中断信号,即不需要唤醒主控模块,主控模块继续保持休眠状态。
第一主控处理单元接收到中断信号后,响应于该中断信号,从休眠状态切换至唤醒状态,并且向第二主控处理单元发送通知信息(作为第二信息的一种示例),将第二主控处理单元从休眠状态唤醒切换至唤醒状态,并且建立对应于第二接口的声音检测通路,使得第二主控处理单元通过第二接口路从第二声音检测处理单元获取第二声音检测处理单元的上行数据,即获取第二声音检测处理单元存储的声音信号。并且,第二主控处理单元通过第二接口还可以从第二声音检测处理单元中获取第二声音检测处理单元存储的主控模块唤醒后的所有声音信号,例如第二主控处理单元通过第二接口向第二声音检测处理单元发送获取请求(作为第三信息的一种示例),以使第二声音检测处理单元将对应的声音信号发送给第二主控处理单元)。第二主控处理单元将获取到的声音信号进行相应处理后,将得到的声音信号发送给第一主控处理单元,以使第一主控处理单元根据声音信号进行对应业务。
本实现方式中,在不存在需要执行的超声业务的情况下,主控模块处于休眠状态,即主控模块包括的第一主控处理单元和第二主控处理单元都处于休眠状态,在声音检测处理模块检测到第一类型声音信号的情况下,才唤醒主控模块,可以进一步降低声音处理装置的功耗,从而有效地降低了手机的功耗。
另外,在主控模块处于唤醒状态的情况下,声音检测处理模块也可以通过第一信号维持主控模块处于唤醒状态不变,可以使主控模块能够及时处理业务。
进一步地,本实现方式中,直接由声音检测处理模块中的第一声音检测处理子单元和第二声音检测处理单元配合检测声音信号中是否存在第一类型声音信号,这2个器件的功耗相比于第二主控处理单元更低,因此可以有效地降低声音处理装置的功耗,从而降低手机的功耗。并且,由声音检测处理模块中的第一声音检测处理子单元和第二声音检测处理子单元配合检测声音信号中是否存在第一类型声音信号的方式,是一种将声音检测算法硬化的方案,即一种将声音检测算法硬化在声音检测处理模块中的方案。这种方式中,主控模块包括的第一主控处理单元和第二主控处理单元,在不存在需要执行的超声业务的情况下都处于休眠状态,仅声音检测处理模块电路存在功耗消耗,相比在主控模块中运行声音检测算法的方式,功耗更低。
另外,本实现方式中,在声音检测处理模块检测声音信号中是否存在第一类型声音信号的过程中,将得到的声音信号存储至第二声音检测处理单元,在主控模块唤醒后再发送给主控模块进行业务处理,可以避免声音信号丢失的问题,保证业务的正常处理,提升了用户体验。
本申请实现方式提供的声音处理装置中,对应于应用场景的各类声音检测类算法硬化在声音检测处理模块中,可以使得声音检测处理模块识别到待分析的声音信号中是否包括预设种类的声音信号,以得到声音检测结果,并且根据声音检测结果,调整主控模块的工作模式为唤醒状态还是休眠状态。相比于由主控模块自身进行声音类型检测,以得到声音检测结果,并且根据声音检测结果,调整主控模块的工作模式为唤醒状态还是休眠状态的方式,由于声音检测处理模块是独立于主控模块的外置器件,相比于主控模块的功耗更低,因此可以有效地降低对应电子设备的功耗。
在本申请的另一些实现方式中,声音处理装置可以包括更多或者更少的模块,以及各模块也可以包括更多或者更少的单元,各单元也可以包括更多或者更少的子单元,在实现上述功能的情况下,其皆可以根据需要选择和设置。
进一步地,本申请实现方式还提供一种芯片***,该芯片***包括前述的声音处理装置。另外,本申请实现方式还提供一种电子设备,该电子设备包括该芯片***。
进一步地,如图12所示,本申请的实施方式提供了一种电子设备,该电子设备包括前述的声音处理装置。当然,该电子设备也可以包括其他的器件。
示例性的,请参见图13,图13为根据本申请的一种实现方式提供的电子设备900的结构示意图。电子设备900可以包括耦合到控制器中枢904的一个或多个处理器901。对于至少一个实现方式,控制器中枢904经由诸如前端总线(Front Side Bus,FSB)之类的多分支总线、诸如快速通道互连(QuickPath Interconnect,QPI)之类的点对点接口、或者类似的连接与处理器901进行通信。处理器901执行控制一般类型的数据处理操作的指令。在一实现方式中,控制器中枢904包括,但不局限于,图形存储器控制器中枢(Graphics Memorycontroller hub,GMCH)(图中未示出)和输入/输出中枢(IOH)(其可以在分开的芯片上)(图中未示出),其中GMCH包括存储器和图形控制器并与IOH耦合。
电子设备900还可包括耦合到控制器中枢904的协处理器906和存储器902。或者,存储器902和GMCH中的一个或两者可以被集成在处理器901内(如本申请中所描述的),存储器902和协处理器906直接耦合到处理器901以及控制器中枢904,控制器中枢904与IOH处于单个芯片中。
存储器902可以是例如动态随机存取存储器(Dynamic Random Access Memory,DRAM)、相变存储器(Phase Change Memory,PCM)或这两者的组合。
在一个实现方式中,协处理器906是专用处理器,诸如例如高吞吐量众核(ManyIntegrated Core,MIC)处理器、网络或通信处理器、压缩引擎、图形处理器、通用图形处理器(General Purpose Graphics Processing Units,GPGPU)、或嵌入式处理器等等。协处理器906的任选性质用虚线表示在图13中。
在一个实现方式中,电子设备900可以进一步包括网络接口(Network InterfaceCard,NIC)903。网络接口903可以包括收发器,用于为电子设备900提供无线电接口,进而与任何其他合适的设备(如前端模块,天线等)进行通信。在各种实现方式中,网络接口903可以与电子设备900的其他组件集成。网络接口903可以实现上述实现方式中的通信单元的功能。
电子设备900可以进一步包括输入/输出(I/O)设备905。输入/输出(I/O)设备905可以包括:用户界面,该设计使得用户能够与电子设备900进行交互;***组件接口的设计使得***组件也能够与电子设备900交互;和/或传感器设计用于确定与电子设备900相关的环境条件和/或位置信息。
值得注意的是,图13仅是示例性的。即虽然图13中示出了电子设备900包括处理器901、控制器中枢904、存储器902等多个器件,但是,在实际的应用中,使用本申请各方法的设备,可以仅包括电子设备900各器件中的一部分器件,例如,可以仅包含处理器901和NIC903。图13中可选器件的性质用虚线示出。
在该电子设备900的存储器中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令,具体而言,存储有该指令的暂时和永久副本。
本申请中,该电子设备900具体可以是手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)或台式电脑等终端设备。该电子设备的存储器中存储的指令可以包括:由处理器中的至少一个单元执行时导致电子设备实施如前述提到的声音处理方法的指令。
示例性地,图14为根据本申请的一种实现方式提供的SoC(System on Chip,***级芯片)1000的结构示意图。在图14中,相似的部件具有同样的附图标记。另外,虚线框是更先进的SoC 1000的可选特征。该SoC 1000可以被用于根据本申请的任一电子设备,根据其所在的设备不同以及其内所存储的指令的不同,可以实现相应的功能。
在图14中,SoC1000包括:互连单元1002,其被耦合至处理器1001;***代理单元1006;总线控制器单元1005;集成存储器控制器单元1003;一组或一个或多个协处理器1007,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(Static Random-Access Memory,SRAM)单元1008;直接存储器存取(Direct MemoryAccess,DMA)单元1004。在一个实现方式中,协处理器1007包括专用处理器,诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等等。
SRAM单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令,具体而言,存储有该指令的暂时和永久副本。该指令可以包括:由处理器1001中的至少一个单元执行时导致电子设备实施如前述所提到的声音处理方法的指令。
本申请的实现方式提供了一种电子设备,包括:存储器,用于存储计算机程序,计算机程序包括程序指令;处理器,用于执行程序指令,以使电子设备执行如前述的声音处理方法。
本申请的实现方式提供了一种计算机可读取存储介质,计算机可读取存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被电子设备运行以使电子设备执行前述的声音处理方法。
本申请的实现方式提供了一种计算机程序产品,包括计算机程序,该计算机程序被电子设备运行以使电子设备执行前述的声音处理方法。
术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实现方式中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实现方式中都需要这样的特征,并且在一些实现方式中,可以不包括这些特征或者可以与其他特征组合。
虽然通过参照本申请的某些实现方式,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,以上内容是结合具体的实现方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变,包括做出若干简单推演或替换,而不偏离本申请的精神和范围。
Claims (12)
1.一种声音处理装置,其特征在于,应用于电子设备,所述声音处理装置包括主控模块和声音检测处理模块,所述主控模块包括第一主控处理单元和第二主控处理单元,所述声音检测处理模块为编解码器,所述声音检测处理模块包括第一声音检测处理单元和第二声音检测处理单元,所述第一声音检测处理单元包括第一声音检测处理子单元和第二声音检测处理子单元,所述第一声音检测处理子单元包括滤波器,所述第二声音检测处理子单元包括硬化在所述第二声音检测处理子单元中的声音类型检测算法,其中,
所述第二声音检测处理单元用于接收第一声音信号,并存储所述第一声音信号;
所述第一声音检测处理子单元用于接收所述第一声音信号,通过所述滤波器对所述第一声音信号进行滤波处理得到第一目标声音信号,并将所述第一目标声音信号发送给所述第二声音检测处理子单元,所述第一目标声音信号为所述第一声音信号中的第一频段信号;
所述第二声音检测处理子单元用于接收所述第一目标声音信号,通过所述声音类型检测算法对所述第一目标声音信号进行声音类型检测处理确定所述第一目标声音信号的增益,并根据所述增益确定所述第一目标声音信号是否包括第一类型声音信号,以及在确定所述第一目标声音信号包括所述第一类型声音信号的情况下,生成第一信息,并将所述第一信息发送给所述主控模块中的所述第一主控处理单元;
所述第一主控处理单元用于接收所述第一信息,并且响应于所述第一信息,处于唤醒状态,以及向所述第二主控处理单元发送第二信息;
所述第二主控处理单元用于接收所述第二信息,并响应于所述第二信息,处于唤醒状态,以及向所述声音检测处理模块中的所述第二声音检测处理单元发送第三信息,以从所述第二声音检测处理单元获取所述第一声音信号用于进行第一业务。
2.根据权利要求1所述的声音处理装置,其特征在于,所述第一类型声音信号为超声信号,所述第一声音检测处理子单元包括高通滤波器或者带通滤波器。
3.根据权利要求1所述的声音处理装置,其特征在于,所述第二声音检测处理单元包括先进先出存储器。
4.根据权利要求1-3任意一项所述的声音处理装置,其特征在于,所述主控模块与所述声音检测处理模块通过第一接口和第二接口连接,其中,所述第一接口用于传输所述第一信息,所述第二接口用于传输所述第一声音信号。
5.根据权利要求1-3任意一项所述的声音处理装置,其特征在于,
所述第一信息为用于调整所述主控模块的工作状态的中断信号;或者
所述第一信息为包括所述唤醒状态标识信息的通知信号。
6.根据权利要求1所述的声音处理装置,其特征在于,所述声音检测处理模块还包括第三声音检测处理单元、第四声音检测处理单元和第五声音检测处理单元,其中,
所述第三声音检测处理单元用于接收第二声音信号,对所述第二声音信号进行放大处理,得到第一声音子信号,并将所述第一声音子信号发送给所述第四声音检测处理单元,所述第二声音信号为所述电子设备采集到的声音信号;
所述第四声音检测处理单元用于接收所述第一声音子信号,对所述第一声音子信号进行模数转换处理,得到第二声音子信号,并将所述第二声音子信号发送给所述第五声音检测处理单元;
所述第五声音检测处理单元用于接收所述第二声音子信号,对所述第二声音子信号进行信号抽取滤波处理,得到所述第一声音信号,并将所述第一声音信号分别发送给所述第一声音检测处理单元和所述第二声音检测处理单元。
7.根据权利要求6所述的声音处理装置,其特征在于,所述第三声音检测处理单元包括可编程增益放大器,所述第四声音检测处理单元包括模数转换器,所述第五声音检测处理单元包括信号抽取滤波器。
8.根据权利要求1-3任意一项所述的声音处理装置,其特征在于,所述主控模块用于响应于所述第一信息,处于唤醒状态,包括:
所述主控模块用于响应于所述第一信息,从休眠状态切换至所述唤醒状态;或者
所述主控模块用于响应于所述第一信息,保持所述唤醒状态。
9.根据权利要求1-3任意一项所述的声音处理装置,其特征在于,所述主控模块为***级芯片。
10.一种电子设备,其特征在于,包括如权利要求1-9任意一项所述的声音处理装置。
11.一种声音处理方法,其特征在于,应用于电子设备,所述电子设备包括声音处理装置,所述声音处理装置包括主控模块和声音检测处理模块,所述主控模块包括第一主控处理单元和第二主控处理单元,所述声音检测处理模块为编解码器,所述声音检测处理模块包括第一声音检测处理单元和第二声音检测处理单元,所述第一声音检测处理单元包括第一声音检测处理子单元和第二声音检测处理子单元,所述第一声音检测处理子单元包括滤波器,所述第二声音检测处理子单元包括硬化在所述第二声音检测处理子单元中的声音类型检测算法,所述方法包括:
所述第二声音检测处理单元接收第一声音信号,并存储所述第一声音信号;
所述第一声音检测处理子单元接收所述第一声音信号,通过所述滤波器对所述第一声音信号进行滤波处理得到第一目标声音信号,并将所述第一目标声音信号发送给所述第二声音检测处理子单元,所述第一目标声音信号为所述第一声音信号中的第一频段信号;
所述第二声音检测处理子单元接收所述第一目标声音信号,通过所述声音类型检测算法对所述第一目标声音信号进行声音类型检测处理确定所述第一目标声音信号的增益,并根据所述增益确定所述第一目标声音信号是否包括第一类型声音信号,以及在确定所述第一目标声音信号包括所述第一类型声音信号的情况下,生成第一信息,并将所述第一信息发送给所述主控模块中的所述第一主控处理单元;
所述第一主控处理单元接收所述第一信息,并且响应于所述第一信息,处于唤醒状态,以及向所述第二主控处理单元发送第二信息;
所述第二主控处理单元接收所述第二信息,并响应于所述第二信息,处于唤醒状态,以及向所述声音检测处理模块中的所述第二声音检测处理单元发送第三信息,以从所述第二声音检测处理单元获取所述第一声音信号用于进行第一业务。
12.根据权利要求11所述的声音处理方法,其特征在于,处于唤醒状态包括:
从休眠状态切换至所述唤醒状态;或者
保持所述唤醒状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310718953.0A CN116456441B (zh) | 2023-06-16 | 2023-06-16 | 声音处理装置、方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310718953.0A CN116456441B (zh) | 2023-06-16 | 2023-06-16 | 声音处理装置、方法和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116456441A CN116456441A (zh) | 2023-07-18 |
CN116456441B true CN116456441B (zh) | 2023-10-31 |
Family
ID=87128890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310718953.0A Active CN116456441B (zh) | 2023-06-16 | 2023-06-16 | 声音处理装置、方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116456441B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113031749A (zh) * | 2019-12-09 | 2021-06-25 | Oppo广东移动通信有限公司 | 电子设备 |
WO2022033574A1 (zh) * | 2020-08-13 | 2022-02-17 | 北京京东尚科信息技术有限公司 | 设备唤醒方法及装置 |
WO2022068544A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 语音唤醒方法、电子设备及芯片*** |
CN111819533B (zh) * | 2018-10-11 | 2022-06-14 | 华为技术有限公司 | 一种触发电子设备执行功能的方法及电子设备 |
WO2022156438A1 (zh) * | 2021-01-20 | 2022-07-28 | 华为技术有限公司 | 一种唤醒方法及电子设备 |
CN114816026A (zh) * | 2021-01-21 | 2022-07-29 | 华为技术有限公司 | 一种低功耗待机方法、电子设备及计算机可读存储介质 |
WO2023029967A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 一种播放音频的方法及电子设备 |
CN115985323A (zh) * | 2023-03-21 | 2023-04-18 | 北京探境科技有限公司 | 语音唤醒方法、装置、电子设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9992745B2 (en) * | 2011-11-01 | 2018-06-05 | Qualcomm Incorporated | Extraction and analysis of buffered audio data using multiple codec rates each greater than a low-power processor rate |
US20140006825A1 (en) * | 2012-06-30 | 2014-01-02 | David Shenhav | Systems and methods to wake up a device from a power conservation state |
-
2023
- 2023-06-16 CN CN202310718953.0A patent/CN116456441B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111819533B (zh) * | 2018-10-11 | 2022-06-14 | 华为技术有限公司 | 一种触发电子设备执行功能的方法及电子设备 |
CN113031749A (zh) * | 2019-12-09 | 2021-06-25 | Oppo广东移动通信有限公司 | 电子设备 |
WO2022033574A1 (zh) * | 2020-08-13 | 2022-02-17 | 北京京东尚科信息技术有限公司 | 设备唤醒方法及装置 |
WO2022068544A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 语音唤醒方法、电子设备及芯片*** |
WO2022156438A1 (zh) * | 2021-01-20 | 2022-07-28 | 华为技术有限公司 | 一种唤醒方法及电子设备 |
CN114816026A (zh) * | 2021-01-21 | 2022-07-29 | 华为技术有限公司 | 一种低功耗待机方法、电子设备及计算机可读存储介质 |
WO2023029967A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 一种播放音频的方法及电子设备 |
CN115985323A (zh) * | 2023-03-21 | 2023-04-18 | 北京探境科技有限公司 | 语音唤醒方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116456441A (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110364151B (zh) | 一种语音唤醒的方法和电子设备 | |
KR102354275B1 (ko) | 음성 인식 방법 및 장치, 그리고 저장 매체 | |
CN108684029B (zh) | 一种蓝牙配对连接方法及***、蓝牙设备和终端 | |
CN107742523B (zh) | 语音信号处理方法、装置以及移动终端 | |
CN108597507A (zh) | 远场语音功能实现方法、设备、***及存储介质 | |
WO2021238354A1 (zh) | 一种抵消漏音的方法及电子设备 | |
CN108320751B (zh) | 一种语音交互方法、装置、设备和服务器 | |
CN110572866B (zh) | 一种唤醒锁的管理方法及电子设备 | |
CN114816026B (zh) | 一种低功耗待机方法、电子设备及计算机可读存储介质 | |
WO2022262410A1 (zh) | 录音方法和装置 | |
CN112771828A (zh) | 一种音频数据的通信方法及电子设备 | |
CN114822525A (zh) | 语音控制方法和电子设备 | |
CN113473013A (zh) | 图像美化效果的显示方法、装置和终端设备 | |
WO2022022585A1 (zh) | 电子设备及其音频降噪方法和介质 | |
CN116456441B (zh) | 声音处理装置、方法和电子设备 | |
US20210264923A1 (en) | Audio system with digital microphone | |
WO2023124248A9 (zh) | 声纹识别方法和装置 | |
CN109065042B (zh) | 一种电子设备及一种信息处理的方法 | |
CN112866867A (zh) | 低功耗降噪方法、装置、可读存储介质及耳机 | |
CN115617191A (zh) | 触控异常抑制方法、电子设备以及存储介质 | |
WO2022052730A1 (zh) | 应用异常退出的修复方法、装置与电子设备 | |
CN115103304A (zh) | 位置信息的调用方法及装置 | |
CN113162837B (zh) | 语音消息的处理方法、装置、设备及存储介质 | |
CN114245443A (zh) | 唤醒对齐方法、***及相关装置 | |
CN116261124A (zh) | 数据传输方法、装置、电子设备和智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |