CN115914948A - 一种数据处理方法以及相关设备 - Google Patents
一种数据处理方法以及相关设备 Download PDFInfo
- Publication number
- CN115914948A CN115914948A CN202111166702.3A CN202111166702A CN115914948A CN 115914948 A CN115914948 A CN 115914948A CN 202111166702 A CN202111166702 A CN 202111166702A CN 115914948 A CN115914948 A CN 115914948A
- Authority
- CN
- China
- Prior art keywords
- target
- ear
- audio
- detection result
- worn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 407
- 210000003454 tympanic membrane Anatomy 0.000 claims abstract description 249
- 238000000034 method Methods 0.000 claims abstract description 95
- 230000005236 sound signal Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 17
- 210000000613 ear canal Anatomy 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003825 pressing Methods 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 26
- 238000012549 training Methods 0.000 description 22
- 238000013145 classification model Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 15
- 238000012795 verification Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000001960 triggered effect Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011022 operating instruction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Headphones And Earphones (AREA)
Abstract
本申请实施例公开一种数据处理方法以及相关设备,该方法可用于智能耳机领域。一个耳机包括两个目标耳筒,方法包括:获取与第一探测信号对应的第一反馈信号,第一探测信号为通过目标耳筒发射的音频信号,第一探测信号所在频段为8kHz‑20kHz,第一反馈信号包括第一探测信号所对应的反射信号;当检测到耳机被佩戴,根据第一反馈信号,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳;基于声学原理对每个目标耳筒的实际佩戴情况进行检测,也即用户不再需要查看耳筒上的标记,使用户操作更为简单;且不需要增加额外的硬件,节约了制造成本。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种数据处理方法以及相关设备。
背景技术
随着科技的发展,耳机成为越来越流行的一种产品。蓝牙耳机、无线耳机等类型的耳机的发明,使得用户在使用耳机有了更大的活动空间,用户可以更加方便的收听音频、观看视频、体验虚拟现实(virtual reality,VR)游戏等。
目前主流的方式为,一个耳机的两个耳筒上预先标记有左(left,L)和右(right,R),用户需要根据两个耳筒上的标记,将两个耳筒分别佩戴于左耳和右耳上,但两个耳筒可能会被用户戴反,当通过耳机播放立体声时,戴反耳机会导致用户听到的声音不自然。
发明内容
本申请实施例提供了一种数据处理方法以及相关设备,基于声学原理对每个目标耳筒的实际佩戴情况进行检测,也即用户不再需要查看耳筒上的标记,以及基于耳筒上的标记佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;由于一般耳机中均内置有扬声器和麦克风,不需要增加额外的硬件,节约了制造成本。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种数据处理方法,可用于智能耳机领域中。一个耳机包括两个目标耳筒,方法包括:执行设备通过目标耳筒发射第一探测信号,第一探测信号为音频信号,第一探测信号所在频段为8kHz-20kHz;执行设备可以为耳机,或者为耳机所连接的电子设备。执行设备通过目标耳筒采集与第一探测信号对应的第一反馈信号,第一反馈信号包括第一探测信号所对应的反射信号。在检测到耳机被佩戴时,执行设备根据第一探测信号所对应的第一反馈信号,确定与每个目标耳筒对应的第一检测结果,一个第一检测结果用于指示一个目标耳筒为佩戴于左耳或佩戴于右耳。结合前述说明可知,在第一反馈信号包括的为第一探测信号所对应的反射信号的情况下,也即执行设备利用发送第一探测信号的目标耳筒来采集第一探测信号,则用户在仅佩戴一个目标耳筒的情况下,执行设备也可以获取到与第一探测信号对应的第一反馈信号,进而根据第一反馈信号,确定前述佩戴的一个目标耳筒为佩戴于左耳还是右耳。
本实现方式中,通过目标耳筒发射第一探测信号,并通过目标耳筒获取与第一探测信号对应的第一反馈信号,根据第一反馈信号确定目标耳筒为佩戴于用户的左耳还是右耳;通过前述方案可知,本申请中不会预先设定每个耳筒的类别,而是在用户佩戴耳筒后,基于用户的实际佩戴情况来确定目标耳筒是佩戴在左耳还是右耳,也即用户不再需要查看耳筒上的标记,以及基于耳筒上的标记佩戴耳机,而是可以随机的佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,基于声学原理对每个目标耳筒的实际佩戴情况进行检测,由于一般耳机中均内置有扬声器和麦克风,不需要增加额外的硬件,节约了制造成本;此外,第一探测信号所在频段为8kHz-20kHz,也即不同耳机上的扬声器都可以准确的发送第一探测信号,也即第一探测信号所在频段不受期间差异影响,有利于提高检测结果的准确率。
在第一方面的一种可能实现方式中,第一探测信号为在不同频率上变化的音频信号,第一探测信号为在不同频率上的信号强度相同,作为示例,例如第一探测信号可以选用线性调频(chirp)信号或其他类型的音频信号等。
在第一方面的一种可能实现方式中,当检测到如下任一种或多种情况时,视为检测到耳机被佩戴:检测到预设类型的应用程序被打开、检测到与耳机通信连接的电子设备的屏幕亮屏或者检测到目标耳筒被放置至耳朵上。其中,预设类型的应用程序可以为视频类应用程序、游戏类应用程序、导航类应用程序或其他可能产生立体声音频的应用程序等。
本申请实施例中,提供了视为检测到耳机被佩戴的多种情况,扩展了本方案的应用场景;此外,当预设类型的应用程序被打开时、检测到与耳机通信连接的电子设备的屏幕亮屏时或者检测到目标耳筒被放置至耳朵上时,均未开始通过耳机播放音频,也即在实际通过耳机播放音频之前就对耳筒的实际佩戴情况进行检测,有利于协助耳机以正确的形式播放音频,以进一步提高本方案的用户粘度。
在第一方面的一种可能实现方式中,方法还可以包括:执行设备获取与目标耳筒的多个佩戴角度对应的多组目标特征信息,每组目标特征信息可以包括佩戴于左耳的目标耳筒在目标佩戴角度时得到的第二反馈信号的特征信息,和,佩戴于右耳的目标耳筒在该目标佩戴角度时得到的第二反馈信号的特征信息,也即每个目标特征信息包括与目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息,第二反馈信号包括第二探测信号所对应的反射信号,第二探测信号为通过目标耳筒发射的音频信号。执行设备根据第一反馈信号,确定与目标耳筒对应的第一检测结果,包括:执行设备根据第一反馈信号和多组目标特征信息,确定第一检测结果。
本申请实施例中,还可以获取到与目标耳筒的多个佩戴角度对应的多个目标特征信息,每个目标特征信息包括与目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息,进而根据第一反馈信号和多个佩戴角度对应的多个目标特征信息,来得到第一检测结果,以保证无论目标耳筒以何种佩戴角度进行佩戴时,都能够得到一个准确的检测结果,有利于进一步提高最终得到的检测结果的准确性。
在第一方面的一种可能实现方式中,执行设备根据第一反馈信号和多组目标特征信息,确定第一检测结果,可以包括:当检测到耳机被佩戴之后,执行设备可以通过目标耳筒上配置的惯性测量单元获取目标耳筒在反射第一探测信号时(或采集第一反馈信号时)的目标佩戴角度,也即获取到了与第一反馈信号对应的目标佩戴角度。执行设备从与目标耳筒的多个佩戴角度对应的多个目标特征信息中获取与目标佩戴角度对应的一组确定的目标特征信息,该一组确定的目标特征信息可以包括佩戴于左耳的耳筒在目标佩戴角度时得到的第二反馈信号的特征信息,和,佩戴于右耳的耳筒在目标佩戴角度时得到的第二反馈信号的特征信息。执行设备根据第一反馈信号所对应的第一特征信息,计算第一特征信息与佩戴于左耳的耳筒在目标佩戴角度时得到的反馈信号的特征信息之间的相似度,和第一特征信息与佩戴于右耳的耳筒在目标佩戴角度时得到的反馈信号的特征信息之间的相似度,以确定与目标耳筒对应的第一检测结果。
在第一方面的一种可能实现方式中,执行设备确定与目标耳筒对应的第一检测结果之后,方法还包括:执行设备获取与每个目标耳筒对应的第二检测结果,一个第二检测结果用于指示一个目标耳筒为佩戴于左耳或佩戴于右耳,第二检测结果为对通过目标耳筒进行再次检测后得到。若第一检测结果和第二检测结果不一致,且待播放音频的类型属于预设类型,则执行设备输出第三提示信息;其中,待播放音频为需要通过目标耳筒播放的音频,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。“对目标耳筒的类别进行矫正”指的是将被确定为佩戴于左耳的耳筒的类别更改为被确定为佩戴于右耳,将被确定为佩戴于右耳的耳筒的类别更改为被确定为佩戴于左耳。
本实现方式中,能够提高最终确定的每个耳筒的佩戴情况的准确性;且只有在待播放音频的类型属于预设类型的情况,才会由用户对检测结果进行校正,以减少对用户不必要的打扰,有利于提高本方案的用户粘度。
在第一方面的一种可能实现方式中,预设类型包括以下中的任一种或多种的组合:立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频。
本实现方式中,提供了需要用户进行矫正的预设类型的具体几种类型,提高了本方案的实现灵活性,扩展了本方案的应用场景;此外,由于对于立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频这几种类型的音频,若执行设备确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况不一致,往往会非常影响用户体验,例如在待播放音频为来源于视频类或游戏类或游戏类应用程序的音频的情况下,若确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况不一致,则会导致用户看到的画面与用户听到的声音无法正确匹配;再例如在待播放音频为携带有方向信息的音频的情况下,若确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况不一致,则会导致待播放音频的播放方向与待播放音频中的内容无法正确匹配等,在待播放音频为预设音频的情况下,都会给用户造成很严重的混乱,从而在这几种情况下,会更加需要保证确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况的一致性,以给用户提供良好的使用体验。
在第一方面的一种可能实现方式中,执行设备确定与目标耳筒对应的第一检测结果之后,方法还包括:执行设备通过至少一个目标耳筒发出提示音,提示音用于对第一检测结果的正确性进行验证。本实现方式中,在完成对每个耳筒的实际佩戴情况进行检测之后,还会通过至少一个目标耳筒发出提示音,以对预测的第一检测结果进行验证,以保证每个耳筒的预测佩戴情况与实际佩戴情况符合,以进一步提高本方案的用户粘度。
在第一方面的一种可能实现方式中,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒被确定为佩戴于第一方向上,第二耳筒被确定为佩戴于第二方向上。执行设备通过目标耳筒发出提示音,包括:执行设备在通过第一耳筒发出第一提示音的同时,通过第一展示界面输出第一提示信息,第一提示信息用于指示第一方向为左耳还是右耳;在通过第二耳筒发出第二提示音的同时,通过第一展示界面输出第二提示信息,第二提示信息用于指示第二方向为左耳还是右耳。具体的,在一种实现方式中,执行设备可以为保持第二耳筒不发出声音,先通过第一耳筒发出第一提示音;然后保持第一耳筒不发出声音,通过第二耳筒发出第二提示音。在另一种实现方式中,执行设备可以同时通过第一耳筒和第二耳筒发出声音,但第一提示音的音量要远高于第二提示音的音量;然后同时通过第一耳筒和第二耳筒发出声音,但第二提示音的音量要远高于第一提示音的音量。
本实现方式中,用户可以直接结合通过展示界面示出的提示信息和听到的提示音,来确定执行设备检测的每个目标耳筒的佩戴情况(也即每个目标耳筒所对应的检测结果)是否正确,降低了每个目标耳筒所对应的检测结果的验证过程的难度,不增加用户额外的认知负担,方便用户养成新的使用习惯,有利于提高本方案的用户粘度。
在第一方面的一种可能实现方式中,执行设备还可以通过第一展示界面展示有第一图标,通过第一图标获取用户输入的第一操作,响应于获取到的第一操作,触发对目标耳筒的类别进行矫正。也即将基于第一检测结果确定为被佩戴于左耳的耳筒的类别修改为被佩戴于右耳,将基于第一检测结果确定为被佩戴于右耳的耳筒的类别修改为被佩戴于左耳。
在第一方面的一种可能实现方式中,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒被确定为佩戴于第一方向上,第二耳筒被确定为佩戴于第二方向上,步骤308可以包括:执行设备从第一耳筒和第二耳筒中获取被确定为佩戴于预设方向上的耳筒,并仅通过被确定为佩戴于预设方向上的耳筒发出提示音。预设方向可以为用户的左耳,也可以为用户的右耳。
本申请实施例中,仅在预设方向(也即用户的左耳或者右耳上)发出提示音,也即若仅通过被确定为佩戴于左耳上的目标耳筒发出提示音,用户需要判断发出提示音的目标耳筒是否被佩戴于左耳上;或者仅通过被确定为佩戴于右耳上的目标耳筒发出提示音,用户需要判断发出提示音的目标耳筒是否被佩戴于右耳上,提供了一种新的目标耳筒的检测结果的验证方式,提高了本方案的实现灵活性。
在第一方面的一种可能实现方式中,耳机为包耳式耳机或压耳式耳机,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒中配置有第一音频采集装置,第二耳筒中配置有第二音频采集装置。当耳机被佩戴时,第一音频采集装置与用户的耳轮区域对应,第二音频采集装置与用户的耳甲区域对应;或者,当耳机被佩戴时,第一音频采集装置与用户的耳甲区域对应,第二音频采集装置与用户的耳轮区域对应。“与用户的耳轮区域对应”具体可以为与用户的耳轮区域接触,也可以为悬浮在用户的耳轮区域上方;对应的,“与用户的耳甲区域对应”具体可以为与用户的耳甲区域接触,也可以为悬浮在用户的耳甲区域上方。
本实现方式中,由于耳轮区域是遮挡最严重的区域,耳甲区域是遮挡最弱的区域,也即若音频采集装置与用户的耳轮区域对应,则采集到的第一反馈信号相对于发送的第一探测信号会被大大削弱;若音频采集装置与用户的耳甲区域对应,则采集到的第一反馈信号相对于发送的第一探测信号被削弱的程度会较低,以进一步放大左右耳所对应的第一反馈信号的差别,有利于提高与目标耳筒对应的检测结果的准确率。
在第一方面的一种可能实现方式中,第一音频采集装置与左耳的耳轮区域对应,第二音频采集装置与右耳的耳甲区域对应;或者,第二音频采集装置与左耳的耳轮区域对应,第一音频采集装置与右耳的耳甲区域对应。也即无论用户怎么佩戴耳机,均为一个音频采集装置与左耳的耳轮区域对应,另一个音频采集装置与右耳的耳甲区域对应。
在第一方面的一种可能实现方式中,第一音频采集装置与左耳的耳甲区域对应,第二音频采集装置与右耳的耳轮区域对应;或者,第二音频采集装置与左耳的耳甲区域对应,第一音频采集装置与右耳的耳轮区域对应。也即在无论用户怎么佩戴耳机,均为一个音频采集装置与左耳的耳甲区域对应,另一个音频采集装置与右耳的耳轮区域对应。
在第一方面的一种可能实现方式中,执行设备根据反馈信号,确定目标耳筒的第一类别,包括:执行设备根据采集到的探测信号所对应的反射信号(也即反馈信号的一种具体表现形式),基于耳部传输函数确定目标耳筒的第一类别,其中,耳机为包耳式耳机或压耳式耳机,耳部传输函数为耳廓传输函数EATF;或者,耳机为入耳式耳机、半入耳式耳机或包耳式耳机,耳部传输函数为耳道传输函数ECTF。
本实现方式中,提供了在耳机处于不同形态时,具体采用什么类型的二部传输函数,扩展了本方案的应用场景,提高了本方案的灵活性。
在第一方面的一种可能实现方式中,在第一反馈信号包括所述第一探测信号所对应的反射信号的情况下,也即第一反馈信号是通过发射第一探测信号的目标耳筒采集到的。则当执行设备检测到目标耳筒(也即耳机中的任一个耳筒)被佩戴时,可以根据第一反馈信号的信号强度,确定与采集该第一反馈信号的目标耳筒对应的目标佩戴信息,目标佩戴信息用于指示目标耳筒的佩戴松紧度;需要说明的是,若耳机中的两个目标耳筒均执行前述操作,则可以获取到每个目标耳筒的佩戴松紧度。
本申请实施例中,通过声学信号不仅可以检测两个耳筒的实际佩戴情况,还可以检测耳筒的佩戴松紧度,进而能够为用户提供更为精细化的服务,有利于进一步提高本方案的用户粘度。
第二方面,本申请实施例提供了一种数据处理方法,其特征在于,一个耳机包括两个目标耳筒,方法包括:执行设备获取与第一探测信号对应的第一反馈信号,第一探测信号为通过目标耳筒发射的音频信号,第一反馈信号包括第一探测信号所对应的反射信号;当检测到耳机被佩戴,执行设备获取与第一反馈信号对应的目标佩戴角度,目标佩戴角度为采集第一反馈信号时目标耳筒的佩戴角度;执行设备获取与目标佩戴角度对应的目标特征信息,目标特征信息用于指示当目标耳筒在目标佩戴角度时得到的反馈信号的特征信息;执行设备根据第一反馈信号和目标特征信息,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
在第二方面的一种可能实现方式中,第一探测信号和第二探测信号的所在频段均为8kHz-20kHz。
本申请实施例的第二方面提供的执行设备还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第二方面以及第二方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第三方面,本申请实施例提供了一种数据处理方法,可用于智能耳机领域中。一个耳机包括两个目标耳筒,方法可以包括:执行设备获取与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳;通过目标耳筒发出提示音,提示音用于对第一检测结果的正确性进行验证。
在第三方面的一种可能实现方式中,执行设备获取与目标耳筒对应的第一检测结果,包括:执行设备通过目标耳筒发射探测信号,探测信号为音频信号;通过目标耳筒采集与探测信号对应的反馈信号,反馈信号包括探测信号所对应的反射信号;根据反馈信号,确定与目标耳筒对应的第一检测结果。
在第三方面的一种可能实现方式中,执行设备确定与目标耳筒对应的第一检测结果之后,方法还包括:执行设备获取与目标耳筒对应的第二检测结果,第二检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳,第二检测结果为对通过目标耳筒进行再次检测后得到;若第一检测结果和第二检测结果不一致,且待播放音频的类型属于预设类型,则执行设备输出第三提示信息,其中,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,待播放音频为需要通过目标耳筒播放的音频,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。
在第三方面的一种可能实现方式中,预设类型包括以下中的任一种或多种的组合:立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频。
本申请实施例的第三方面提供的执行设备还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第三方面以及第三方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第四方面,本申请实施例提供了一种数据处理方法,可用于智能耳机领域中。一个耳机包括两个目标耳筒,方法可以包括:执行设备获取与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳;获取与目标耳筒对应的第二检测结果,第二检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳,第二检测结果为对通过目标耳筒进行再次检测后得到。若第一检测结果和第二检测结果不一致,且待播放音频的类型属于预设类型,则执行设备输出第三提示信息,其中,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,待播放音频为需要通过目标耳筒播放的音频,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。
在第四方面的一种可能实现方式中,执行设备获取与目标耳筒对应的第一检测结果,包括:执行设备通过目标耳筒发射第一探测信号,第一探测信号为音频信号;通过目标耳筒采集与第一探测信号对应的第一反馈信号,第一反馈信号包括第一探测信号所对应的反射信号;根据第一反馈信号,确定与目标耳筒对应的第一检测结果。
本申请实施例的第四方面提供的执行设备还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第四方面以及第四方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第五方面,本申请实施例提供了一种数据处理装置,可用于智能耳机领域中。一个耳机包括两个目标耳筒,装置包括:获取模块,用于获取与第一探测信号对应的第一反馈信号,其中,第一探测信号为通过目标耳筒发射的音频信号,第一探测信号所在频段为8kHz-20kHz,第一反馈信号包括第一探测信号所对应的反射信号;确定模块,用于当检测到耳机被佩戴,根据第一反馈信号,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
本申请实施例的第五方面提供的数据处理装置还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第五方面以及第五方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第六方面,本申请实施例提供了一种数据处理装置,可用于智能耳机领域中。一个耳机包括两个目标耳筒,装置包括:获取模块,用于获取与第一探测信号对应的第一反馈信号,第一探测信号为通过目标耳筒发射的音频信号,第一反馈信号包括第一探测信号所对应的反射信号;获取模块,还用于当检测到耳机被佩戴,获取与第一反馈信号对应的目标佩戴角度,目标佩戴角度为采集第一反馈信号时目标耳筒的佩戴角度;获取模块,还用于获取与目标佩戴角度对应的目标特征信息,目标特征信息用于指示当目标耳筒在目标佩戴角度时得到的反馈信号的特征信息;确定模块,用于根据第一反馈信号和目标特征信息,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
本申请实施例的第六方面提供的数据处理装置还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第六方面以及第六方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第七方面,本申请实施例提供了一种数据处理装置,可用于智能耳机领域中。一个耳机包括两个目标耳筒,装置包括:获取模块,用于获取与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳;提示模块,用于通过目标耳筒发出提示音,提示音用于对第一检测结果的正确性进行验证。
本申请实施例的第七方面提供的数据处理装置还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第七方面以及第七方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第八方面,本申请实施例提供了一种计算机程序产品,当该计算机程序在计算机上运行时,使得计算机执行上述第一方面、第二方面、第三方面或第四方面所述的数据处理方法。
第九方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得计算机执行上述第一方面、第二方面、第三方面或第四方面所述的数据处理方法。
第十方面,本申请实施例提供了一种执行设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述第一方面、第二方面、第三方面或第四方面所述的数据处理方法。
第十一方面,本申请实施例提供了一种电路***,所述电路***包括处理电路,所述处理电路配置为执行上述第一方面、第二方面、第三方面或第四方面所述的数据处理方法。
第十二方面,本申请实施例提供了一种芯片***,该芯片***包括处理器,用于实现上述各个方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片***还包括存储器,所述存储器,用于保存服务器或通信设备必要的程序指令和数据。该芯片***,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1为本申请实施例提供的数据处理方法的一种流程示意图;
图2a为本申请实施例提供的耳朵的一种结构示意图;
图2b为本申请实施例提供的音频采集装置的位置两种示意图;
图3为本申请实施例提供的数据处理方法的一种流程示意图;
图4为本申请实施例提供的数据处理方法中“目标特征信息的获取流程”的触发界面的一种界面示意图;
图5为本申请实施例提供的数据处理方法中目标特征信息的一种示意图;
图6为本申请实施例提供的数据处理方法中获取目标特征信息的一种界面示意图;
图7为本申请实施例提供的数据处理方法中耳筒分别处于佩戴状态和未佩戴状态时采集到的反馈信号的一种示意图;
图8为本申请实施例提供的数据处理方法中输出第三提示信息的一种界面示意图;
图9为本申请实施例提供的数据处理方法中对目标耳筒的检测结果进行验证的一种界面示意图;
图10为本申请实施例提供的数据处理方法中对目标耳筒的检测结果进行验证的一种界面示意图;
图11为本申请实施例提供的数据处理方法中触发对第一检测结果进行验证的一种界面示意图;
图12为本申请实施例提供的数据处理方法中触发对目标耳筒所对应的检测结果进行验证的一种界面示意图;
图13为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的一种流程示意图;
图14为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的一种原理示意图;
图15为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的另一种流程示意图;
图16为本申请实施例提供的数据处理方法中确定目标耳筒所对应的正向轴的朝向的一种示意图;
图17为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的另一种原理示意图;
图18为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的又一种原理示意图;
图19为本申请实施例提供的数据处理装置的一种结构示意图;
图20为本申请实施例提供的数据处理装置的另一种结构示意图;
图21为本申请实施例提供的数据处理装置的又一种结构示意图;
图22为本申请实施例提供的数据处理装置的再一种结构示意图;
图23为本申请实施例提供的执行设备的一种结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请可以应用于耳机的各种应用场景中,一个耳机包括两个目标耳筒,可选地,该两个目标耳筒可以形状对称;前述耳机包括但不限于入耳式耳机、半入耳式耳机、包耳式耳机、压耳式耳机或其他类型的耳机等等。具体的,作为示例,例如用户佩戴耳机看电影时,耳机中播放的可以为立体声声效,例如画面中一辆火车从左到右的驶过去,通过耳机的两个耳筒配合播放声效以营造出火车从左到右驶过的声音。若耳机的两个耳筒被用户戴反,会出现画面与听觉不匹配的情况,导致听觉与视觉上产生错乱。
作为另一示例,例如用户佩戴耳机玩游戏时,耳机中播放的可以为立体声音效,例如枪击类的游戏,当游戏中的非玩家角色(non-player character,NPC)出现在用户周围时,可以通过耳机的两个耳筒模拟出NPC相对于用户的方位,以增强用户的沉浸感。若耳机的两个耳筒被用户戴反,会导致听觉与视觉上产生错乱。
作为再一示例,例如导航类通过耳机向用户播放导航路线时,待播放音频为“向右转”,也即待播放音频中携带有方向信息,则可以仅在被确定为右声道的耳筒里播放“向右转”以通过音频的形式对用户进行更为直观地导航,若耳机的两个耳筒被用户戴反,会导致听觉与播放音频内容不符,进而导致用户更加混乱等等,应理解,此处不对本申请实施例的应用场景进行穷举。
为了能够在上述种种应用场景中,能够基于用户的实际佩戴情况,检测每个目标耳筒为佩戴于用户的左耳还是右耳,本申请实施例提供了一种数据处理方法,该数据处理方法为采用声学的原理来自动检测每个目标耳筒的具体佩戴情况。具体的,请参阅图1,图1为本申请实施例提供的数据处理方法的一种流程示意图。A1、通过目标耳筒采集与第一探测信号对应的第一反馈信号,第一探测信号为通过目标耳筒发射的音频信号,第一探测信号所在频段为8kHz-20kHz,第一反馈信号包括第一探测信号所对应的反射信号;A2、当检测到耳机被佩戴,根据第一反馈信号,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。本申请实施例中,基于用户的实际佩戴情况来确定目标耳筒是佩戴在左耳还是右耳,也即用户不再根据每个耳筒上的标记佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,基于声学原理对每个目标耳筒的实际佩戴情况进行检测,由于一般耳机中均内置有扬声器和麦克风,不需要增加额外的硬件,节约了制造成本。
其中,每个目标耳筒中均配置有音频发送装置和音频采集装置,从而可以通过目标耳筒中的音频发送装置发射第一探测信号,并通过目标耳筒中的音频采集装置采集与第一探测信号对应的第一反馈信号。一个目标耳筒中可以配置有至少一套音频发送装置,一个目标耳筒中同时配置有至少一套音频采集装置;音频发送装置具体可以表现为扬声器或其他类型的音频发送装置;音频采集装置具体可以表现为麦克风或其他类型的音频采集装置等,此处不限定目标耳筒中扬声器和麦克风的个数。本申请的后续实施例中仅以音频发送装置具体表现为扬声器,音频采集装置具体表现为麦克风为例进行说明。
进一步地,一个耳机包括两个目标耳筒,两个目标耳筒可以包括第一耳筒和第二耳筒,第一耳筒中配置有第一音频采集装置,第二耳筒中配置有第二音频采集装置,第一音频采集装置可以配置于第一耳筒的任意位置,第二音频采集装置可以配置于第二耳筒的任意位置。可选地,在该耳机为包耳式耳机或压耳式耳机的情况下,由于耳机的两个耳筒的形状对称,当耳机被佩戴时,若第一音频采集装置与用户的耳轮(helix)区域对应,则第二音频采集装置与用户的耳甲(concha)区域对应;或者,当耳机被佩戴时,第一音频采集装置与用户的耳甲区域对应,第二音频采集装置与用户的耳轮区域对应。
其中,“与用户的耳轮区域对应”具体可以为与用户的耳轮区域接触,也可以为悬浮在用户的耳轮区域上方;对应的,“与用户的耳甲区域对应”具体可以为与用户的耳甲区域接触,也可以为悬浮在用户的耳甲区域上方。
更进一步地,由于耳机出厂后,音频采集装置在耳筒中的位置固定不变,且耳机的两个目标耳筒的形状对称。在一种实现方式中,第一音频采集装置与左耳的耳轮区域对应,第二音频采集装置与右耳的耳甲区域对应;或者,第二音频采集装置与左耳的耳轮区域对应,第一音频采集装置与右耳的耳甲区域对应。也即无论用户怎么佩戴耳机,均为一个音频采集装置与左耳的耳轮区域对应,另一个音频采集装置与右耳的耳甲区域对应。
在另一种实现方式中,第一音频采集装置与左耳的耳甲区域对应,第二音频采集装置与右耳的耳轮区域对应;或者,第二音频采集装置与左耳的耳甲区域对应,第一音频采集装置与右耳的耳轮区域对应。也即在无论用户怎么佩戴耳机,均为一个音频采集装置与左耳的耳甲区域对应,另一个音频采集装置与右耳的耳轮区域对应。
为了更直观地理解本方案,结合图2a和图2b对音频采集装置在目标耳筒中的固定位置进行介绍,图2a为本申请实施例提供的耳朵的一种结构示意图。图2a包括(a)和(b)两个子示意图,图2a的(a)子示意图中示出了耳朵的耳轮区域和耳甲区域。再参阅图2a的(b)子示意图,B1示出的为用户的耳轮区域中与目标耳筒中的音频采集装置对应的区域,B2示出的为用户的耳甲区域中与目标耳筒中的音频采集装置对应的区域。
请继续参阅图2b,图2b为本申请实施例提供的音频采集装置的位置两种示意图。图2b包括(a)和(b)两个子示意图,图2b的(a)子示意图中以一个目标耳筒中的音频采集装置配置于耳筒的C1区域,另一个目标耳筒中的音频采集装置配置于耳筒的C2区域为例,则当用户佩戴耳机时,一个目标耳筒中的音频采集装置总会与左耳的耳轮区域对应,另一个目标耳筒中的音频采集装置总会与右耳的耳甲区域对应。
图2b的(b)子示意图中以一个目标耳筒中的音频采集装置配置于耳筒的D1区域,另一个目标耳筒中的音频采集装置配置于耳筒的D2区域为例,则当用户佩戴耳机时,一个目标耳筒中的音频采集装置总会与左耳的耳甲区域对应,另一个目标耳筒中的音频采集装置总会与右耳的耳轮区域对应。应理解,图2a和图2b中的示例仅为方便理解本方案,不用于限定本方案,具体音频采集装置在目标耳筒中的位置应结合实际情况灵活设定。
本申请实施例中,由于耳轮区域是遮挡最严重的区域,耳甲区域是遮挡最弱的区域,也即若音频采集装置与用户的耳轮区域对应,则采集到的第一反馈信号相对于发送的第一探测信号会被大大削弱;若音频采集装置与用户的耳甲区域对应,则采集到的第一反馈信号相对于发送的第一探测信号被削弱的程度会较低,以进一步放大左右耳所对应的第一反馈信号的差别,有利于提高与目标耳筒对应的检测结果的准确率。
可选地,耳机还可以配置有触摸传感器,通过该触摸传感器可以接收用户输入的触摸操作,作为示例,例如用户通过耳机表面输入的点击、双击、滑动或其他类型的触摸操作等等,此处不做穷举。耳机还可以配置有反馈***,耳机可以通过声音、振动或其他方式为佩戴耳机的用户提供反馈。
耳机还可以配置有多种传感器,前述多种传感器包括但不限于运动传感器、光学传感器、电容传感器、电压传感器、阻抗传感器、光敏传感器、接近传感器、图像传感器或其他类型的传感器等等。进一步地,作为示例,例如可以通过耳机中的运动传感器(例如加速计、陀螺仪或其他类型的运动传感器)来检测耳机的位姿;作为另一示例,例如可以通过光学传感器检测到耳机包括的耳筒是否从耳机盒子中取出;作为另一示例,例如可以通过触摸传感器检测手指在耳机表面上的触点等,此处不对多种传感器的用途进行穷举。
在对本申请实施例提供的数据处理方法进行详细介绍之前,先对本申请实施例提供的数据处理***进行介绍。整个数据处理***可以包括耳机以及与耳机进行通信连接的电子设备,耳机包括两个耳筒。该电子设备可以具有输入***、反馈***、显示器、计算单元、存储单元和通信单元,作为示例,例如该电子设备具体可以表现为手机、平板电脑、智能电视、VR设备或其他形态的电子设备等,此处不做穷举。
在一种实现方式中,该电子设备用于检测每个耳筒的实际佩戴情况,在另一种实现方式中,由耳机检测每个耳筒的实际佩戴情况。
需要说明的是,在上述说明中,整个数据处理***均为采用声学的方式来检测每个目标耳筒的实际佩戴情况,本申请实施例中不仅提供了基于声学的方式来检测每个目标耳筒的实际佩戴情况,还提供了基于其他方式来检测每个目标耳筒的实际佩戴情况,下面开始对本申请实施例提供的数据处理方法的具体实现流程进行描述。
一、采用声学的方式来检测目标耳筒为佩戴与用户的左耳还是右耳
具体的,请参阅图3,图3为本申请实施例提供的数据处理方法的一种流程示意图,本申请实施例提供的数据处理方法可以包括:
301、执行设备获取用户的目标耳朵所对应的目标特征信息。
本申请的一些实施例中,执行设备可以预先获取用户的目标耳朵所对应的至少一个目标特征信息。其中,目标耳朵可以为用户的左耳,也可以为用户的右耳。目标耳朵所对应的目标特征信息可以为目标耳朵所对应的第二反馈信号的特征信息,也可以为目标耳朵所对应的第二反馈信号与目标耳朵所对应的第二探测信号之间差异的特征信息。第二反馈信号包括第二探测信号所对应的反射信号,第二探测信号为通过目标耳筒发射的音频信号。
进一步地,执行设备可以只获取左耳(或右耳)所对应的目标特征信息,也可以同时获取左耳所对应的目标特征信息和右耳所对应的目标特征信息。
步骤301为可选步骤,执行步骤301的执行设备为具有显示屏幕的设备,该执行设备具体可以为耳机,也可以为与耳机通信连接的其他电子设备。需要说明的是,本申请实施例中的执行设备均既可以为耳机,或者,也可以为与耳机通信连接的其他电子设备,在后续实施例中不再进行说明。
针对执行设备获取目标特征信息的时机。具体的,在一种实现方式中,用户的目标耳朵所对应的目标特征信息可以为预先配置于执行设备上的。
在另一种实现方式中,当耳机初次与其他执行设备连接时,或者,当用户第一次佩戴耳机时,可以触发目标特征信息的获取流程,前述连接可以为通过蓝牙模块进行通信连接,也可以为有线连接等,此处不做穷举。
在另一种实现方式中,目标耳筒上也可以设置有触发按钮,以触发目标特征信息的获取流程。在另一种实现方式中,由于执行步骤301的执行设备为具有显示屏幕的设备,则执行设备上可以配置有“目标特征信息的获取流程”的触发接口,从而用户可以基于前述触发接口主动开启目标特征信息的获取流程。需要说明的是,上述对“目标特征信息的获取流程”的触发方式的举例仅为方便理解本方案,具体采用哪种或哪些触发方式可以结合实际产品的产品形态灵活确定,此处不做限定。
为更直观地理解本方案,请参阅图4,图4为本申请实施例提供的数据处理方法中“目标特征信息的获取流程”的触发界面的一种界面示意图。图4中以执行设备已经采集了用户小明的每个耳朵所对应的目标特征信息为例,如图所示,当用户点击D1时,可以触发进入步骤301,也即触发采集用户的目标耳朵所对应的目标特征信息。由于主用户被默认为手机的持有者,当用户点击D2时,可以进入对用户属性进行修改的界面。当用户点击D3时,可以触发对已经采集到的目标特征信息进行删除操作,应理解,图4中的示例仅为方便理解本方案,不用于限定本方案。
针对执行设备获取目标特征信息的过程。具体的,在一种实现方式中,通过目标耳筒采集到的反馈信号为探测信号所对应的反射信号。执行设备可以通过一个目标耳筒中的扬声器发射第二探测信号,佩戴后的目标耳筒在耳道(或耳廓和耳道)上形成了包含有空腔的密闭腔,第二探测信号在前述密闭的空腔内多次反射可以被发射第二探测信号的目标耳筒中的麦克风接受,也即执行设备通过发射第二探测信号的目标耳筒中的麦克风采集该第二探测信号所对应的反射信号(也即第二反馈信号的一种示例)。执行设备在采集到该第二探测信号所对应的第二反馈信号之后,基于耳部传输函数(ear transfer function,ETF)的原理,得到与用户的一个目标耳朵对应的目标特征信息。
其中,该第二探测信号具体为位于超高频或超声频段的音频信号;作为示例,例如该第二探测信号所在频段可以为8kHz-20kHz、16k-24kHz或其他频段等等,此处不做穷举。可选地,该第二探测信号具体可以为在不同频率上变化的音频信号,第二探测信号在前述不同频率上的信号强度相同,作为示例,例如第二探测信号可以选用线性调频(chirp)信号或其他类型的音频信号等,此处不做穷举。
进一步地,在耳机为包耳式耳机或压耳式耳机的情况下,执行设备可以基于耳廓传输函数(ear auricle transfer function,EATF)的原理。或者,在耳机为入耳式耳机、半入耳式耳机或包耳式耳机的情况下,执行设备可以基于耳部传输函数为耳道传输函数(earcanal transfer function,ECTF)的原理。
本申请实施例中,提供了在耳机处于不同形态时,具体采用什么类型的二部传输函数,扩展了本方案的应用场景,提高了本方案的灵活性。
更具体的,针对执行设备获取第二探测信号所对应的第二反馈信号的过程。若该执行设备为与耳机通信连接的其他电子设备,则执行设备通过一个目标耳筒中的扬声器发射第二探测信号可以包括:执行设备向耳机发射第二指令,第二指令用于指示耳机中的任一个耳筒(也即目标耳筒)发射第二探测信号。执行设备通过发射第二探测信号的目标耳筒(也即同侧的目标耳筒)中的麦克风采集该第二探测信号所对应的反射信号,可以包括:执行设备接收耳机发送的该第二探测信号所对应的反射信号。
若该执行设备为耳机,则执行设备通过一个目标耳筒中的扬声器发射第二探测信号可以包括:耳机通过目标耳筒发射第二探测信号。执行设备接收耳机发送的该第二探测信号所对应的反射信号,可以包括:耳机通过同侧的目标耳筒中的麦克风采集该第二探测信号所对应的反射信号(也即第二反馈信号)。
针对执行设备根据第二探测信号所对应的第二反馈信号,生成一个目标耳朵对应的目标特征信息的过程。在一种实现方式中,执行设备基于耳部传输函数的原理,直接对采集到的第二反馈信号进行处理,得到与用户的一个目标耳朵对应的目标特征信息,也即目标特征信息具体为第二探测信号所对应的第二反射信号的特征信息。
则执行设备可以对采集到的第二探测信号所对应的第二反射信号进行预处理,该预处理的方法包括但不限于傅里叶变换(fourier transform)、短时距傅里叶变换(short-time fourier transform,STFT)、小波变换(wavelet transform)或其他形式的预处理。执行设备获取预处理后的第二反馈信号的如下任意一种特征:频域特征、时域特征、统计学特征或其他类型的特征等,可选地,还可以对前述获取到的特征进行优化处理,得到与用户的一个目标耳朵对应的目标特征信息。
在另一种实现方式中,执行设备基于耳部传输函数的原理,根据采集到的第二反馈信号和发出的第二探测信号之间的差异,得到与用户的一个目标耳朵对应的目标特征信息,也即目标特征信息具体为第二探测信号所对应的第二反射信号(也即第二反馈信号的一种示例)和第二探测信号之间的差异的特征信息。
则执行设备可以对发出的第二探测信号进行预处理,该预处理的方法包括但不限于傅里叶变换、短时距傅里叶变换、小波变换或其他形式的预处理。执行设备获取预处理后的第二探测信号的如下任意一种特征:频域特征、时域特征、统计学特征或其他类型的特征等。可选地,执行设备还可以对前述获取到的第二探测信号的特征进行优化处理后,得到与第二探测信号对应的目标特征信息。
执行设备对采集到的第二反馈信号进行预处理,并获取预处理后的第二反馈信号的特征,可选地,对前述获取到的第二反馈信号的特征进行优化处理后,得到与第二反馈信号对应的目标特征信息,执行设备生成“第二反馈信号所对应的目标特征信息”的具体实现方式可参阅上述生成“第二探测信号所对应的目标特征信息”的具体实现方式,此处不做赘述。执行设备获取第二反馈信号所对应的目标特征信息和第二探测信号所对应的目标特征信息之间的差异,得到与用户的一个目标耳朵对应的目标特征信息。
为更直观地理解本方案,请参阅图5,图5为本申请实施例提供的数据处理方法中目标特征信息的一种示意图。图5以目标特征信息为第二探测信号所对应的第二反射信号和第二探测信号之间的差异,且目标特征信息为频域特征为例。图5中分别示出了用户右耳所对应的目标特征信息的一个示例和用户左耳所对应的目标特征信息的一个示例,通过图5中的对比可知,用户右耳所对应的目标特征信息和用户左耳所对应的目标特征信息有明显区别,需要说明的是,图5中是将目标特征信息进行可视化处理后得到的示意图,图5中的示例仅为方便理解本方案,不用于限定本方案。
进一步地,执行设备需要用户主动确认目标耳朵为左耳还是右耳,也即需要由用户确定发出第二探测信号的目标耳筒所佩戴的目标耳朵是用户的左耳还是右耳。在一种实现方式中,通过目标耳筒发出的第二探测信号是用户能够听到的声音信号,则执行设备在获取到与用户的一个目标耳朵对应的目标特征信息后,可以输出询问信息,由用户确定发出第二探测信号的目标耳筒所佩戴的是左耳还是右耳。前述询问信息可以具体表现为语音、文本框或其他形式等,此处不做穷举。
在另一种实现方式中,在通过目标耳筒发出的第二探测信号之前,执行设备可以提示用户与佩戴于用户左耳(或右耳)的目标耳筒交互,以触发佩戴于用户左耳(或右耳)的目标耳筒发出第二探测信号。前述交互可以为按压目标耳筒上的物理按钮、触摸目标耳筒的表面、点击目标耳筒的表面、双击目标耳筒的表面或其他交互操作等等,此处不做限定。作为示例,例如前述提示信息可以为“请触摸佩戴于左耳的耳筒”;作为另一示例,例如前述提示信息可以为“请点击佩戴于右耳的耳筒”等等,此处不做穷举。需要说明的是,此处对用户确认目标耳筒所佩戴的目标耳朵为左耳还是右耳的方式的列举仅为方便理解本方案,不用于限定本方案。
可选地,步骤301可以包括:执行设备获取与佩戴于目标耳朵的目标耳筒的多个佩戴角度对应的多个目标特征信息,每个目标特征信息包括与目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息。
进一步地,在一种实现方式中,与佩戴于目标耳朵的目标耳筒的多个佩戴角度对应的多个目标特征信息可以为预先配置于执行设备上的。
在一种实现方式中,上述多个目标特征信息为通过耳机采集到的。执行设备在通过耳机获取多个目标特征信息的过程中,由于当用户通过不同角度佩戴目标耳筒时,可以获取到不同的第二反馈信号,则执行设备还可以提示用户转动目标耳筒,在用户转动目标耳筒后,再次执行一次目标特征信息的获取操作,重复执行前述步骤至少一次,从而得到与用户的目标耳朵对应的多个目标特征信息,该多个目标特征信息中的每个目标特征信息与一个佩戴角度对应。
进一步地,在一种情况中,执行设备可以通过耳机采集得到多组目标特征信息,每组目标特征信息中均包括与佩戴于目标耳朵上的目标耳筒的多个佩戴角度所对应的多个目标特征信息,并将前述多组目标特征信息发送至服务器。服务器在得到多组目标特征信息之后,会从每组目标特征信息中获取与一个确定的佩戴角度对应的一个目标特征信息,以从多组目标特征信息中获取与一个确定的佩戴角度对应的多个目标特征信息,并对前述与一个确定的佩戴角度对应的多个目标特征信息进行统计学处理,得到与一个确定的佩戴角度对应的一个目标特征信息。服务器对每个佩戴角度均执行前述操作,从而能根据多组目标特征信息,获取与一个目标耳筒的多个佩戴角度一一对应的多个目标特征信息,并将该与一个目标耳筒的多个佩戴角度一一对应的多个目标特征信息发送给执行设备。
在另一种情况中,执行设备可以直接将采集到的与一个目标耳筒的多个佩戴角度一一对应的多个目标特征信息存储至本地。
为更直观地理解本方案,请参阅图6,图6为本申请实施例提供的数据处理方法中获取目标特征信息的一种界面示意图。图6中以通过文本的形式提醒用户转动目标耳筒为例,图6中以用户旋转耳筒三次后能够完成对用户的目标耳朵所对应的目标特征信息为例,也即图6中以获取到用户的目标耳朵所对应的四个目标特征信息为例,前述四个目标特征信息分别对应四个佩戴角度,应理解,图6中的示例仅为方便理解本方案,不用于限定本方案。
需要说明的是,步骤301为可选步骤,若执行步骤301,本申请实施例不限定步骤301的执行顺序,步骤301可以为在任意步骤之前或之后执行,也可以为仅在用户初次使用耳机时执行等,具体实现方式可以结合实际应用场景灵活设定。
可选地,执行设备获取到用户的目标耳朵所对应的目标特征信息之后,还可以将获取到的目标耳朵所对应的目标特征信息作为验证用户身份的信息,也即“目标耳朵所对应的目标特征信息”与指纹信息的作用类似。
进一步可选地,若执行设备会采集至少两个与用户的每个耳朵所对应的目标特征信息,则可以将至少两个用户中的主用户作为该执行设备的持有者,从而将主用户的每个耳朵所对应的目标特征信息,作为验证主用户身份的信息。
302、执行设备检测耳机是否被佩戴,若耳机被佩戴,则进入步骤303;若耳机未被佩戴,则执行其他步骤。
本申请的一些实施例中,执行设备可以为在以下任意一种或多种场景中执行步骤302:目标耳筒被拿起时、每次目标耳筒从盒子中取出时、目标耳筒被从耳朵中取下后或其他场景中。执行设备还可以检测耳机的每个目标耳筒是否被佩戴,若检测到目标耳筒呈现为被佩戴状态,则进入步骤303。
若执行设备检测到目标耳筒尚未被佩戴,执行设备可以重新进入步骤302,以继续检测目标耳筒是否被佩戴。可选地,可以在前述检测的次数达到预设次数时,就停止执行步骤302,预设次数可以为1次、2次、3次或其他数值等;或者,可以在前述检测的时长达到预设时长时,就停止执行步骤302,预设时长可以为2分钟、3分钟、5分钟或其他时长等;或者,可以为持续执行步骤302直至检测到用户佩戴目标耳筒。
具体的,当执行设备检测到如下任一种或多种情况时,视为检测到耳机被佩戴:检测到预设类型的应用程序被打开、检测到与耳机通信连接的电子设备的屏幕亮屏或者检测到目标耳筒被放置至耳朵上。其中,预设类型的应用程序可以为视频类应用程序、游戏类应用程序、导航类应用程序或其他可能产生立体声音频的应用程序等。
本申请实施例中,提供了视为检测到耳机被佩戴的多种情况,扩展了本方案的应用场景;此外,当预设类型的应用程序被打开时、检测到与耳机通信连接的电子设备的屏幕亮屏时或者检测到目标耳筒被放置至耳朵上时,均未开始通过耳机播放音频,也即在实际通过耳机播放音频之前就对耳筒的实际佩戴情况进行检测,有利于协助耳机以正确的形式播放音频,以进一步提高本方案的用户粘度。
更具体的针对执行设备检测目标耳筒是否被放置至耳朵上的原理。执行设备通过目标耳筒中的扬声器发出探测信号后,并通过发出探测信号的目标耳筒中的麦克风(也即同侧耳筒中的麦克风)采集到探测信号所对应的反馈信号,由于当目标耳筒不被佩戴时,目标耳筒的对应空间开放,目标耳筒中的麦克风能够采集到的反馈信号(为方便描述,记为“信号A”)较少;当目标耳筒被用户佩戴时,目标耳筒的腔体与用户的耳道(和/或耳廓)形成密闭腔,探测信号被耳朵多次反射,目标耳筒中的麦克风能够采集到大量的反馈信号(为方便描述,记为“信号B”),信号A的第一特征信息和信号B的第一特征信息区别很明显,因此通过对比信号A的第一特征信息和信号B的第一特征信息,能够区分目标耳筒是否被用户佩戴。
为更直观地理解本方案,请参阅图7,图7为本申请实施例提供的数据处理方法中耳筒分别处于佩戴状态和未佩戴状态时采集到的反馈信号的一种示意图。如图7所示,在耳筒处于未佩戴状态的状态下,耳筒通过扬声器发出探测信号后,同侧耳筒中的麦克风仅能采集到少量的反馈信号(也即“信号A”);在耳筒处于佩戴状态的状态下,耳筒通过扬声器发出探测信号后,探测信号经由耳朵的反射,同侧耳筒中的麦克风能够采集到大量的反馈信号(也即“信号B”),从而信号A的第一特征信息和信号B的第一特征信息区别较大,应理解,图7中的示例仅为方便理解本方案,不用于限定本方案。
针对执行设备检测目标耳筒是否被佩戴的过程。执行设备上可以配置有执行过训练操作的第一分类模型,执行设备可以通过目标耳筒(也即耳机中的任意一个耳筒)中的扬声器发射第一探测信号,并通过前述目标耳筒中的麦克风采集第一探测信号所对应的第一反馈信号,本步骤中第一反馈信号具体表现为第一探测信号所对应的第一反射信号。执行设备获取第一探测信号所对应的第一反馈信号的过程,可参阅步骤301中关于“执行设备获取第二探测信号所对应的第二反馈信号的过程”的描述,此处不做赘述。
执行设备获取第一反馈信号所对应的第一特征信息;其中,“第一特征信息”的概念与“目标特征信息”的概念类似,第一特征信息可以为第一探测信号所对应的第一反馈信号的特征信息,或者,第一特征信息可以为第一探测信号所对应的第一反馈信号和第一探测信号之间的差异的特征信息。执行设备根据第一探测信号所对应的第一反馈信号,生成第一反馈信号所对应的第一特征信息的具体实现方式,可参阅步骤301中关于生成“目标特征信息”的描述,此处不做赘述。
执行设备将第一反馈信号所对应的第一特征信息输入至第一分类模型中,得到该第一分类模型输出的第一预测类别,该第一预测类别用于指示目标耳筒是否被佩戴。可选地,若执行设备利用发射探测信号的目标耳筒采集探测信号所对应的反馈信号,进而基于前述采集到的反馈信号确定目标耳筒是佩戴于用户的左耳还是右耳,则第一预测类别还可以用于指示目标耳筒被佩戴于左耳还是右耳。
其中,该第一分类模型可以采用非神经网络的模型,也可以采用用于进行分类的神经网络等,此处不做限定。作为示例,例如第一分类模型具体可以采用K近邻(k-nearestneighbor,KNN)模型、线性的支持向量机(linear support vector machines,linearSVM)、高斯过程(gaussian process)模型、决策树(decision tree)模型、多层感知器(multi layer perceptron,MLP)或其他类型的第一分类模型等,此处不做限定。
针对第一分类模型的训练过程。训练设备上可以配置有第一训练数据集,第一训练数据集中有多个第一训练数据以及每个第一训练数据所对应的正确标签。若执行设备利用发射探测信号的目标耳筒采集探测信号所对应的反射信号(也即反馈信号的一种示例),进而基于前述采集到的反馈信号确定目标耳筒是佩戴于用户的左耳还是右耳,则正确标签为以下三种的任一种:未佩戴、佩戴在左耳和佩戴在右耳,第一训练数据可以为以下三种的任意一种:目标耳筒处于未佩戴状态下采集到的反馈信号(与探测信号对应的)的第一特征信息、目标耳筒被佩戴在左耳时采集到的反射信号的第一特征信息和目标耳筒被佩戴在右耳时采集到的反射信号的第一特征信息。
训练设备将第一训练数据输入第一分类模型中,得到第一分类模型输出的第一预测类别,根据第一训练数据所对应的第一预测类别和正确标签,生成第一损失函数的函数值,并根据第一损失函数的函数值反向更新第一分类模型的参数;训练设备重复执行前述操作,以实现对第一分类模型的迭代训练,直至满足预设条件,得到执行过训练操作的第一分类模型。其中,第一损失函数用于指示第一训练数据所对应的第一预测类别和正确标签之间的相似度;预设条件可以为训练的次数达到预设次数,或者,第一损失函数达到收敛条件。
303、执行设备获取与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
本申请实施例中,执行设备在检测到耳机被佩戴之后,可以生成与耳机中每个目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
具体的,步骤301为可选步骤,在一种实现方式中,执行设备通过第一分类模型来生成第一检测结果,且执行设备通过同侧的耳筒采集与第一探测信号对应的第一反馈信号,也即与第一探测信号对应的第一反馈信号为第一探测信号所对应的反射信号,则不需要执行步骤301。执行设备上可以配置有执行过训练操作的第一分类模型,第一检测结果就是步骤302中生成的第一预测类别,第一预测类别的具体生成方式以及第一分类模型的具体训练方案可参阅步骤302中的描述,此处不做赘述。
在另一种实现方式中,执行设备执行步骤301,也即执行设备通过步骤301获取到了与用户的左耳对应的至少一个目标特征信息,以及,与用户的右耳对应的至少一个目标特征信息。若步骤301中执行设备是通过同侧耳筒采集与第二探测信号对应的第二反馈信号,则在步骤303中,执行设备可以通过目标耳筒(也即耳机中的任意一个耳筒)中的扬声器发射第一探测信号,并通过前述目标耳筒(也即同侧目标耳筒)中的麦克风采集第一探测信号所对应的第一反馈信号,获取第一反馈信号所对应的第一特征信息。执行设备将获取到的第一反馈信号所对应的第一特征信息,分别计算与用户的左耳所对应的至少一个目标特征信息之间的相似度,以及与用户的右耳所对应的至少一个目标特征信息之间的相似度,以确定目标耳筒佩戴于用户的左耳还是用户的右耳。
可选地,若执行设备上配置有与目标耳筒的多个佩戴角度对应的多个目标特征信息,每个目标特征信息包括与目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息;则步骤303中,执行设备可以根据第一反馈信号和多个目标特征信息,确定第一检测结果。
具体的,在一种实现方式中,当检测到耳机被佩戴之后,执行设备可以通过目标耳筒上配置的惯性测量单元(inertial measurement unit,IMU)获取目标耳筒在反射第一探测信号时的目标佩戴角度,也即获取到了与第一反馈信号对应的目标佩戴角度,目标佩戴角度为采集第一反馈信号时目标耳筒的佩戴角度;
执行设备从与目标耳筒的多个佩戴角度对应的多个目标特征信息中获取与目标佩戴角度对应的一组确定的目标特征信息,前述一组确定的目标特征信息用于指示当目标耳筒在目标佩戴角度时得到的第二反馈信号的特征信息,该一组确定的目标特征信息可以包括佩戴于左耳的耳筒在目标佩戴角度时得到的第二反馈信号的特征信息,和,佩戴于右耳的耳筒在目标佩戴角度时得到的第二反馈信号的特征信息。
执行设备根据第一反馈信号所对应的第一特征信息,计算第一特征信息与佩戴于左耳的耳筒在目标佩戴角度时得到的反馈信号的特征信息之间的相似度,和第一特征信息与佩戴于右耳的耳筒在目标佩戴角度时得到的反馈信号的特征信息之间的相似度,以确定与目标耳筒对应的第一检测结果。
在另一种实现方式中,执行设备也可以直接将第一特征信息,计算与上述多组目标特征信息中每个目标特征信息之间的相似度,以确定与目标耳筒对应的第一检测结果。
本申请实施例中,还可以获取到与目标耳筒的多个佩戴角度对应的多个目标特征信息,每个目标特征信息包括与目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息,进而根据第一反馈信号和多个佩戴角度对应的多个目标特征信息,来得到第一检测结果,以保证无论目标耳筒以何种佩戴角度进行佩戴时,都能够得到一个准确的检测结果,有利于进一步提高最终得到的检测结果的准确性。
针对执行设备执行步骤303的时机。由于步骤302为可选步骤,若不执行步骤302,则在一种实现方式中,耳机的每个目标耳筒可以通过自身传感器检测到目标耳筒是否被佩戴,当目标耳筒检测到被佩戴时,可以触发执行步骤303。在另一种实现方式中,耳机的每个目标耳筒可以通过动作传感器检测到目标耳筒是否被拿起,当目标耳筒被拿起时,可以触发执行步骤303。
在另一种实现方式中,由于入耳式耳机或是包耳式耳机通常会附带一个盒子,当耳机不被佩戴时,通常会被放在这个盒子内充电。若不执行步骤302,则步骤303的触发信号还可以是耳机被检测到从这个盒子中取出。
若执行步骤302,在一种实现方式中,可以为通过步骤302检测到目标耳筒被佩戴后,触发执行步骤303。需要说明的是,若执行步骤302,则本申请实施例可以不限定步骤302的执行顺序,也即在用户佩戴目标耳筒之后,还可以执行步骤302,当用户佩戴目标耳筒之后,又检测到目标耳筒未被佩戴,则可以暂停通过目标耳筒播放音频。
结合上述说明可知,由于第一反馈信号包括的为第一探测信号所对应的反射信号,也即执行设备利用发送第一探测信号的目标耳筒来采集第一探测信号,则用户在仅佩戴一个目标耳筒的情况下,执行设备也可以获取到与第一探测信号对应的第一反馈信号,进而根据第一反馈信号,确定前述佩戴的一个目标耳筒为佩戴于左耳还是右耳。
可选地,第一反馈信号包括所述第一探测信号所对应的反射信号,也即第一反馈信号是通过发射第一探测信号的目标耳筒采集到的。则当执行设备检测到目标耳筒(也即耳机中的任一个耳筒)被佩戴时,可以根据第一反馈信号的信号强度,确定与采集该第一反馈信号的目标耳筒对应的目标佩戴信息,目标佩戴信息用于指示目标耳筒的佩戴松紧度;需要说明的是,若耳机中的两个目标耳筒均执行前述操作,则可以获取到每个目标耳筒的佩戴松紧度。
进一步地,执行设备上可以配置有预设强度值,在第一反馈信号的信号强度大于该预设强度值时,得到的目标佩戴信息用于指示目标耳筒为“戴紧”状态;在第一反馈信号的信号强度小于该预设强度值时,得到的目标佩戴信息用于指示目标耳筒为“戴松”状态。
本申请实施例中,通过声学信号不仅可以检测两个耳筒的实际佩戴情况,还可以检测耳筒的佩戴松紧度,进而能够为用户提供更为精细化的服务,有利于进一步提高本方案的用户粘度。
304、执行设备获取与目标耳筒对应的第二检测结果,第二检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳,第二检测结果为对通过目标耳筒进行再次检测后得到。
本申请的一些实施例中,执行设备还可以通过目标耳筒进行二次检测,以得到与目标耳筒对应的第二检测结果,第二检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳,对于检测的具体实现方式可参阅步骤303中的描述,此处不做赘述。
305、执行设备判断第一检测结果和第二检测结果是否一致,若不一致,则进入步骤306;若一致,则进入步骤309。
306、执行设备判断待播放音频的类型是否属于预设类型,若待播放音频的类型属于预设类型,则进入步骤307或步骤308;若待播放音频的类型不属于预设类型,则进入步骤309。
本申请实施例中,步骤304和305为可选步骤,若执行步骤304和305,则在通过步骤305确定第一检测结果和第二检测结果不一致的情况下,执行设备还可以获取待播放音频的类型,待播放音频为需要通过目标耳筒播放的音频,并判断待播放音频的类型是否属于预设类型,若待播放音频的类型属于预设类型,则进入步骤307。
若不执行步骤304和305,则在执行完步骤303后也可以直接进入步骤306,也即执行设备在通过步骤303获取到与每个目标耳筒对应的第一检测结果后,可以直接判断待播放音频的类型是否属于预设类型,若待播放音频的类型属于预设类型,则进入步骤308。
其中,预设类型包括以下中的任一种或多种的组合:立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频、携带有方向信息的音频或其他左右声道有区别的音频等等,对于前述音频的进一步理解可参阅上述对应用场景中的举例,此处不再进一步介绍。
可选地,预设类型可以不包括以下中的任一种或多种的组合:无音频输出、被标记为单声道的音频、语音通话、被标记为立体声但左右声道没有区别的音频或其他左右声道没有区别的音频等等,此处不做穷举。进一步地,针对“被标记为立体声但左右声道没有区别的音频”,执行设备需要从被标记为立体声的音频中分别截取两个声道的音频来比较是否一致,若一致,则证明前述音频虽然被标记为立体声但左右声道没有区别。
307、执行设备输出第三提示信息,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。
本申请实施例中,步骤306为可选步骤,若执行步骤306,则在执行设备确定第一检测结果与第二检测结果不一致,且待播放音频的类型属于预设类型的情况下进入步骤307,也即执行设备可以输出第三提示信息。其中,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。“对目标耳筒的类别进行矫正”指的是将被确定为佩戴于左耳的耳筒的类别更改为被确定为佩戴于右耳,将被确定为佩戴于右耳的耳筒的类别更改为被确定为佩戴于左耳。
若不执行步骤306,则可以在执行设备确定第一检测结果与第二检测结果不一致的情况下直接进入步骤307,也即执行设备可以输出第三提示信息。
具体的,执行设备可以通过文本框、声音或其他形式等输出第三提示信息,作为示例,例如当执行设备上正播放有视频,执行设备确定第二检测结果与第一检测结果不一致,则可以通过文本框输出第三提示信息。作为示例,例如第三提示信息中的内容具体可以为“请问是否切换耳机的左右声道”、“耳机的左右声道好像弄反了,是否切换”等,以询问用户是否对目标耳筒的类别进行矫正,此处不对第三提示信息的具体内容进行穷举。
为更直观地理解本方案,请参阅图8,图8为本申请实施例提供的数据处理方法中输出第三提示信息的一种界面示意图。图8中以通过文本框的形式输出第三提示信息为例,应理解,图8中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,通过目标耳筒进行再次检测,得到目标耳筒所对应的第二检测结果,在第二检测结果与第一检测结果不一致的情况下,会再次判断待播放音频的类型属于预设类型,只有在待播放音频的类型属于预设类型的情况下,才会输出第三指示信息以提示用户对目标耳筒的类别进行矫正。通过前述方式,能够提高最终确定的每个耳筒的佩戴情况的准确性;且只有在待播放音频的类型属于预设类型的情况,才会由用户对检测结果进行校正,以减少对用户不必要的打扰,有利于提高本方案的用户粘度。
本申请实施例中,提供了需要用户进行矫正的预设类型的具体几种类型,提高了本方案的实现灵活性,扩展了本方案的应用场景;此外,由于对于立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频这几种类型的音频,若执行设备确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况不一致,往往会非常影响用户体验,例如在待播放音频为来源于视频类或游戏类或游戏类应用程序的音频的情况下,若确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况不一致,则会导致用户看到的画面与用户听到的声音无法正确匹配;再例如在待播放音频为携带有方向信息的音频的情况下,若确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况不一致,则会导致待播放音频的播放方向与待播放音频中的内容无法正确匹配等,在待播放音频为预设音频的情况下,都会给用户造成很严重的混乱,从而在这几种情况下,会更加需要保证确定的每个目标耳筒的佩戴情况与用户的实际佩戴情况的一致性,以给用户提供良好的使用体验。
308、执行设备通过目标耳筒发出提示音,提示音用于对目标耳筒所对应的检测结果的正确性进行验证。
本申请实施例中,执行设备还可以通过两个耳筒中的至少一个目标耳筒发出提示音,提示音用于对目标耳筒所对应的第一检测结果/第二检测结果的正确性进行验证,若发现目标耳筒所对应的第一检测结果/第二检测结果是错误的,则用户可以对目标耳筒的类别进行校正,也即将被确定为佩戴于左耳的耳筒更改为被确定为佩戴于右耳,将被确定为佩戴于右耳的耳筒更改为被确定为佩戴于左耳。
针对通过目标耳筒发出提示音的具体实现方式。在一种实现方式中,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒被确定为佩戴于第一方向上,第二耳筒被确定为佩戴于第二方向上,步骤308可以包括:执行设备通过第一耳筒发出第一提示音,通过第二耳筒发出第二提示音。
其中,若第一方向为左耳,则第二方向为右耳,若第一方向为右耳,则第二方向为左耳。第一提示音和第二提示音可以均为单音音符;也可以为第一提示音和第二提示音均为由多个音符组成的和弦音;也可以为第一提示音为单音音符,第二提示音为由多个音符组成的和弦音。进一步地,第一提示音和第二提示音的音高、音色等方面可以一致,也可以不同,对于第一提示音和第二提示音的设置可结合实际情况灵活确定,此处不做限定。
具体的,若执行设备为与耳机连接的电子设备,则步骤308可以包括:执行设备向至少一个目标耳筒发出第三指令,第三指令用于指示目标耳筒发出提示音。若执行设备为耳机,则步骤308可以包括:耳机通过至少一个目标耳筒发出提示音。
更具体的,在一种实现方式中,执行设备可以为保持第二耳筒不发出声音,先通过第一耳筒发出第一提示音;然后保持第一耳筒不发出声音,通过第二耳筒发出第二提示音。
在另一种实现方式中,执行设备可以同时通过第一耳筒和第二耳筒发出声音,但第一提示音的音量要远高于第二提示音的音量;然后同时通过第一耳筒和第二耳筒发出声音,但第二提示音的音量要远高于第一提示音的音量。
可选地,步骤308可以包括:执行设备通过第一耳筒发出第一提示音,通过第一展示界面输出第一提示信息,第一提示信息用于指示第一方向为左耳还是右耳;在通过第二耳筒发出第二提示音的同时,通过第一展示界面输出第二提示信息,第二提示信息用于指示第二方向为左耳还是右耳。通过前述方式,用户可以直接结合通过展示界面示出的提示信息和听到的提示音,来确定执行设备检测的每个目标耳筒的佩戴情况(也即每个目标耳筒所对应的检测结果)是否正确,降低了每个目标耳筒所对应的检测结果的验证过程的难度,不增加用户额外的认知负担,方便用户养成新的使用习惯,有利于提高本方案的用户粘度。
为更直观地理解本方案,请参阅图9,图9为本申请实施例提供的数据处理方法中对目标耳筒的检测结果进行验证的一种界面示意图。图9中以对目标耳筒的第一检测结果进行验证,且以第一方向为用户的左耳,第二方向为用户的右耳为例,如图9所示,在t1时刻,执行设备通过第一耳筒发出第一提示音,且不通过第二耳筒发出声音;与此同时,执行设备通过第一展示界面输出第一提示信息,第一提示信息用于提示用户当前发出第一提示音的为被确定为佩戴于左耳上的耳筒。
在t2时刻,执行设备通过第二耳筒发出第二提示音,且不通过第一耳筒发出声音;与此同时,执行设备通过第一展示界面输出第二提示信息,第二提示信息用于提示用户当前发出第二提示音的为被确定为佩戴于右耳上的耳筒。应理解,图9中的示例仅为方便理解本方案,不用于限定本方案。
进一步可选地,执行设备还可以通过第一展示界面展示有第一图标,通过第一图标获取用户输入的第一操作,响应于获取到的第一操作,触发对目标耳筒所对应的类别进行矫正。
为更直观地理解本方案,请参阅图10,图10为本申请实施例提供的数据处理方法中对目标耳筒的检测结果进行验证的一种界面示意图。其中,E1指向的图标为第一图标,用户在对目标耳筒的检测结果进行验证的过程中可以随时通过第一图标输入第一操作,以触发对目标耳筒的类别进行矫正,应理解,图10中的示例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒被确定为佩戴于第一方向上,第二耳筒被确定为佩戴于第二方向上,步骤308可以包括:执行设备从第一耳筒和第二耳筒中获取被确定为佩戴于预设方向上的耳筒,并仅通过被确定为佩戴于预设方向上的耳筒发出提示音。预设方向可以为用户的左耳,也可以为用户的右耳。
本申请实施例中,仅在预设方向(也即用户的左耳或者右耳上)发出提示音,也即若仅通过被确定为佩戴于左耳上的目标耳筒发出提示音,用户需要判断发出提示音的目标耳筒是否被佩戴于左耳上;或者仅通过被确定为佩戴于右耳上的目标耳筒发出提示音,用户需要判断发出提示音的目标耳筒是否被佩戴于右耳上,提供了一种新的目标耳筒的检测结果的验证方式,提高了本方案的实现灵活性。
针对步骤308的触发时机。在一种实现方式中,可以为通过步骤303进入步骤308,也即执行设备在执行完步骤303后可以直接进入步骤308,以通过步骤308触发由用户对通过步骤303生成的第一检测结果进行验证。
可选地,也可以为执行设备在执行完步骤303后,触发通过第二展示界面输出第一指示信息,第一指示信息用于告知用户执行设备已经完成了对每个目标耳筒的佩戴状况的检测操作。在第二展示界面上还可以示出第二图标,用户可以通过该第二图标输入第二操作,执行设备响应于获取到的第二操作,触发执行步骤308。作为示例,例如第二操作可以表现为对第二图标的点击、拖拽或其他操作等,此处不做穷举。
为更直观地理解本方案,请参阅图11,图11为本申请实施例提供的数据处理方法中触发对第一检测结果进行验证的一种界面示意图。图11中以第二展示界面为锁屏界面为例,当执行设备执行完步骤303后,也即在执行设备生成每个目标耳筒所对应的第一检测结果后,可以采用弹框的形式输出第一指示信息。F1指向的图标代表第二图标,用户可以通过第二图标输入第二操作,执行设备响应于获取到的第二操作,触发执行步骤308,应理解,图11中的示例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,也可以为在步骤307之后进入步骤308,则执行设备通过第三展示界面输出第三提示信息的同时,第三展示界面上还可以展示有第三图标,用户可以通过第三图标输入第三操作;执行设备响应于获取到的第三操作,触发执行步骤308,以通过步骤308对生成的第一检测结果/第二检测结果进行验证。
为更直观地理解本方案,请参阅图12,图12为本申请实施例提供的数据处理方法中触发对目标耳筒所对应的检测结果进行验证的一种界面示意图。图12中以在播放视频类应用程序的音频为例,执行设备在确定第二检测结果与第一检测结果不一致,且待播放音频属于预设音频的情况下,会通过第三展示界面输出第三提示信息,通过第三展示界面输出第三提示信息的同时,第三展示界面上还可以展示有第三图标(也即G1指向的图标),用户可以通过第三图标输入第三操作;执行设备响应于获取到的第三操作,触发执行步骤308,应理解,图12中的示例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,也可以为在步骤305之后触发进入步骤308,也即执行设备在确定第一检测结果和第二检测结果不一致的情况下,也可以直接触发进入步骤308,以通过步骤308对生成的第一检测结果/第二检测结果进行验证。
在另一种实现方式中,若不执行步骤304和305,也可以为在步骤306之后进入步骤308,也即执行设备在通过步骤303获取到与每个目标耳筒对应的第一检测结果后,可以直接判断待播放音频的类型是否属于预设类型,并在待播放音频的类型属于预设类型的情况下,触发直接进入步骤308,以通过步骤308对生成的第一检测结果进行验证。
本申请实施例中,在完成对每个耳筒的实际佩戴情况进行检测之后,还会通过至少一个目标耳筒发出提示音,以对预测的第一检测结果进行验证,以保证每个耳筒的预测佩戴情况与实际佩戴情况符合,以进一步提高本方案的用户粘度。
309、执行设备通过目标耳筒播放待播放音频。
本申请实施例中,在一种情况下,通过步骤303可以直接进入步骤309,也即执行设备在生成与每个目标耳筒对应的第一检测结果之后,可以直接基于与每个目标耳筒对应的第一检测结果,通过耳机的两个目标耳筒播放待播放音频。具体的,若待播放音频为立体声音频,则通过被确定为佩戴于左耳的目标耳筒播放待播放音频中左声道的音频,通过被确定为佩戴于右耳的目标耳筒播放待播放音频中右声道的音频。
在另一种情况下,通过步骤306进入步骤309,也即在第一检测结果和第二检测结果不一致,且待播放音频的类型不属于预设类型的情况下,由于待播放音频的类型不属于预设类型,则若执行设备在执行完步骤303后,已经基于第一检测结果开始播放待播放音频,则执行设备可以不再切换待播放音频的播放声道。若执行设备尚未播放待播放音频,则执行设备可以基于第一检测结果或第二检测结果播放待播放音频。
在另一种情况下,若通过步骤307进入步骤309,若执行设备响应于用户的操作,确定需要对目标耳筒的类别进行矫正,也即需要将用于播放左声道的音频的耳筒更新为播放右声道的音频,将用于播放右声道的音频的耳筒更新为播放左声道的音频。
更具体的,在一种实现方式中,执行设备可以在音源端(也即在执行设备端)实现左声道和右声道的切换,也即执行设备可以将原始的待播放音频中的左右声道交换,并将处理后的待播放音频传输至耳机端设备。
在另一种实现方式中,执行设备可以在耳机端实现左声道和右声道的切换。进一步地,若耳机为接收模拟信号的有线耳机,通过耳机中的扬声器将接收到的模拟信号转化为声音,通常采用3.5mm、6.35mm等接口。则可以在接收模拟信号的有线耳机中添加声道切换电路,以通过声道切换电路将左声道的模拟信号传输至被确定为佩戴于用户右耳的耳筒(基于第一检测结果确定的),将右声道的模拟信号传输至被确定为佩戴于用户左耳的耳筒(基于第一检测结果确定的),以实现左右声道音频的交换。
若耳机为接收数字信号的有线耳机,这类耳机首先通过独立的数模转换模块将接收到的数字音频信号转化为模拟信号,再通过扬声器将模拟信号转化为声音播放,通常采用通用串行总线(universal serial bus,USB)接口、(sony/philips digitalinterconnect forma,S/PDIF)接口或其他类型的接口等。则接收数字信号的有线耳机可以在进行数模转换时,将输入的待播放音频中的左声道音频和右声道音频进行交换,再将执行过左右声道交换操作的待播放音频由扬声器播放,以实现左右声道音频的交换。
若耳机为传统无线蓝牙耳机,传统无线蓝牙耳机的两个耳筒之间存在连接线,此类耳机中配置有蓝牙模块和数模转换模块,耳机会先通过蓝牙模块与执行设备建立无线连接,通过蓝牙模块接收数字音频信号(也即数字信号形式的待播放音频),通过数模转换模块将数字音频信号转换为模拟信号,并将模拟信号形式的左声道音频和右声道音频分别传输至耳机的两个耳筒,以通过耳筒中的扬声器进行播放。因此,耳机可以在通过蓝牙模块接收到数字信号形式的待播放音频后就交换待播放音频中的左声道音频和右声道音频,也可以在通过数模转换模块进行数字信号到模拟信号之间的转换时,完成左声道音频和右声道音频的交换。
若耳机为真无线蓝牙耳机,真无线蓝牙耳机去除了两个耳筒之间的连接线,在一种形态中,真无线蓝牙耳机的两个耳筒可以分为主耳筒和副耳筒,主耳筒负责与执行设备音源端建立蓝牙连接,并接收双声道音频数据。随后,主耳筒从接收到的信号中分离出副耳筒声道的数据,并通过蓝牙发送给副耳筒,在主耳筒接收到待播放音频后,可以将原本想要通过主耳筒播放的音频数据传输至副耳筒,并将原来想通过副耳筒播放的音频数据传输至主耳筒,以完成左声道音频和右声道音频的交换。
在另一种形态中,真无线蓝牙耳机包括的两个耳筒分别与执行设备(也即音源端)独立连接,则执行设备可以将左声道的音频发送给基于第一检测结果确定为佩戴在右耳的耳筒,将右声道的音频发送给基于第一检测结果确定为佩戴在左耳的耳筒,以完成左声道音频和右声道音频的交换等,当耳机表现为其他形态时,还可以采用方式以实现完成左声道音频和右声道音频的交换,此处不做穷举。
本申请实施例中,通过目标耳筒发射探测信号,并通过目标耳筒获取与探测信号对应的反馈信号,根据反馈信号确定目标耳筒为佩戴于用户的左耳还是右耳;通过前述方案可知,本申请中不会预先设定每个耳筒的类别,而是在用户佩戴耳筒后,基于用户的实际佩戴情况来确定目标耳筒是佩戴在左耳还是右耳,也即用户不再需要查看耳筒上的标记,以及基于耳筒上的标记佩戴耳机,而是可以随机的佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,基于声学原理对每个目标耳筒的实际佩戴情况进行检测,由于一般耳机中均内置有扬声器和麦克风,不需要增加额外的硬件,节约了制造成本;此外,第一探测信号所在频段为8kHz-20kHz,也即不同耳机上的扬声器都可以准确的发送第一探测信号,也即第一探测信号所在频段不受期间差异影响,有利于提高检测结果的准确率。
二、采用其他方式来检测目标耳筒为佩戴与用户的左耳还是右耳
本申请实施例中,还提供了其他方式来获取与目标耳筒对应的检测结果,检测结果用于指示目标耳筒为佩戴于左耳或佩戴于右耳,也即步骤303中可以通过如下四种方式中任意一种方式来生成第一检测结果,对应的,步骤304中也可以通过如下四种方式中任意一种来生成第二检测结果。
在一种实现方式中,由于在用户佩戴耳机的很多应用场景中,用户会朝向一台具有显示功能的电子设备(也即与耳机通信连接的音源端),作为示例,例如当用户看视频时,会朝向手机/平板电脑;作为另一示例,例如当用户玩游戏时,会朝向电脑等,则所以可以利用用户朝向的电子设备与耳机的方位比对,来生成目标耳筒所对应的第一检测结果/第二检测结果。具体的,请参阅图13,图13为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的一种流程示意图,本申请实施例提供的生成目标耳筒所对应的检测结果的方法可以包括:
1301、执行设备获取与耳机连接的电子设备的侧向轴的朝向。
本实现方式中,执行设备会获取与耳机连接的电子设备的侧向轴的朝向,其中,执行设备可以为耳机,也可以为与耳机连接的电子设备。
具体的,执行设备根据与耳机连接的电子设备的当前朝向(orientation)确定该电子设备的侧向轴的朝向,执行设备获取的可以为电子设备的侧向轴在地球坐标系下的向量坐标。
进一步地,由于该电子设备在使用时会处于不同的朝向模式,不同的朝向模式包括横屏模式(landscape mode)和竖屏模式(portrait mode),当与耳机连接的电子设备处于横屏模式下,侧向轴的朝向与该电子设备的长边平行;当与耳机连接的电子设备处于竖屏模式下,侧向轴的朝向与该电子设备的短边平行。
步骤1301的触发时机包括但不限于:耳机被佩戴后并与该电子设备建立通信连接;或者,耳机与该电子设备建立通信连接后,该电子设备上并开启了需要播放音频的应用程序;或者其他类型的触发时机等。
1302、执行设备计算目标耳筒的侧向轴和电子设备的侧向轴之间的第一夹角。
本实现方式中,执行设备可以通过目标耳筒(也即耳机中的一个耳筒)中配置的传感器获取到该目标耳筒的侧向轴的朝向,也即可以获取到目标耳筒的侧向轴在地球坐标系下的向量坐标,进而计算目标耳筒的侧向轴和电子设备的侧向轴之间的第一夹角。其中,目标耳筒的侧向轴所对应的原点在目标耳筒上。
需要说明的是,在本实施例及后续实施例中,若执行设备与采集数据的设备为不同的设备,则均可以通过信息交互的方式向数据采集设备发送指令,以指示数据采集设备进行数据采集,并接收数据采集设备发送的数据。作为示例,例如若执行设备与目标耳筒为不同的设备,则执行设备可以向目标耳筒发送指令,以指示目标耳筒采集目标耳筒的侧向轴的朝向,并将目标耳筒的侧向轴的朝向发送给执行设备。若执行设备与采集数据的设备为相同的设备,则可以直接进行数据采集。
1303、执行设备根据第一夹角,确定目标耳筒所对应的检测结果,目标耳筒所对应的检测结果用于指示目标耳筒被佩戴于用户的左耳还是右耳。
本实现方式中,执行设备得到第一夹角后,若第一夹角位于第一预设范围内,则该目标耳筒被确定为佩戴于用户的预设方向上,若第一夹角位于第一预设范围之外,则该目标耳筒被确定为不佩戴于用户的预设方向上。
其中,预设方向为被佩戴于用户的左耳还是右耳,若预设方向为佩戴于用户的左耳,则不佩戴于用户的预设方向上代表佩戴于用户的右耳;若预设方向为佩戴于用户的右耳,则不佩戴于用户的预设方向上代表佩戴于用户的左耳。
第一预设范围的取值需要结合预设方向的取值,以及目标耳筒的侧向轴的设置方式等因素确定。作为示例,例如预设方向为佩戴于用户的左耳,目标耳筒的侧向轴与用户头部的中轴线垂直,则第一预设范围可以为0至45度、0至60度、0至90度或其他取值等,此处不做穷举。作为另一示例,例如预设方向为佩戴于用户的右耳,目标耳筒的侧向轴与用户头部的中轴线垂直,则第一预设范围可以为180至135度、180至120度、180至90度或其他取值等,此处不做穷举。
为更直观地理解本方案,请参阅图14,图14为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的一种原理示意图。图14以与耳机连接的电子设备为手机、手机的侧向轴与手机的短边平行、目标耳筒的侧向轴与用户头部的中轴线垂直,且预设方向为佩戴于用户左耳为例。预设方向为佩戴于用户的左耳。如图14所示,则当目标耳筒佩戴于用户左耳时,目标耳筒的侧向轴与手机的侧向轴之间的第一夹角的取值大约为0度,当目标耳筒佩戴于用户左耳时,目标耳筒的侧向轴与手机的侧向轴之间的第一夹角的取值大约为180度,所以通过对比目标耳筒的侧向轴与手机的侧向轴之间夹角,可知目标耳筒的实际佩戴情况。应理解,图14中的示例仅为方便理解本方案,不用于限定本方案。需要说明的是图13示出的实现方式可以用于生成目标耳筒所对应的第一检测结果,也可以用于生成目标耳筒所对应的第二检测结果。
本实现方式中,利用耳机所连接的电子设备的方位来对目标耳筒的实际佩戴情况进行检测,同样不需要用户做额外的操作,而是在用户使用耳机的过程中自动进行检测,降低了用户使用耳机的复杂度;且提供了目标耳筒的检测结果的另一种获取方式,提高了本方案的实现灵活性。
在另一种实现方式中,由于人在绝大多数场景下行走的方向和人脸的朝向一致(也即人几乎都是朝前走的),所以可以根据人在行走状态时,耳机在正向轴上的速度值的正负,来判断目标耳筒的实际佩戴情况,也即生成目标耳筒所对应的第一检测结果/第二检测结果。具体的,请参阅图15,图15为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的另一种流程示意图,本申请实施例提供的生成目标耳筒所对应的检测结果的方法可以包括:
1501、执行设备确定目标耳筒所对应的正向轴的朝向。
本实现方式中,执行设备预先设置目标耳筒(也即耳机的两个耳筒的中的一个耳筒)中运动传感器的一个轴方向为目标耳筒所对应的正向轴的朝向,则当目标耳筒开始移动时,执行设备可以通过目标耳筒中运动传感器获取到目标耳筒所对应的正向轴的朝向。
其中,该正向轴与耳机佩戴时人脸平面垂直,该正向轴的朝向与人脸朝向平行。运动传感器具体可以表现为惯性衡量单元(inertial measurement unit,IMU)或其他类型的运动传感器等。
具体的,结合图16对目标耳筒所对应的正向轴的朝向进行说明,图16为本申请实施例提供的数据处理方法中确定目标耳筒所对应的正向轴的朝向的一种示意图。图16中左图示出的为当耳机处于完全竖直状态时,也即当耳机的旋转角度为0时,目标耳筒所对应的正向轴的朝向。由于头戴式耳机在佩戴时会有不同的旋转角度(如图16中右图所示),执行设备可以通过重力加速度传感器的读数求出耳机在俯仰向的旋转,规定当耳机的旋转角度(如图16右图中的θ角)大于预设角度阈值时,选择另一轴作为正向轴。其中,“另一轴”指的不是前述“前向轴”,也不是“和用户的两个耳朵之间的连线平行的轴”;可选地,“另一轴”可以与惯性衡量单元直接得到的轴之间的夹角为θ角(参阅图16中的右图)。预设角度阈值可以为60度、80度、90度或其他取值等等,如图16右图所示,当头戴式耳机的头梁被戴到了后脑上,此时将原y轴的反方向设置为正向轴。
1502、执行设备根据目标耳筒在正向轴上的速度,确定目标耳筒所对应的检测结果,目标耳筒所对应的检测结果用于指示目标耳筒被佩戴于用户的左耳还是右耳。
本实现方式中,当目标耳筒检测到目标耳筒处于运动状态时,在预设时间窗内计算目标耳筒在正向轴上的速度,若目标耳筒在正向轴上的速度为正,则执行设备确定目标耳筒所对应的检测结果为第一预设佩戴状态;若目标耳筒在正向轴上的速度为负,则执行设备确定目标耳筒所对应的检测结果为第二预设佩戴状态。
其中,第一预设佩戴状态和第二预设佩戴状态为两种不同的佩戴状态;作为示例,例如第一预设佩戴状态指示耳筒A佩戴于用户右耳,耳筒B佩戴于用户左耳,则第二预设佩戴状态指示耳筒A佩戴于用户左耳,耳筒B佩戴于用户右耳。
为更直观地理解本方案,请参阅图17,图17为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的另一种原理示意图。如图17中左图所示,图17中左图示出的为耳筒A,图上没有显示出来的是耳筒B,当耳筒A在正向轴上的速度为正,确定整个耳机处于第一预设佩戴状态,也即耳筒A佩戴于用户右耳,耳筒B佩戴于用户左耳。图17中左图示出的为耳筒B,图上没有显示出来的是耳筒A,当耳筒B在正向轴上的速度为正,确定整个耳机处于第二预设佩戴状态,也即耳筒A佩戴于用户左耳,耳筒B佩戴于用户右耳,应理解,图17中的示例仅为方便理解本方案,不用于限定本方案。
本实现方式中,在用户戴着耳机运动的场景下,通过耳机中配置的运动传感器就可以检测每个耳筒的实际佩戴情况,提供了一种简单的耳筒的实际佩戴情况的检测方法,进一步提高了本方案的实现灵活性。
在另一种实现方式中,若用户佩戴有智能手环或智能手表,耳机为包耳式或压耳式耳机的情况下,则还可以根据耳机佩戴时刻,智能手环或智能手表与两个耳筒之间的距离来生成目标耳筒所对应的第一检测结果/第二检测结果。
具体的,电子设备(也即智能手环或智能手表)可以通过配置的动作传感器确定该电子设备被佩戴在左手还是右手,以得到与该电子设备对应的一个位置参数(也即左或者右),该电子设备将前述位置参数发送给耳机。当用户佩戴耳机时,耳机的每个耳筒可以获取耳筒与该电子设备之间的距离,也即能够分别获取到该电子设备与两个耳筒之间的距离。耳机根据接收到的位置参数,以及两个耳筒与该电子设备之间的距离,生成每个耳筒所对应的检测结果。其中,若该电子设备被佩戴在左手,则两个耳筒中与该电子设备距离较近的一个耳筒被确定为佩戴于用户左耳,两个耳筒中与该电子设备距离较远的一个耳筒被确定为佩戴于用户右耳。若该电子设备被佩戴在右手,则两个耳筒中与该电子设备距离较近的一个耳筒被确定为佩戴于用户右耳,两个耳筒中与该电子设备距离较远的一个耳筒被确定为佩戴于用户左耳。
本实现方式中,在用户佩戴智能手环或智能手表的场景下,可以借助智能手环或智能手表来检测每个耳筒的实际佩戴情况,提供了又一种耳筒的实际佩戴情况的检测方法,进一步提高了本方案的实现灵活性。
在另一种实现方式中,在耳机为包耳式耳机或压耳式耳机的情况下,每个耳筒(也可以称为耳筒)外部可以检测到用户手指接触时留下的触点,对于同一耳筒,当被不同手持握时,留下的触点近似关于耳机竖直轴对称。则在耳机为包耳式耳机或压耳式耳机的情况下,还可以通过检测佩戴目标耳筒时持握目标耳筒的手为左手还是右手,来判断目标耳筒被佩戴在左耳还是右耳。
具体的,执行设备可以通过一个目标耳筒外的触摸传感器检测到至少三个触摸点,并记录每个触摸点所对应的位置信息,来确定触摸目标耳筒的手为左手还是右手,若触摸目标耳筒的手为左手,则目标耳筒被确定为佩戴于用户的左耳上;若触摸目标耳筒的手为右手,则目标耳筒被确定为佩戴于用户的右耳上。
更具体的,在一种实现方式中,执行设备可以根据至少三个触摸点中每个触摸点所对应的位置信息,从至少三个触摸点中确定拇指所对应的接触点和食指所对应的接触点。执行设备可以获取耳机的竖直轴的朝向,并获取目标向量与耳机的竖直轴之间的第二夹角,目标向量为从拇指指向食指的向量。根据第二夹角确定触摸该目标耳筒的手为左手还是右手,进而确定该目标耳筒被确定为佩戴于用户的左耳还是右耳。需要说明的是,此处说明仅为证明本方案的可实现性,还可以采用其他方式,根据至少三个触摸点中每个触摸点所对应的位置信息,确定触摸目标耳筒的为左手还是右手,此处不做穷举。
其中,耳机的竖直轴是提前规定好的,作为示例,例如耳机竖直轴的方向可以根据耳机在俯仰方向上的翻转角确定,进一步地,执行设备可以通过读取耳机重力加速度传感器读数,以获取耳机在俯仰向的翻转角。
更具体的,针对拇指和食指的确定过程。在一种实现方式中,执行设备获取至少三个触摸点中每两个触摸点之间形成的弧长,以根据每两个触摸点之间形成的弧长,从至少三个触摸点中确定拇指所对应的接触点和食指所对应的接触点。需要说明的是,执行设备还可以通过其他方式来从至少三个触摸点中确定拇指所对应的接触点和食指所对应的接触点,此处不做穷举。
为更直观地理解本方案,请参阅图18,图18为本申请实施例提供的数据处理方法中生成目标耳筒所对应的检测结果的又一种原理示意图。如图18所示,图18中上面两个图示出的为通过右手触摸目标耳筒(也可以称为耳包)第二夹角的取值范围,第二夹角的取值处于(α1,α2)这一范围内,也即当一个目标耳筒所对应的第二夹角的取值处于(α1,α2)这一范围内时,证明该目标耳筒被佩戴于用户的右耳。图18中下面两个图示出的为通过左手触摸目标耳筒时,第二夹角的取值范围,第二夹角的取值处于(α1,α2)这一范围内,也即当一个目标耳筒所对应的第二夹角的取值处于(-α1,-α2)这一范围内时,证明该目标耳筒被佩戴于用户的左耳。应理解,图18中的示例仅为方便理解本方案,不用于限定本方案。
本实现方式中,在用户佩戴的为包耳式耳机或压耳式耳机的场景中,还可以通过检测佩戴目标耳筒时持握目标耳筒的手为左手还是右手,来检测每个耳筒的实际佩戴情况,提供了又一种耳筒的实际佩戴情况的检测方法,进一步提高了本方案的实现灵活性。
在图1至图18所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体参阅图19,图19为本申请实施例提供的数据处理装置的一种结构示意图。一个耳机包括两个目标耳筒,数据处理装置1900包括:获取模块1901,用于获取与第一探测信号对应的第一反馈信号,其中,第一探测信号为通过目标耳筒发射的音频信号,第一探测信号所在频段为8kHz-20kHz,第一反馈信号包括第一探测信号所对应的反射信号;确定模块1902,用于当检测到耳机被佩戴,根据第一反馈信号,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
在一种可能的设计中,第一探测信号为在不同频率上变化的音频信号,第一探测信号为在不同频率上的信号强度相同。
在一种可能的设计中,当检测到如下任一种或多种情况时,视为检测到耳机被佩戴:检测到预设类型的应用程序被打开、检测到与耳机通信连接的电子设备的屏幕亮屏或者检测到目标耳筒被放置至耳朵上。
在一种可能的设计中,获取模块1901,还用于获取与目标耳筒的多个佩戴角度对应的多个目标特征信息,每个目标特征信息包括与目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息,第二反馈信号包括第二探测信号所对应的反射信号,第二探测信号为通过目标耳筒发射的音频信号;确定模块1902,具体用于根据第一反馈信号和多个目标特征信息,确定第一检测结果。
在一种可能的设计中,请参阅图20,图20为本申请实施例提供的数据处理装置的另一种结构示意图。获取模块1901,还用于获取与目标耳筒对应的第二检测结果,第二检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳,第二检测结果为对通过目标耳筒进行再次检测后得到;数据处理装置1900还包括:输出模块1903,用于在第一检测结果和第二检测结果不一致,且待播放音频的类型属于预设类型的情况下,输出第三提示信息,其中,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,待播放音频为需要通过目标耳筒播放的音频,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。
在一种可能的设计中,预设类型包括以下中的任一种或多种的组合:立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频。
在一种可能的设计中,请参阅图20,数据处理装置1900还包括:验证模块1904,用于通过目标耳筒发出提示音,提示音用于对第一检测结果的正确性进行验证。
在一种可能的设计中,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒被确定为佩戴于第一方向上,第二耳筒被确定为佩戴于第二方向上。验证模块1904,具体用于:在通过第一耳筒发出第一提示音的同时,通过展示界面输出第一提示信息,第一提示信息用于指示第一方向为左耳还是右耳;在通过第二耳筒发出第二提示音的同时,通过展示界面输出第二提示信息,第二提示信息用于指示第二方向为左耳还是右耳。
在一种可能的设计中,耳机为包耳式耳机或压耳式耳机,两个目标耳筒包括第一耳筒和第二耳筒,第一耳筒中配置有第一音频采集装置,第二耳筒中配置有第二音频采集装置。当耳机被佩戴时,第一音频采集装置与用户的耳轮区域对应,第二音频采集装置与用户的耳甲区域对应;或者,当耳机被佩戴时,第一音频采集装置与用户的耳甲区域对应,第二音频采集装置与用户的耳轮区域对应。
在一种可能的设计中,确定模块1902,具体用于根据反馈信号,基于耳部传输函数确定目标耳筒的第一类别,其中,耳机为包耳式耳机或压耳式耳机,耳部传输函数为耳廓传输函数EATF;或者,耳机为入耳式耳机、半入耳式耳机或包耳式耳机,耳部传输函数为耳道传输函数ECTF。
在一种可能的设计中,第一反馈信号包括第一探测信号所对应的反射信号;确定模块1902,还用于当检测到目标耳筒被佩戴时,根据第一反馈信号的信号强度,确定与目标耳筒对应的目标佩戴信息,目标佩戴信息用于指示目标耳筒的佩戴松紧度。
需要说明的是,数据处理装置1900中各模块/单元之间的信息交互、执行过程等内容,与本申请中图1至图18对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
请参阅图21,图21为本申请实施例提供的数据处理装置的又一种结构示意图。一个耳机包括两个目标耳筒,数据处理装置2100可以包括:获取模块2101,用于获取与第一探测信号对应的第一反馈信号,第一探测信号为通过目标耳筒发射的音频信号,第一反馈信号包括第一探测信号所对应的反射信号;获取模块2101,还用于当检测到耳机被佩戴,获取与第一反馈信号对应的目标佩戴角度,目标佩戴角度为采集第一反馈信号时目标耳筒的佩戴角度;获取模块2101,还用于获取与目标佩戴角度对应的目标特征信息,目标特征信息用于指示当目标耳筒在目标佩戴角度时得到的反馈信号的特征信息;确定模块2102,用于根据第一反馈信号和目标特征信息,确定与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳。
在一种可能的设计中,第一探测信号和第二探测信号的所在频段均为8kHz-20kHz。
在一种可能的设计中,第一探测信号为在不同频率上变化的音频信号,第一探测信号为在不同频率上的信号强度相同。
在一种可能的设计中,当检测到如下任一种或多种情况时,视为检测到耳机被佩戴:检测到预设类型的应用程序被打开、检测到与耳机通信连接的电子设备的屏幕亮屏或者检测到目标耳筒被放置至耳朵上。
需要说明的是,数据处理装置2100中各模块/单元之间的信息交互、执行过程等内容,与本申请中图1至图18对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
请参阅图22,图22为本申请实施例提供的数据处理装置的又一种结构示意图。一个耳机包括两个目标耳筒,数据处理装置2200可以包括:获取模块2201,用于获取与目标耳筒对应的第一检测结果,第一检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳;提示模块2202,用于通过目标耳筒发出提示音,提示音用于对第一检测结果的正确性进行验证。
在一种可能的设计中,获取模块2201,还用于获取与目标耳筒对应的第二检测结果,第二检测结果用于指示每个目标耳筒为佩戴于左耳或佩戴于右耳,第二检测结果为对通过目标耳筒进行再次检测后得到;提示模块2202,还用于若第一检测结果和第二检测结果不一致,且待播放音频的类型属于预设类型,则输出第三提示信息,其中,第三提示信息用于询问用户是否对目标耳筒的类别进行矫正,待播放音频为需要通过目标耳筒播放的音频,目标耳筒的类别为目标耳筒佩戴于左耳或右耳。
需要说明的是,数据处理装置2200中各模块/单元之间的信息交互、执行过程等内容,与本申请中图1至图18对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
接下来介绍本申请实施例提供的一种执行设备,请参阅图23,图23为本申请实施例提供的执行设备的一种结构示意图,执行设备2300具体可以表现为耳机,或者,执行设备2300具体可以表现为耳机所连接的电子设备,也即虚拟现实(virtual reality,VR)设备、手机、平板、笔记本电脑、智能穿戴设备等,此处不做限定。其中,执行设备2300上可以部署有图19或图20对应实施例中所描述的数据处理装置1900,用于实现图1至图18对应实施例中执行设备的功能。具体的,执行设备2300包括:接收器2301、发射器2302、处理器2303和存储器2304(其中执行设备2300中的处理器2303的数量可以一个或多个,图23中以一个处理器为例),其中,处理器2303可以包括应用处理器23031和通信处理器23032。在本申请的一些实施例中,接收器2301、发射器2302、处理器2303和存储器2304可通过总线或其它方式连接。
存储器2304可以包括只读存储器和随机存取存储器,并向处理器2303提供指令和数据。存储器2304的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器2304存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器2303控制执行设备的操作。具体的应用中,执行设备的各个组件通过总线***耦合在一起,其中总线***除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线***。
上述本申请实施例揭示的方法可以应用于处理器2303中,或者由处理器2303实现。处理器2303可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器2303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2303可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器2303可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2304,处理器2303读取存储器2304中的信息,结合其硬件完成上述方法的步骤。
接收器2301可用于接收输入的数字或字符信息,以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器2302可用于通过第一接口输出数字或字符信息;发射器2302还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器2302还可以包括显示屏等显示设备。
本申请实施例中,处理器2303中的应用处理器23031,用于执行图1至图18对应实施例中的执行设备执行的数据处理方法。需要说明的是,应用处理器23031执行上述各个步骤的具体方式,与本申请中图1至图18对应的各个方法实施例基于同一构思,其带来的技术效果与本申请中图1至图18对应的各个方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图1至图18所示实施例描述的方法中执行设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述图1至图18所示实施例描述的方法中执行设备所执行的步骤。
本申请实施例提供的数据处理装置、神经网络的训练装置、执行设备以及训练设备具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使芯片执行上述图1至图18所示实施例描述的数据处理方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random accessmemory,RAM)等。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
Claims (26)
1.一种数据处理方法,其特征在于,一个耳机包括两个目标耳筒,所述方法包括:
获取与第一探测信号对应的第一反馈信号,其中,所述第一探测信号为通过所述目标耳筒发射的音频信号,所述第一探测信号所在频段为8kHz-20kHz,所述第一反馈信号包括所述第一探测信号所对应的反射信号;
当检测到所述耳机被佩戴,根据所述第一反馈信号,确定与所述目标耳筒对应的第一检测结果,所述第一检测结果用于指示所述目标耳筒为佩戴于左耳或佩戴于右耳。
2.根据权利要求1所述的方法,其特征在于,所述第一探测信号为在不同频率上变化的音频信号,所述第一探测信号为在所述不同频率上的信号强度相同。
3.根据权利要求1或2所述的方法,其特征在于,当检测到如下任一种或多种情况时,视为检测到所述耳机被佩戴:检测到预设类型的应用程序被打开、检测到与所述耳机通信连接的电子设备的屏幕亮屏或者检测到所述目标耳筒被放置至耳朵上。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取与所述目标耳筒的多个佩戴角度对应的多个目标特征信息,每个所述目标特征信息包括与所述目标耳筒的一个佩戴角度对应的第二反馈信号的特征信息,所述第二反馈信号包括第二探测信号所对应的反射信号,所述第二探测信号为通过所述目标耳筒发射的音频信号;
所述根据所述第一反馈信号,确定与所述目标耳筒对应的第一检测结果,包括:
根据所述第一反馈信号和所述多个目标特征信息,确定所述第一检测结果。
5.根据权利要求1或2所述的方法,其特征在于,所述确定与所述目标耳筒对应的第一检测结果之后,所述方法还包括:
获取与所述目标耳筒对应的第二检测结果,所述第二检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳,所述第二检测结果为对通过所述目标耳筒进行再次检测后得到;
若所述第一检测结果和所述第二检测结果不一致,且待播放音频的类型属于预设类型,则输出第三提示信息,其中,所述第三提示信息用于询问用户是否对所述目标耳筒的类别进行矫正,所述待播放音频为需要通过所述目标耳筒播放的音频,所述目标耳筒的类别为所述目标耳筒佩戴于左耳或右耳。
6.根据权利要求5所述的方法,其特征在于,所述预设类型包括以下中的任一种或多种的组合:立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频。
7.根据权利要求1或2所述的方法,其特征在于,所述确定与所述目标耳筒对应的第一检测结果之后,所述方法还包括:
通过所述目标耳筒发出提示音,所述提示音用于对所述第一检测结果的正确性进行验证。
8.根据权利要求7所述的方法,其特征在于,所述两个目标耳筒包括第一耳筒和第二耳筒,所述第一耳筒被确定为佩戴于第一方向上,所述第二耳筒被确定为佩戴于第二方向上,所述通过所述目标耳筒发出提示音,包括:
在通过所述第一耳筒发出第一提示音的同时,通过展示界面输出第一提示信息,所述第一提示信息用于指示所述第一方向为左耳还是右耳;
在通过所述第二耳筒发出第二提示音的同时,通过所述展示界面输出第二提示信息,所述第二提示信息用于指示所述第二方向为左耳还是右耳。
9.根据权利要求1或2所述的方法,其特征在于,所述耳机为包耳式耳机或压耳式耳机,所述两个目标耳筒包括第一耳筒和第二耳筒,所述第一耳筒中配置有第一音频采集装置,所述第二耳筒中配置有第二音频采集装置;
当所述耳机被佩戴时,所述第一音频采集装置与用户的耳轮区域对应,所述第二音频采集装置与用户的耳甲区域对应;或者,
当所述耳机被佩戴时,所述第一音频采集装置与用户的耳甲区域对应,所述第二音频采集装置与用户的耳轮区域对应。
10.根据权利要求1或2所述的方法,其特征在于,所述根据所述第一反馈信号,确定与所述目标耳筒对应的第一检测结果,包括:
根据所述第一反馈信号,基于耳部传输函数确定所述第一检测结果,其中,所述耳机为包耳式耳机或压耳式耳机,所述耳部传输函数为耳廓传输函数EATF;或者,所述耳机为入耳式耳机、半入耳式耳机或包耳式耳机,所述耳部传输函数为耳道传输函数ECTF。
11.根据权利要求1或2所述的方法,其特征在于,所述第一反馈信号包括所述第一探测信号所对应的反射信号,所述方法还包括:
当检测到所述目标耳筒被佩戴时,根据所述第一反馈信号的信号强度,确定与所述目标耳筒对应的目标佩戴信息,所述目标佩戴信息用于指示所述目标耳筒的佩戴松紧度。
12.一种数据处理方法,其特征在于,一个耳机包括两个目标耳筒,所述方法包括:
获取与第一探测信号对应的第一反馈信号,所述第一探测信号为通过所述目标耳筒发射的音频信号,所述第一反馈信号包括所述第一探测信号所对应的反射信号;
当检测到所述耳机被佩戴,获取与所述第一反馈信号对应的目标佩戴角度,所述目标佩戴角度为采集所述第一反馈信号时所述目标耳筒的佩戴角度;
获取与所述目标佩戴角度对应的目标特征信息,所述目标特征信息用于指示当所述目标耳筒在所述目标佩戴角度时得到的反馈信号的特征信息;
根据所述第一反馈信号和所述目标特征信息,确定与所述目标耳筒对应的第一检测结果,所述第一检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳。
13.根据权利要求12所述的方法,其特征在于,所述第一探测信号和所述第二探测信号的所在频段均为8kHz-20kHz。
14.一种数据处理方法,其特征在于,一个耳机包括两个目标耳筒,所述方法包括:
获取与所述目标耳筒对应的第一检测结果,所述第一检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳;
通过所述目标耳筒发出提示音,所述提示音用于对所述第一检测结果的正确性进行验证。
15.根据权利要求14所述的方法,其特征在于,所述确定与所述目标耳筒对应的第一检测结果之后,所述方法还包括:
获取与所述目标耳筒对应的第二检测结果,所述第二检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳,所述第二检测结果为对通过所述目标耳筒进行再次检测后得到;
若所述第一检测结果和所述第二检测结果不一致,且待播放音频的类型属于预设类型,则输出第三提示信息,其中,所述第三提示信息用于询问用户是否对所述目标耳筒的类别进行矫正,所述待播放音频为需要通过所述目标耳筒播放的音频,所述目标耳筒的类别为所述目标耳筒佩戴于左耳或右耳。
16.根据权利要求15所述的方法,其特征在于,所述预设类型包括以下中的任一种或多种的组合:立体声音频、来源于视频类应用程序的音频、来源于游戏类应用程序的音频和携带有方向信息的音频。
17.一种数据处理装置,其特征在于,一个耳机包括两个目标耳筒,所述装置包括:
获取模块,用于获取与第一探测信号对应的第一反馈信号,其中,所述第一探测信号为通过所述目标耳筒发射的音频信号,所述第一探测信号所在频段为8kHz-20kHz,所述第一反馈信号包括所述第一探测信号所对应的反射信号;
确定模块,用于当检测到所述耳机被佩戴,根据所述第一反馈信号,确定与所述目标耳筒对应的第一检测结果,所述第一检测结果用于指示所述目标耳筒为佩戴于左耳或佩戴于右耳。
18.根据权利要求17所述的装置,其特征在于,所述第一探测信号为在不同频率上变化的音频信号,所述第一探测信号为在所述不同频率上的信号强度相同。
19.根据权利要求17或18所述的装置,其特征在于,当检测到如下任一种或多种情况时,视为检测到所述耳机被佩戴:检测到预设类型的应用程序被打开、检测到与所述耳机通信连接的电子设备的屏幕亮屏或者检测到所述目标耳筒被放置至耳朵上。
20.一种数据处理装置,其特征在于,一个耳机包括两个目标耳筒,所述装置包括:
获取模块,用于获取与第一探测信号对应的第一反馈信号,所述第一探测信号为通过所述目标耳筒发射的音频信号,所述第一反馈信号包括所述第一探测信号所对应的反射信号;
所述获取模块,还用于当检测到所述耳机被佩戴,获取与所述第一反馈信号对应的目标佩戴角度,所述目标佩戴角度为采集所述第一反馈信号时所述目标耳筒的佩戴角度;
所述获取模块,还用于获取与所述目标佩戴角度对应的目标特征信息,所述目标特征信息用于指示当所述目标耳筒在所述目标佩戴角度时得到的反馈信号的特征信息;
确定模块,用于根据所述第一反馈信号和所述目标特征信息,确定与所述目标耳筒对应的第一检测结果,所述第一检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳。
21.根据权利要求20所述的装置,其特征在于,所述第一探测信号和所述第二探测信号的所在频段均为8kHz-20kHz。
22.一种数据处理装置,其特征在于,一个耳机包括两个目标耳筒,所述装置包括:
获取模块,用于获取与所述目标耳筒对应的第一检测结果,所述第一检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳;
提示模块,用于通过所述目标耳筒发出提示音,所述提示音用于对所述第一检测结果的正确性进行验证。
23.根据权利要求22所述的装置,其特征在于,
所述获取模块,还用于获取与所述目标耳筒对应的第二检测结果,所述第二检测结果用于指示每个所述目标耳筒为佩戴于左耳或佩戴于右耳,所述第二检测结果为对通过所述目标耳筒进行再次检测后得到;
所述提示模块,还用于若所述第一检测结果和所述第二检测结果不一致,且待播放音频的类型属于预设类型,则输出第三提示信息,其中,所述第三提示信息用于询问用户是否对所述目标耳筒的类别进行矫正,所述待播放音频为需要通过所述目标耳筒播放的音频,所述目标耳筒的类别为所述目标耳筒佩戴于左耳或右耳。
24.一种计算机程序产品,其特征在于,当所述计算机程序在计算机上运行时,使得计算机执行如权利要求1至16中任意一项所述的方法。
25.一种计算机可读存储介质,其特征在于,包括程序,当所述程序在计算机上运行时,使得计算机执行如权利要求1至16中任一项所述的方法。
26.一种执行设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器耦合,
所述存储器,用于存储程序;
所述处理器,用于执行所述存储器中的程序,使得所述执行设备执行如权利要求1至16中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111166702.3A CN115914948A (zh) | 2021-09-30 | 2021-09-30 | 一种数据处理方法以及相关设备 |
PCT/CN2022/122997 WO2023051750A1 (zh) | 2021-09-30 | 2022-09-30 | 一种数据处理方法以及相关设备 |
EP22875131.9A EP4380186A1 (en) | 2021-09-30 | 2022-09-30 | Data processing method and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111166702.3A CN115914948A (zh) | 2021-09-30 | 2021-09-30 | 一种数据处理方法以及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115914948A true CN115914948A (zh) | 2023-04-04 |
Family
ID=85750409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111166702.3A Pending CN115914948A (zh) | 2021-09-30 | 2021-09-30 | 一种数据处理方法以及相关设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4380186A1 (zh) |
CN (1) | CN115914948A (zh) |
WO (1) | WO2023051750A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9961446B2 (en) * | 2014-08-27 | 2018-05-01 | Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. | Earphone recognition method and apparatus, earphone control method and apparatus, and earphone |
US9883278B1 (en) * | 2017-04-18 | 2018-01-30 | Nanning Fugui Precision Industrial Co., Ltd. | System and method for detecting ear location of earphone and rechanneling connections accordingly and earphone using same |
CN106982403A (zh) * | 2017-05-25 | 2017-07-25 | 深圳市金立通信设备有限公司 | 一种耳机佩戴的检测方法及终端 |
CN108093327B (zh) * | 2017-09-15 | 2019-11-29 | 歌尔科技有限公司 | 一种检验耳机佩戴一致性的方法、装置和电子设备 |
CN109195045B (zh) * | 2018-08-16 | 2020-08-25 | 歌尔科技有限公司 | 检测耳机佩戴状态的方法、装置及耳机 |
-
2021
- 2021-09-30 CN CN202111166702.3A patent/CN115914948A/zh active Pending
-
2022
- 2022-09-30 WO PCT/CN2022/122997 patent/WO2023051750A1/zh active Application Filing
- 2022-09-30 EP EP22875131.9A patent/EP4380186A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023051750A1 (zh) | 2023-04-06 |
EP4380186A1 (en) | 2024-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11294619B2 (en) | Earphone software and hardware | |
US10412478B2 (en) | Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method | |
JP6621848B2 (ja) | ウェアラブルデバイスの状態に基づいたコンパニオン通信デバイスの動作の変更 | |
US8787584B2 (en) | Audio metrics for head-related transfer function (HRTF) selection or adaptation | |
WO2020019821A1 (zh) | 麦克风堵孔检测方法及相关产品 | |
US20130279724A1 (en) | Auto detection of headphone orientation | |
US11482237B2 (en) | Method and terminal for reconstructing speech signal, and computer storage medium | |
CN109104662A (zh) | 指令执行方法、操作响应方法、终端及耳机设备 | |
WO2018000764A1 (zh) | 一种声道自动匹配的方法、装置以及耳机 | |
CN114727212B (zh) | 音频的处理方法及电子设备 | |
CN108882112B (zh) | 音频播放控制方法、装置、存储介质及终端设备 | |
CN115914948A (zh) | 一种数据处理方法以及相关设备 | |
US20230224625A1 (en) | Setting system of wireless headphone and setting method of wireless headphone | |
KR20210001646A (ko) | 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법 | |
WO2018116678A1 (ja) | 情報処理装置及びその制御方法 | |
CN109032008A (zh) | 发声控制方法、装置以及电子装置 | |
CN113596662A (zh) | 啸叫声的抑制方法、啸叫声的抑制装置、耳机及存储介质 | |
CN113596673A (zh) | Ar眼镜扬声器的定向发声方法、装置和发声设备 | |
CN108958481B (zh) | 设备控制方法及相关产品 | |
CN112394771A (zh) | 通信方法、装置、穿戴设备及可读存储介质 | |
CN106658339B (zh) | 一种音频信号处理方法及装置、*** | |
TW201626818A (zh) | 具有控制功能之耳機裝置 | |
WO2023051748A1 (zh) | 一种数据处理方法以及相关设备 | |
US20220408178A1 (en) | Method and electronic device for providing ambient sound when user is in danger | |
CN115706898A (zh) | 声道配置方法、立体声耳机及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |