CN112602337B - 被动适配技术 - Google Patents
被动适配技术 Download PDFInfo
- Publication number
- CN112602337B CN112602337B CN201980054522.0A CN201980054522A CN112602337B CN 112602337 B CN112602337 B CN 112602337B CN 201980054522 A CN201980054522 A CN 201980054522A CN 112602337 B CN112602337 B CN 112602337B
- Authority
- CN
- China
- Prior art keywords
- data
- recipient
- hearing
- exemplary embodiment
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006978 adaptation Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims description 247
- 238000004891 communication Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims description 42
- 238000004458 analytical method Methods 0.000 claims description 37
- 238000012074 hearing test Methods 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000007812 deficiency Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 description 137
- 238000012360 testing method Methods 0.000 description 110
- 239000007943 implant Substances 0.000 description 70
- 230000009471 action Effects 0.000 description 63
- 238000004422 calculation algorithm Methods 0.000 description 62
- 238000010801 machine learning Methods 0.000 description 41
- 238000012549 training Methods 0.000 description 39
- 238000001514 detection method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 24
- 230000003993 interaction Effects 0.000 description 19
- 230000004044 response Effects 0.000 description 19
- 210000003477 cochlea Anatomy 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 230000001953 sensory effect Effects 0.000 description 15
- 238000012546 transfer Methods 0.000 description 15
- 238000011161 development Methods 0.000 description 13
- 230000018109 developmental process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 11
- 239000000047 product Substances 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000002354 daily effect Effects 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 208000016354 hearing loss disease Diseases 0.000 description 8
- 230000008447 perception Effects 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 7
- 210000000959 ear middle Anatomy 0.000 description 7
- 230000000638 stimulation Effects 0.000 description 7
- 206010011878 Deafness Diseases 0.000 description 6
- 210000000613 ear canal Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 210000000883 ear external Anatomy 0.000 description 5
- 210000002768 hair cell Anatomy 0.000 description 5
- 208000032041 Hearing impaired Diseases 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 210000000860 cochlear nerve Anatomy 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Substances [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 208000000781 Conductive Hearing Loss Diseases 0.000 description 3
- 206010010280 Conductive deafness Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 208000023563 conductive hearing loss disease Diseases 0.000 description 3
- 231100000895 deafness Toxicity 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000002513 implantation Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 206010011891 Deafness neurosensory Diseases 0.000 description 2
- 208000009966 Sensorineural Hearing Loss Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 238000002847 impedance measurement Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000002751 lymph Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 229910052697 platinum Inorganic materials 0.000 description 2
- 231100000879 sensorineural hearing loss Toxicity 0.000 description 2
- 208000023573 sensorineural hearing loss disease Diseases 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 206010002942 Apathy Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000878128 Malleus Species 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical group [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001785 incus Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000002331 malleus Anatomy 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000001323 spiral ganglion Anatomy 0.000 description 1
- 210000001050 stape Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000003582 temporal bone Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
- A61N1/36038—Cochlear stimulation
- A61N1/36039—Cochlear stimulation fitting procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Neurosurgery (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Prostheses (AREA)
- Information Transfer Systems (AREA)
Abstract
一种适配***,包括:通信子***,该通信子***包括输入子***和输出子***或输入/输出子***中的至少一个;以及处理子***,其中该处理子***被配置为至少部分地经由通信子***输入的数据来自动开发用于听力假体的适配数据。
Description
相关申请的交叉引用
本申请要求于2018年10月25日提交的、发明人名为澳大利亚麦格理大学的TobyCUMMING、题为PASSIVE FITTING TECHNIQUES的美国临时申请第62/750,394号的优先权,该申请的全部内容通过引用全部并入本文。
背景技术
可能是由多种原因引起的听力损失通常分为两种类型:传导性和感官神经性。感官神经性听力损失是由于耳蜗中将声音信号转化为神经冲动的毛细胞不存在或破坏所致。各种听力假体是可以进行商业购买的,以向患有感官神经性听力损失的个体提供感知声音的能力。听力假体的一个示例是耳蜗植入物。当为耳蜗中的毛细胞提供声音的正常机械通路受到阻碍(例如,听小骨链或耳道的损伤)时,就会发生传导性听力损失。患有传导性听力损失的个体可能会保留某种形式的残余听力,因为耳蜗中的毛细胞可能保持完好无损。
患有听力损失的个体通常接收声学助听器。传统的助听器依赖于空气传导原理来将声音信号传输到耳蜗。特别地,助听器通常使用位于接受者的耳道内或外耳上的布置来放大由接受者的外耳所接收的声音。这种放大的声音到达耳蜗,引起周围淋巴的运动并刺激听觉神经。传导性听力下降的病例通常通过骨传导助听器进行处理。与常规助听器对比而言,这些设备使用机械致动器,该机械致动器连接到颅骨以施加放大的声音。与主要依赖于空气传导原理的助听器对比而言,通常被称为耳蜗植入物的某些类型的听力假体将接收到的声音转换成电刺激。电刺激被施加到耳蜗,这导致接收到的声音的感知。诸如与接受者对接的医疗设备之类的许多设备具有结构和/或功能特征,其中在针对个体接受者调整此类特征时具有实用价值。针对接受者的特定需要或特定需求或特定特征,定制或订制或以其他方式调整与接受者对接或以其他方式由接受者使用的设备的过程,通常被称为适配。一种医疗器械(其中在将其适配到个体接受者中具有实用价值)是上述的耳蜗植入物。也就是说,存在诸如其他类型的听力假体之类的其他类型的医疗设备,其中在将其适配到接受者中具有实用价值。
发明内容
在示例性实施例中,存在一种适配***,包括:通信子***,该通信子***包括输入子***和输出子***或输入/输出子***中的至少一个;处理子***,其中该处理子***被配置为至少部分地基于经由通信子***输入的数据来自动开发用于听力假体的适配数据。
在示例性实施例中,存在一种方法,该方法包括:使用机器来捕获语音并且基于所捕获的语音来自动开发用于听力假体的适配数据。
在示例性实施例中,存在一种非暂时性计算机可读介质,在其上记录有用于执行听力假体适配方法的至少一部分的计算机程序,该计算机程序包括:用于使得能够获得指示接受者的语音环境的第一数据的代码,用于分析所获得的第一数据的代码;以及用于基于分析的第一数据来开发适配数据的代码。
在示例性实施例中,存在一种方法,包括:基于在9000小时时段内获得的至少750小时的听力假体接受者参与来为接受者适配感官假体。
在一个示例性实施例中,存在一种设备,该设备包括处理器;以及存储器,其中该设备被配置为接收指示语音声音的输入,该设备被配置为分析指示语音声音的输入,并基于对该输入的分析来标识语音声音中的异常,这些异常在统计学上与听力假体适配缺陷相关。
在示例性实施例中,存在一种方法,该方法包括以下步骤:用身体携带的设备捕获语音声音,其中说话者是听力假体的接受者;对数据进行评估,其中数据基于所捕获的语音;基于所评估的数据来开发适配数据;并且在无需听觉医师的情况下完全基于所开发的适配数据进行以下至少一项:至少部分地适配或至少部分地调整听力假体的适配。
附图说明
下面参考附图描述实施例,其中:
图1是示例性听力假体的透视图,其中可应用本文详述的至少一些教导;
图2A和图2B呈现了示例性***,其包括听力假体和便携式手持设备形式的远程设备;
图3、图4、图5和图6呈现了示例性算法和***的示意图;
图7和图8呈现了示例性功能框图;
图9-图14呈现了用于示例性方法的示例性流程图;和
图15-图20呈现了其他功能简图。
具体实施方式
将根据耳蜗植入物来描述实施例,但是要注意,本文详述的教导可以适用于其他类型的听力假体以及其他类型的感官假体,诸如例如视网膜植入物等等。首先将描述耳蜗植入物的示例性实施例和利用具有远程组件的耳蜗植入物的***的示例性实施例,其中植入物和***可已被利用来实现本文详述的至少一些教导。
图1是植入在接受者中的被称为耳蜗植入物100的耳蜗植入物的透视图,本文详述的一些实施例和/或其变型可应用于该耳蜗植入物。耳蜗植入物100是***10的一部分,在一些实施例中,该***可以包括外部组件,如将在下面详细描述的。另外,应指出,本文详述的教导也可应用于其他类型的听力假体,诸如通过仅作为示例而非限制的方式,骨传导设备(经皮、主动经皮和/或被动经皮)、直接声学耳蜗刺激器、中耳植入物和常规助听器等。实际上,应指出,本文详述的教导也可应用于所谓的多模式设备。在示例性实施例中,这些多模式设备将电刺激和声刺激都施加给接受者。在示例性实施例中,这些多模式设备经由电听觉和骨传导听觉唤起听力感知。因此,除非另外指明,或者除非其公开内容基于当前技术状态而与给定的设备不兼容,否则本文关于这些类型的听力假体之一的任何公开内容对应于这些类型的听力假体中的另一种的公开内容或针对此事的任何医疗设备。因此,在至少一些实施例中,本文详述的教导可应用于部分可植入和/或完全可植入的医疗设备,该医疗设备向接受者、患者或其他用户提供广泛的治疗益处,包括具有植入式麦克风的听力植入物、听觉脑刺激器、假体(例如,仿生眼)、传感器等。
鉴于以上内容,应理解,本文详述的至少一些实施例和/或其变型针对身体穿戴的感官补充医疗设备(例如,图1的听力假体,即使在没有自然听力能力的情况下,例如由于先前自然听力能力的退化或由于缺乏任何自然听力能力的缺乏(例如,从出生开始),该听力假体也会补充听力感官)。应指出,一些感官补充医疗设备的至少一些示例性实施例针对在保持了某些自然听力能力的情况下补充了听力感官的诸如常规助听器之类的设备以及视觉假体(可应用于具有某些自然视觉能力的接受者以及没有自然视觉能力的接受者的那些)。因此,本文详述的教导可应用于任何类型的感官补充医疗设备,本文详述的教导使得能够以实用的方式在其中使用。就这一点而言,短语“感官补充医疗设备”是指用以向接受者提供感官的任何设备,而不管适用的自然感官是仅部分受损还是完全受损或者甚至根本不存在。
接受者具有外耳101、中耳105和内耳107。下面描述外耳101、中耳105和内耳107的组件,然后描述耳蜗植入物100。
在功能齐全的耳朵中,外耳101包括耳廓110和耳道102。声压或声波103由耳廓110收集并被引导到耳道102中并通过耳道102。横穿耳道102的远端安置的是鼓膜104,其响应于声波103而振动。该振动通过中耳105的三块骨头(统称为小骨106并且包括锤骨108、砧骨109、镫骨111)而联接到卵形窗或卵圆窗112。中耳105的骨头108、109和111用于过滤和放大声波103,使卵形窗112响应于鼓膜104的振动而发声或振动。这种振动在耳蜗140内部建立了外周淋巴的流体运动波。这种流体运动继而又激活了耳蜗140内部的微小毛细胞(未示出)。毛细胞的激活使适当的神经冲动被生成并被传送通过螺旋神经节细胞(未示出)和听觉神经114到达大脑(也未示出),在那里它们被感知为声音。
如图所示,耳蜗植入物100包括被暂时或永久植入在接受者中的一个或多个组件。耳蜗植入物100在图1中被示出为具有外部设备142,该外部设备是***10的一部分(以及耳蜗植入物100),该外部设备可以被配置为向耳蜗植入物提供电力,其中植入的耳蜗植入物包括电池,该电池通过由外部设备142提供的电力来充电。
在图1的说明性布置中,外部设备142可以包括安置在耳后(BTE)单元126中的电源(未示出)。外部设备142还包括经皮能量传送链路的组件,被称为外部能量传送配件。经皮能量传送链路被用来将功率和/或数据传送至耳蜗植入物100。各种类型的能量传送,诸如红外(IR)、电磁、电容和电感传送,可以被用来将功率和/或数据从外部设备142传送到耳蜗植入物100。在图1的说明性实施例中,外部能量传送配件包括外部线圈130,该外部线圈130形成感应射频(RF)通信链路的一部分。外部线圈130通常是由多匝电绝缘的单股或多股铂或金线组成的线天线线圈。外部设备142还包括位于外部线圈130的线匝内的磁体(未示出)。应理解,图1中所示的外部设备仅是说明性的,并且其他外部设备可以与实施例一起使用。
耳蜗植入物100包括内部能量传送配件132,该内部能量传送配件132可以被定位在与接受者的耳廓110相邻的颞骨的凹陷中。如下详述,内部能量传送配件132是经皮能量传送链路的组件,并从外部设备142接收电力和/或数据。在说明性实施例中,能量传送链路包括感应RF链路,并且内部能量传送配件132包括初级内部线圈136。内部线圈136通常是包括多匝电绝缘的单股或多股铂或金线的线天线线圈。
耳蜗植入物100还包括主要可植入组件120和细长电极配件118。在一些实施例中,内部能量传送配件132和主要可植入部件120被气密地密封在生物相容性壳体内。在一些实施例中,主要可植入组件120包括可植入麦克风配件(未示出)和声音处理单元(未示出),以将由内部能量传送配件132中的可植入麦克风接收的声音信号转换为数据信号。也就是说,在一些替代实施例中,可植入麦克风配件可以位于(例如,经由单独的可植入组件和主要可植入组件120之间的引线等)与主要可植入组件120信号通信的单独的可植入组件(例如,其具有它自身的外壳配件等)中。在至少一些实施例中,本文详述的教导和/或其变型可以与任何类型的可植入麦克风布置一起使用。
主要可植入组件120还包括刺激器单元(也未示出),该刺激器单元基于数据信号来生成电刺激信号。电刺激信号经由细长电极配件118来递送到接受者。
细长电极配件118具有连接到主要可植入组件120的近端和植入在耳蜗140中的远端。电极配件118从主要可植入组件120通过乳突骨119延伸到耳蜗140。在一些实施例中,电极配件118可以至少被植入在基底区域116中,并且有时被进一步植入。例如,电极配件118可以朝着被称为耳蜗顶点134的耳蜗140的顶端延伸。在某些情形中,电极配件118可以经由耳蜗造口122而被***到耳蜗140中。在其他情形中,可以通过圆形窗121、卵形窗112、海角123或通过耳蜗140的顶端转弯147形成耳蜗造口。
电极配件118包括沿其长度安置的电极148的纵向对准且向远侧延伸的阵列146。如所指出的,刺激器单元生成由电极148施加到耳蜗140的刺激信号,从而刺激听神经114。
图2A描绘了根据示例性实施例的示例性***210,其包括:听力假体100,其在示例性实施例中对应于以上详述的耳蜗植入物100;以及具有显示器242的移动计算机形式的身体携带的便携式设备(例如,如图2A中所看到的便携式手持设备、手表、口袋设备等)240。***包括在便携式手持设备240和听力假体100之间的无线链路230。在示例性实施例中,听力假体100是植入在接受者99中的植入物(功能上如由图2A中的框100的虚线表示)。再次注意,尽管将根据耳蜗植入物的利用来描述本文详述的实施例,但是本文的教导可应用于其他类型的感官假体。除非另外指出,否则将本文的教导应用于一个特定假体的任何公开都对应于替代实施例的公开,其中那些教导被应用于本文中列出的另一假体,前提是该替代实施例是可实现的。
在示例性实施例中,***210被配置为使得听力假体100和便携式手持设备240具有共生关系。在示例性实施例中,共生关系是显示与听力假体100的一个或多个功能性相关的数据的能力,并且在至少一些情形中是控制其一个或多个功能性的能力。在示例性实施例中,这可以通过手持设备240经由无线链路230从听力假体100接收数据的能力来实现(尽管在其他示例性实施例中,可以利用其他类型的链路,诸如作为示例,利用有线链路)。如下面还将详述的那样,这可以通过与经由链路与听力假体100和/或便携式手持设备240进行通信的地理上远程的设备进行通信来实现,诸如通过仅作为示例而非限制的方式,互联网连接或手机连接。在一些这样的示例性实施例中,***210还可以包括地理上远程的设备。同样,下面将更详细地描述其附加示例。
如上所指出,在示例性实施例中,便携式手持设备240包括移动计算机和显示器242。在示例性实施例中,显示器242是触摸屏显示器。在示例性实施例中,便携式手持设备240还具有便携式蜂窝电话的功能性。就这一点而言,通过仅作为示例而非限制的方式,设备240可以是智能电话,因为该短语被普遍使用。也就是说,在示例性实施例中,便携式手持设备240包括智能电话,同样是因为该术语被普遍使用。
注意,在一些其他实施例中,设备240不必是计算机设备等。它可以是技术含量较低的记录器,也可以是可以实现本文教导的任何设备。
短语“移动计算机”是指一种被配置为能够进行人机交互的设备,其中预计在正常使用期间会将该计算机从固定位置移走。再次,在示例性实施例中,便携式手持设备240是智能电话,因为该术语被普遍使用。然而,在其他实施例中,可以利用不太复杂(或更复杂)的移动计算设备来实现本文详述的教导和/或其变型。在至少一些实施例中,可以利用能够使本文详述的教导和/或其变型得以实践的任何设备、***和/或方法(如将在下面详细描述的,在一些情形中,设备240不是移动计算机,而是远程设备(远离听力假体100。这些实施例中的一些将在下面描述)。)
在示例性实施例中,便携式手持设备240被配置为从听力假体接收数据并且基于所接收的数据从多个不同的接口显示器之中的显示器上呈现接口显示器。有时将按照从听力假体100接收的数据来描述示例性实施例。然而,应注意,除非另有规定或与相关技术不兼容,否则也适用于从手持式设备240发送至听力假体的数据任何公开也被这种公开涵盖。
注意,在一些实施例中,***210被配置为使得耳蜗植入物100和便携式设备240具有关系。通过仅作为示例而非限制的方式,在示例性实施例中,该关系是设备240经由无线链路230充当假体100的远程麦克风的能力。因此,设备240可以是远程麦克风。也就是说,在替代实施例中,设备240是独立的记录/声音捕获设备。
应当注意,在至少一些示例性实施例中,设备240对应于Apple WatchTM系列1或系列2,其自2018年6月6日起可用于在美国进行商业购买。在示例性实施例中,设备240对应于Samsung Galaxy GearTM Gear 2,其自2018年6月6日起可用于在美国进行商业购买。该设备被编程并被配置为与假体通信和/或用于实现本文详述的教导。
在示例性实施例中,电信基础设施可以与听力假体100和/或设备240通信。通过仅作为示例而非限制的方式,使用电传线圈249或某种其他通信***(蓝牙等)与假体和/或远程设备进行通信。图2B描绘了示例性示意图,该示例性示意图描绘了分别通过链路277和279在外部通信***249(例如电传线圈)和听力假体100和/或手持设备240之间进行通信(注意,图2B描绘了在假体100与外部音频源249之间,以及在手持设备与外部音频源249之间的双向通信——在替代实施例中,该通信只有一种方式(例如,从外部音频源249到相应设备))。
简要地,应注意,在示例性实施例中,本文公开的各种组件可以是单个处理器的所有部分,只要本领域能够实现之,而在其他实施例中,本文的组件是单独的处理器/单独处理器的一部分。因此,在示例性实施例中,存在处理器或多个处理器,该多个处理器被编程并被配置,或以其他方式包含代码或以其他方式可以访问代码(例如,存储这种代码的存储器,或者一些固件、软件或硬件等),以执行本文详述的一个或多个功能性和/或执行本文详述的方法动作中的一个或多个。此外,在示例性实施例中,此(多个)处理器可以包括或以其他方式被配置为执行本文中的功能/动作。
在示例性实施例中,前述(多个)处理器可以是被配置为执行本文中的一个或多个功能性/动作的(多个)通用处理器。在示例性实施例中,前述处理器是修改的耳蜗植入物声音处理器,其已被修改为执行本文详述的一个或多个功能性。在示例性实施例中,固态电路被配置为执行本文详述的功能性/动作中的一个或多个。在至少一些示例性实施例中,可以利用能够实现本文详述的教导的任何设备、***和/或方法。在示例性实施例中,个人计算机或智能设备被编程以执行本文的教导。
配置诸如耳蜗植入物之类的听力假体的一些示例包括针对依赖临床医生来测量整个电极阵列的舒适度水平(C水平)和阈值水平(T水平)的接受者来这样做。将一个或多个或所有电极映射到某个频率范围,并将输出以及影响植入物所递送的输出的其他变量(例如速率、脉冲宽度、最大值、增益等)称为患者的“MAP”。
使听觉假体适配接受者的一些示例可以包括测量阵列的每个电极的C和T水平。例如,10电极阵列有20个测量值,16电极阵列有32个测量值,N电极阵列有N x 2个测量值(例如,如果N=22(22个电极),则有44个测量值)。一些示例还包括执行客观测量(例如,获得神经响应遥测(NRT)水平)和/或插值,其中测量了数量较少的T或C水平(例如,用于简化方法的5个阈值水平)。使用诸如基于软件并被加载到计算机上的算法来计算或以其他方式标识中间电极的水平。MAP开发的此示例并未指示接受者如何处理或以其他方式适应其状况。MAP开发的此示例也没有指示接受者如何处理或以其他方式应对参数改变等,这些参数正在影响接受者的表现。获得指示这种情况的数据的示例可以经由实施各种结果测量来实现。例如,可以执行非正式技术,诸如例如执行ling声音检查。此外,例如,可以使用结果问题(例如,要求接受者对其执行某些任务的能力进行评级)。另外,例如,可以使用性能测试。例如,可以使用或以其他方式开发辅助听力图,包括在设备(在这种情况下为耳蜗植入物)的帮助下检测接受者可以听到最轻柔声音的水平。此外,例如,可以执行单词测试,其中例如可以播放一组单词或将其以其他方式将其提供给接受者,然后询问(例如,要求)或吩咐接受者重复这些单词。然后,临床医生或其他专业人员对患者正确听到的单词(或音素)进行评分。
进一步通过示例,可以执行句子测试。在示例中,播放整个句子的录音或将其以其他方式呈现给患者,并且要求或以其他方式吩咐接受者重复这些句子。可以在安静环境(没有背景噪声)中或者在不安静环境(例如,有背景噪声)中播放或以其他方式提供这些句子。
在上述至少一些示例中,测试需要专业设置,诸如使用隔音室、经过校准的扬声器等)。需要第一时间段来执行测试。图3呈现了与以上详述的教导相关联的示例性循环的示例性简图。在图3所示的简图中,有牵涉性能测试的方法动作310,牵涉适配的方法动作320,以及牵涉使用假体的方法动作330。在与和图3的简图相关联的方法相关联的至少一些示例性实施例中,测试和/或适配步骤可以在诊所中进行。在示例性实施例中,仍然通过仅作为示例而非限制的方式,循环的使用方法部分,即方法动作330,是在诊所外执行的和/或本身不是“任务”。
在一些示例中,然后可以遵循测试、适配、使用循环,其中直接和/或间接使用测试的输出来通知临床医生遵循的适配。在至少一些示例性实施例中,这两个活动不是直接连接的。例如,测试可以在适配之后进行,以作为对假体和/或与其相关联的编程/映射进行更新的验证。可替代地,可以使用测试来跟踪总体进度,而不是通知具体的MAP更新。在至少一些示例中,测试和适配都是费时的任务,因此可能不会在每个会话中都执行测试。此外,在一些示例中,适配是主观任务,因此拜访多个不同临床医生的一个患者可能最终得到各自不同的标定(map),这些标定在某些示例中彼此非常不同。在示例性实施例中,这可以通过自动使用来自测试的输出来进行标定调整来完成。
示例性实施例包括基于AI(人工智能)或专家规则的***或某种形式的机器学习***,这些***被用来去除或以其他方式降低适配的价值和/或影响。简而言之,图4呈现了描述利用AI的循环的示例简图。在此,存在方法动作420,其包括人工智能活动的实施。在示例性实施例中,方法动作420的AI活动是人工智能适配。在此示例性实施例中,适配作为临床步骤被移除,并且基于测试的输出自动发生适配。这就是为什么在图4的简图中用于方法动作420的框是虚线,因为它本身并不表示任务,而是表示相对于其他两个动作而言有点无缝的动作。
再次,在方法动作420的一些示例性实施例中,AI活动可以适配听力假体,其中可替代地和/或除此之外,在其他示例性实施例中,AI活动是标识与数据相关联的问题。更进一步,在示例性实施例中,AI活动可以对应于开发适配数据,适配数据与将该数据应用到假体是分离的。
在一些示例性使用场景中,这可以导致在诊所中需要较少的时间和/或可以消除在适配过程中看到的一些可变性。此外,在至少一些示例中,关于存在临床医生和接受者需要在运行测试的诊所中花费大量时间的问题这个事实,在一些示例性实施例中,一个或多个或所有测试可以在家中进行,也可以在远离诊所的地方和/或在临床医生不参与的情况下进行。在这样的一些示例性实施例中,接受者仍然必须花费大量时间来运行测试。
应当指出,存在一些示例,其中如果听觉假体的接受者与临床医生或其他专业人员一起了解了接受者-假体的交互关系,花费了实用的时间量,或者以其他方式花费了相当长的时间,则在一些情形中,临床医生或专业人员只通过观察(而不是测试)注意到一些问题。此信息可在不同程度上用于通知临床医生进行映射的方法。仅通过示例的方式,临床医生可以注意到接受者难以区分ss和sh声音,并且可以选择在下一个MAPing会话中专注于高频声音。例如,通过提高此区域的阈值。
因此,在示例性实施例中,存在一种***,该***可以利用AI技术自动检测问题并标识或以其他方式推荐对接受者标定的校正调整。在示例性实施例中,人工智能复制或以其他方式仿制或以其他方式提供类似于在下列情况下所导致的结果,即如果人类正在收听接受者的对话和/或正在对与接受者及其听力假体相关联的问题进行判断并且相应地确定或以其他方式推荐进行调整。在一些示例性实施例中,这可以通过利用在接受者家中和/或甚至接受者的听力假体可用的处理能力来达成,以实现AI技术。
简而言之,实施例可以包括耳蜗植入物声音处理器或耳蜗植入物***的其他组件(或另一种类型的听力假体的组件——再次,实施例不限于耳蜗植入物,而是可应用于任何类型的听力假体或本文详述教导可以对其具有实用价值的任何其他类型的感官假体),其中存在将音频内容流传输到诸如智能电话240之类的电话或将其流传输到可以接收这种流传输的音频的任何其他设备的能力。在示例性实施例中,这可以使得能够访问在现代智能电话等上可用的增强的处理能力。也就是说,在示例性实施例中,向其流传输数据的智能电话或其他远程设备可以是任何设备,该任何设备能够记录并以其他方式保存音频数据或指示该流数据的音频内容或以其他方式基于该流数据的音频内容的数据,因此这些数据稍后可以供另一个设备进行分析,该另一个设备可以具有更多处理能力,或者以其他方式配备有实现本文详述的教导的算法。
实施例还可以包括对设备和/或***的利用,该设备和/或***与语音/语音标识相关联或以其他方式能够实现语音/语音标识。通过仅作为示例而非限制的方式,该设备和/或***可以存在于智能电话或其他个体手持设备或身体携带的设备中,并且在一些实施例中,该设备和/或***可以位于听力假体中或作为听力假体的一部分。在示例性实施例中,该设备和/或***可以使人工智能能够理解正在说的内容或以其他方式来推断其实用特征,该实用特征可以被用来实现本文的某些教导。
更进一步,一些示例性实施例包括对人工智能***的利用,该人工智能***具有理解或推断对话环境的能力。此外,在一些示例性实施例中,利用了自己的话音检测技术。在示例性实施例中,在听力假体中实现这些自己的话音检测技术。在一些示例性实施例中,可以利用能够使自己的话音检测得以实现的任何设备、***和/或方法。更进一步,自己的话音检测可以与非听力假体设备一起使用。在示例性实施例中,可以在智能电话等或任何其他合适的设备中实现了自己的话音技术。在示例性实施例中,这可以使得能够确定接受者自己的话音与其他人的话音之间的差异。这对于具有人工智能***或标识正在讲话的AI***具有实用价值,其中AI***可以在其分析中利用它。
实施例可以包括人工智能***,人工智能***在接受者进行日常生活时被动地“收听”接受者。也就是说,实施例可以包括一种***,该***使得能够提供指示如果AI***“收听”接受者会发生什么的数据,然后将该数据提供给AI***。在示例性实施例中,这可以是与假体接受者相关联的声音的记录,该记录可以每晚在接受者上床睡觉之前或以每周等方式被提供给AI***。
在示例性实施例中,提供给AI***的数据(指示将由正在“收听”的设备产生的数据)被AI***用来确定:例如,病人对某些声音的检测,辨别声音的能力,或对所讲内容的理解是否存在任何毛病或异常或问题。在示例性实施例中,一旦检测到这些问题,就可以通过对接受者进行改变,或者至少推荐对接受者的标定进行改变来解决这些问题。在示例性方法中,***然后监测患者的真实世界表现(再次,经由AI***实时收听,或通过以定期等方式向AI***提供记录等)以确定这些改变是否改善了总体性能和/或受限的性能。在一些示例性实施例中,这种***可以是全自动的,一些实施例可以不需要接受者的干预,并且一些实施例可以是***向接受者请求或以其他方式需要接受者的许可,以应用优化或改善的标定设置或对假体进行调整。
图5呈现了根据示例性实施例的示例性简图。此处,图5对应于图4,不同之处在于方法动作310被方法动作510代替,后者对应于性能监测。与图4中实现的方案相对应,用于方法动作510的框用虚线表示以指示这是非任务动作。再次,在方法动作420的一些示例性实施例中,AI活动可以适配听力假体,其中可替代地和/或除此之外,在其他示例性实施例中,AI活动是标识与数据相关联的问题。更进一步,在示例性实施例中,AI活动可以对应于开发适配数据,适配数据与将该数据应用到假体是分开的。
在一个示例性实施例中,图5的循环可以被一直重复ABC次,其中ABC可以等于1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、19、20、21、22、23、24、25、26、27、28、29、30、35、40、45、50、55、60、65、70、80、90、100、110、120、130、140、150、160、170、180、190、200、225、250、275、300、350、400、450、500、600、700、800、900或1000或更大,或它们之间以整数为增量的任何值或值范围。在示例性实施例中,关于图5的循环可以重复的次数的限制因素可以是关于接受者对将其自己重新激活到所开发的新标定任何需要的接受者疲劳。
也就是说,因为***被配置为至少有时在没有来自接受者的输入的情况下执行(而在其他时候,只要接受者想,就可以提供输入,但是对于要实施的循环并不一定需要这种输入),***对于接受者可能是相对透明的,并且接受者会注意到或不会注意到每个循环对标定的改变。实际上,在示例性实施例中,可以采用增量方法,其中***标识出对标定的改变可能是实用的,但是标定并未被彻底改变为该最终改变。取而代之,在对标定进行改变的情况下采用了增量主义的方法,该改变可能不一定完全解决了映射所标识的问题,而是以接受者根本无法察觉的方式进行。***可能会在数小时或数天甚至数周的过程中改变标定设置以实现所想要的改变,与此同时使接受者适应每个细微的改变,以使如果最终改变对接受者而言不是完全透明的话,在某种程度上是透明的(除了能够更好地收听的最终结果)。
在与图5的简图相关联的方法的示例性实施例中,诊所中的性能测试被现场的被动性能监测和/或现场的被动性能数据采集所代替。如将在下面详述的,图5的循环还可以包括周期性地或在一些情形中在诊所或远离诊所的主动性能监测。通过仅作为示例而非限制的方式,可以在执行主动性能监测之前将循环重复5、10、15、20、25或30次,然而然后可以仅基于被动性能监测重复许多循环,直到发生另一个活动性能监测事件,依此类推。
图6呈现了表示另一示例性方法的另一示例简图。可以看出,存在语音生成的动作,由动作610表示。在方法动作620处经由性能监测来捕获此语音。该方法还包括方法动作630,方法动作630包括自动标定修订标识,其后是方法动作640,该方法动作640对应于基于方法动作630的标定变化。还可以看出,在框698中存在发生异常的动作,而在框699中将这种异常标识为错误(或非错误——如将在本文中详述的那样,异常并不总是等同于错误,而这是本文详述的教导的特征,与不具有此特征的实施例相反,该特征可以具有进一步的实用价值)。也就是说,在一些替代实施例中,所有异常都被认为是错误。
仍然,关于错误检测过程,在示例性实施例中,本文详述的教导可以被用来从异常池中检测并以其他方式定义错误或差错。当然,对此的推论是,至少一些示例性实施例也使得能够在第一种情况中标识异常。就这一点而言,异常是一种属,错误是一种异常。因此,所有错误均为异常,反之亦然。本文详述的教导可以被利用来在两者之间进行区分,或以其他方式从整体异常中标识错误。
作为基准,应该理解,语音测试通常可以容易地提供对正确和/或所认为是差错的定义。这里的问题是,在语音生成动作期间,没有对接受者设置测试或对其进行测试。因此,错误检测和测试范式不能被实现,至少不能直接实现到***中以检测差错。
进一步将其考虑为基准,如果临床医生或其他受训的专业人员与接受者在一起有实用的时间或有效时间,则这个人可能会开始注意到一些问题。在一些情形中,这很简单和/或完全通过观察。在本文详述的教导利用AI***,AI***可以注意到错误(包括细微的错误),至少还可以注意到人会注意到这种错误,并且在一些实施例中可以比人可以注意到的更好。实际上,在示例性实施例中,与人类收听者会注意到的错误相比,AI***注意到的错误甚至更加细微并且细微得多。
在示例性实施例中,AI***可以利用各种水平的听力技能(诸如所谓的检测、辨别、标识和理解)作为框架对错误进行标识/分类。在示例性实施例中,可以通过使用AI***标识声音的出现来实现检测,该声音被认为是接受者应该听到的声音(示例性实施例包括对此的自动确定,该声音区别于其他声音不同),并标识出收听者未响应。在示例性实施例中,这可以被标识为异常。在示例性实施例中,AI***可以评估声音的水平。如果声音水平足够高,以统计方式来说接受者不太可能没听到该声音,则***可能会消除此异常并将其标识为不是错误,因为可能的原因是你不想回答。实际上,在示例性实施例中,***可以利用语音标识对接受者出于任何原因而倾向于忽略的人进行分类。也就是说,在示例性实施例中,如果声音具有低水平的大小(可以认为接受者没有听到该声音),则***可以将缺乏响应标识为错误。注意,在一些实施例中,只要***确定声音是在第一种情况下应该已经引起响应的声音,就可以将所有缺乏响应标识为错误。还要注意,在一些实施例中,***可以确定缺乏响应实际上是由于接受者没听见,但是可以将基于正常的收听者的接受者不应该听到的情况考虑在内。也就是说,如果某人说得太轻柔,以至于正常的收听者听不到那个人的声音(或者可能只是倾向于忽略该人,因为那种讲话方式可能会保证那个人被忽略以避免道德风险),***可能会指出该异常不是错误。
此外,在示例性实施例中,***可以知道接受者的听力阶段(listening stage),并相应地调整算法的期望,或者以其他方式相应地调整输出。听力阶段的确定可以基于潜在变量,也可以基于与该阶段统计相关的切向数据。例如,随着儿童的成长,他们将经历从检测、辨别标识和理解的各个阶段。基于儿童的给定年龄,可以估计听力阶段。可替代地和/或除此之外,可以利用接受者表现的分析来确定阶段。可以使用潜在变量和直接数据的组合。在至少一些示例性实施例中,可以利用能够确定或以其他方式估计接受者听力阶段的任何设备、***和/或方法。因此,在示例性实施例中,潜在变量和直接变量可以被置于***中,以使***将“知道”接受者的阶段。此外,在示例性实施例中,最终确定-阶段-可以被输入到***中。***还可以评估数据并确定输入的阶段是否正确,否则应该对其进行调整。
对于新的耳蜗植入物接受者,即使是对于成年人,也有类似于儿童成长的过程。例如,第1周对接受者在有耳蜗植入物情况下的能力的基于统计的期望应该与在第52周对他们能力的期望有很大的不同,并且第52周与第104周的期望应有不同,以此类推。在阶段和接受者使用耳蜗植入物的时间量之间可能存在相关性。因此,可以基于年龄和/或使用***的经验来预先确定阶段,和/或还可以基于观察到的语音和响应,或者可以基于可以具有关于确定接受者的阶段具有实用价值的任何其他数据集。因此,取决于接受者的阶段,输出可以基于接受者的阶段而变化。就这一点而言,可以关于接受者的阶段来考虑/评估表现度量,并且可以相应地对其进行调整。因此,如果接受者处于检测阶段,辨别阶段,标识阶段,理解阶段等时,则对标定/新标定/新训练制度/对训练制度的改变的调整可能会有所不同。可能对一个阶段/错误做出的改变(对于一个阶段来说被认为应该这样)可以不对处于其他阶段的接受者做出。通常,阶段越高,改变越积极/***对错误的“容忍度”越低,然而在其他实施例中情况可能并非如此(在某些实施例中,***可以考虑“淡漠”或“消沉”,其中老练的接受者“根本不在乎”,因此“松懈”的水平可以是更能容忍的/漠视)。
在示例性实施例中,AI***可以利用各种水平的听力技能(诸如所谓的检测、辨别、标识和理解)作为框架对错误进行标识/分类。在示例性实施例中,可以通过使用AI***标识声音的出现来实现检测,该声音被认为是接受者应该听到的声音(示例性实施例包括对此的自动确定,该声音区别于其他声音),并标识出收听者未响应。
在示例性实施例中,***可以确定与错误相关联的声音的频率。
注意,在示例性实施例中,***可以评估其他类型的潜在变量,其他类型的潜在变量可以指示是否发生检测。通过仅作为示例而非限制的方式,如果所捕获的声音与指示声音相对于接受者所来自的方向的数据相耦合,则发生转头或头没有转向该方向可以指示接受者检测或没有检测到该声音。
在示例性实施例中,***可以标识诸如某些声音(诸如例如电话、警报等)没有响应和/或响应于某些短语的差错之类的问题。取决于情况,***可以标识出这是错误。请注意,提供给***的数据可能是多方面的。通过仅作为示例而非限制的方式,关于电话振铃的实施例,***可能能够确定接受者注视着其电话,或者以其他方式采取了指示接受者意识到电话正在响铃的动作,因此例如只是选择不接电话。在示例性实施例中,接受者可能会发出与消除该声音等相关联的话语,这指示接受者确实听到了声音,但没有采取***原本期望的动作。在至少一些示例性实施例中,可以利用能够实现错误确定和/或分类的任何数据集。
该***可以被配置为关于辨别特征来评估数据。就这一点而言,通过示例的方式,***可以评估声音并标识声音之间的差异,诸如例如“sh”和“ss”和/或“ah”和“oo”。辨别的困难会在日常讲话中浮出水面。在示例性实施例中,这可能是由于响应中的差错而导致的,例如,将“shake”(摇晃)误认为是“sake”(缘故),和/或接受者在对话中做出了不适当的响应,和/或接受者只是简单地要求对方重复给定的短语,等等。在示例性实施例中,***可以被配置为评估数据以标识这些事件中的任何一个,并且在标识出这些事件之后,在进行或不进行进一步评估的情况下将其标识为错误。
在一些实施例中,***可以被配置为执行与听力的标识水平相关联的分析。在示例性实施例中,这可以对应于***,该***对声音进行评估以指示或以其他方式确定接受者是否具有标记单词和/或声音的能力。在示例性实施例中,标识问题或标识错误(诸如例如没有标识句子中的所有单词)在某些实施例中可能导致句子的含义丢失和/或淡化。就这一点而言,***可以被配置为评估数据并确定响应是否指示不理解向其所作的陈述的全部含义或甚至任何含义的接受者。
同样,***可以被配置为为了与理解相关的特征而对数据进行评估。就这一点而言,***可以评估收听者是否理解其周围的其他说话者的上下文和/或含义。在发生测试的示例性场景中(与图6相关联的方法相反),这可以例如通过询问“星期四之后是星期几?”来进行评估,如果接受者没有回答“星期五”,则可以指示接受者不理解该句子的事实。注意,在示例性实施例中,当认知负担很大时,诸如例如当在电话上和/或在嘈杂的位置(诸如嘈杂的餐厅)讲话时,理解可能会很困难。
在至少一些示例性实施例中,***被配置为评估所获得的数据,以标识数据或以其他方式将数据分类为有一种或多种情况,通过仅作为示例而非限制的方式,这些情况包括:无响应,请求说话者重复和/或说清和/或对对话的不当回应。
在示例性实施例中,可以基于出现接受者不响应声音的情形(再次,诸如例如电话和/或警报)对不响应进行分类或以其他方式对其进行标识。在另一个示例性场景中,在接受者在***预期响应的情况下不响应语音的场景中,可以标识无响应。在示例性实施例中,AI***可以被配置为评估声音并且在确定无响应时确定关于检测存在问题。在示例性实施例中,AI***可以提供这样的指示,诸如一个报告,该报告包含声音的摘要、发生时间、声音场景的评估(嘈杂的环境、对话、背景音乐等),和/或其他数据(诸如位置,如果***被配置为接收指示这样的数据),和/或在错误发生时及发生前后与假体相关联的设置。在示例性实施例中,AI***可以向接受者提供标定中的推荐改变和/或自动改变标定,这种改变可能牵涉对与和该错误有关的声音相关联的一个或多个频率的阈值水平进行调整。
关于评估或以其他方式确定澄清请求等的示例性实施例,通过仅作为示例而非限制的方式,***可以具有预先确定的关键字集,通过仅作为示例而非限制的方式,诸如有“抱歉”、“请原谅”、“对不起”、“嗯”、“再说一遍”、“什么”等,当接受者不理解完整的句子等和/或要求重复或澄清时,这些关键字可以被用作瞬间的标记。注意,在示例性实施例中,***可以被配置为评估与短语相关联的特征(频率、单词被说出时的频率变化、单词的语境等),以评估语句是否是以问题或命令的形式提出的,这与该单词的另一种用法相反。例如,可以对单词“对不起”进行评估,以确定单词结尾处的频率是否增加,这指示是一个问题,而不是指示一般道歉的陈述。可替代地和/或除此之外,***可以评估与单词一起使用的语境。例如,如果在较长的句子中使用了该单词,则***可能会指示或以其他方式确定这并不指示接受者的听力有问题。可替代地和/或除此之外,***可以评估在讲出“对不起”之前陈述的单词,并评估是否这仅仅是对陈述先例的一般响应。
要注意的是,在至少一些示例性实施例中,一个或两个重复请求不能标识问题的根源。此外,如果讲话者问:“你是否看过有关狗的最新电影?”而患者要求重复,则***不知道句子的哪一部分不被理解。在***实现的示例性场景中,***可以开发此类问题的日志,并且***可以输入类型中寻找在接受者正在解释问题的模式。
更进一步,在***评估数据以标识对话中的不适当响应的示例性实施例中,如果给出不适当的响应,则AI***可以评估数据并推断异常。这可能指示接受者不理解句子的含义等情况。这可以类似于现场语音测试,只是没有设置任何测试。真实世界是测试的类似方面。因此,在示例性实施例中,分析数据以追溯地建立测试,然后利用该数据来评估接受者对此追溯测试执行得如何。再次,在示例性场景中,可能是问题的根源不会立即显现的情况,并且因此在示例性场景中,AI***构建此类问题的列表以标识常见模式等。
注意,以上指示了特征是错误,但同样也是异常。如上所述,在区分指示与听力相关联的特征的错误和和其他异常方面,具有实用价值。就这一点而言,要注意的是,作为阈值问题,即使对于没有听力障碍的人,在对话中犯一个或多个错误也很常见。确实,这可能在富有挑战性的收听情况下经常发生。由于输入有问题,那些没有听力障碍的人也会碰到问题。举例来说,低质量的电话呼叫,非常安静的语音和/或高水平的背景噪声,甚至对于听力最好的人来说都会共同造成异常。使***对检测到的每个异常做出反应可能会导致不断地将改变应用到标定,和/或***的输出用户被信息淹没的情况。在示例性实施例中,这可能会使接受者和/或评估***输出的人感到困惑。此外,这可能导致接受者不得不频繁地适应和/或重新适应标定的这些频繁改变。也就是说,尽管标定变化是实用的,但是接受者仍然必须适应这些新改变,因此可能会导致疲劳程度。无论如何,与接受者的疲劳程度无关,这都会浪费时间和资源,并且还可能导致无实用原因而改变完美标定设置被改变。
因此,在示例性实施例中,在检测到或以其他方式确定模式并将异常类别标识为可操作错误之前,可以监测或以其他方式评估任何给定异常的发生频率或次数等。在示例性场景中,***可以简单地对异常的数量计数,并且在达到某个阈值时,在一些示例性实施例中,基于时间范围或某种其他测量(说/听到的单词数等),异常然后可以过渡到错误状态。
在示例性实施例中,可以利用概率错误检测算法。还要注意,在示例性实施例中,可以请求关于给定异常的输入或反馈。在示例性实施例中,例如在一天结束时,***可以向接受者和/或看护者提供异常列表,并且接受者和/或看护者可以标识诸如错误或应忽略的东西。在示例性实施例中,就这一点而言,这可以实时发生或接近实时地发生。
以下是出于讨论目的的示例性图表:
异常 | 异常示例 | 计数 |
/s/和/sh/ | Shake和sake | I |
/i/和/e/ | pin和pen | III |
/a/和/o/ | Shark和shock | IIII |
通过仅作为示例而非限制的方式,在示例性场景中,每天都有语音,讲话者可能听不懂彼此在说什么,而这可能与听力困难无关。出于一种或多种不同的原因,可能存在误解,请求进行澄清(在此语境下为“异常”)。背景噪声水平可能很高(例如,嘈杂的餐厅),信号质量可能很差(例如,电话会议中扬声器不在麦克风附近),和/或收听者可能只是不知道所使用的单词。这些原因中的任何一个或全部都可能导致异常。然而,如果收听者存在区分一个音素和另一个音素的潜在问题,则将出现此类异常的模式,并且AI***可以检测到该异常。仅通过示例的方式,实际上,错误检测过程就像一个漫长的语音测试,其中成功/失败标准作为随时间建立的错误模式。
此外,在示例性实施例中,接受者或其他看护者可以向正在捕获声音的数据的整个***实时地提供数据,以指示是否应该将数据用于标识错误的目的。通过仅作为示例而非限制的方式,如果接受者正在与口音很重的人说话和/或正在以无法解释自己而臭名昭著的人说话,则接受者可以在开始时和/或在对话期间提供输入以指示应忽略数据。实际上,在相对简单的示例中,接受者可以在与对话相关联的时间段期间停用记录设备。在示例性实施例中,接受者然后可以再次激活记录设备,和/或***可以被配置为确定新的对话已经发生(例如,通过利用不再给出给定话音的语音检测技术,并且因此,***确定或以其他方式判断与不希望数据影响***或以其他方式被***使用的接受者相关联的现象已停止)。无论如何,任何使接受者或看护者能够将数据提供到***中的设备、***和/或方法都可以在一些实施例中被使用,提供行为将使***能够认为数据不重要或以其他方式阻止***甚至获得数据以进行第一种情况中的评估。
还要注意,对此的推论是,在示例性实施例中,可以存在如下布置:接受者将信息输入到***中,该信息指示以下数据或数据收集或所收集的数据应由***评估的事实。通过仅作为示例而非限制的方式,如果讲话者是一个存在某种形式的依附对象(父母、子女、雇主雇员、严重的吸引力等)的场景,则即使以解决其他问题为代价,也可能希望标定***被调整以解决与该人沟通相关联的任何问题。
因此,可以看出,在一些示例性实施例中,***被配置为使接受者或看护者或某人能够对数据进行优先级排序。以这种方式,取决于数据的优先级,该***对于将异常视为错误可能更敏感或更不敏感。
无论如何,一旦***确定已满足阈值从而可以将异常定义为可操作错误,则可以对这些差错进行分类或以其他方式关联起来,并且可以向接受者、看护者或医疗保健专业人员提供报告等以供评估。
此外,再次,一旦***确定已经满足阈值,则在示例性实施例中,可以将差错输入到标定开发框架中,该标定开发框架可以在至少一些示例性实施例中改善和/或优化给定标定。
在示例性实施例中,输入是AI已经标识出的错误或可操作错误,并且输出是MAP参数改变。在示例性实施例中,通过示例的方式,这些可以包括对T和/或C水平的改变,或影响接受者的听力的任何其他参数,通过仅作为示例而非限制的方式,诸如有Q值、频率分配、增益等。在示例性实施例中,***被配置为使得当注意到差错和/或应用标定参数时,可以通过在标定被改变之后监测相似或其他相关的差错来确定或以其他方式评估给定变化的“成功”。在示例性实施例中,这可以是正在进行的过程,以使每当接受者在对话(或相关对话)中时,输入和/或输出的数量可以快速增长以便训练人工智能***。(下面将讨论***训练的一些细节。)
在示例性实施例中,AI***也可以被配置为使得它在执行评估时考虑到客观测量。通过仅作为示例而非限制的方式,可以将阻抗测量值和/或自动NRT数据用作输入,因此在开发标定数据时可以考虑设备特性和接受者自身的生理状况。对MAP的某些改变需要适应期。因此,在一些示例性实施例中,考虑到此适应期,可以推迟确定改变成功与否的时间。
现在将通过仅作为示例而非限制的方式来描述示例性使用场景。如将在下面详细描述的,除非另有说明,否则任何方法动作的本文的任何公开都对应于被配置为执行这种方法动作的设备和/或***,只要本领域能够实现之。
最初,可能有第一会话,其中可以使用常规方法打开接受者。在示例性实施例中,临床医生可以运行阻抗测量,和/或可以运行自动NRT以创建或以其他方式获得基线信息,和/或可以将C和T水平提高到可听水平。在示例性实施例中,此第一会话的结果或接受者有权访问声音。在示例性实施例中,此第一阶段可以在将假体植入人体内的手术完成后的几天或几周或更长时间内发生。在示例性实施例中,此第一阶段可以在植入手术后几天、一周、两周、三周、四周、五周、六周、七周、八周、九周或十周或更晚发生。时间可能会更短或更长。
如将在下面详述的,示例性实施例还包括利用经训练的人工智能***和/或在人工智能***中进行训练。在示例性实施例中,NRT测试或任何其他此类测试的结果可以被用于人口统计目的和/或生理学目的。在示例性实施例中,相比于处境相似的接受者,经训练的***关于具有NRT结果的接受者可以具有实用价值或以其他方式具有更高的实用价值,而另一经训练的***关于具有与前者不同的NRT结果的接受者可以具有实用价值或以其他方式具有更高的实用价值。通过仅作为示例而非限制的方式,相对于其他人口统计学和/或生理学群体而言,具有统计学上相似的生理技能且统计学上相似的人口统计学特征的患者可能在某些干预措施或其他治疗方案中更有可能获得成功。在示例性实施例中,年龄、性别、耳聋发病时间、接受者是否天生可以听见、受教育程度、工作经验等都可以影响数据的处理方式和/或应采用何种治疗方法。此外,基于统计模型,其他变量(诸如皮瓣厚度、电极放置在耳蜗中和/或耳蜗外、耳聋原因等)也可能会影响干预或治疗。这些是人口统计输入和/或生理输入中的一些,它们在训练***时可以使用和/或在评估相对于给定输入所要做的事情时可以用于给定***。关于后者,对于具有给定NRT结果的一群人而言,实用的改变可能不会被用于具有不同NRT结果的另一群人。经训练的人工智能***可以标识生理输入和/或人口统计输入,从而相应地提供输出。还应注意的是,四岁儿童可能会遇到的问题或其他方面的缺乏表现可能类似于18岁、30岁或40岁等岁数的人所经历的问题。然而,相对于刚刚列出的其他年龄段,预料四岁的儿童有这些问题和/或更多这些问题和/或在较长时段内有这些问题是合理的。因此,至少对于与关于问题持续了多久相同的时间段而言,对较年轻的接受者实施可以不实施对较年长的接受者实施的标定或疗法等的改变。这个想法是,人口统计和/或生理特征也可以被包括在变量组合中,以确定对给定的接受者做什么和/或何时完成等。因此,在一些实施例中,***可以进一步考虑或仅将任意一个或多个或所有刚刚详述的变量用于开发新标定或以其他方式进行标定调整等。在示例性实施例中,仅利用了人口统计方面,而在其他实施例中,仅利用了生理方面。也就是说,应当指出,在一些实施例中,两个群之间可以有交叉。
在第一次会话后的前一、前二、前三、前四、前五或前六周内,接受者可以承受更高水平的电刺激。随着大脑开始适应植入物所提供的新输入,接受者将开发出将声音理解为语言的能力。早期阶段的整体响度可以是接受者调高整体水平的简单问题。在此早期阶段,可以为接受者提供临床医生亲自护理,以帮助他们适应和/或康复。
在示例性实施例中,在初始第一会话之后的某个时刻,***被用来记录或以其他方式捕获与接受者相关联的声音,诸如例如接受者的语音和/或与接受者说话的人的语音或接受者周围的人的其他语音。所捕获的声音可以对应于实时地、增量地或周期性地馈入AI***的数据。再次,在一些实施例中,AI***全天位于由接受者携带的智能电话或身体佩戴或身体携带的设备中,或者全天位于接受者附近。在另一个实施例中,***位于远程,并且所捕获的声音被周期性地上传到AI***,然后AI***评估数据。无论如何,当AI***侦听接受者的真实世界对话时,AI***将检测到某些异常。一个示例是接受者在听低水平的高频时有困难。这可能表现为对轻柔水平的/sh/或/ss/声音没有反应,和/或对包含这些声音的单词产生误解(例如,将“singles”误认为“shingles”)。在至少一些实施例中,***可以被配置为标识这种情况。
最初,与以上详述的教导一致,检测并标识了异常,但是在至少一些情形中,最初并未将异常标识或归类为可操作的错误。然而,随着时间的流逝,人工智能***将某些异常归类为持续性问题或其他错误。
再次,在一些示例性场景中,AI***提供这些错误或事件的报告或摘要等。在一些示例性实施例中,AI***提供关于可以针对标定设置进行哪些操作以解决这些错误的推荐。更进一步,在示例性实施例中,AI***开发适当的或实用的标定调整。关于前述情形,在至少一些示例性实施例中,AI***将发起或以其他方式开发对标定的调整或新标定,其中相对于出现错误时的情况,高频率处的阈值水平升高了。
在示例性实施例中,一旦已应用了改变,假设或只要该改变是实用的或以其他方式解决了导致错误的潜在问题,与处于轻柔水平的高频声音有关的异常率将降低,并且这种错误模式和成功响应将由AI在其他类似情况下重新使用(针对该接受者和/或其他人,从而训练AI***)。这可以构成AI***的训练。
简单向前跳进,图15和图16提供了可以使AI***得以训练的示例性布置。这将在下面更详细地描述。然而,应注意,本文详述的AI***的训练既适用于个体***,也适用于将为个体训练的***然后被用于一个或多个处境相似的个体的布置(其中在一些实施例中,各个***可以被进一步针对个体进行训练)。
通过仅作为示例而非限制的方式,最初,可以执行根据图4和/或图5的循环。就涉及到一些控制测试这一事实而言,图4具有实用价值。因此,人工智能***可能“学习”得比图5更快。也就是说,两者可以结合使用,也可以仅一个被用来训练***。关于两个循环的组合使用,实用循环的初始数量可以对应于循环4,然后在那之后,其余循环可以对应于循环5。周期性地,可以执行根据图4的一个或多个循环作为健全性检查等,诸如此类。
在示例性实施例中,实现了客观的对错制度,并且这种客观的对错制度被用来训练人工智能***。更进一步地,在示例性实施例中,还可以实现主观制度,并且该主观制度也可以单独地或与客观制度结合地训练人工智能***。
在将图5的循环用于训练目的的示例性实施例中,可以将主观或客观的输入添加到循环中。实际上,在示例性实施例中,性能监测器510可以包括至少客观制度的方面。无论如何,在执行AI活动并且调整或以其他方式改变假体的标定/设置并且接受者参与使用330之后,可以执行客观测试以确定新的设置/标定是否比旧的设置/标定更好。如果它们更好,那么基于给定输入,***可以“记住”这些改变是一件好事,然后在将来针对给定的场景使用这些改变。如果它们不是更好,则***会记住这些改变不好,因此以后使用这些改变的可能性较小。
注意,除了单纯的性能监测之外,还可以将不同类型的输入馈入到人工智能***中。通过仅作为示例而非限制的方式,可以将接受者的性别、工作、生活方式、年龄、耳聋发病日期、母语等,或在统计学上可能有用的任何其他人口统计学数据点输入到人工智能***中。例如,在针对一个或多个接受者训练的经训练的人工智能***被用于其他接受者的实施例中,基于与该接受者相关联的人口统计特征和/或生理特征,AI***可以使用人口统计数据来确定或以其他方式开发用于该给定接受者的给定标定或假体设置的改变。
无论如何,在一些实施例中,存在初始训练制度,其中最初收集统计学上显著数量的接受者,并且将人工智能***与这些接受者一起使用。接受者的数量可以是20或30或40或50或75或100或150或200或250或300或更多的接受者。最初,人工智能***可能会做出非常糟糕的改变,并且基于来自接受者的反馈和/或基于一项客观测试,至少针对给定的人口统计信息,人工智能***可以学会不针对给定场景进行这些改变。在示例性实施例中,至少在初始时,可以在受控或半受控的测试环境中全部使用前述的初始接受者,以使可以进行初始学习。在示例性实施例中,最初,可以基于客观测试/主动测试来训练***,然后可以通过允许接受者在受控或不受控制的语音环境中进行交互进一步训练***(受控的语音环境可以是类似于演员阅读剧本的对话,其中剧本带有已知会给使用听觉假体的人带来困难的单词和/或短语;不受控制的言语环境可能是在正常的生活方式使用过程中对***的利用——可以部分给接受者经训练的/最初训练的***,然后让他们出去正常生活,而***继续其训练)。在示例性实施例中,最初可以通过向***呈现受控语音环境,随后向其呈现非受控语音环境,来进一步促进训练。因此,以减少发生“严重”错误决定的可能性的方式逐渐训练***,如果***最初暴露于不受控制的语音环境中,则可能更可能发生错误决定。也就是说,实施例还可以包括简单地立即将***暴露于不受控制的语音环境中。
仍然,实施例可以使用初始受控和有限数量的受试者(subject)方法来进行初始训练,或者甚至针对该问题进行全部训练。应当指出,在认为***已得到充分训练之后,诸如在从20或50或100的输入之后,或者尽管实现了许多初始接受者之后而***在这些***上训练,该***可能再也不会被训练或仍然是静态***。也就是说,即使在***被视为经过充分训练之后,训练也可以在受控设置或非受控设置下继续进行。通过仅作为示例而非限制的方式,在一些示例性实施例中,***以未训练的状态被应用到接受者,并且给定的接受者被单独用于***的训练目的,并且随着时间的流逝,***根据本文详述的教导进行自我训练以进行操作。仍然仅通过示例而非限制的方式,在一些示例性实施例中,在至少部分地被训练或以其他方式充分训练之后,***首先被应用到非测试受试者接受者,然后每个个体接受者对其使用的***进行训练,并且该训练仅限于与给定接受者一起使用。也就是说,在另一个示例性实施例中,训练不限于与给定的接受者一起使用,而是将现在经过额外训练的***用于其他接受者,至少用于人口统计学上与先前训练者相似的接受者,诸如此类。
应当理解,训练AI***的概念不必与利用AI***实现关于提高或增强接受者听力的实用价值的概念相互排斥。在这方面,本文中与提高接受者的听力相关联的方法动作的任何公开也对应于执行该动作以训练人工智能***的示例性实施例的另一公开,反之亦然。
可替代地,如果标定不是实用的,或者改变不是实用的或未解决根本问题,则与软水平上的高频声音有关的异常率不一定会降低,甚至有可能增加,或者可能会减少到统计学上微不足道的值,并且AI在其他类似情况下不会重新使用这种错误模式不成功的响应。
可以在基于专家规则的***中实现上述模式。当出现更复杂、互相关的问题时,人工智能就显出了它的价值。
无论如何,关于人口统计数据,在示例性实施例中,具有这样的动作,即标识与用来训练给定***的其他接受者处境相似的接受者,并将该训练***用于那些处境相似的接受者。因此,在示例性实施例中,可以有两个或三个或四个或五个或六个或七个或八个或九个或10个或11个或12个或13个或14个或15个或更多的具有不同训练的***,它们分别被用于一些接受者而不用于其他接受者。也就是说,在示例性实施例中,可以对单个***进行能够标识给定的人口统计信息的充分训练,并且在排除其他特征的情况下将某些特征应用于该人口统计信息。再次,在示例性实施例中,进入***的输入超出了与语音数据相关联的输入。也可以输入人口统计数据等。
在示例性实施例中,人工智能***利用的基础数据不是线性的和/或结果不是线性的。因此,利用人工智能***的实用价值。
还简要地指出,在至少一些示例性实施例中,与不能听见的接受者相关联的问题以及与其他可能是这种情况的问题不一定是基于参数/基于假体设置的。在示例性实施例中,可能是环境和/或另一种现象。在示例性实施例中,仅由于接受者早上没有喝咖啡就可能产生问题。接受者试图戒烟或经历中年危机也可能会出现问题。确实,考虑儿童的情况,其中儿童决定仅仅因为某个原因就要无视某个人。这些不是与假体相关联或与假体设置相关联的问题。然而,与这种场景相关联的动作可以被***解释为指示听力问题。因此,在示例性实施例中,***“足够智能”以区分环境问题或与听力无关的问题,以及参数问题。
清楚的是,在至少一些示例性实施例中,本文详述的教导被限于利用人工智能***来设置听力假体的参数。一些示例性实施例被具体限于标定的开发或调整,或者被限于利用人工智能***的听力假体适配。也就是说,在一些实施例中,人工智能***被用来做其他事情,诸如还标识环境的可能变化等,或者与做其他事情的替代或分离的人工智能***结合使用。
仍然要注意,在至少一些示例性实施例中,人工智能***可以被充分地训练以区分基于参数的异常和基于非参数的异常。
回到听觉问题,更复杂问题的示例可能是接受者反复遇到区分/e/和/i/声音的问题。AI会碰到很多这样的情况,其中患者在对话中做出不适当的响应,例如如果另一个说话者问:“您能递一下图钉吗?而接受者回答“哪支笔,蓝色的吗?”接受者还可以要求说话者在句子中包含/e/或/i/声音的情况下重复自己的话。由于通过错误检测过程观察到许多此类异常,因此将该区域标记为差错。一旦标识出差错,它就会被输入到标定开发部分/标定优化器部分,该部分做出过去一直适用于相似问题的调整。然后由***来监测此干预的成功,并在必要时应用进一步的改变。
在示例性实施例中,人工智能还被用来开发标定优化/标定开发部分。在示例性实施例中,利用查找表等。在示例性实施例中,存在位于计算机代码上的算法,该算法可以拿到来自***的错误检测/确定部分的输出,并评估该输出以开发标定。
早期,由于针对接受者定制标定和/或由于接受者的大脑适应来自植入物的输入,这些调整可能会很频繁。一旦适应期结束或成熟,标定变化的频率可能会降低。
从上面可以看出,实施例包括适配***。该***可以包括输入子***,输入子***可以是能够使该***使用的数据输入能够输入到该***中的任何设备或***。就这一点而言,在示例性实施例中,输入子***可以是麦克风,该麦克风经由有线连接或无线连接与***进行信号通信。在示例性实施例中,输入子部分基于捕获的声音(来自麦克风的修改的信号等)向***提供捕获的声音数据,数据在***中被实时记录/保存和/或分析。
输入子***可以可替代地是从麦克风接收信号的组件,并且不必包括麦克风。就这一点而言,在示例性实施例中,输入子***可以包括插孔或者被配置为从麦克风接收可比较的插孔的类似物。可替代地,和/或除此之外,插孔可以是从存储器设备等,或是从其上存储了数据的设备接收输入的插孔。在示例性实施例中,这可以是与磁带记录器或MP3记录设备等的输出通信的插孔。在示例性实施例中,输入子***可以诸如经由有线或无线连接从智能电话等接收数据。因此,输入子***例如可以是基于Wi-Fi的***,该***被配置为从远程设备(诸如智能电话或智能手表等)接收RF频率传输。也就是说,在一些实施例中,输入子***可以是或可以包括智能电话或智能手持计算机甚至智能手表。(实际上,如上所述,在一些实施例中,整个***可以在智能电话平台上操作。)在至少一些示例性实施例中,可以利用能够实现数据输入以使***可以执行其功能的任何设备或***。在示例性实施例中,输入子***可以实现本文中详述的与声音捕获和/或语音捕获相关联的一个或多个方法动作。还应注意,在至少一些示例性实施例中,输入子***可以具有类似的数据记录能力。也就是说,输入子***也可以被配置为接收指示不基于音频信号的数据的输入。通过仅作为示例而非限制的方式,输入子***可以被配置为接收时间数据、接受者的位置数据、与听力假体的当前设置相关联或以其他方式指示听力假体的当前设置(例如,音量、增益、麦克风方向性、噪声消除等)的数据。实际上,在一些实施例中,输入套件可以接收指示是否甚至在使用假体的数据。通过仅作为示例而非限制的方式,考虑接受者持续两三个小时没让其听力假体起作用的时间段,或者听力假体持续两三个小时没有起作用的时间段。在分析时,与环境声音相关联的数据可能会产生大量错误,这些错误与以下事实有关:由于听力假体未打开而与标定设置无关,接受者无法听到他周围的任何声音。因此,输入子***可以使本文详述的与处理数据相关联的一个或多个方法动作能够被输入到***中或以其他方式由***使用。在至少一些示例性实施例中,输入子***对应于被用来捕获话音的机器,而在其他实施例中,输入子***可以对应于与捕获语音机器接合的设备。因此,在示例性实施例中,输入子***可以对应于被配置为与机器进行电子通信的设备。在一些实施例中,输入子***可以是上面的设备240的麦克风和相关联的组件,而在其他实施例中,如上所述,输入可以对应于听力假体捕获的声音,因此可以包括听觉假体的声音捕获组件以及相关联的组件。
听力假体的麦克风和设备240的麦克风可以结合并一起用作输入子***。在示例性实施例中,听力假体的麦克风可以被用来捕获声音,并且听力假体可以将射频信号发射至设备240,该射频信号将由设备240接收,该信号是基于听力假体所捕获的声音。这可以是从听力假体到设备240的流传输的音频信号。因此,智能电话的RF通信组件也将被包括在输入子***中。
不管假体是否被用作输入子***的一部分,在示例性实施例中,输入子***(或输入/输出子***,如将在下面更详细描述的)与听力受损的人的听力假体进行信号通信。
在该***的示例性实施例中,该***还包括处理子***。在示例性实施例中,处理子***是基于微处理器的***和/或是基于计算机***的***,处理子***可以使与分析所捕获的话音/所捕获的声音相关联的一个或多个动作能够执行本文详述的教导。在示例性实施例中,处理子***可以被配置为标识听力受损的人的标定设置中的弱点,该弱点是通过将话音和/或数据用作潜在变量来标识的。就这一点而言,在示例性实施例中,处理子***可以被配置为执行本文中详述的分析和/或确定功能和/或评估功能和/或标识功能和/或处理功能和/或分类功能以及/或推荐功能中的任何一个或多个。在示例性实施例中,处理子***可以以自动化的方式做到这一点。在示例性实施例中,处理子***是本文详述的基于AI的***/功能本身。
在示例性实施例中,该***还包括输出子***。在示例性实施例中,输出子***可以对应于输入子***,而在其他实施例中,输出子***与输入子***是分开的。就这一点而言,输出子***可以对应于个人计算机,或者与上面详述的输入子***相关联的任何组件。因此,在示例性实施例中,该***可以包括输入子***和输出子***和/或输入/输出子***,其中相对于后者,输入和输出子***被组合。在示例性实施例中,输出子***对应于提供图3的输出的设备。在示例性实施例中,输出子***对应于使得能够执行假体的重新映射的设备。在示例性实施例中,输出子***可以对应于包括插孔的设备,该插孔可以被放置成与听力假体进行有线通信从而将标定传送至假体。在示例性实施例中,输出子***可以是Wi-Fi***。在示例性实施例中,输出子***可以替代地是基于计算机的***,该***发送电子邮件或文本消息以指示分析结果。在示例性实施例中,输出子***可以是USB端口等,其使得在其中能够输出新标定数据的消息或报告。在示例性实施例中,输出子***可以是设备240的计算机屏幕。在示例性实施例中,报告可以呈现在该屏幕上。在示例性实施例中,新标定设置可以显示在该屏幕上。输出子***也可以包括扬声器等。
在一些实施例中,可以利用智能电话或智能手表等的任何输出组件。
在至少一些示例性实施例中,可以利用任何设备、***和/或方法,该设备、***和/或方法将使输出子***能够输出关于实现本文详述的教导具有实用价值的数据,或者可以使本文详述的教导能够被使用。
图7提供了实施例的黑盒示意图,其中输入子***3142接收输入3144,并且经由通信线路3146(在***位于膝上型计算机上的情况下可以经由互联网或硬线通信)向处理子***3242提供输入,处理子***3242经由通信线路3248(再次,互联网、硬连线等)与输出子***3249通信,其中输出由3030表示。图8提供了替代实施例,其可替代地利用输入/输出子***3942。清楚的是,图7和图8的全部组件可以驻留在智能电话或智能手表和/或图1的听力假体或其变体或其他听力假体(例如,中耳植入物或骨传导设备)中。同样,如上所述,视网膜植入物可以是这些组件的基础。任何感官假体都可以成为其基础。
鉴于以上内容,可以看出,在示例性实施例中存在适配***,诸如图7和图8所描绘的两个***中的任一个。适配***可以用于任何类型的感官假体,诸如例如耳蜗植入物、视网膜植入物等。该***包括通信子***,通信子***包括输入子***和输出子***或输入/输出子***中的至少一个。通信子***可以是智能电话或个人计算机或听力假体等的通信子***。在示例性实施例中,通信子***在听力假体和智能电话之间拆开。就这一点而言,在示例性实施例中,将假体的麦克风用作输入子***,并且将智能电话的输出组件用作输出子***。
在适配***的示例性实施例中,***包括处理子***,其中处理子***被配置为至少部分地基于经由通信子***输入的数据来自动开发用于听力假体的适配数据。
在适配***的示例性实施例中,适配***被配置为通过分析输入到通信子***中的语言环境度量来开发用于听力假体的适配数据。此外,适配***可以被配置为通过分析输入到通信子***中的语言环境度量和输入到通信子***或另一个子***中的非收听度量(例如,头部转动、缺乏头部转动的缺乏、眼睛移动等,-设备可以被用来捕获此类动作或无动作,诸如加速度计和/或相机等)来开发用于听力假体的适配数据。在示例性实施例中,前者可以是假体的麦克风和/或便携式电子设备捕获暴露给接受者的声音的结果。在示例性实施例中,前者可以是听力假体将基于听力假体的麦克风所捕获的声音(无论是否经过处理的)的音频信号或数据无线传送到便携式手持电子设备的结果。在示例性实施例中,前者可以对应于下载或以其他方式传送由任何特定机器捕获的环境声音的记录,该机器可以使得诸如例如磁带录音机或其他记录设备之类的东西进入到通信子***中。在利用两者的实施例中,适配***可以将其中之一或两者用作适配假体所依赖的数据。
因此,在该示例性实施例的示例性实施例中,***包括子***,该子***包括听力假体或身体携带的便携式电子设备(例如,智能电话、智能手表等)中的至少一个,其中听力假体被配置为(例如,经由有线或无线信号)输出指示接受者的语言环境的数据,并且便携式电子设备被配置为接收指示接受者的语言环境的数据,并且语言环境度量基于至少一个输出的数据或接收的数据。再次,在一些实施例中,可以整体利用智能电话的麦克风来捕获环境声音,可以使用听力假体的麦克风来整体捕获声音,或者可以使用两者的组合。关于后者,***可以被配置为分析给定的输入信号并从两者之间选择最佳信号以供处理***分析。例如,***可以评估由两个单独的麦克风捕获的数据,并为给定分段选择具有最佳信噪比的数据。例如,声音的秒1、2、3、4、5可以基于由听力假体的麦克风捕获的声音,秒5.1、5.2、5.3、5.4、5.5和5.6可以基于智能电话的麦克风,然后秒5.7到50可以基于听力假体的麦克风,依此类推。因此,***可以被配置为评估多组数据,并基于精细分析选择并拾取是最佳数据的该数据。
再次,在示例性实施例中,声音可以被听力假体捕获并且被实时流传输和/或以分组的形式被提供给身体携带的便携式设备,和/或声音可以被身体携带的便携式设备捕获。
还应注意,在一些实施例中,子***包括听力假体和与听力假体分开的身体携带的非便携式电子设备。在示例性实施例中,听力假体可以被配置为记录或以其他方式存储由麦克风捕获的声音或存储基于该声音的数据(例如,处理后的数据),然后周期性地或间歇地或基于另一个时间表来下载或允许将该存储数据下载到个人计算机或经由互联网下载到远程设备。
更进一步,在示例性实施例中,在子***包括便携式电子设备的情况下,便携式电子设备是智能设备(例如,智能电话),并且处理子***至少部分地位于智能设备中。在示例性实施例中,智能设备可以执行第一级处理,而另一设备(例如,远程设备)可以执行第二级处理,所有这些都可以被利用来开发本文详述的数据,该数据由AI***开发。也就是说,在示例性实施例中,AI***完全基于智能设备。
与以上详述的教导一致,在示例性实施例中,处理子***是专家子***,该专家子***包括事实领域知识和专家的临床经验作为启发(heuristics),并且该专家子***被配置为基于语言环境度量来自动开发适配数据。
本文更详细地描述专家***的实施例。也就是说,还应注意,在示例性实施例中,处理子***是神经网络,诸如例如深度神经网络,并且该神经网络被配置为基于度量自动开发适配数据。像专家***那样,下面将更详细地描述其一些实施例的附加特征。
在其中处理子***是***的专家子***的示例性实施例中,子***可以包括机器学习算法的代码和/或来自机器学习算法的代码以分析度量,并且机器学习算法是基于统计学上大量听力受损人群进行训练的经训练***。
与以上详述的教导一致,在一些实施例中,适配***是完全自主的***,并且在一些实施例中,适配***被配置为有效地基于或完全基于被动错误标识来自动地开发适配数据。因此,在示例性实施例中,一些适配数据可以部分地基于音素测试或听力图,但是数据仍然可以有效地基于被动错误标识(注意,听力图和音素测试不是被动错误标识。
再次,与本文详述的教导一致,至少一些示例性实施例完全基于在接受者利用听力假体来收听时被动收集的数据。这并不是说一些实施例不能使用这种被动收集的数据和其他数据的组合,其他数据诸如主动收集的数据,诸如例如测试结果等,以及主观输入和其他事物,下面将更详细地描述其中一些。也就是说,在一些实施例中,至少部分地基于被动错误标识来开发适配数据。如以下将详述的,可以存在混合适配***,其分析被动采集的数据和主动采集的数据的结果(例如,测试),以实现本文的教导。
另外,在一些实施例中,***被配置为有效地单独基于并且在一些实施例中单独地基于听力假体的接受者的表现来自动开发用于听力假体的适配数据。
如上所指出,收集数据的动作至少部分在初始设备激活会话/初始适配会话之后或在初始设备开启之后发生。因此,在至少一些示例性实施例中,听力假体至少部分地被适配到接受者。在示例性实施例中,将至少部分基于与接受者相关联的主观和/或客观数据而开发的标定加载到听力假体中,该标定被利用来处理声音以在声音被捕获的同时唤起听力感知,从而开发***要使用的数据。在适配***开发新标定或以其他方式开发用于假体的适配数据的示例性实施例中,该新标定/适配数据构成替换标定或对听力假体的现有标定的调整。因此,在示例性实施例中,***被配置为自动开发用于听力假体的修订的适配数据。还要注意,在示例性实施例中,如下面所详述的,即使在初始适配之后,与开发修订的适配数据相关联的活动也可能存在主观内容。下面将描述其附加细节,但是简要地注意,在示例性实施例中,***被配置为基于从接受者输入的关于所开发的适配数据的主观偏好来自动开发用于听力假体的修订的适配数据。通过仅作为示例而非限制的方式,在示例性实施例中,人工智能***可以开发适配数据,并且该适配数据(修订的适配数据)可以被用来对听力假体进行重新适配,并且在接受者中可以说他或她讨厌其中的某个方面,然后AI***可以重新评估适配并修订该修订的适配数据以供假体使用。还通过仅以示例而非限制的方式,在示例性实施例中,在人工智能***的任何活动之前,人工智能***可以考虑到接受者对于以落在一个频率范围内的一定分贝水平听到的某些分贝水平感到不舒服,或者就是出于某种原因不希望听到某些频率,因此***在分析被动采集的数据时可以考虑到这一点。
从以上可见,可以结合主观输入来利用本文详述的***和/或教导。仅基于性能的***,无论是通过测试主动确定的,还是通过自动错误检测过程被动确定的,都基于完全与性能相关联的特征而不是与偏好相关联的特征,来适配听力假体。一些示例性实施例使得通过允许输入到标定变化来考虑接受者的主观偏好。通过仅作为示例而非限制的方式,在自动标定变化已被应用之后,可以要求患者以1-5缩放对更新进行评级。此输入并不麻烦,并且可以将其作为过程的可选部分。在一些实施例中,该评级可以被利用来进一步为该接受者训练***,而在其他实施例中,该评级可以针对具有彼此相关的人口统计学特征的统计学上的一大群人使用该评级。在示例性实施例中,主观数据可以简单地被用来覆盖所做的任何改变。此外,在示例性实施例中,可以在整体分析中利用主观输入,并且不必在每次分析发生时都寻求主观输入。例如,如果接受者只是不喜欢听到某些频率,至少不喜欢某些振幅水平,则该主观事实可以在***首次“学习”这一知识之后在很好地利用该***的整个时间段内被用来进行处理或评估。
如上所指出,图7和图8的实施例可以表示适配***。与以上详述的教导一致,在一些实施例中,存在一种***,其不一定是适配***,而是一种开发推荐或以其他方式输出指示与输入相关联的分析的摘要或报告的***。因此,在示例性实施例中,本文中的适配***或与适配相关联的特征的任何公开对应于替代实施例的公开,其中该***不是适配***,而是听力改善分析***/推荐***。该***不必一定开发适配数据,或者不必是适配假体的***,而是可以分析输入并基于分析提供报告或提供信息和/或提供推荐,应进行一项改变,或者如果对用户做出则以其他方式可能是实用的。因此,在示例性实施例中,本文中关于适配听力假体或开发用于听力假体的适配数据的动作的任何参考对应于本公开,其中替代实施例存在提供指示分析的输出或以其他方式基于分析提供推荐的动作。对此的必然推论是,本文中与之相关联的方法动作的任何公开对应于被配置为执行此类方法动作或具有与其相关联的功能性的设备和/或***的公开。
图9呈现了用于示例性方法——方法700的示例性算法,其包括方法动作710,该方法动作710包括利用机器来捕获话音声音,所述机器诸如例如是以上详述的植入物100和/或设备240,或者是***210。在示例性实施例中,所捕获的话音可以被植入物100的麦克风捕获。在示例性实施例中,话音可以被记录并存储在植入物100中和/或与***210相关联的组件中,和/或可以经由元件249实时或部分实时地上传。可以在至少一些示例性实施例中利用可以以将使得本文详述的教导成为可能的方式实现话音捕获的任何设备、***和/或方法。注意,在至少一些示例性实施例中,该方法还包括将所捕获的话音分析或以其他方式还原为指示所捕获的话音的数据和/或指示所捕获的话音的一个或多个属性的数据,该数据然后可以被存储在***的植入物中和/或被传送到远程服务器等,以实现本文详述的教导。指示所捕获的话音的一个或多个属性的数据及其使用将在下文中更详细地描述。最终,在方法动作710中获得的数据可以对应于本文详述的语言环境测量/动态通信度量。
方法700还包括方法动作720,该方法动作720包括基于在方法动作710中捕获的所捕获的语音,自动开发用于听力假体的适配数据。
在示例性实施例中,通过使用来自机器学习算法的代码处理数据来执行开发适配数据的动作。在示例性实施例中,使用神经网络来执行开发适配数据的动作。在示例性实施例中,使用专家***来完成开发适配数据的动作。
在示例性实施例中,该方法包括:使用来自机器学习算法的代码、使用神经网络或使用专家***或某种形式的AI***,标识一个或多个异常和/或将所标识的异常标识为可操作的错误。
图10呈现了用于另一示例性方法——方法800的另一示例性算法,其包括方法动作810,该方法动作810包括执行方法动作710。方法800还包括方法动作820,该方法动作820包括获得与所捕获的话音分开的数据。在示例性实施例中,数据涉及说出所捕获的话音和/或向其说出所捕获的话音的接受者对听力假体的使用。在至少一些示例性实施例中,数据是可以对应于听觉环境测量、位置数据、假体设置或状态数据等的被记录数据。再次,以示例性的最简单形式,在方法动作820中获得的数据可以是听力假体是否正被用来唤起听觉感知(例如,其是打开还是关闭)。在示例性实施例中,方法动作820对应于记录数据,其中被记录的数据是对应于听力假体的真实世界听觉环境的接受者的事件和/或动作的基于非话音的数据,其中接受者是说出所捕获的话音和/或向其说出所捕获的话音的人。方法800还包括方法动作830,该方法动作830包括基于所捕获的语音和与所捕获的话音分开的所获得的数据(该数据在方法动作820中获得),来自动开发用于听力假体的适配数据。
与上面的教导相对应,在一个示例性实施例中,方法动作710的机器是听力假体,其附接到接受者或智能电话、或智能手表、或甚至与物联网相关联的麦克风、或录音机的麦克风等。它可以是能够实现本文教导的任何设备。在示例性实施例中,被记录的数据指示与假体的使用相关联的时间数据。通过仅作为示例而非限制的方式,利用假体可以是一天的百分比。在示例性实施例中,利用假体可以是每天、每周、每月的小时数等。在示例性实施例中,它是在给定的一天或一周或一个月等中假体被开启和/或被关闭或以其他方式被激活和/或停用的次数。在示例性实施例中,指示与假体的使用相关联的时间数据的数据与一天中的时间相关联,无论接受者是醒着的还是睡着的等等。可以在至少一些示例性实施例中利用可以用来实现本文详述的教导的任何时间数据。
在示例性实施例中,捕获语音和开发适配数据的动作由包括听力假体和/或由听力假体的接受者携带的智能设备的***执行。在示例性实施例中,开发的适配数据完全基于所捕获的语音。注意,这并不意味着所有的适配数据都是基于语音的,而只是开发的数据是基于语音的。
图11提供了用于示例性方法——方法1100的示例性实施例的另一示例性算法,该方法包括方法动作1110,该方法动作1110包括执行方法700或800中的一个。方法1100还包括方法动作1120,该方法动作1120包括利用适配数据来适配听力假体。图12提供了用于示例性方法的示例性实施例的另一示例性算法,方法1200,该方法包括方法动作1210,该方法动作包括执行方法700或800中的一个。方法1200还包括方法动作1220,该方法动作1220包括基于适配数据自动调整听力假体的标定和/或替换听力假体的标定。注意,在该方法的该示例性实施例中,该方法不需要所有适配数据被使用。
在本文详述的任何方法的示例性实施例中,方法还可以包括:基于所捕获的语音和/或与所捕获的语音一起捕获的声音,自动确定接受者的声音环境的推荐变化(例如,背景噪声/声音可以与所捕获的语音一起被捕获)。通过仅作为示例而非限制的方式,这可以对应于确定接受者在与某人家庭的某些成员(或全部,在一些实施例中,一个家庭成员的话音频率可能太接近风扇的频率,而其他任何一个家庭成员都不存在这种现象)交谈时应停用噪声源,诸如中央空调风扇。在示例性实施例中,这可以对应于确定某些房间比其他房间提供更好的听力结果。例如,在示例性实施例中,与在他或她的办公室或在开放的地板等上进行讨论相反,办公室工作人员可能被推荐去会议室进行讨论。关键是,与本文详述的教导相关联的特征包括数据收集,所收集的该数据可以被用于开发适配数据的目的,但是也可以用于其他目的。因此,本文详述的***可以被用来一石二鸟。在示例性实施例中,是人工智能***执行自动确定接受者的声音环境中的推荐变化的动作,而在其他示例性实施例中,与人工智能***分离的***(该***可以不是人工智能***)被利用来执行此方法动作。
在示例性实施例中,在听力假体的接受者与其他人之间的正常的、日常的交互期间执行捕获语音的动作。这与捕获在非正常的非日常的交互期间执行的语音的动作相反,诸如当接受者正与他或她的听觉医师对接或者正与他或她的听觉医师合作以评估或改善听力假体的听力时,和/或诸如当接受者正在执行自我测试或在指导下或在看护者的提示下进行的测试时,等等。
正常的日常的交互的示例性实施例可以是这样的交互,其对应于上学的儿童接受者,在办公室工作的上班族,在劳动现场工作的劳动者,在机械车间工作的机械师,在餐馆工作的餐馆工人,从事娱乐活动的人,从事维持生命活动的人(例如购物、看医生、锻炼等)。
清楚的是,在示例性实施例中,正常的日常的交互明确地排除了专门用于评估接受者的听觉能力或以其他方式改善或修改或改变听力假体或以其他方式开发因此与之相关的数据的动作。听力测试不是正常的日常的交互。
在示例性实施例中,以随机的方式执行捕获语音的动作。在一个示例性实施例中,被捕获并被用来执行本文详述的教导的语音是随机的。在示例性实施例中,被捕获和使用的语音是不基于阅读的语音。在示例性实施例中,被捕获和使用的语音不是基于接受者听到的声音重复的语音。在示例性实施例中,被捕获和使用的语音是与将与不具有听力假体的某人相关联的语音相对应的语音,或者是与在不具有听力假体的情况下将与某人讲话的语音相对应的语音。
在示例性实施例中,适配数据部分地基于所捕获的语音并且部分地基于非语音数据。
在示例性实施例中,适配数据部分地基于用所捕获的语音捕获的声音。在示例性实施例中,适配数据部分地基于如上所指出的被记录数据。在示例性实施例中,适配数据部分地基于位置数据。在示例性实施例中,适配数据部分地基于听力假体的状态或特征(例如,增益设置,噪声消除是否被激活等等)。
在示例性实施例中,存在方法700或800中的任何一种,还包括使用适配数据来重新适配或调整听力假体的现有适配标定中的至少一个的动作。在示例性实施例中,对现有适配标定的重新适配或调整完全基于适配数据,该适配数据完全基于所捕获的语音而开发。相反,在示例性实施例中,对现有适配标定的重新适配或调整完全基于未完全基于所捕获的语音而开发的适配数据。
在本文详述的任何方法的示例性实施例中,开发适配数据的动作用少于A小时的听力图相关测试、音素辨别测试和/或单词测试来执行,其中A等于0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1、1.25、1.5、2、2.5、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、或30以上。在本文详述的任何方法的示例性实施例中在听力图相关测试、音素辨别测试和/或单词测试的A小时的值的任何值的范围内执行开发适配数据的动作。因此,在示例性实施例中,在所有其他条件相同的情况下,本文详述的教导可以有效地减少和/或显著减少与适配听力假体和/或重新适配听力假体或以其他方式优化听力假体的标定设置相关联的测试。
实际上,在一些实施例中,在没有本文所详述的一个或多个或所有测试中的任何一个的情况下执行本文所详述的教导。
在方法700和/或方法800的示例性实施例中,关于测试,仅有效地(effectively)利用响度缩放测试执行开发适配数据的动作,如果有任何有效测试的话。也就是说,在一些实施例中,还包括其他测试。另外,有时实际上没有响度缩放测试。
仍然可以看出,一些实施例包括混合***的实现,该混合***构成了错误检测的完全被动***之间的某种事物。在示例性实施例中,根据本文详述的教导,接受者可以被涉及或以其他方式被给予或以其他方式参与到与错误的被动监测相结合的一些传统的性能测试中。通过仅作为示例而非限制的方式,这可以是***发起的,或者是由听觉医师发起的,或者是由其他医疗保健专业人员发起的,其中对于后者,将结果输入到***中,可以有以下测试中的一项或多项:用于检测等目的的听力图测试和/或开发,用于辨别测试目的的音素辨别测试,用于响度感知目的的响度缩放测试和/或用于语音感知目的的单词测试。在错误检测过程中,上述类型的被动监测可能会替换其中的一些测试(例如,听力图、音素辨别和单词测试),并且接受者可能被要求进行响度缩放测试。然后,AI***可以将来自主动测试和被动错误检测过程二者的输入作为输入来确定标定更新。在示例性实施例中,这对于加快测试过程以及否则导致对接受者来说负担较小的适配过程可能具有实用价值。在完全被动***可行之前,这还可以提供实用过渡步骤。
也就是说,实施例包括在不执行一个或多个或所有前述测试的情况下适配听力假体。实施例还可以包括利用本文详述的人工智能***来适配听力假体,而无需执行一个或多个或所有前述测试。
图12呈现了用于另一示例性方法——方法1200的示例性算法,该方法包括方法动作1210,该方法动作1210包括获得指示接受者的语音环境的第一数据。方法1200还包括方法动作1220,该方法动作1220包括分析所获得的第一数据,并且包括方法动作1230,该方法动作1230包括基于所分析的第一数据开发适配数据。
简要地,应指出,本文中的任何方法动作或设备和/或***的任何功能性的任何公开对应于其上已记录有非暂时性计算机可读介质的公开、用于执行该方法动作的计算机程序是该功能性等等。因此,示例性实施例包括非暂时性计算机可读介质,在其上记录有用于执行听力假体适配方法的至少一部分的计算机程序,该计算机程序包括用于获得指示接受者的语音环境的第一数据的代码(和/或用于使得能够获得指示语音环境的第一数据的代码,该代码可以是使得能够将接收到的音频信号或包含音频记录的接收到的数据集等安置或放置在计算机***内的代码),用于分析所获得的第一数据的代码和用于基于分析的第一数据来开发适配数据的代码。
在方法1200以及因此与之相关联的代码的示例性实施例中,获得指示语音环境接受者的第一数据的动作可以包括捕获接受者的周围环境的声音(或实现该操作的代码)。这也可以对应于接收在与方法动作1210相关联的时间段之前的时间段期间获得的周围环境的声音的记录等的动作。可以根据本文详述的任何教导来执行方法动作1200。关于方法动作1220也是这种情况,其中方法动作1220可以利用本文详述的人工智能***或其变型来执行。方法动作1230同样可以根据本文详述的任何教导来执行,并且可以利用人工智能***来执行,或者可以基于人工智能***的输出来执行。实际上,在示例性实施例中,方法1200中存在干预动作,该方法在方法动作1220之后包括输出分析。在示例性实施例中,临床医生等可以评估分析的输出,然后利用分析的输出来执行方法动作1230。仍然,在示例性实施例中,方法动作1220和1230由AI***自动执行。
在与方法1200或本文详述的任何其他方法动作相关联的计算机可读介质的示例性实施例中,该介质用于听力假体的自适配方法,该方法使得其接受者能够自适配该听力假体。因此,在方法1200的示例性实施例中,方法1200是自适配听力假体的方法,其中接受者通过执行方法1200或至少利用实现方法动作1200的设备来自适配听力假体。这与临床医生基于输入来适配听力假体的临床医生软件相反。在临床医生使用的示例性设备中,获得关于与接受者相关联的特征的数据,诸如阈值和舒适水平以及接受者的其他生理特征,并且软件可以利用例如遗传算法开发标定等,该标定将被输出到听力假体,从而以其他方式在临床医生/听觉医生的协助下或控制下或伪装下以自动化的方式适配听力假体。相反,临床医生/听觉医师可以在没有任何输入的情况下执行方法1200。实际上,在示例性实施例中,在不涉及临床医生/听觉医师的情况下,执行针对该问题的方法动作1200或本文详述的任何其他方法动作。
清楚的是,本文详述的教导的至少一些示例性实施例对应于自主适配。在示例性实施例中,本文公开的***和设备是自主适配***。在示例性实施例中,本文公开的方法动作,至少其中的一些,是自主适配方法。本文公开的设备和/或***可以对应于无干预适配***/本文公开的方法可以对应于无干预适配方法。至少一些示例性实施例实现假体的适配(或重新适配——除非另有说明,本文的任何适配公开都对应于重新适配的公开,反之亦然),而无需听觉医师或者无需医疗保健专业人员的干预。实际上,在示例性实施例中,存在这样的听力假体,其从未被听觉医师适配过,或者该听力假体被适配到接受者,其中该听力假体从未被听觉医师调整(对于给定的接受者——通用调整可以是为普通民众制作)。更进一步地,如本文所详述的,在一些实施例中,存在这样的听力假体,其在第一次激活之后,就针对特定接受者所做的调整而言,听觉医师或其他医疗保健专业人员从未对其进行调整。
再次,可以看出,在至少一些示例性实施例中,本文详述的教导在一些实施例中可以纯粹地100%利用被动数据收集和/或分析来开发适配数据。
在示例性实施例中,用于分析所获得的第一数据和用于开发适配数据的代码位于智能便携式设备中。
在示例性实施例中,与本文中利用人工智能等的详细教导一致,该介质用于自动适配方法,该方法使得能够基于语音环境自动适配听力假体。实际上,在示例性实施例中,用于分析所获得的第一数据的代码是经训练的机器学习算法的代码或来自经训练的机器学习算法的代码,其一些附加细节将在下面描述.
在示例性实施例中,存在示例性方法,方法1300,其包括方法动作1310,该方法动作1310包括执行方法1200。方法1300还包括方法动作1320,该方法动作1320包括获得第二数据,该第二数据指示听力假体的接受者对适配测试听觉信息的感知。就这一点而言,如上所指出,在示例性实施例中,被动数据可以与主动数据收集技术(诸如由测试产生)结合使用,以开发用于假体的标定或以其他方式修订用于假体的标定。
方法1300还包括方法动作1330,其包括分析所获得的第二数据。在示例性实施例中,这可以由人工智能***执行和/或可以由临床医生或听觉医师执行。在前者的示例性实施例中,可以将所获得的第二数据输入到人工智能***中,使得人工智能***可以评估该数据与第一数据以开发标定或以其他方式提供推荐,或给出摘要等。在后者的示例性实施例中,临床医生分析所获得的第二数据,然后将分析提供给人工智能***,该人工智能***可以评估第一数据以及来自临床医生的分析结果。实际上,在示例性实施例中,两种场景都可能发生。人工智能***可以评估第二数据或以其他方式与分析第二数据的临床医生等一起分析第二数据,并且人工智能***和/或临床医生可以利用这两种分析的结果来执行标定的开发和/或开发推荐与摘要等。还应指出的是,在示例性实施例中,人工智能***可以分析第一数据,然后开发标定或以其他方式提供推荐或摘要,然后临床医生/听觉医师可以分析第二数据并对来自人工智能***的输出进行改变,无论是对人工智能***开发的标定进行修改,还是修订、扩展或改变或者甚至引导来自人工智能***的推荐或摘要。
与方法1300一致,在示例性实施例中,因此存在一种计算机可读介质,该计算机可读介质包括:用于在适配测试模式下操作用于执行方法1200的至少一部分的***的代码,用于获得第二数据的代码,该第二数据指示听力假体的接受者对在适配测试模式下操作时获得的适配测试听觉信息的感知,以及用于分析所获得的第二数据的代码。在示例性实施例中,用于开发适配数据的代码也是用于基于分析的第二数据来开发此的代码。相反,在示例性实施例中,单独的代码被利用。
还要注意,在示例性实施例中,不一定存在用于在适配测试模式下操作***的代码。相反,在示例性实施例中,如上所详述,可以将单独的适配测试的分析结果输入到***中。
在示例性实施例中,用于获得第二数据的代码使得执行该方法的至少一部分的***能够经由听力假体的接受者一方的主动活动来获得第二数据。在示例性实施例中,代码可以使得交互式***能够提示或以其他方式接收指示接受者重复单词等的输入,并且***可以分析接受者说的话。
在示例性实施例中,用于使得能够获得第二数据的代码使得执行该方法的至少一部分的***能够以与听力假体的接受者交互的方式来获得第二数据。
就这一点而言,在示例性实施例中,***可以包括扬声器,该扬声器输出与具有单词的语音相对应的高质量音频或者甚至低于高质量音频,并且可以提示接受者重复他或她所听到的单词,并且***可以利用麦克风或其他声音捕获***捕获单词,然后评估所捕获的声音以标识可能的听力问题或以其他方式标识与来自接受者的反馈相关联的错误。可替代地,在示例性实施例中,***可以接收非语言输入。在示例性实施例中,接受者可以触摸指示接受者相信他或她所听到的单词的触摸屏。在至少一些示例性实施例中,能够与接受者进行交互交换的任何机制都可以被利用。
还应注意,在示例性实施例中,***不必一定具有输出组件。在示例性实施例中,将指示听力测试的基础“问题”的输入输入到***中(例如,用于听力测试103042的代码1032042被输入,并且***标识出听力测试包括某些短语和单词等),然后指示接受者响应的输入被输入。
再次,与本文详述的教导一致,在示例性实施例中,用于分析数据的代码可以基于人工智能(再次,在其他地方更详细地描述)。
在示例性实施例中,用于分析所获得的第二数据的代码位于智能便携式设备中
如上所指出,在示例性实施例中,如果有任何测试,则可以基于相对有限的测试量来利用本文详述的教导以实现听力假体的适配。如上所指出,根据时间基准对测试进行了量化。相反,至少一些示例性实施例使得能够基于从时间上而言相对大量的数据量来适配假体。通过仅作为示例而非限制的方式,在示例性实施例中,存在一种方法,该方法包括基于在B x X小时时段或C时段内获得的至少B个小时的感官假体接受者参与来适配听力假体或视觉假体或任何特定类型的感官假体。在示例性实施例中,B是50、75、100、125、150、200、250、300、350、400、450、500、550、600、650、700、750、800、850、900、950、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000、2250、2500、2750、3000、3500、4000、4500、5000、5500、6000、7000、8000、9000或10000或更多或在它们之间以1小时为增量的任何值或数值范围(777、2001、104到2222小时等等)。在示例性实施例中,X为5.0、7.5、10.0、12.5、15.0、20.0、25.0、30.0、35.0、40.0、45.0、50.0、55.0、60.0、65.0、70.0、75.0、80.0、85.0、90.0、95.0、100.0、110.0、120.0、130.0、140.0、150.0、160.0、170.0、180.0、190.0、200.0、225.0、250.0、275.0、300.0、350.0、400.0、450.0、500.0、550.0、600.0、700.0、800.0、900.0或1000.0或更多或在它们之间以0.1为增量的任何值或值范围。在示例性实施例中,C为50、75、100、125、150、200、250、300、350、400、450、500、550、600、650、700、750、800、850、900、950、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000、2250、2500、2750、3000、3500、4000、4500、5000、5500、6000、7000、8000、9000或10,000、11000、12000、13000、14000、15000、16000、17000、18000、19000、20,000、21,000、22,000、23,000、24,000、25,000、30,000、40,000、50,000、60,000、70,000、80,000、90,000或100,000或更多或在它们之间以1小时为增量的任何值或值范围。在示例性实施例中,该时段在听力假体被首次激活并被利用来唤起接受者的听力感知的时刻开始。在示例性实施例中,该时段在开始获得听力假体接受者参与的时刻开始。
例如,在示例性实施例中,该时段从设备激活起第30天开始(耳蜗植入物植入后30天/植入耳蜗植入物的外科手术关闭后30天)。接受者离开并在二或三或四或五或六或七或八或九或10或15或20或30或40或50或60天或更长的时间内利用该设备,其中接受者最初使他自己或她自己适应到设备。然后,通过执行此处详述的教导来记录和分析数据,参与开始。注意,在接受者使他自己或她自己适应的同时,可能在上述时段内发生环境声音的记录。如果此记录未被利用于本文详述的评估,则它不构成接受者参与。当所使用的数据被收集时,接受者参与开始。如果数据被收集并且未被使用,则不构成接受者参与。
因此,在上述示例中,在本文详述的教导中在第57天获得的记录被利用(该分析可能首先发生在第60天,利用具有三天上传时间的制度。可替代地,利用实时分析声音的***,分析可以从第57天开始。无论如何,第57天开始接受者参与的时段。从该日期开始,无论将多少记录或实时声音捕获用于分析,都将开始较大的时段。因此,在第422天(第57天后的1年),将在该时段内逝去8,760个小时,并且如果在当天适配了假体,或者以后适配了假体,但用于适配假体的数据就不再超过422天,并且如果该时间中总共700个小时或更多构成了听力假体接受者参与(例如,700个小时或更多的记录时间,但是间歇地被利用来开发适配),则适配应基于在8760小时时段内获得的至少700个小时的听力假体接受者参与。注意,假体可能已被适配或重新适配一次或两次或三次或四次或五次或六次或七次或八次或九次或10或15或20或30或40或50或60或70或80次或在给定时段期间(例如,此处为8,760小时)在它们之间以一个整数为增量的任何数或它们之间的任何数范围。因为适配利用了累积的数据,所以适配基于所有的参与。因此,在示例性实施例中,基于500小时的接受者参与,将假体预先适配在5000小时的标记处,并且在假体被如此适配并且然后还使用附加200小时的接受者参与进行适配的情况将会存在,并且因此基于至少700小时的接受者参与来进行适配。
在至少一些示例性实施例中,基于在4,500时段内获得的至少700、800、900或1000小时或更长时间的听力假体参与来执行听力假体的适配。
在示例性实施例中,在没有与听觉医师进行交互的情况下,发生了至少B个小时的听力假体接受者参与。在示例性实施例中,在没有与具有与听力假体和/或听力相关联的专业知识的医疗保健专业人员进行交互的情况下,发生了至少B个小时的听力假体接受者参与。在示例性实施例中,至少200、250、300、350、400、450、500、550、600、650、700、750、800、850、900、950或1000小时的听力假体在没有听觉医师和/或上述医疗保健专业人员的交互的情况下发生接受者参与。
在示例性实施例中,在B x X或C时段期间,与接受者的听觉医师和/或前述医疗保健专业人员的交互不超过D个小时,其中D为1、1.5、2、2.5、3、3.5、4、4.5、5、5.5、6、6.5、7、7.5、8、8.5、9、9.5、10、12.5、15.0、17.5、20.0、25.0、30.0、35.0、40.0、45.0、50.0、55.0、60.0、65.0、70.0、75.0、80.0、85.0、90.0、95.0、100.0、110.0、120.0、130.0、140.0、150.0、160.0、170.0、180.0、190.0或200或它们之间以0.1为增量的任何值或值范围。因此,在示例性实施例中,在其中至少有4或5或6或7或8或9百小时的接受者参与的示例性9000小时时段期间,与接受者的听觉医师的交互和/或上述医疗保健专业人员的交互不超过2或3或4或5或6或7或8个小时。
与以上详述的教导相对应,在示例性实施例中,所有参与都由接受者与其他人之间的语音对话交互组成。这并不是说不能利用其他数据,也不是说不能利用其他接受者动作。也就是说,在该时间段期间,例如至少有750个小时的参与由接受者和其他人之间的语音对话交互组成,而不论是否存在例如20或30或40或50个小时其他类型的参与。
在示例性实施例中,参与小时的至少Y%由接受者与其他人之间的语音对话交互组成,其中Y等于5、5.5、6、6.5、7、7.5、8、8.5、9、9.5、10、12.5、15.0、17.5、20.0、25.0、30.0、35.0、40.0、45.0、50.0、55.0、60.0、65.0、70.0、75.0、80.0、85.0、90.0、95.0、100或在它们之间以0.1%为增量的任何值或值范围。
应当注意,在一些示例性实施例中,与其他人的上述语音对话的时间段不包括与任何医疗保健专业人员相关联的时间段,诸如听觉医师和/或在听力和/或听力假体领域具有专业知识的医疗保健专业人员。
在示例性实施例中,假体是耳蜗植入物,并且较大的时段是在与假体的完全和稳定植入相关联的最后医疗程序之后的C小时。
注意,为了方便和节省文本而使用这些变量,重复的变量不必相同。例如,在上面的示例中,其中较大的时段为C小时并且它在最后一次医疗程序之后的C小时开始,则第一个C可以是9000,第二个C可以为500。当然,第一个和第二个C可以相等。
因此,在示例性实施例中,可能存在这样的场景,其中第一年或两年或两年以上的假体的接受者使用以传统的方式发生,与听觉医师的交互等等,然后随后的几年涉及本文教导的利用。实际上,在示例性实施例中,可以在接受者首次开始利用听力假体之后的数年或数十年中首次实现本文详述的教导。
示例性实施例包括一种设备,该设备包括处理器和存储器。在示例性实施例中,该设备体现在智能电话或智能手表或个人计算机或大型计算机中。在示例性实施例中,该设备被配置为接收指示语音声音的输入。再次,在示例性实施例中,这可以经由包括麦克风的组件或者以其他方式是麦克风,或者USB端口或能够实现数据接收的任何其他通信***。在示例性实施例中,通常将设备,特别是处理器配置为分析指示语音声音的输入并基于对输入的分析来标识语音声音中的异常,这些异常在统计学上与听力假体适配缺陷相关。
就这一点而言,存在假设完美适配的听力假体。这是一种听力假体,其针对给定接受者的标定和/或设置进行了优化。与之不对应的或者以其他方式未导致完美适配的听力假体的标定特征或设置与适配缺陷相对应。
统计学上与听力假体适配缺陷相关的异常的特征对应于该设备区分与听力假体适配缺陷不相关的异常与那些与听力假体适配缺陷相关的异常的能力。就这一点而言,根据本文详述的教导,存在被配置为学习的人工智能***。在至少一些示例性实施例中,学习是基于反复试验,因此,当设备实现本文详述的教导时,在至少一些示例性实施例中,它依赖于统计分析。参照以上详述的教导,在异常在其被指示或以其他方式被确定为可操作的错误之前可能遇到多次的情况下,在示例性实施例中,如果异常仅在特定场景中发生,而在其他场景中不发生,则该异常可能被指示或者可能未被指示或以其他方式被标识为可操作的错误。通过仅作为示例而非限制的方式,如果异常很少存在,并且总是在接受者喝完其第一杯咖啡之前,则基于统计事实,该异常可能不会被标识为可操作的错误。
在示例性实施例中,该设备包括来自机器学习算法、神经网络和/或专家***或某种形式的AI***的代码,以执行分析输入和/或标识异常/将异常标识为可操作的错误的动作。
在示例性实施例中,该方法包括:使用来自机器学习算法的代码,使用神经网络或使用专家***或某种形式的AI***,标识一个或多个异常和/或将所标识的异常标识为可操作的错误。
在一个示例性实施例中,该设备被配置为分析所标识的异常,并且在指示听力问题的异常与没有指示听力问题的异常之间进行区分。再次,在示例性实施例中,可能出现接受者不响应问题的情况。这可能是有目的的,或者它可能指示听力问题。利用例如人工智能***的***,其代码或***本身等可以被包括在设备中,并且因此可以驻留在处理器等上,可以在两者之间进行区分。
在示例性实施例中,该设备还被配置为分析所标识的异常并且针对适配听力假体的实用性而审查(vote)异常。就这一点而言,这在某种程度上类似于上述指示听力问题的异常之间的区别。在这里,可能会有错误,并且这些错误可能指示听力问题,但是就这一点而言,完全有可能的是,调整听力假体没有实用性。通过仅作为示例而非限制的方式,接受者可能只有一个单侧听力假体,并且双耳都聋了(100%)。可以通过调整双侧听力假体之间的平衡等来解决异常,但是由于假体仅是单侧的,因此会浪费时间,并且因此异常是无法解决的异常。再例如,即使使用耳蜗植入物,也可能存在接受者根本听不到的频率(听觉神经在这些频率下受损)。因此,针对该频率调整阈值和/或舒适水平将浪费时间。也就是说,在一些替代实施例中,可以将捕获的频率移到耳蜗植入物的不同通道,该通道被映射到接受者仍然可以听到的耳蜗部分。因此,感知的频率可能与现实生活中发生的频率大不相同,但是听力感知仍然可以存在——即使频率不同。
在前述设备的示例性实施例中,设备可以被配置为基于经过审查对适配听力假体具有实用性的异常来开发用于听力假体的适配数据。
在示例性实施例中,设备被配置为:标识关于特定音素之间的区分的重复错误的发生作为输入分析的一部分,并将重复错误标识为异常。这与仅标识关于特定音素之间的区分的错误的发生的设备相反。就这一点而言,如上所指出,根据本文详述的教导的设备的示例性实施例不仅标识关于音素的错误,还对其进行归类和分类,并确定某事在重复的基础上/在统计意义的基础上发生,该确定可以被用于关于是否归类诸如可操作的错误的最终确定。与本文详述的教导一致,该设备被配置为基于所标识的重复错误来开发用于听力假体的适配数据。
在示例性实施例中,设备被配置为基于包括用于听力假体的适配设置的数据来开发适配数据,该听力设置减轻了统计学上大量人群的错误。再次,与本文详述的教导一致,人工智能***是经训练的***,并且相对于一个接受者而言成功的***利用结果可以被用于其他接受者,至少对于处于相似处境或人口统计学上相似处境等等的接受者而言。下面关于这一点有更多介绍。
在至少一些示例性实施例中,设备被配置为仅基于所标识的异常来自动地适配和/或重新适配听力假体。这与基于其他输入也可以适配和/或重新适配听力假体的设备并不互斥。但是,该设备仅基于已标识的异常来执行之。在一些示例性实施例中,该设备能够实现基于性能的听力假体的适配。这与例如基于测试的听力假体的适配不同。
图14呈现了用于示例性方法——方法1400的示例性算法,其包括方法动作1410,该方法动作1410包括利用身体携带的设备捕获语音声音,其中说话者是听力假体的接受者。身体携带的设备可以是本文详述的能够启用听力假体的任何设备,诸如个人录音机、智能电话、非智能电话和/或听力假体本身。方法1400还包括方法动作1420,该方法动作1420包括对数据进行评估,其中该数据基于所捕获的语音。可以手动和/或利用本文详述的***来完成该评估。方法动作1400还包括方法动作1430,该方法动作1430包括基于所评估的数据来开发适配数据。这可以手动来完成,也可以利用本文详述的***来完成。方法动作1400还包括方法动作1440,该方法动作1440包括在无需听觉医师的情况下完全基于所开发的适配数据来进行以下至少一项:至少部分地适配听力假体或至少部分地调整听力假体的适配。在一些实施例中,适配是整体适配和/或调节是适配的整体调节。
示例性实施例基于方法700或800。在示例性实施例中,使用机器捕获语音并基于所捕获的语音自动开发用于听力假体的适配数据的集体动作被依次执行N次或至少N次。在示例性实施例中,执行N减Z的集体动作或至少N减Z的集体动作或不大于N减Z的集体动作而不对接受者一方进行测试或其他肯定动作(除了激活被利用来实现集体动作的任何设备或***)。在示例性实施例中,集体动作中的Z是在接受者一方通过测试或其他肯定动作来执行的。在示例性实施例中,N可以等于1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、19、20、21、22、23、24、25、26、27、28、29、30、35、40、45、50、55、60、65、70、80、90、100、110、120、130、140、150、160、170、180、190、200、225、250、275、300、350、400、450、500或更大,或者在它们之间以一个整数为增量的任何值或值范围。在示例性实施例中,Z可以等于1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、19、20、21、22、23、24、25、26、27、28、29、30、35、40、45、50、55、60、65、70、80、90、100、110、120、130、140、150、160、170、180、190、200、225、250、275、300、350、400、450、500或更大,或者在它们之间以一个整数为增量的任何值或值范围。
注意,前述“集体动作”还可以包括本文详述的任何一个或多个方法动作以创建新的集体动作。还应注意,这些集体动作不必一定是彼此连续的。通过仅作为示例而非限制的方式,在集体动作编号11和集体动作编号12之间,可以进行完全基于测试并且与利用所捕获的语音无关的适配过程。实际上,在示例性实施例中,根据本文详述的教导,可以有P个动作,或不超过P个动作,或者至少P个动作,其包括适配听力假体,具体不包括利用所捕获的语音,其中P是1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24或25或更大,或者在它们之间以一个整数为增量的任何值或值范围。
还应注意,本文详述的任何方法都可以在本文详述的任何时间段内(例如9000小时)被执行。
示例性实施例包括:采取基于人工智能的分析***,该***被配置为基于指示接受者的听觉能力的输入来开发适配数据或以其他方式分析或提供摘要或报告;以及修改之或以其他方式构造与之一起工作的***。就这一点而言,在示例性实施例中,存在一种基于人工智能的分析***,其被配置为接收指示在以下一种或多种类型的测试上的接受者性能的输入:听力图测试/用于开发听力图的测试;音素辨别测试;响度缩放测试和/或单词测试。可以使用蜂鸣声测试。(再次注意,实施例可以包括使用这些测试/测试结果中的任何一种,结合所捕获的声音的分析,以适配听力假体或其他假体和/或在本文中提供摘要/报告。***被配置为利用基于人工智能的处理***(例如,专家***、神经网络等)来分析此输入,并且该***输出推荐的标定调整或标定设置,或者,该***将被利用来基于输入将感官假体(诸如,听力假体)适配到接受者。在下文中,该***被称为***1818,在图18中由黑盒1818表示,其中1850表示上面详述的输入,而1820表示输出(适配/标定数据等)。
在示例性实施例中,为***1818提供了接口,该接口被配置为采取语音数据/声音数据或根据本文详述的教导而捕获的所捕获的声音,分析或以其他方式操纵该数据,以及开发与***1818使用兼容的输出。在示例性实施例中,该***将被称为***2018,其本质上可以操作来转换在日常生活的正常过程中捕获的数据(声音数据),或者以其他方式从该数据中提取信息并利用该数据来开发与上述测试结果类似的数据:听力图测试/开发听力图的测试;音素辨别测试;响度缩放测试和/或单词测试。通过这样做,***2018的输出变得与***1818的利用兼容。因此,在示例性实施例中,即使没有给出测试,***2018也将声音数据转换为测试结果数据。图19呈现了***1818与***2018的利用的示例性实施例,其中输入2050可以是关于捕获的声音是捕获的语音(原始信号或处理后的信号或简化的数据集或代表性数据集等)的本文中详细描述的任何输入,并且还可以包括此处详述的任何数据记录输入或将实现此转换的其变型。***2018的输出是输入1850。
在示例性实施例中,***2018是基于处理器的***和/或基于AI的***,其可以是专家***或神经网络等。在至少一些示例性实施例中,能够实现***2018的功能性的任何***可以被利用。在示例性实施例中,输入2050被实时地提供给***2018,而在其他实施例中,输入2050每当有实用数据量被编译时或周期性地被提供给***2018。在被利用来捕获声音等的机器是录音机等的示例性实施例中,每隔一或两或三或四或五天等,被捕获的声音的记录可以被输入到***2018中,从而构成输入2050。再次,与一些实施例一致,也可以提供非语音数据。在示例性实施例中,***2018中存在机器学习算法的代码和/或来自机器学习算法的代码(其可以驻留在个人计算机上,或者可以是个人计算机,和/或可以是智能电话或智能设备或本文中所公开的任何设备,并且在一些实施例中可以是听力假体或感官假体),其分析输入,而不是开发适配数据,其中如本文详述的报告的推荐,而是分析数据以开发将对应于任何上述测试的数据。例如,***2018可以分析数据并基于该数据开发伪听力图,从而创建伪听力图测试结果。在示例性实施例中,***2018可以分析输入2050并开发伪音素测试结果。***可以分析并放置2052开发伪响度缩放测试结果和/或单词测试结果。该想法是,***2018分析数据并且基于该数据来确定或以其他方式估计接受者将如何在前述测试中的任何方面上执行,而不给接受者测试。
该输出1850然后可以被馈送到***1818,就像这是真实的测试数据一样,并且***1818可以像测试者是真实测试数据一样来做它的事情。在示例性实施例中,***1818从不“知道”差异。
注意,在示例性实施例中,***1818和***2018是整个***中的子***。
因此,在示例性实施例中,存在一种***,该***被配置为分析语言环境量度并将该量度转换为伪听力测试数据,并且分析伪听力测试数据就像它是实际听力测试数据那样以开发适配数据。
根据本文详述的教导的至少一些示例性实施例利用高级学习信号处理技术,其能够被训练或以其他方式被训练以检测更高阶和/或非线性统计属性的信号。上面有时将其称为人工智能。示例性信号处理技术是所谓的深度神经网络(DNN)。至少一些示例性实施例利用DNN(或任何其他高级学习信号处理技术)来处理表示所捕获的声音的信号,并且在其他实施例中处理其他输入(例如,听力测试的结果),如上所指出。至少一些示例性实施例牵涉训练信号处理算法来处理指示所捕获的声音的信号。也就是说,一些示例性方法利用诸如DNN之类的学习算法或可以具有实用价值的任何其他算法,否则将使得本文详述的教导能够分析所捕获的声音。注意,前述讨论集中在声音上。注意,本文详述的教导也可以应用于所捕获的光。就这一点而言,本文详述的教导可以被利用来分析或以其他方式处理基于所捕获的光的信号,并基于处理后的信号来唤起感官感知,例如视觉感知。因此,在示例性实施例中,可以使用诸如深度神经网络(DNN)之类的神经网络来执行本文详述的方法动作中的至少一个或多个。可以使用DNN的所谓“产品”。该产品可以基于或来自神经网络。在示例性实施例中,产品是代码。在示例性实施例中,产品是基于机器学习的结果而制造的逻辑电路。该产品可以是ASIC(例如,人工智能ASIC)。该产品可以被直接实现在硅结构等上。在至少一些示例性实施例中,可以利用能够根据本文详述的教导来利用人工智能的结果的任何设备、***和方法,诸如在听觉假体或与听觉假体通信的组件中。实际上,如将在下面详述的,在至少一些示例性实施例中,本文详述的教导利用了来自人工智能***或其他来自机器学习***的知识/信息。
“神经网络”是一种特定类型的机器学习***。本文对“神经网络”种类的任何公开构成了“机器学习***”属的公开。此外,本文对人工智能的任何公开都对应于本文详述的人工智能的任何一种,和/或另外构成对神经网络和/或机器学习***等的公开。尽管本文的实施例关注于神经网络的种类,但是要注意,其他实施例可以利用机器学习***的其他种类。因此,本文的神经网络的任何公开构成可以实现本文详述的教导及其变型的机器学习***的任何其他种类的公开。清楚的是,根据本文详述的教导的至少一些实施例是具有学习能力而没有被明确编程的实施例。因此,对于一些实施例,本文的设备或***的任何公开构成具有学习能力而无需被明确编程的设备和/或***的公开,并且方法的任何公开构成导致学习而无需明确编程的动作。
清楚的是,一些实施例包括利用经训练的神经网络来实施或以其他方式执行本文详述的至少一个或多个方法动作,因此,实施例包括被配置为这样做的经训练的神经网络。示例性实施例还利用经训练的神经网络的知识/从经训练的神经网络的实现中获得的信息来实现或以其他方式执行本文详述的方法动作中的至少一个或多个,因此,实施例包括被配置为利用此类知识的设备、***和/或方法。在一些实施例中,这些设备可以是利用该知识配置的处理器和/或芯片。在一些实施例中,本文的设备和***包括这样的设备,该设备包括被印记或以其他方式被教导给神经网络的知识。本文详述的教导包括利用机器学习方法等来建立感官假体设备或与感官假体设备(例如,智能电话)一起利用的补充组件,以替换或以其他方式增强处理功能等(例如,声音或光处理等)。
还应注意,至少一些示例性实施例利用所谓的专家***作为人工智能***。除非另有说明,否则本文中的神经网络或DNN和/或人工智能***的任何公开内容对应于示例性实施例中利用专家***的公开内容,只要本领域能够实现之。
下面将描述在一些实施例中使用的DNN的一些细节,包括训练这种DNN的一些示例性过程。然而,首先,将描述利用这种DNN(或可以具有实用价值的任何其他算法)的一些示例性方法。
如上面所指出,一些方法牵涉利用机器学习的产品来处理数据,诸如DNN、机器学习算法或***或可以被利用来实现本文详述的教导的任何人工智能***的利用结果。与之形成对比的是,例如,利用通用代码处理数据或使用不是来自机器学习算法的代码或使用基于非AI的代码/生成的芯片等来处理数据。在示例性实施例中,典型的耳蜗植入物处理来自麦克风的信号,并随后将该处理的结果提供给以加权方式刺激各种电极的刺激设备。该处理通常由声音处理器完成,该声音处理器包括滤波器组,该滤波器组将输入信号简单地划分为单独的滤波器组或滤波器箱。这没有利用机器学习算法。也就是说,要注意的是,在一些实施例中,可以利用来自机器学习的结果(例如,经训练的DNN,在能够启用其的任何介质上,诸如芯片)来执行该划分。
再次,在示例性实施例中,机器学习可以是DNN,并且产品可以对应于经训练的DNN和/或可以是基于DNN或来自DNN的产品(下面关于这一点有更多介绍)。注意,在至少一些示例性实施例中,DNN或来自机器学习算法的代码等被利用来实现如本文所详述的给定功能性。在一些情形中,出于语言经济的目的,将存在对执行动作等的设备和/或***的公开,并且在一些情形中,将存在对导致该动作或使动作得以执行的结构的公开。本文详述的任何方法动作或本文详述的任何功能性或具有本文公开的功能性的任何结构对应于DNN或来自机器学习算法或人工智能***等的代码的替代实施例中的公开,其在被使用时将导致该功能性——除非另有说明或除非本领域不支持该功能性。
在至少一些示例性实施例中,可以利用可用的并且能够实现本文详述的教导的任何学习模型。如上所指出,可以与话音分析和其他音频任务一起使用的示例性模型是深度神经网络(DNN)。同样,可以利用其他类型的学习模型,但是以下教导将关注于DNN上。本文详述的方法动作中的至少一些包括使用来自机器学习算法的代码基于音频和/或视觉内容来处理数据以开发输出。在示例性实施例中,这可以对应于处理来自麦克风的原始信号,因此,基于音频和/或视觉内容的数据是在本文详述的至少一些示例性方法中或者以其他方式经由输入输出子***等获得的数据。如上所指出,本文详述的至少一些示例性方法动作牵涉利用来自机器学习算法的代码来处理数据。与之形成对比的是,例如,使用不是来自机器学习算法的代码来处理数据。再次,在示例性实施例中,机器学习算法可以是DNN,并且代码可以对应于经训练的DNN和/或可以是来自DNN的代码(下面关于这一点有更多介绍)。
图17描绘了与以上详述的方法动作相关联的示例性概念功能黑盒示意图,其中声音信号17410是基于DNN的设备17420的输入,该设备利用经训练的DNN或某些其他经训练的学习算法(或其结果-本文中使用的机器学习算法的代码对应于训练停止后在操作模式下使用的经训练的学习算法,并且来自机器学习算法的代码对应于作为算法训练结果而开发的代码-再次,这将是将在下面进行更详细的描述),并且输出17430可以是对报告或适配数据等的评估,如上详述,并且输出17430可以被引导到耳蜗植入物或其他类型的基于该输出已适配的听力假体。在该示例性实施例中,设备17420可以是智能电话或个人计算机或大型计算机,其中耳蜗或其他植入物。
注意,在至少一些示例性实施例中,输入17410直接来自麦克风,而在其他实施例中,不是这种情况。输入17410可以对应于可以使得本文中详述的教导能够被实践的任何输入,只要本领域能够实现之。因此,在一些实施例中,没有输入到DNN中的“原始声音”。取而代之的是所有预处理的数据。在至少一些示例性实施例中,可以利用可以使DNN或其他机器学习算法能够操作的任何数据。
上面描述了设备17420的一些附加特征。注意,至少一些实施例可以包括在耳蜗植入***、中耳植入***、骨传导植入***(或非植入)、常规助听器和/或个人听力设备(例如,连接到智能电话等的耳机,其中智能电话的麦克风被利用来捕获声音,并且智能电话放大声音并将其提供给耳机,以使接受者受益)或诸如例如视网膜植入物仿生眼等之类的视力假体内和/或与此类***一起利用DNN的方法、设备和/或***。在一些实施例中,神经网络可以是标准的预先训练的网络,其中权重已经被预先确定(例如,优化)并加载到网络上,或者可替代地,网络最初可以是标准的网络,但是随后被训练以基于面向结果的强化学习技术来改善特定的接受者结果。
根据开发学习模型的示例性实施例,选择和构造学习模型类型,并决定特征和其他输入,然后训练***。它需要被训练。在训练***的示例性实施例中,真实数据的实用量被编译并提供给***。在示例性实施例中,实际数据包括具有使用价值的任何数据。然后,学习***更改其内部工作原理和计算,以使它自己的估计更接近例如实际人的听力结果。在训练阶段对模型进行的内部更新可以改善(并且应该改善)***正确控制假体的能力。随后的各个受试者的输入和输出将呈现给***,以进一步完善模型。通过根据这种制度进行训练,可以改善模型的准确性。在至少一些示例性实施例中,训练集越大越宽,模型变得越准确。在DNN的情况下,训练的大小可以取决于输入层、(多个)隐藏层和输出层中神经元的数量。
现在有许多软件包可用于执行模型训练过程。简而言之,将输入测量提供给模型。然后估计结果。将其与受试者的实际结果进行比较,并计算误差值。然后,使用实际受试者的结果及其缩放的估计误差来执行反向过程,以通过模型向后传播并调整神经元之间的权重,并(有希望)改善其准确性。然后,将新受试者的数据应用于更新后的模式,以提供(有希望)改进的估计。这是简单的,因为除了神经元之间的权重以外,还有许多参数可以被改变,但是通常示出根据示例性实施例的用于调节模型的典型误差估计和权重改变方法。
现在描述用于训练DNN或任何其他机器学习算法的***以及与其相关联的动作。再次,与以上详述的陈述一致,DNN被用作仅一个示例。实施例包括利用关于专家***或可以具有实用价值的任何其他类型的人工智能***的本文详述的教导。再次,与以上详述的陈述一致,在DNN下面的任何公开对应于本文公开的另一种类型的人工智能***(诸如专家***)的实施例的公开。
将至少部分地根据与接受者的交互来描述该***,但是该术语被用作该***可应用于的任何相关受试者的代理(例如,被用来训练DNN的测试受试者,被利用来验证经训练的DNN的受试者)。在示例性实施例中,如图15中所看见的,***1206是接受者控制的***,而在其他实施例中,它是远程控制的***。在示例性实施例中,***1206可以对应于远程设备和/或***,如上详述,远程设备和/或***可以是便携式手持设备(例如,智能设备,诸如智能电话),和/或可以是个人计算机等在示例性实施例中,该***是在听觉医师等的控制下,并且受试者访问听觉医师中心。
在示例性实施例中,该***可以是根据本文详述的方法动作具有附加功能性的***。在图16中所图示的实施例中,设备100可以连接到***1206,以在听力假体100(其中,听力假体100是可以实现本文详述的教导的任何设备的代理,诸如带麦克风的智能电话、专用麦克风、电话等)和***1206之间建立数据通信链路1208。之后,***1206通过数据通信链路1208来与听力假体100双向耦合。在至少一些实施例中,将使得可通信地耦合植入物和***的本文详述的教导的任何通信链路可以被利用。
***1206可以包括***控制器1212以及用户接口1214。控制器1212可以是能够执行指令的任何类型的设备,例如通用或专用计算机、手持式计算机(例如,个人数字助理(PDA)),数字电子电路***、集成电路***、专门设计的ASIC(专用集成电路)、固件、软件和/或其组合。如以下将详述的,在示例性实施例中,控制器1212是处理器。控制器1212还可以包括用于与听力假体100建立数据通信链路1208的接口(再次,其是可以实现本文方法的任何设备的代理-具有麦克风和/或具有输入套件的任何设备,其允许本文方法的输入数据被捕获)。在控制器1212包括计算机的实施例中,该接口可以是例如在计算机内部或外部。例如,在示例性实施例中,控制器1206和耳蜗植入物可以各自包括USB、火线、蓝牙、Wi-Fi或可通过其建立数据通信链路1208的其他通信接口。控制器1212还可以包括用于存储信息的存储设备。该存储设备可以例如是易失性或非易失性存储,诸如例如随机存取存储器、固态存储、磁存储、全息存储等。
在示例性实施例中,输入1000被提供到***1206中。DNN信号分析设备1020分析输入1000,并将输出1040提供给模型部分1050,模型部分1050建立模型,该模型将被利用于经训练的设备。因此,输出1060是经训练的神经网络,其然后将被上载到假体或智能电话或被利用来实现经训练的神经网络的其他组件上。
在这里,神经网络可以被“馈送”与***的输入和***的输出(链接到输入)相对应的统计学上大量的数据,并经过训练,使得该***只能与输入一起使用,以开发输出(在***被训练之后)。用于完成这个后续任务的该神经网络是“经训练的神经网络”。也就是说,在替代实施例中,可以利用经训练的神经网络来提供(或从中提取)可以与训练后的神经网络分开利用的算法。在一个示例性实施例中,机器学习算法从未经训练开始,然后训练机器学习算法,并且“毕业”或成熟为可用代码-经训练的机器学习算法的代码。关于另一示例性实施例,来自经训练的机器学习算法的代码-是经训练的机器学习算法(或其某些变型,或其前身)的“后代”,其可以被认为是突变的后代或其克隆。也就是说,关于该第二路径,在至少一些示例性实施例中,使得机器学习算法能够学习的机器学习算法的特征可能没有在第一路径的实践中被利用,因此在第一版中不存在。相反,仅学习的结果产品被使用。
在示例性实施例中,来自机器学习算法和/或机器学习算法的代码利用非试探式处理来开发在经训练的***中利用的数据。就这一点而言,***采取声音数据或采取与声音相关的一般数据,并从中提取(以个或多个)基本信号,并使用此来开发模型。通过仅作为示例而非限制的方式,该***利用了超越一阶线性算法的算法,并且“注视”不止一个提取的特征。取而代之的是,该算法“注视”多个特征。此外,该算法利用了高阶非线性统计模型,该模型自学输入中对于研究很重要的(多个)哪些特征。如上所指出,在示例性实施例中,利用DNN来实现这一点。实际上,在示例性实施例中,作为实现本文详述的教导的基础,存在一个基本假设,即,输入到***中使得能够生成模型的声音和其他输入的特征可能太复杂而无法被指定,并且DNN的使用方式不了解该算法将其确定精确置于什么上/该算法开发模型正精确注视于什么上。
在至少一些示例性实施例中,DNN是被用来进行预测的结果代码。在训练阶段,存在许多被使用的训练操作算法,一旦DNN被训练,就将其删除。
清楚的是,在至少一些示例性实施例中,训练算法使得不能用从中得到的结果代码来分析经训练的算法来标识什么信号特征或其他什么输入特征被用来产生经训练的神经网络的输出。就这一点而言,在***的开发、算法的训练中,允许***基于向其提供的统计学上显著的数据来自行找到什么是最重要的。在一些实施例中,在***训练完成时,***将什么标识为重要是未知的。允许***自行锻炼以进行自我训练,或者以其他方式学习控制假体。
简要地,应注意,本文中利用的神经网络或其他机器学习算法中的至少一些没有利用相关性,或者在一些实施例中,没有利用简单的相关性,而是开发关系。就这一点而言,学习模型基于利用在更大的事物方案中可能不明显甚至不可标识的潜在关系。在示例性实施例中,MatLAB、Buildo等等被利用来开发神经网络。在本文详述的一些示例性实施例中,所得的训练***是这样一个***,它不专注于特定语音特征,而是基于在学习过程中提供给***的基础统计学显著样本中存在的整体关系。***本身会锻炼出关系,并且基于与***所锻炼出的关系相关联的特征,不存在已知的相关性。
最终结果是一个与声音特征无关的代码。也就是说,经训练的神经网络的代码和/或来自经训练的神经网络的代码使得不能标识该代码利用了哪些声音特征来开发产品(***的输出)。所得布置是被利用的声音特征数量未知的复杂布置。该代码是用神经网络的语言编写的,并且如本领域的普通技术人员将理解的那样,与利用特定和已知特征的代码有所区别。也就是说,在示例性实施例中,代码看起来像神经网络。
与常见的神经网络一致,存在隐藏层,并且在该过程中利用隐藏层的特征来预测受试者的听力障碍。
图20描绘了示例性功能示意图,其中远程设备240经由链路2230与地理上远程的设备/设施10001通信,链路2230可以是互联网链路。地理上远程的设备/设施10001可以包含控制器1212,远程设备240可以包含用户接口1214。同样,如可以看到的,可以存在与假体100和远程设施10001的直接链路2999。
因此,示例性实施例牵涉执行本文详述的一些或全部方法动作,其中听力假体的接受者、听力假体100和/或便携式手持设备240位于远程(例如,地理上远离),从那里执行本文详述的方法动作中的至少一些。
鉴于以上内容,可以看出,在示例性实施例中存在诸如便携式手持设备240之类的便携式手持设备,其包括蜂窝电话通信套件(例如,智能电话的电话架构)和假体功能性套件(例如,位于智能电话架构上的应用,智能电话使得针对听力假体功能性的应用能够被执行)包括触摸屏显示器。在示例性实施例中,听力假体功能性套件被配置成使接受者能够经由触摸屏显示器(例如,通过经由链路230向听力假体100发送信号)来调节远离便携式手持设备240的听力假体(诸如听力假体100)的特征。
注意,在描述本文的各种教导时,各种动作和/或能力已经归因于***210的各种元件。就这一点而言,本文中与听力假体100的给定功能性或能力相关联的任何公开还对应于具有该给定功能性或能力的远程设备240(例如,便携式手持设备)的公开,只要本领域能够实现之,和/或具有该给定功能性或能力的地理远程设施10001的公开,只要本领域能够实现之。对此的推论是,本文中与远程设备240的给定功能性或能力相关联的任何公开还对应于具有该给定功能性或能力的听力假体100的公开,只要本领域能够实现之,和/或具有该给定功能性或能力的地理远程设备10001的公开,同样只要本领域能够实现之。如上所指出,***210可以包括听力假体100、远程设备240和地理远程设备1000。
还应注意,基于其做出确定或以其他方式基于给定接口显示器的显示的数据也可以对应于与***210的更广泛使用有关的数据。就这一点而言,在一些实施例中,远程设备240和/或听力假体100可以具有所谓的看护者模式,其中相对于正常控制模式/接受者控制模式的情况,所显示的控件或数据可以更加复杂。通过仅作为示例而非限制的方式,如果接受者是儿童或由于年龄或疾病而能力减退的人,则***210可以具有两种或更多种模式。因此,本文详述的数据可以对应于关于***210以哪种模式***作的输入,并且可以基于该模式来呈现给定的显示。例如,与接受者模式相比,看护者显示器可以具有调整更多特征和/或呈现更多数据的更复杂功能性和/或能力。在示例性实施例中,用户可以将指示听力假体将在看护者模式下操作的命令输入到远程设备240中,并且显示器随后呈现看护者模式的显示,并且这些显示一直被呈现直到输入指示听力假体要在接受者模式下操作的命令,在这之后显示与接受者模式相关的显示(直到看护者命令被输入等等)。也就是说,在替代实施例中,看护者和/或接受者不需要将具体的命令输入到***210中。在示例性实施例中,***210被配置为确定应以什么模式操作。通过仅作为示例而非限制的方式,如果做出听觉假体100已在某时间段内接收到看护者的话音的确定,则***210可以进入看护者模式并相应地呈现给定显示(其中如果在给定的时间段内未听到看护者的话音,则默认为接受者控制模式)。对此的推论是,在至少一些示例性实施例中,可以在***210中使用两个或更多的远程设备240,其中一个由接受者拥有,而另一个由看护者拥有。取决于数据,为各种远程设备240呈现各种显示。
简要指出,在示例性实施例中,如上所述,耳蜗植入物100和/或设备240被利用来捕获接受者和/或与接受者说话的人的语音/话音。此外,如上所述,植入物100和/或设备240可以被用来记录数据,该数据可以是与接受者使用植入物相关的基于非语音和/或非话音的数据,诸如,通过仅作为示例而非限制的方式,有线圈接通/断开时间等。简要指出,除非另有说明,本文中话音的任何公开(例如,捕获话音、分析话音等)对应于使用语音(例如,捕获语音、分析语音等)的替代实施例的公开,反之亦然,只要本领域能够实现之。这并不是说两者是同义词。这就是说,为了文本经济,我们基于一个的使用呈现了多种公开。还应注意,在本文中,至少在一些情形中使用短语话音。这对应于一个人的话音,也可以被称为“话音”。
在示例性实施例中,根据美国专利第2016/0080878号中的任何一个或多个教导来执行自己的话音检测,和/或与本文中的***(invoice)检测相关联的教导的实现以触发该申请的控制技术的方式来执行。因此,在至少一些示例性实施例中,假体100和/或设备240和/或远程设备被配置为执行该专利申请中详述的一个或多个或所有动作或者以其他方式包括执行该专利申请中详述的一个或多个或所有动作的结构。此外,实施例包括执行与该专利申请中详述的一个或多个方法动作的执行相对应的方法。
在示例性实施例中,根据WO 2015/132692的任何一个或多个教导来执行自己的语音检测,和/或以触发该申请的控制技术的方式来执行与本文的***检测相关联的教导的实现。因此,在至少一些示例性实施例中,假体100和/或设备240和/或远程设备被配置为执行该专利申请中详述的一个或多个或所有动作或以其他方式包括执行该专利申请中详述的一个或多个或所有动作的结构。此外,实施例包括执行与该专利申请中详述的一个或多个方法动作的执行相对应的方法。
示例性实施例包括以对话的方式捕获本文中详述的假体的接受者的话音和/或听力受损的人的话音/其中接受者与感兴趣的人以对话的语气交谈。
再次,示例性实施例包括任何设备和/或***,该设备和/或***一般能够捕获环境声音,尤其是语音声音,这些声音在周围或以其他方式暴露给接受者。在至少一些示例性实施例中,存在方法动作,该方法动作包括机器来捕获语音/话音,所述机器诸如例如是以上详述的植入物100和/或设备240,或者是***210。在示例性实施例中,所捕获的话音可以被植入物100的麦克风捕获。在示例性实施例中,话音可以被记录并存储在植入物100中和/或与***210相关联的组件中,和/或可以经由元件249实时或部分实时地上传。一个简单的录音机被用来执行捕获语音的动作。在替代实施例中,利用了膝上型计算机,膝上型计算机对于在办公室中工作的人等可以实用。应当注意,在至少一些示例性实施例中,在捕获到声音之后,存在将所捕获的话音分析或以其他方式还原为指示所捕获话音的数据和/或指示所捕获的话音的一个或多个属性的数据的动作,该数据然后可以被存储在***的植入物中和/或存储在捕获声音的任何设备中和/或被传送到远程服务器等,以实现本文详述的教导。与全部捕获的声音相反,一些实施例利用作为捕获的声音的提炼的数据来执行本文中详述的教导。通过仅作为示例而非限制的方式,可以操纵或减少所捕获的声音(包括接受者和正在对其讲话的人以及背景中的其他人的话音)以消除背景中其他人的声音,如果这与评估接受者的听觉能力无关的话。此外,在示例性实施例中,可以消除话音范围之外的频率,从而减小数据的大小。因此,“基于捕获的声音”包括完整的音频信号以及该音频信号的受操纵部分。
如上所指出,至少一些示例性实施例还包括用机器来记录数据,该机器可以是被利用来捕获声音的机器,和/或可以是另一台机器。在示例性实施例中,被记录的数据是基于非话音的数据,其与听力假体的真实世界听觉环境的接受者中的事件和/或动作相对应,其中接受者是说出所捕获的话音的人和/或所捕获的话音向其说出的人。在一个实施例中,数据涉及接受者对听觉假体的使用,该接受者说出了所捕获的话音和/或所捕获的话音向该接受者说出。
替代实施例包括一种方法,包括:用机器捕获个体的话音并记录与该个体的现实世界听觉环境的事件和/或动作相对应的数据,其中该个体在使用助听器的同时讲话,并且该助听器至少其中之一对应于机器,或者是用于执行记录数据动作的设备。
在至少一些示例性实施例中,可以利用使用自然语言处理(NLP)来评估话音的***方法。
在至少一些示例性实施例中,例如基于来自研究的经验结果,在至少一些示例性实施例中,利用与说出的文本相关联的语言特征来评估话音声音。至少一些算法利用一维或二维或三维或四维或五维测量值。
明确指出,当与本文详述的非话音数据记录和/或本文详述的场景分类记录组合时,至少一些示例性实施例包括本文的教导。当被组合使用时,这些实施例可以被导向标识接受者标定中的弱点。
进一步明确指出,至少一些示例性实施例包括本文的教导,而没有前述数据记录。然而在这里,语音被评估以确定与较高听力水平相关联的特征。
在一些实施例中,集成式或***式麦克风被耦合到可选的预处理组件,该预处理组件可以提供各种功能,诸如A/D转换、数字/模拟滤波、压缩、自动增益控制、平衡、降噪等。预处理后的信号被耦合到处理器组件,处理器组件与存储器协同工作以执行编程的指令。可选地,可以在设备本身中提供大容量存储,就像在媒体播放器设备(诸如苹果计算机公司生产的iPod)中可用的那样。可替代地,可以省略大容量存储,这将禁止使用日志记录或后续分析,或者大容量存储可以经由耦合到外部输入/输出的设备远程实现。取决于用户所需要的信息级别,用户接口可以实现为图形、纯文本或硬件显示。
在本文详述的教导的至少一些示例性实施例中,信号由麦克风检测,如果需要或期望,则被预处理,并且作为输入提供给处理组件。在一个实施例中,处理器组件用于将预处理的话音信号存储在存储器和/或大容量存储中,以用于随后的异步分析。进一步通过示例,预定义的单词或短语列表被加载到存储器中,其中每个单词由文本表示和/或每个单词被表示为更容易与呈现给处理器组件的预处理话音信号匹配的数字代码。
可替代地或另外地,可以在发生通信的房间中配备一个或多个麦克风,这些麦克风经由有线(例如,通用串行总线或声卡连接)或无线连接被耦合到计算机***。
计算机***可以被实现为个人计算机、膝上型计算机、工作站、手持计算机或涉及专门涉及来实现本文中的某些教导的专用器具。可以预期,一些或全部的话音分析功能性可以在可穿戴计算机中实现和/或与话音捕获设备集成,或在诸如听写机、手机、录音机、MP3录音机/播放器、苹果计算机公司的iPod或类似设备中提供。
注意,本文详述的任何方法还对应于被配置为执行与本文详述相关联的一个或多个或所有方法动作的设备和/或***的公开。在示例性实施例中,该设备和/或***被配置为以自动化方式执行一个或多个或所有的方法动作。
注意,实施例包括一种非暂时性计算机可读介质,其上记录有用于执行本文中详述的一个或多个或任何方法动作的计算机程序。实际上,在示例性实施例中,存在一种非暂时性计算机可读介质,其上记录有用于执行本文详述的任何方法动作的至少一部分的计算机程序。
在替代实施例中,由假体100执行的本文公开的任何动作可以由设备240和/或远程***执行,除非另有说明或除非本领域不能实现。因此,在替代实施例中,假体100的任何功能性都可以存在于设备240和/或远程***中。因此,假体100的功能性的任何公开对应于设备240和/或远程***的结构,设备240和/或远程***被配置为执行该功能性或以其他方式具有功能性或以其他方式执行该方法动作。
在替代实施例中,除非另外指出或除非本领域不能实现,否则由假体100执行的本文公开的任何动作都可以由设备240和/或远程***来执行。因此,在替代实施例中,设备240的任何功能性可以存在于假体100和/或远程***中。因此,假体100的功能性的任何公开都对应于设备240和/或远程***的结构,设备240和/或远程***被配置为执行该功能性或以其他方式具有功能性或以其他方式执行该方法动作。
在替代实施例中,除非另外指出或除非本领域不能实现,否则本文公开的由远程***执行的任何动作都可以由设备240和/或假体100执行。因此,作为替代实施例,远程***的任何功能性可以存在于设备240和/或假体100中。因此,远程***的功能性的任何公开对应于设备240和/或假体100的结构,设备240和/或假体100被配置为执行该功能性或以其他方式具有功能性或以其他方式执行该方法动作。还应注意,本文详述的设备和/或***的任何公开也对应于以其他方式提供该设备和/或***的公开。还应注意,本文中关于制造其他提供设备的任何过程的任何公开都对应于由此产生的设备和/或***。还应注意,本文中对任何设备和/或***的任何公开都对应于生产或以其他方式提供或以其他方式制造的方法的公开。除非明确指出和/或除非本领域不能实现,否则本文公开的任何实施例或任何特征可以与本文公开的任何一个或多个或其他实施例和/或其他特征进行组合。可以明确地将本文公开的任何实施例或任何特征从与本文公开的任何一个或多个其他实施例和/或其他特征使用中排除,除非明确地指出其被组合和/或除非本领域不能实现这种排除。尽管上面已经描述了本发明的各种实施例,但是应当理解,它们仅以示例而非限制的方式给出。对于相关领域的技术人员将显而易见的是,在不脱离本发明的精神和范围的情况下,可以在形式和细节上进行各种改变。
Claims (13)
1.一种适配***,包括:
通信子***,包括输入子***和输出子***或输入/输出子***中的至少一项;以及
处理子***,其中
所述处理子***被配置为:
至少部分地基于经由所述通信子***输入的数据,标识听力设备的接受者的语音声音中的异常,并且将指示听力问题的异常与不指示听力问题的异常进行区分,其中所述数据至少部分地与所述听力设备的接受者的语言环境相关联,所述异常在统计学上与听力设备适配缺陷相关;以及
至少部分地基于区分的所述异常,开发用于针对所述听力设备的接受者的听力设备的适配数据。
2.根据权利要求1所述的适配***,其中至少以下之一:
所述适配***被配置为:通过分析被输入到所述通信子***中的语言环境度量,来开发用于所述听力设备的所述适配数据;或
所述适配***被配置为:通过分析被输入到所述通信子***中的语言环境度量、以及被输入到所述通信子***或另一子***中的非收听度量,来开发用于所述听力设备的所述适配数据。
3.根据权利要求2所述的适配***,其中:
所述适配***被配置为:通过分析被输入到所述通信子***中的所述语言环境度量,来开发用于所述听力设备的所述适配数据;并且
所述***包括子***,所述子***包括听力设备或身体携带式的便携式电子设备中的至少一项,所述听力设备被配置为输出指示所述接受者的所述语言环境的数据,并且所述便携式电子设备被配置为接收指示所述接受者的所述语言环境的数据;并且
所述语言环境度量基于至少一个所输出的数据或所接收的数据。
4.根据权利要求3所述的适配***,其中:
所述子***包括所述便携式电子设备;
所述便携式电子设备是智能设备,并且
所述处理子***至少部分地位于所述智能设备中。
5.根据权利要求2所述的适配***,其中:
所述处理子***是专家子***,所述专家子***包括事实领域知识和专家的临床经验作为启发;并且
所述专家子***被配置为基于所述度量来自动开发所述适配数据。
6.根据权利要求1所述的适配***,其中:
所述适配***被配置为:有效地基于被动错误标识而自动开发所述适配数据。
7.根据权利要求2所述的适配***,其中:
所述***被配置为:基于来自所述接受者的、关于所开发的所述适配数据的主观偏好输入,来自动开发用于所述听力设备的经修订的适配数据。
8.根据权利要求1所述的适配***,其中:
所述***被配置为:分析语言环境度量并将所述度量转换为伪听力测试数据,并且分析所述伪听力测试数据就像它是实际听力测试数据那样,以用于开发所述适配数据。
9.根据权利要求2所述的适配***,其中:
所述处理子***是神经网络;并且
所述神经网络被配置为基于所述度量来自动开发所述适配数据。
10.根据权利要求1所述的适配***,其中所述子***被配置为:
分析所标识的所述异常,并针对用于适配所述听力设备的实用性而审查所述异常;以及
基于经审查的、针对适配所述听力设备具有实用性的所述异常,开发用于所述听力设备的适配数据。
11.根据权利要求1所述的适配***,其中:
所述子***被配置为:标识与特定音素之间的区分有关的重复错误的发生作为对所述输入的分析的一部分,并将所述重复错误标识为异常;并且
所述子***被配置为:基于所标识的所述重复错误,来开发用于所述听力设备的适配数据。
12.一种方法,包括:
至少部分地基于经由通信子***输入的数据,标识听力设备的接受者的语音声音中的异常,并且将指示听力问题的异常与不指示听力问题的异常进行区分,其中所述数据至少部分地与所述听力设备的接受者的语言环境相关联,所述异常在统计学上与听力设备适配缺陷相关;
至少部分地基于区分的所述异常,开发用于针对所述听力设备的接受者的听力设备的适配数据;以及
在无需听觉医师的情况下完全基于所开发的适配数据进行以下至少一项:至少部分地适配,或至少部分地调整听力设备的适配。
13.一种非暂时性计算机可读介质,在其上记录有计算机程序,所述计算机程序在由计算机执行时用以实现操作,所述操作包括:
至少部分地基于经由通信子***输入的数据,标识听力设备的接受者的语音声音中的异常,并且将指示听力问题的异常与不指示听力问题的异常进行区分,其中所述数据至少部分地与所述听力设备的接受者的语言环境相关联,所述异常在统计学上与听力设备适配缺陷相关;以及
至少部分地基于区分的所述异常,开发用于针对所述听力设备的接受者的听力设备的适配数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862750394P | 2018-10-25 | 2018-10-25 | |
US62/750,394 | 2018-10-25 | ||
PCT/IB2019/059173 WO2020084587A2 (en) | 2018-10-25 | 2019-10-25 | Passive fitting techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112602337A CN112602337A (zh) | 2021-04-02 |
CN112602337B true CN112602337B (zh) | 2023-11-17 |
Family
ID=70331468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980054522.0A Active CN112602337B (zh) | 2018-10-25 | 2019-10-25 | 被动适配技术 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210321208A1 (zh) |
EP (1) | EP3871426A4 (zh) |
CN (1) | CN112602337B (zh) |
WO (1) | WO2020084587A2 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018118772A1 (en) | 2016-12-19 | 2018-06-28 | Lantos Technologies, Inc. | Manufacture of inflatable membranes |
DE102019206743A1 (de) * | 2019-05-09 | 2020-11-12 | Sonova Ag | Hörgeräte-System und Verfahren zur Verarbeitung von Audiosignalen |
US11570538B1 (en) | 2021-02-23 | 2023-01-31 | Meta Platforms Technologies, Llc | Contact detection via impedance analysis |
WO2023233248A1 (en) * | 2022-06-01 | 2023-12-07 | Cochlear Limited | Environmental signal recognition training |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8612011B2 (en) * | 2008-01-22 | 2013-12-17 | Cochlear Limited | Recipient-controlled fitting of a hearing prosthesis |
CN105721973A (zh) * | 2016-01-26 | 2016-06-29 | 王泽玲 | 一种骨传导耳机及其音频处理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7804973B2 (en) * | 2002-04-25 | 2010-09-28 | Gn Resound A/S | Fitting methodology and hearing prosthesis based on signal-to-noise ratio loss data |
AUPS318202A0 (en) * | 2002-06-26 | 2002-07-18 | Cochlear Limited | Parametric fitting of a cochlear implant |
US8538383B2 (en) * | 2009-02-26 | 2013-09-17 | Blackberry Limited | Public address system using wireless mobile communication devices |
US8433568B2 (en) * | 2009-03-29 | 2013-04-30 | Cochlear Limited | Systems and methods for measuring speech intelligibility |
EP3335759B1 (en) * | 2010-10-19 | 2022-05-18 | Cochlear Limited | Relay interface for connecting an implanted medical device to an external electronics device |
JP5909669B2 (ja) * | 2012-02-08 | 2016-04-27 | パナソニックIpマネジメント株式会社 | 補聴器と補聴器フィッティングシステムおよび補聴器フィッティング方法 |
US20170347209A1 (en) * | 2016-05-25 | 2017-11-30 | John Michael Heasman | Mechanical prosthesis with recipient physiological and prosthesis status acquisition capabilities |
US10198964B2 (en) * | 2016-07-11 | 2019-02-05 | Cochlear Limited | Individualized rehabilitation training of a hearing prosthesis recipient |
US11253193B2 (en) * | 2016-11-08 | 2022-02-22 | Cochlear Limited | Utilization of vocal acoustic biomarkers for assistive listening device utilization |
US20180275956A1 (en) * | 2017-03-21 | 2018-09-27 | Kieran REED | Prosthesis automated assistant |
-
2019
- 2019-10-25 WO PCT/IB2019/059173 patent/WO2020084587A2/en unknown
- 2019-10-25 US US17/269,605 patent/US20210321208A1/en active Pending
- 2019-10-25 CN CN201980054522.0A patent/CN112602337B/zh active Active
- 2019-10-25 EP EP19875479.8A patent/EP3871426A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8612011B2 (en) * | 2008-01-22 | 2013-12-17 | Cochlear Limited | Recipient-controlled fitting of a hearing prosthesis |
CN105721973A (zh) * | 2016-01-26 | 2016-06-29 | 王泽玲 | 一种骨传导耳机及其音频处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112602337A (zh) | 2021-04-02 |
WO2020084587A2 (en) | 2020-04-30 |
US20210321208A1 (en) | 2021-10-14 |
EP3871426A2 (en) | 2021-09-01 |
EP3871426A4 (en) | 2022-11-30 |
WO2020084587A3 (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112602337B (zh) | 被动适配技术 | |
CN110072434B (zh) | 用于辅助听力设备使用的声音声学生物标记的使用 | |
US20210030371A1 (en) | Speech production and the management/prediction of hearing loss | |
US11723572B2 (en) | Perception change-based adjustments in hearing prostheses | |
US20230352165A1 (en) | Dynamic virtual hearing modelling | |
CN116668928A (zh) | 听力假体中的层次环境分类 | |
CN112470495B (zh) | 用于假体的睡眠相关调整方法 | |
US10863930B2 (en) | Hearing prosthesis efficacy altering and/or forecasting techniques | |
US12009008B2 (en) | Habilitation and/or rehabilitation methods and systems | |
CN112470496A (zh) | 使用正常事物的听力性能和康复和/或复原增强 | |
US20230329912A1 (en) | New tinnitus management techniques | |
CN113195043A (zh) | 评估对感觉事件的响应并基于其执行处理动作 | |
US11812227B2 (en) | Focusing methods for a prosthesis | |
US11722826B2 (en) | Hierarchical environmental classification in a hearing prosthesis | |
WO2023209598A1 (en) | Dynamic list-based speech testing | |
WO2024150094A1 (en) | Monitoring speech-language milestones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |