CN111492672B - 听力设备及其操作方法 - Google Patents

听力设备及其操作方法 Download PDF

Info

Publication number
CN111492672B
CN111492672B CN201780097848.2A CN201780097848A CN111492672B CN 111492672 B CN111492672 B CN 111492672B CN 201780097848 A CN201780097848 A CN 201780097848A CN 111492672 B CN111492672 B CN 111492672B
Authority
CN
China
Prior art keywords
hearing
user
hearing device
activity
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780097848.2A
Other languages
English (en)
Other versions
CN111492672A (zh
Inventor
E·菲赫特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonova Holding AG
Original Assignee
Sonova AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonova AG filed Critical Sonova AG
Publication of CN111492672A publication Critical patent/CN111492672A/zh
Application granted granted Critical
Publication of CN111492672B publication Critical patent/CN111492672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558Remote control, e.g. of amplification, frequency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/603Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of mechanical or electronic switches or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55Communication between hearing aids and external devices via a network for data exchange
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

具有在线(实时)智能性能管理的听力设备。所述听力设备的在线管理部件在用户在日常生活中使用所述听力设备时,学习听力设备用户对所述听力设备的操作的偏好。所述在线管理部件从对在不同的听力环境中和/或者在不同的活动期间的听力设备输出的用户的感知来学习用户的偏好。所述用户的感知包括用户对来自听力设备的输出的积极/满意的响应。所述在线管理部件在遇到不同的听力环境和/或进行不同的活动的同时,基于所述用户的感知为用户构建个体化的模型。所述个体化的模型被用于控制所述听力设备针对所述用户产生声音输出。

Description

听力设备及其操作方法
技术领域
本申请总体涉及听力设备,并且具体涉及一种具有智能的基于感知的控制的听力设备以及其操作方法。
背景技术
本公开的实施例涉及听力设备以及对这样的听力设备的智能性能管理。更具体地,但是不作为限制,本申请的实施例使用从听力设备用户关于听力设备操作的偏好导出的心理声学模型来提供智能听力设备性能管理。
听力设备可以被用于例如通过补偿听力受损用户的听力损失来改善用户的听力能力或通信能力,在这种情况下,通信设备通常被称为听力仪器,诸如助听器或听力假体。听力设备还可以被用于在用户的耳道中产生声音。例如,声音可以通过有线或无线地传送到听力设备,所述听力设备可以在用户的耳道中再现声音。例如,耳塞、耳机等可以被用于在人的耳道中生成声音。
听力设备通常是小型并且复杂的设备。听力设备能够包括处理器、麦克风、扬声器、存储器、壳体以及其他电子和机械部件。一些示例性听力设备是耳后(“BTE”)、耳道内接收器(“RIC”)、耳内(“ITE”)、完全在耳道内(“CIC”)和耳道中隐形(“IIC”)设备。基于听力损失、审美偏好、生活方式需求和预算,与另一种设备相比,用户会更喜欢这些听力设备中的一个。听力设备常常非常小,使得听力设备的至少部分能够被***到用户的耳道中以在用户的鼓膜附近提供声音的再现。
随着听力设备技术的发展,用户偏好具有更多功能的听力设备。例如,用户想要被配置为无线地通信的听力设备。无线通信改善了用户的体验,并且使用户能够利用其听力设备访问网络或其他设备。另外,用户想要听力设备具有长的电池寿命(例如,若干天或者甚至若干周)并且需要都很少/不频繁的维护。
在许多情况下,听力设备使用麦克风来拾取/接收声音。听力仪器中的电路能够处理来自麦克风的信号,并且经由微型扬声器(通常被称为声音再现设备或接收器)将经处理的声音信号提供给用户的耳道。如前所述,一些听力设备可以例如经由移动电话、无线流、蓝牙连接等从诸如感应线圈和/或无线发射器的替代输入源来接收声音信号,并且处理这些声音并且将其递送给用户。
耳内(ITE)听力设备被设计成使得听力设备壳体的至少部分被***在听力设备用户的耳道内。在ITE听力设备中,所述接收器被设置在听力设备壳体内,并且来自接收器的声音输出经由声音导管被递送到用户的耳道中。声音导管可以包括:接收器端口,来自接收器的声音信号通过所述接收器端口进入声音导管;以及声音开口,声音信号通过所述声音开口从声音导管离开而进入到耳道中。
由(一个或多个)听力设备的麦克风拾取的声音信号由被连接在麦克风与接收器之间的控制器/信号处理器来处理。控制器/信号处理器可以包括处理器、计算机、软件等。通常,控制器/信号处理器放大声音信号,并且该放大可以随频率而变化,以便向听力设备用户提供良好的可听信号。例如,放大可以是:对于用户难以听到的频率更大,对于用户具有良好音频响应的频率更小,等等。在另一示例中,与人类语音相关联的频带中的声音信号可以比与环境噪声相关联的声音信号更多地被放大,从而用户能够听到并参与对话。
因为每个听力设备用户具有特定的听力概况,其可能是依赖于频率的,并且因为每个听力设备用户可能具有特定的期望听力设备响应,所以可以针对听力设备用户对控制器/信号处理器进行单独地调节/编程。通常,对听力设备的调节/编程以适合的流程来执行,其中,听力学家等将控制器/信号处理器针对用户的听力损失和/或用户的听力偏好来调谐控制器/信号处理器。调谐可以包括针对听力设备设置频率相关的增益和/或衰减。
通常,听力设备还包括分类器、声音分析器等。所述分类器分析由(一个或多个)麦克风拾取/接收的声音,并且基于对拾取的声音的特性的分析来对听力状况进行分类。例如,对拾取的声音的分析可以识别听力设备用户是:与另一人进行安静对话、在嘈杂位置与若干个人交谈;看电视;等等。
所述听力设备可以访问程序、软件等,所述程序、软件等可以被存储在听力设备/控制器、辅助设备、云等中的存储器***中,其可以由控制器/信号处理器来寻址。一旦已经对听力状况进行了分类,就可以选择程序/软件,并且可以将其用于根据经分类的听力状况来处理所拾取的声音信号。例如,如果听力状况被分类为嘈杂位置中的对话,则程序/软件可以提供与对话相关联的频率的放大并且衰减环境噪声频率。所述控制器单元可以基于经分类的听力状况自动地选择程序/软件并且执行信号处理。用户还可以执行对软件/程序的手动设置,和/或用户可以手动地调谐由所述控制器所选择的程序/软件。
可以由听力学家等在适流程中调节控制器,从而针对听力设备用户定制控制器的设置。控制器设置(通常称为参数)可以针对每个程序单独地进行调节。可以根据从平均听力设备用户的响应、听力损失测量、在不同听力情况下与听力设备用户执行的测试等确定出的经验值来调节参数。
适配结果受到以下事实的限制:适配者不能够在收听者可能遇到的所有不同听力状况下为用户测试听力设备,并且还因为不能够准确地再现听力状况。另外,听力设备用户在适配时可能不会以与他或她在现实生活听力状况中相同的方式做出响应。结果,听力设备的初始适配可以包括第一适配,以满足用户的广泛收听要求,并且可以使用另外的适配而使用来自用户的反馈来调谐听力设备。然而,这些另外的适配也具有与初始适配相同的问题,即:不能够复制现实生活中的听力状况。
已经提出了若干种方法来解决将听力设备适配到最终用户以使得听力设备在听力状况中向最终用户提供期望的声音输出的问题。
例如,美国专利No. 7889879(“'879专利”)描述了一种可编程的听觉假体,其具有对声学条件的可训练的自动适应。在'879专利中,听觉假体用户可以根据用户的偏好来调节第一操作模式的声音处理参数,并且听觉假体中的处理器可以基于用户的先前选择的设置来调节第二操作模式的声音处理参数。
在另一示例中,美国专利公开No. 22016/0249144(“'144专利申请”)描述了一种用于确认针对助听器的特定于佩戴者使用数据的方法、一种用于适应助听器的助听器设置的方法、以及一种助听器***和一种针对助听器***的设置单元。该'144专利申请描述了识别听力设备用户具有听力设备所遇到的问题,并且在遇到所述问题(即,识别出问题并且获知用户的响应)时记录问题的类型和听力设备的操作数据。稍后使用该存储的数据来调节听力设备的操作,以减轻听力设备问题。
发明内容
本公开的实施例提供了用于智能听力设备性能管理的方法和***。在本公开的实施例中,基于听力设备用户关于听力设备的操作的偏好来创建心理声学模型。本公开的智能听力设备性能管理***被配置为基于用户对听力设备性能的感知来生成针对用户心理声学模型,所述感知对于相同的听力环境可能是不同的。
在本发明的一些实施例中,听力设备用户可以将用户偏好直接输入到心理声学模型中。在一些实施例中,可以通过请求来自用户的关于用户对听力设备操作的感知的反馈来在心理声学模型中生成用户偏好,所述反馈可以包括积极或消极的用户感知。在一些实施例中,用户偏好可以通过心理声学模型根据反馈获知。
在一些实施例中,可以收集听力发生和/或听力活动数据,所述数据可以识别听力设备用户在使用听力设备的同时正在参与的活动;听力设备活动可以包括正在使用听力设备的环境,诸如位置、天气、温度等。该听力发生和/或听力活动数据可以被添加到心理声学模型中,并且可以被心理声学模型与用户反馈一起用于确定相对于听力发生和/或听力活动的听力设备输出的用户偏好和/或感知。
在一些实施例中,所述心理声学模型被用于调节/控制听力设备的操作。在本发明的实施例中,所述听力设备针对不同的听力环境、听力发生和/或不同的听力活动来智能地学习听力设备用户的感知/偏好。
用于听力设备的学习/自适应***,其记录用于听力环境的用户设置和/或识别用户对听力设备设置的问题的发生,诸如在'879专利和'144专利申请中所描述的,不能够为听力设备生成心理声学模型,因为其不包括用户感知输入。在没有用户感知输入的情况下,'879和'144专利申请的学习方法排除了针对听力设备进行智能学习所必要的一些最重要的数据,例如,用户满意和/或满意的程度。在没有用户感知的输入的情况下,***也不能够确定用户环境、听力发生和/或听力活动对听力设备操作的用户感知/偏好的影响。
此外,先前的学习/自适应***是声学问题解决***,其中,由用户对听力设备的操作参数的更改突出了存在的问题,并且听力设备记录了所述更改,使得当遇到相同的听力环境时,由听力设备为该用户设置操作参数。然而,针对声学听力环境对听力设备参数的这样的学习/适应不能够确定所应用的解决方案是否提供用户满意和/或其他非声学环境的影响,诸如听力发生(何时/何处使用听力设备和/或听力设备用户正在与谁接洽)、听力活动(听力设备用户正在做什么)等。听力发生和听力活动数据描述了当用户正在使用听力设备时的情况如何以及正在发生什么,并且该数据会影响用户对听力设备性能的感知。听力活动覆盖与听力密切相关的所有活动;这包括例如“听某人或某物”、“未注意的听力”,还包括阅读书本,其描述了一种“内在听力”或“听我自己的想法”,即:比“做事情”少一点,但比“听事情”多一点。在本公开的实施例中,该数据被包含在心理声学模型中,使得能够分析用户的感知/偏好,并且听力设备能够智能地学习如何定制其输出以满足用户的偏好和听力意图。
通过将数据收集/记录限制为用户遇到利用听力设备的听力问题的听力情况,学习/自适应***(诸如'879专利和'144专利申请)不能够生成积极的用户感知,例如,当用户在听力环境中具有积极的听力体验时。在没有这样的数据的情况下,学习/自适应不能够真正地学习和/或适应用户和/或不能够实时地学习/适应用户。此外,通过仅收集与问题相关联的数据和/或不收集与问题和/或解决方案相关联的任何感知数据,学习/自适应***不收集针对智能学习所需的所有数据,并且倾向于创建产生变化的预测的波动模型,因为当用户遇到相同的听力环境时,取决于不同于听力环境的因素,用户可能以不同的方式来更改听力设备。例如,用户可以出于除了听力环境问题以外的原因对听力设备进行调节,例如,当用户疲倦等时,听力设备用户可以调节听力环境中的放大。
此外,当用户检测到关于听力设备操作的问题时,并且用户调节了听力设备,但是未对听力设备/听力设备参数进行任何进一步更改时,这可能并不意味着用户对听力设备操作感到满意。
在本公开的一些实施例中,本公开的智能听力设备学习***,听力设备可以向用户提供提示,以输入用户在此时对听力设备操作的感知。在一些实施例中,提示可以是听觉提示、视觉提示和/或触觉提示,诸如振动等。响应于该提示,用户可以将感知数据提供给本公开的智能听力设备学习***。例如,用户可以使用诸如按钮等的在听力设备上的用户输入来将满意、满意的程度、不满意、不满意的程度等输入到智能听力设备学习***中。在本公开的实施例中对提示的使用意味着智能听力设备学习***能够在不同于用户更改听力设备参数的时间(诸如当用户对听力设备操作满意时)处收集数据。
在一些实施例中,所述智能听力设备学习***可以响应于提示和/或在提示之前和之后在用户输入时记录听力设备设置。响应于该提示的用户输入、在提示时的用户的听力环境和/或在提示时(和/或在提示之前和之后)的听力设备设置可以被输入到心理声学模型中。在本公开的一些实施例中,还可以将当时的另外的数据/发生数据或提示输入到心理声学模式,例如,发生数据可以包括时间、日期、位置、心率、呼吸率、用户参与的活动(听音乐、开车、步行、骑自行车、跑步、吃饭、和熟人聊天、大喊、大笑、坐火车、打电话、在电影院看电影、看电视、睡觉等),等等。
听力发生数据提供了关于听力设备的操作环境和/或用户的听力活动的信息。例如,发生数据可以提供用户正在图书馆中使用他的或她的听力设备,这可以从在晚上7点处的感测到的GPS数据来确定,该数据可以从日期时间传感器确定。在这些环境下,用户对听力设备操作的感知和/或针对听力设备操作的偏好可能与在清晨在其家中使用听力设备时的用户的感知/偏好不同,即使听力环境是相同的。
发生数据可以由一个或多个传感器来提供,所述传感器可以被附接到听力设备或者与听力设备通信。传感器可以包括:GPS传感器、加速度计、光传感器、振动传感器、声学传感器、湿度传感器、压力传感器、日期时间传感器、面部识别传感器等。
当听力环境改变时,当用户遇到听力环境并且控制器响应于所遇到的听力响应而调节一个或多个参数时,在用户手动地调节听力设备之后等,可以向用户发送提示。在一些实施例中,用户可以按照自己的意愿将满意输入智能听力设备学习***,而无需提示。
在一些实施例中,可以经由听力设备直接进行对智能听力设备学***板电脑等可以与听力设备通信以交换数据,并且可以向用户递送提示和/或接收用户输入。分离的设备本身可以与其他处理、软件、存储器等进行有线/无线通信,并且该通信可以涉及与云的通信。
用于确定诸如在本文中所描述的用于心理声学模型的另外的数据的传感器可以被集成在听力设备中,可以是分离设备的部分,可以是被配置为与听力设备/分离设备通信的分离传感器,和/或可以与其他处理、软件、存储器等通信。例如,可以使用全球定位***(GPS)来确定用户的位置。GPS还可以被用于确定用户的活动,诸如通过识别用户的位置、跟踪用户以确定他们如何旅行等。
在一些实施例中,可以记录用户对听力设备的调节和/或在调节时的听力环境,并且可以将调节和/或听力环境数据添加到心理声学模型。
附图说明
在附图中,相似的部件和/或特征可以具有相同的附图标记。此外,可以通过在附图标记后加上破折号和区分相似部件的第二标记来区分相同类型的各种部件。如果在说明书中仅使用第一附图标记,则该描述适用于具有相同的第一附图标记的任何类似部件,而与第二附图标记无关。
图1图示了根据本公开的一些实施例的听力***,所述听力***包括听力设备和包括智能学习***的外部设备,所述智能学习***使用用户对听力设备操作的感知来实时地学习用户的偏好。
图2图示了根据本公开的一些实施例的包括智能的、基于在线感知的管理***的听力设备。
图3图示了根据本公开的一些实施例的用于包括智能性能管理***的听力设备的听力活动分类器。
当结合仅出于说明目的的附图进行以下描述时,本发明的这些和其他的目的、特征和优点将变得显而易见。示出根据本发明的若干实施例。
具体实施方式
随后的描述提供了本发明的一些实施例,并且无意于限制本发明的范围、应用性或配置。在不背离在本文中所阐述的本发明的范围的情况下,可以对元件的功能和布置进行各种改变。可以在没有所有具体细节的情况下实践一些实施例。例如,可以在框图中示出电路,以免在不必要的细节上使实施例模糊。在其他实例中,可以示出公知的电路、过程、算法、结构和技术而没有不必要的细节,以避免使实施例模糊。
一些实施例可以被描述为:被描绘为流程图、流图、数据流程图、结构图或框图的过程。尽管流程图可以将操作描述为顺序过程,但是许多操作可以并行或同时地执行。另外,可以重新布置操作的次序。当过程的操作完成时,该过程被终止,但是可能具有未包含于图中的额外步骤,并且可能会在任何步骤或框处开始或结束。进程可以对应于方法、函数、流程、子例程、子程序等。当进程对应于函数时,其终止对应于该函数返回到调用函数或主函数。
此外,如在本文中所公开的,术语“存储介质”可以表示用于存储数据的一个或多个设备,包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、核心存储器、磁盘存储介质、光学存储介质、闪存设备和/或用于存储信息的其他机器可读介质。术语“计算机可读介质”包括但不限于:便携式或固定存储设备、光学存储设备、无线信道以及能够存储、包含或承载(一条或多条)指令和/或数据的各种其他介质。
此外,实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当以软件、固件、中间件或微代码实施时,可以将执行必要任务的程序代码或代码段存储在诸如存储介质的机器可读介质中。(一个或多个)处理器可以执行必要的任务。代码段可以表示流程、函数、子程序、程序、例程、子例程、模块、软件包、类或者指令、数据结构或程序语句的任意组合。代码段可以通过传递和/或接收信息、数据、变元、参数或存储器内容而被耦合到另一代码段或硬件电路。信息、变元、参数、数据等可以经由任何合适的方式传递、转发或传输,包括存储器共享、消息传递、令牌传递、网络传输等。
短语“在一些实现方式中”、“根据一些实现方式”、“在所示的实现方式中”、“在其他实现方式中”通常表示该短语之后的特定特征、结构或特性被包含在所公开技术的至少一个实现方式中,并且可以被包含于超过一种的实现方式中。另外,这样的短语不一定指代相同的实施例或不同的实现方式。
现在将详细参考实施例,其示例在附图和图中示出。在下文的详细描述中,阐述了许多具体细节以便提供对在本文中的主题的透彻理解。然而,对于本领域的普通技术人员显而易见的是,可以在没有这些具体细节的情况下实践本主题。在其他情况下,没有详细描述公知的方法、流程、部件和***,以免不必要地混淆实施例的特征。在以下描述中,应当理解,一个实施例的特征可以与来自另一实施例的特征组合使用,其中,不同实施例的特征不是不兼容的。
新的自适配方案(即,现实生活中的适配和调谐)需要检测特定听力状况,即,假设提供听力优势或听力问题的听力状况:尽管人们能够假设听力问题可以由用户检测到,但是不太可能由用户有意识地检测听力优势。
需要进行对听力问题的检测(不成功或消极的听力事件),以便验证是否不仅将特定听力状况单独识别为听力问题,而且还反复地导致听力问题。仅在将特定听力状况连续地识别为造成听力问题的情况下,才建议对这种情况下活动的听力设备设置进行永久性修改;否则仅应当暂时地应用修改。
需要检测听力优势(成功或积极的听觉事件),以便确保已经成功应用修改或证明听力设备的益处,并且因此也将重点放在积极的听力事件上,而不是仅仅是在消极的事件上,并且因此提高了听力设备的接受度。
除了检测特定听力事件之外,新的自适配方案还要求听力设备或用户基于检测到的听力状况的种类,例如,回答关于当前情况的问题,或者针对该特定的听力状况尝试优化的听力设备设置,来执行动作。这样的动作必须由听力***来触发,所述听力***额外地必须考虑特定条件,例如,自上一动作以来已过去了多少时间,具有稍后再次请求的动作,如果用户当前不能够执行所需的动作,则用户是否需要任何类型的提醒,等等。
图1图示了根据本公开的一些实施例的包括听力设备和外部设备的听力***,所述听力***包括基于感知的智能学习***。
在图1中,听力***100包括与外部设备150进行有线或无线通信的听力设备110。听力设备110被配置为经由输入单元112来接收/检测声学输入,输入单元112可以包括一个或多个麦克风、接收器、天线等。所述声学输入可以包括由听力环境产生的声学数据。例如,听力环境可以包括由汽车生成的发动机噪声,由彼此附近的许多人生成的人群噪声等。
听力设备110包括可以从声学输入中识别/分类听力环境的声音分析单元120,以及可以根据所识别/分类的听力环境来处理接收到的声学输入的声音处理单元127。
在本公开的实施例中,外部设备150包括心理声学模型160,心理声学模型160被预先配置有听力设备操作数据155。该听力设备操作数据155可以包括:关于听力设备用户的数据,诸如听力损失数据;关于针对用户的听力设备110的操作的数据,诸如,例如声学耦合数据(助听器所通风的/开放或者密封到用户的耳道)和用户对听力设备操作的偏好,通常在适配期间被确定;潜在的声音状况,其也可以被称作听力环境,其可能包括诸如开车、在餐厅吃饭、在大房间看电视、在音乐会上听音乐、在人群中聊天、在礼堂中听演讲等的情况;潜在的听力活动,诸如参与对话、听音乐、看电视、参加音乐会、吃饭、锻炼、阅读、使用电话等;以及基于规则的标准,其是由声音处理单元127应用于声学输入以产生听力设备110的声音输出的模型,这些模型基于产生用于声学耦合的优化/改善的声学输出、听力损失、声音状况和/或潜在的听力活动。
在一些实施例中,听力设备操作数据155是在外部设备150中的心理声学模型160中预先配置的。在使用中,心理声学模型160从声音分析单元120接收声音分析,并且使用听力设备操作数据155相对于听力事件的发生做出预测163来处理该声音分析,其中,该听力事件包括:听力问题,其中,根据声音分析和听力设备操作数据155,心理声学模型160确定已经/将要发生听力问题,诸如不良可听度、可懂度、听力舒适度、声音质量和/或高听力努力;或者已经/将要出现听力优势,诸如良好的可听度、可懂度、听力舒适度、声音质量和/或低听力努力。心理声学模型160还可以预测已经/将要发生听力中立事件,其中,听力中立事件是既不提供听力问题也不提供听力优势的情况。
如果听觉事件的发生是由心理声学模型160预测的,则听力***100可以调节听力设备110的听力设备操作参数以解决听力问题,或者可以记录/通信听力设备110正在以提供听力优势的方式来操作。在调节听力设备操作参数或记录听力优势的存在之后,听力***100向听力设备用户提供通知166。通知166可以由听觉、视觉、触觉等通知来做出。响应于通知166,用户将用户反馈160提供给心理声学模型160。心理声学模型160在通知时处理用户反馈166以及声音分析和/或听力设备160的操作参数以根据用户的感知/偏好来定制模型。
如所描述的,本公开的实施例通过使用心理声学模型160来识别/预测听力事件并且接收关于在听力事件期间听力设备110的功能和/或听力设备的提议功能的用户反馈来提供听力设备110的智能性能管理。心理声学模型160可以提出/实施针对听力问题的解决方案,从听力设备用户接收已解决的听力问题的验证,和/或向用户识别听力优势,并且接收关于识别出的听力优势的用户反馈。
在一些实施例中,在听力设备110的适配期间,听力设备用户可能被询问关于用户所遇到的听力状况/听力环境。能够被识别为有问题或有利的听力状况越具体,就能够向用户越具体地询问这样的听力状况;这意味着,听力***能够更具体地请求用户描述特定听力状况,并且这样的听力***将以更小的侵入性来工作。以这种方式,能够利用听力状况和用户偏好来预先配置心理声学模型160,并且听力***不必频繁地请求用户反馈。
除了利用特定种类的听力状况预先配置心理声学模型160之外,还能够通过考虑用户的听力损失、听力设备的特性(即,信号处理和声学耦合)以及声学状况的特性来预先确定产生听力问题或优点的听力事件。在本公开的实施例中,用户可以示出与这些听力事件的不同个体感知,并且可以将确定可能的听力问题或听力优势的标准调节为用户的个体感知。
在一些实施例中,心理声学模型160可以通过使用在心理声学模型160中预先配置的基于规则的标准来开始,以确定存在或预测听力问题或听力优势。仅通过示例的方式,如果信噪比低,则基于规则的标准将提供听力问题,亦即,语音可懂度也预期为低。在另一示例中,或者当检测到低信噪比时的听力优势,基于规则的标准提供了听力设备110能够通过放大频率以增加语音可懂度来产生听力优势。
在本公开的实施例中,听力设备***100可以通过请求并获得用户反馈160来检查这些规则对于听力设备用户的感知的有效性。例如,听力设备***100可以向用户提供通知160以获得关于当接收到低信噪比声学输入时用户是否正在经历较差的语音可懂度的用户反馈169;其中,用户反馈169可以包括满意/不满意反馈。类似地,听力设备***100可以向用户提供通知160,以获得关于当接收到低信噪比声学输入时用户正在体验良好的语音可懂度的用户反馈169,但是声音处理单元127已经被控制来放大频率从而提高语音可懂度;其中,用户反馈169可以包括满意/不满意反馈。
用户反馈160然后被添加到心理声学模型160以提供对用户感知的理解;确认或提供一定程度的确认基于规则的标准与用户感知一致,或者确认或提供一定程度的确认基于规则的标准与用户感知不一致。在本公开的一些实施例中,诸如用户活动数据(用户正在做的事情)和/或发生数据(位置、日期、时间)之类的非声学数据可以与听力事件和相关联的基于规则的标准相关联。在这样的实施例中,当用户遇到相同的听力事件时,在已经接收到积极的用户反馈的事件中,心理声学模型160可以根据基于规则的标准来调节听力设备的操作参数,并且使用新的用户反馈和用户活动和/或发生数据中的差异或相似性来调谐心理声学模型160。类似地,当用户遇到相同的听力事件时,在消极用户反馈的事件中,心理声学模型160可以以与消极反馈一致的方式来调节听力设备110的操作参数,制造并使得对这样的调节和非声学数据中的差异和/或相似性的新用户反馈以调谐心理声学模型160。在本公开的实施例中,通过心理声学模型160对听力设备110的操作参数进行相同调节的用户反馈可以被用于识别非声学数据的影响,诸如用户活动数据和/或用户感知的发生数据,并且调谐心理声学模型160以考虑该用户感知。仅通过示例的方式,在本公开的实施例中,心理声学模型160可以确定当检测到与一天的其他时间的相同幅度相比低的信噪比时,用户在傍晚对放大语音频率具有不利的感知,并且可以使用该信息来控制听力设备110的操作参数。
基于规则的标准可以考虑一般的听力问题,诸如听力损失、声学耦合的特性、声学状况的特性、以及与这些声学状况有关的听力设备的信号处理特性。在一些实施例中,听力***被预先配置有听力设备理解数据155,该数据155包括基于规则的标准,所述标准可以包括一个或多个操作范围,例如,用于产生解决听力问题并适配在用户的声学音景(例如,用户能够充分听到的声音)的输出的听力设备操作参数的范围。
在一些实施例中,由于听力***110用于现实生活中,所以听力***110通过请求/接收用户对当前听力状况的感知的(优选地简短的)描述,或简单地通过监视用户控件上的用户输入(即,无输入=没有听力问题;输入=听力问题),来验证预先配置的基于规则的标准。然而,“无输入”并不一定意味着没有听力问题,因此,在本公开的一些实施例中,向用户提供了主动请求(通知166)。通知166可以询问用户对听力设备110的操作是否具有满意的感知和/或将当前情况描述为“有问题”(听力问题)还是“轻松”(听力优势)。
随着时间的流逝,听力***100收集针对基于规则的标准和相关联的操作范围的用户反馈160,并且将基于规则的标准和/或操作范围调谐到用户反馈。在一些实施例中,听力***通过对用户反馈160和用户活动/发生数据的分析来学习如何针对不同的用户活动和/或发生来应用基于规则的标准和相关联的操作范围。
在一些实施例中,如果用户反馈160与预先配置的基于规则的标准不一致,则听力***可以将基于规则的标准调节为用户反馈。当遇到相同的听力事件时,听力***可以使用该定制的用户标准。
在一些实施例中,听力***100继续验证用户标准,并且可以重复地调节和验证基于规则的标准。该流程可以永久地继续,或者直到获得或多或少稳定的用户反馈,即,用户反馈通常是积极的。重复的调节和验证也可能仅在遇到显示听力问题和听力优势的另外的情况时才执行,或者仅在有限的时间段内执行,或者在适配者或用户的要求下执行。
随着时间的流逝,听力***能够更好地分析听力问题和听力优势的结构,并且这导致所需的请求数量减少并且减少了***的不必要的侵入性。
在一些实施例中,通知166包括针对听力问题或听力优势的发生的指示。通知166可以是声学通知,例如由听力设备或外部设备的扬声器直接输出的声音消息,由外部设备输出的触觉或振动警报、视觉警报(例如,闪光灯)。
在一些实施例中,用户通过提供用户反馈160来响应通知166。可以使用诸如听力设备110和/或外部设备150上的用户控制元件(例如,栓口元件、开关、摇杆等)经由用户输入来提供用户反馈166。积极的或消极的反馈能够通过摇杆输入的上/下移动、向左或向右操作开关等进行编码。外部设备150上的用户控制元件可以包括具有或不具有声学或触觉反馈的按键、触摸屏、图形用户界面、按钮等。
在一些实施例中,取决于听力损失、听力***的声学耦合(即,听力设备耦合是与用户的耳道打开、通风还是密封的)、听力***的信号处理和/或听力状况,可以在心理声学模型160中预先配置用于识别可能的听力问题或听力优势的特定规则。例如,针对中等听力损失,听力设备的开放耦合,大噪声的语音,波束成形器强度弱,听力问题的可能性较高。通过另一示例,对于中等听力损失,闭合耦合,中等噪声的语音,波束成形的大强度,听力优势的可能性较高。并且在另外的示例中,对于轻度听力损失,开放耦合,安静环境中的语音,声音清洁强度(波束成形器、噪声消除器)弱,听力问题的可能性较低。
在一些实施例中,对于具有中等听力损失、闭合耦合、音乐、声音清洁强度(波束成形器、噪声消除器)弱的用户,使用基于规则的标准来提供听力优势的可能性较高。在这样的情况下,针对听力问题的标准是不良的可听度、不良的可懂度、不良的听力舒适度、不良的声音质量和/或高听力努力。使用基于规则的标准可以提供的听力优势是良好的可听度、良好的可懂度、良好的听力舒适度、良好的声音质量和/或低听力努力。
在一些实施例中,心理声学模型160基于用户的个体听力损失、声学耦合条件、听力设备110的性能和/或配置、听力环境等,来预测潜在的听力事件、听力问题和听力优势的发生。基于这些考虑,心理声学模型160进行预测163。
听力事件(例如,听力问题/优势)是根据关于由声音分析单元120确定出的听力环境和/或由声音处理单元127提供的信号处理的数据来检测的。关于用户的听力损失、声学耦合等对该数据的分析可以检测听力事件。在本公开的实施例中,心理声学模型160处理数据以检测听力事件。
在一些实施例中,如果听力***150检测到可能的听力问题或听力优势,则向用户提供通知166,该通知166可以包括通知用户并请求进一步的动作,例如,确认或拒绝该预测、描述用户当前的听力感知、尝试提出的替代修改和/或比较替代的听力设备设置。如果用户不响应该通知,则只要当前的听力事件仍在发生,***就可以将通知重复一定的时间或一定的次数或重复。如果在给定时间结束或达到最大通知数量之前用户都没有进行响应,则***将停止通知当前听力事件。如果用户在一定时间内不希望受到打扰,则可以在可配置的时间内将***置于睡眠模式。在睡眠模式期间,***不会发出进一步的通知。
在一些实施例中,可以基于对通知的听力事件的用户反馈来修改用户的心理声学模型。如果用户确认了预测的听力事件,则用于检测该听力事件的规则也将得到确认。如果用户拒绝了预测的听力事件,则***调节用于检测该听力事件的相应规则,例如,调节用于预测这样的听力事件的阈值,或者从用于检测听力事件的应用的规则集中去除针对给定听力损失和声学耦合条件的信号处理和声学状况的该特定组合。可选地,***可以首先收集一定数量的拒绝(例如,至少3次),直到调节了规则集为止。随着时间的流逝,听力***使听力事件的预测适应个体用户。
在一些实施例中,定制的心理声学模型被用于进一步微调听力设备110。在一些实施例中,如果心理声学模型160的预测163被足够数量的用户响应所验证——即,如果用户响应的变化性已经达到稳定状态并且不再减少,或者如果已经经过了预先定义的时间,或者收集到了一定数量的响应——则定制的心理声学模型160能够被用于针对该用户的进一步的微调。
在一些实施例中,听力***100可以包括听力设备110和外部设备150。在这样的实施例中,可以如所描绘地在外部设备150上执行心理声学建模流程。外部设备150可以包括智能电话、智能手表、遥控器、处理器、平板电脑等,其能够与听力设备进行通信。在一些实施例中,可以在听力设备110上执行一些或全部心理声学建模流程,并且可能不需要外部设备150。
在一些实施例中,外部设备150可以经由互联网被连接到外部服务器(未示出)。该外部服务器可以是基于云的服务器,并且可以执行全部或部分心理声学建模流程和/或存储关于听力环境、用户反馈、基于规则的标准、用户标准、听力活动、发生数据等的数据。服务器可以将经处理的结果反馈给听力设备110和/或外部设备150。在一些实施例中,听力***100直接或经由中继器被链接到服务器。
图2图示了根据本公开的一些实施例的包括智能的基于感知的管理***的听力设备。
如图2所示,听力设备210包括声学输入212和声学输出215。声学输入212可以包括被配置为接收/拾取声学信号的一个或多个麦克风。例如,声学输入212可以包括位于听力设备用户的耳朵中或附近的麦克风,所述麦克风被配置为在耳朵处或周围拾取/接收声音。声学输入212可以包括被设置在听力设备用户耳道中的麦克风,其例如可以拾取用户自己的声音。多个麦克风(包括听力设备外部的麦克风)可以与听力设备相耦合以向听力设备提供声学输入。声学输入212可以包括能够接收wi-fi信号、流、蓝牙信号等的接收器。例如,接收器可以包括天线等,并且可以从智能电话、智能手表、活动***、处理器、平板电脑、智能扬声器等接收声学信号和/或其他数据,以输入到听力设备210中。
来自声学输入212的声学信号被传递到分类器220,该分类器220可以包括声音分析器等或可以是其部分。分类器220包括被配置为处理声学输入信号以对听力环境进行分类的处理电路。例如,分类器220能够处理输入的声音信号以确定听力设备/听力设备用户是:在汽车中、在嘈杂的环境中、参与交谈中、在室内、在室外、等等。
分类器220将其对听力环境的分类通信给控制器223。控制器223可以包括处理电路、软件等。控制器223处理经分类的听力环境,并且控制信号处理器227以处理声学输入并且将经处理的声学输入提供给接收器215,该接收器215可以包括生成声学输出的换能器、扬声器等。仅通过示例的方式,控制器223可以被编程为取决于经分类的听力环境来选择声学输入的不同频率的放大。通常,听力设备210将最初针对一组经分类的听力环境集合中的每个利用标准信号处理设置进行编程,并且控制器223将控制信号处理器227将这些标准信号处理设置应用于声学输入。通过示例的方式,如果听力环境被分类器220分类为包括在嘈杂环境中的对话,则用于这样的环境的标准信号处理设置可以提供与语音相关联的频率放大以及不放大,或者可以甚至抑制与环境/背景噪声相关联的频率。在一些实施例中,控制器223和信号处理器227可以被包括在相同的处理电路中。
通常,听力设备210由听力设备专业人员适配到用户。该适配包括将用户置于模拟情况下并且将控制器223上的标准信号设置调谐到用户偏好。这样的适配流程的问题在于:并非能够模拟所有现实生活中的听力环境,和/或模拟可能不准确。先前诸如在'144中所描述的,已经通过在听力设备上包括分析单元等解决了该问题。所述分析单元被用于确定听力设备用户何时对来自听力设备的输出有问题。通常,这些问题由用户手动更改听力设备设置来确定。所述分析单元可以被用于识别用户何时遇到听力设备的听力问题,确认当发生问题时的听力环境如何以及用户为解决听力问题而设置什么设置。然后,该数据可以被用于调谐听力设备设置并且为用户定制听力设备。
在本公开的一些实施例中,心理声学建模器230可以接收由分类器220确定的听力环境的分类,控制器223的控制器设置和/或来自控制器223的控制器输出。以这种方式,心理声学建模器230被设置有关于听力环境、控制器223的状态和/或听力设备210的输出的数据。
在本公开的一些实施例中,听力设备用户可以使用参数输入217来调节听力设备的参数设置。以这种方式,用户可以调节针对控制器223的参数,以调节由信号处理器227产生的声音处理,并且因此,调节听力设备210的声学输出。例如,如果控制器223基于听力环境分类来控制信号处理器227以经由接收器215提供用户发现太安静的声学输出,则用户可以使用参数输入217来调节听力设备参数以放大声学输出。在一些实施例中,由用户做出的对声学参数的改变被输入到心理声学建模器230中。
心理声学建模器230可以包括能够接收输入数据并且根据输入数据生成心理声学模型的处理电路、软件存储器、数据库等。心理声学建模器230被配置为生成听力设备用户对来自听力设备210的输出的感知的心理声学模型,并且控制听力设备210以提供与用户偏好一致的输出。在一些实施例中,给定可能存在的其他约束,诸如听力设备性能限制、听力环境、位置等,心理声学建模器230生成用户能接受的(一个或多个)声学输出范围,并且控制听力设备210以在该范围内产生声学输出。
在本公开的一些实施例中,听力设备210包括用户感知输入233。在一些方面中,用户感知输入233可以为听力设备用户提供将声音输出的感知直接输入到心理声学建模器230。例如,在一些实施例中,在用户已经调节了听力设备操作参数之后和/或在心理声学建模器230和控制器223已经接口以调节听力设备操作参数之后,用户可以经由用户感知输入233将满意数据输入到心理声学建模器230。在一些实施例中,用户感知输入233可以包括在听力设备210上的一个或多个按钮,并且用户可以在参数调节之后使用一个或多个按钮来表达对听力设备操作的满意度。例如,用户可以按下按钮之一以示出满意和/或可以按下按钮之一以示出不满意。在一些实施例中,满意/不满意的程度可以由用户按下按钮的持续时间来表达。
如关于图1所讨论的,可以向听力设备用户提供请求输入用户感知数据的通知。可以在已发生或预测听力事件时(诸如,当心理声学建模器230确定应当对声学输出进行更改时或者在已经进行这样更改之后)发送这样的通知。在本公开的实施例中,当在日常生活中使用听力设备210时,用户感知为听力设备用户提供了心理声学模型的生成。
例如,心理声学建模器230可以控制听力设备210根据用户遇到相同或相似的听力环境的先前时间在经分类的听力环境中产生声学输出。通过在调节听力设备210之后获得用户感知数据,心理声学建模器230能够构建/调谐与用户的感知一致的心理声学模型。在另一示例中,如果心理声学建模器230接收到消极的或弱积极的用户感知输入,则心理声学建模器230可以调节听力设备210的声学输出,直到其接收到更确认的用户感知为止,并且可以根据与更确认的用户感知相对应的听力设备设置/声学输出来生成/调谐心理声学模型。在这两个示例中,可以至少部分地基于积极的用户感知数据来执行心理声学模型的生成/调谐。
在一些实施例中,用户感知输入233可以在与听力设备210分离的设备上,诸如智能电话、处理器等,并且图形用户界面可以与用户交互以显示对经调节的听力设备操作参数满意或不满意。在一些实施例中,可以向用户提供提示以经由用户感知输入233来输入数据。例如,听力设备可以提供音调和/或外部设备可以提供声音提示、视觉等。
在本公开的一些实施例中,听力设备用户可以将听力活动数据输入到心理声学建模器230。例如,当听力设备用户改变听力设备210的操作参数时,用户可以将听力活动输入到用户感知输入233中。在一些实施例中,心理声学建模器230可以与听力活动传感器240接口,并且向用户提供潜在的听力活动的列表,并且用户可以选择这些活动中的一个或多个作为对用户感知的输入233的输入。在这样的实施例中,心理声学建模器230可以通过将(一个或多个)优选的用户听力设备操作参数与听力活动相关联来产生针对用户的心理声学模型。
先前,学习/自适应***本质上已经是声学问题解决者,其中,所述***学习用户先前为听力环境输入的设置,并且在用户下次遇到相同的听力环境时应用所述设置。这样的***受限于其学习能力,因为其在发生问题时仅收集用户数据,因此用户可以更改设置。在本公开的实施例中,还收集关于用户满意/偏好的用户数据。例如,在调节听力设备操作参数之后,在一些实施例中,即使用户没有进行任何听力设备参数改变,也可以提示用户输入用户满意度。从而,心理声学建模器230能够使用满意度数据来生成心理声学模型。此外,尽管在控制器223已经做出改变之后用户可能没有对听力设备参数进行改变,但是用户可能对所产生的听力设备操作不完全满意,但是可能不希望或者不能够进一步调谐参数。心理声学建模器230能够使用现有的学习/自适应听力设备***未收集的这样的信息来生成被针对用户更好地定制的心理声学模型。
在本公开的一些实施例中,心理声学建模器230接收由分类器220确定的听力环境的分类,控制器223的控制器设置和/或来自控制器223的控制器输出。本公开的一些实施例中,除了上文所描述输入到心理声学建模器230的数据之外,用户出现数据、用户活动数据和用户偏好数据中的至少一项被提供给心理声学建模器230。发生数据描述了正在使用听力设备210时的环境,主题时间、地点、位置、物理状况、在场者等。用户活动数据描述了在使用听力设备时用户的活动,诸如步行、驾驶、阅读、跑步、交谈、吃饭、听音乐、看电视等。
发生和用户活动数据在本文中被统称为听力活动数据。在一些实施例中,当用户调节听力设备210上的参数时,当检测到听力事件时和/或当用户提供感知反馈时,可以将听力活动数据提供给心理声学建模器230。
听力活动数据可以由听力活动传感器240感测,该听力活动传感器240可以包括例如:时间传感器、日期传感器、光传感器、运动传感器、加速度计、活动传感器、速度传感器、GPS传感器、心率传感器、面部识别传感器、语音识别传感器、语音分析器、语言检测传感器、热传感器、温度传感器、天气传感器、湿度传感器、取向传感器、声学传感器、混响传感器、压力传感器、振动传感器、连接性传感器等。听力活动传感器240可以包括被配置为处理感测到的数据以将听力活动数据提供给心理声学建模器230的处理电路、软件等。
例如,听力活动传感器240可以处理感测到的GPS数据,诸如GPS标记数据,以确定听力设备/听力设备用户的地点/位置,其可以包括地理位置、与听力设备/听力设备用户的位置相关联的场所类型等。听力活动传感器240可以处理感测到的GPS传感器,以确定听力设备用户如何进行旅行,例如通过骑自行车、乘汽车、乘火车等。听力活动传感器240可以处理GPS数据、心率数据、运动数据、加速度计数据、活动数据等来确定用户活动,诸如步行、锻炼、坐下、躺下等。发生传感器可以处理天气数据、温度数据、压力数据等来确定针对听力设备/听力设备用户的大气条件。听力活动传感器240可以处理语音识别数据、面部识别数据、语言检测数据、语音分析数据等,来确定与听力设备/听力设备用户交互的人的类型和/或在其附近/与其交互的人。听力活动传感器240可以处理光传感器数据、热/温度数据、混响数据、振动数据、声学数据等来处理与听力设备的位置/听力设备相关联的条件。听力活动传感器240可以处理连接性数据以确定听力设备如何接收数据,接收到的数据的状态(诸如信号强度、信噪比等),听力设备与之连接或者将与之连接的其他设备,和/或相对于这样的设备的连接参数,诸如连接单元(Wi-Fi、蓝牙等),连接单元的操作特性等。
在一些实施例中,听力活动传感器240是听力设备210的部分。在一些实施例中,听力活动传感器240是能够与听力设备210通信的单独的设备。例如,听力活动传感器240可以是在已经适配听力设备20之后听力设备用户承载一段时间的调谐设备的部分。在这样的实施例中,调谐设备可以收集数据,并且用户可以基于所收集到的数据返回到适配专业人员以将心理声学建模器230调谐到用户。在一些实施例中,听力活动传感器240可以包括能够与听力设备210通信的智能电话、智能手表、活动***、处理器、平板电脑、智能扬声器等。智能电话、处理器、智能手表、活动***等可以由听力设备用户承载,并且可以将发生数据通信给听力设备和/或从听力设备210接收数据。
在一些实施例中,来自听力活动传感器240的数据被提供给心理声学建模器230。在本公开的实施例中,心理声学模型230可以将发生数据与由用户进行的对(一个或多个)听力设备参数的改变相关联。以这种方式,心理声学建模器230能够生成针对用户的心理声学模型。例如,当听力设备用户针对经分类的听力环境调节听力设备参数时,心理声学建模器230可以将经分类的听力环境、改变的听力设备参数和出现数据相关联以产生预测的用户偏好。然后,当听力设备用户遇到相同的听力环境和发生时,心理声学建模器230能够与控制器223进行接口以控制信号处理器227来提供与由听力设备用户先前确定出的改变的参数一致的声学输出。
在本公开的实施例中,心理声学建模器230不仅可以针对不同的听力环境而且针对不同的听力活动以及针对听力活动和听力环境的不同组合来智能地学习用户的感知偏好。通过示例,用户可能会遇到次要听力环境,该次要听力环境被给予与该用户先前遇到的听力环境相同的分类。作为响应,心理声学建模器230可以与控制器进行接口以提供类似于针对先前听力环境所产生的输出的声学输出。然而,如果心理声学建模器230从用户接收到对次级听力环境的该调节的消极感知,其可以是由用户直接感知输入或者通过用户改变听力设备210的操作参数的形式,心理声学建模器230能够处理用户感知中的这种差异。在一些实施例中,心理声学建模器230可以向用户提供通知,以提供关于为什么对次级听力环境的调节的用户感知为消极的反馈,并且可以相应地调谐心理声学模型。在其他实施例中,心理声学建模器230可以比较次级听力环境和先前听力环境的听力活动数据,并且可以使用所述差异来调谐心理声学模型。
在一些实施例中,心理声学建模器230可以使用用户感知数据来将听力设备参数与听力活动相关联。例如,听力设备用户可能在诸如餐厅的听力环境中,并且可能正在与智能电话等交互。控制器223可以被配置在这样的听力环境中,以抑制噪声并且放大语音频率,使得用户能够与餐厅处的人们交互。然而,给定使用智能电话的听力活动,心理声学建模器230可以使控制器223的动作无效,使得用户在使用智能电话时仍能够听到周围的声音,或者可以抑制所有频率以向用户提供低声学输出。
在一些实施例中,控制器223能够控制信号处理器227,还可以控制听力设备210的其他操作参数。例如,控制器能够控制听力设备210的连接性。例如,控制器223可以控制使用什么通信协议(Wi-Fi、蓝牙等)与听力设备210进行通信和/或对这样的通信具有偏好,并且例如可以处于飞行模式等关闭听力设备210上的通信协议。类似地,控制器223可以控制听力设备210与外部设备(智能电话、智能扬声器、计算机、另一听力设备、外部麦克风等)的通信,和/或可以控制针对这样的外部设备的参数集。控制器223也可以控制听力设备210的其他操作特征,诸如,例如由听力设备210提供的通风,其影响听力设备的声学性能,听力设备麦克风接收声音数据的操作,等等。
在本公开的一些实施例中,可以将听力设备210的任何操作参数的状态提供给心理声学建模器230,并且心理声学建模器230可以与控制器223进行接口以控制这样的操作参数。例如,听力设备用户可以在发生期间操作听力设备210以与外部设备进行交互,并且心理声学建模器230可以使用该信息来生成心理声学模型,并且可以与控制器230进行接口以设置听力设备210的操作参数,以在下次遇到发生时与听力设备所选择的外部设备进行通信。
在本公开的一些实施例中,心理声学建模器230可以使用与听力环境中的声学输出相关联的积极的、令人满意的反馈来构建针对用户的心理声学模型。如果在听力环境中针对声学输出接收到重复的积极反馈,则相应地对心理声学模型进行加权。然而,如果在相同或相似的听力环境中针对相同或相似的声学输出接收到消极反馈,则相应地更改心理声学模型。仅作为示例,当接收到这样的否定反馈时,心理声学建模器230可以寻找听力环境之间的差异。如果检测到差异,则心理声学建模器230可以更新心理声学模型,以关联用户手动调节和/或由心理声学建模器230响应于用户的消极反馈而提供的听力设备的操作参数。在一些实施例中,通过接收对经调节的声学输出的积极反馈来提供对用户所遇到的听力问题的解决的确认。
在一些实施例中,与先前在相同/相似的听力环境中针对相同/相似的声学输出接收到积极反馈时相比,心理声学建模器230可以在消极反馈时寻找用户活动/发生数据之间的差异。以这种方式,能够将用户活动/发生数据添加到心理声学模型。另外,当心理声学建模器230控制听力设备210以针对相同或相似声学环境以及相同或相似用户活动/发生产生相同或相似声学输出时,心理声学建模器230可以从用户的积极反馈中验证其心理声学模型。在一些实施例中,如果在心理声学建模器230做出这样的改变之后用户没有改变听力设备的操作参数,则心理声学建模器230可以将其视为来自用户的积极反馈,但是在一些实施例中,这种类型的反馈在心理声学模型中的权重可能要小于来自用户的实际的积极反馈。
图3图示了根据本公开的一些实施例的用于包括智能性能管理***的听力设备的听力活动分类器。
如在本文中所提供的,现有的听力设备可以被配置为识别特定声音情况并且提供声音情况的参数设置。然而,听力设备不能够学习用户对听力设备操作的感知,而仅能够在调节听力设备设置时考虑物理标准,而不考虑用户的听力需求或听力活动。这是能理解的,因为与诸如用户感知的主观因素相比,分析客观物理因素要容易得多。然而,对声学参数的分析不足以确定用户想要如何听或听到什么。
如在本文中所描述的,可以针对可以智能地学习用户想要如何听或听什么的听力设备使用而生成心理声学模型。在本发明的一些实施例中,心理声学模型智能地从听力活动数据等事物来学习用户想要如何听或想要听什么。除声学参数外,额外因素是听力活动。听力活动数据可以被用在心理声学模型中,使得听力设备能够为用户提供不同活动期望的声学输出。仅通过示例,尽管外面有吵闹的孩子,但用户在坐在家里看书时可能希望不受干扰,而该用户或另一用户可能希望在阅读时听到孩子们以监视他们。
在本公开的一些实施例中,由听力设备(未示出)的麦克风305接收的声音被通信到声音分类器310。声音分类器310被配置为听力环境/声音情况,以将针对经分类的声音状况的提出的听力设备操作参数通信给信号处理器315。该设置可以包括声音状况的“平均”或预先定义的设置。例如,声音分类器310可以提出从该声音状况的先前设置的平均值来确定的平均设置,可以从平均用户对声音状况等的响应来确定。信号处理器315可以将设置应用于扬声器317等,以向听力设备用户产生声学输出。
在本公开的一些实施例中,听力活动分类器320可以被配置为确定听力设备用户的听力活动。听力活动分类器320将经分类的听力活动通信给心理声学处理器330,该心理声学处理器330可以处理分类,并且将针对声音状况的声音设置的调节通信给信号处理器315。
用于听力活动分类器320的输入参数可以经由感官输入326由一个或多个传感器(未示出)提供。在一些实施例中,心理声学处理器330从听力活动分类器320接收听力活动分类,并行地从声音分类器310接收声音状况分类。该并行输入提供了心理声学处理器330能够处理适当的设置,以针对声音状况和听力活动的当前组合通信给信号处理器315。例如,心理声学处理器330可以从模式识别中导出适当的设置,该模式可以借助于例如加权线性或非线性平均、决策树、查找表、经训练的神经网络或可比较算法来导出。
在一些实施例中,心理声学处理器330能够随着时间的流逝来识别来自听力活动分类器320和声音状况分类器两者的输入的模式,并且导出针对这些模式的反应提议。模式的识别能够通过例如神经网络或者与预先定义的模式进行比较来进行。在一些实施例中,可以从对用户经由控制输入323做出的对听力设备操作参数的调节和/或通过响应于听力设备操作做出的用户感知输入,来提供由心理声学处理器330对这样的反应提议的调节和学习。
在一些实施例中,听力设备用户可以确认由听力活动分类器320在那时指派给用户的听力活动是正确的。以这种方式,听力活动分类器能够智能地学习听力活动,因为这些是由用户感知体验到的。在一些实施例中,用户可以输入用户选择的听力活动作为听力设备操作参数的因素。例如,用户可以直接或通过与导向设备通信的关联设备来调节听力设备的操作参数,可以提示用户输入作为改变操作参数的因素之一的活动。这提供了用户对听力设备操作的感知的实时反馈,该反馈能够被通信给心理声学处理器330。
通过示例,用户可以降低对听力的总体放大率,并且可以输入作为该改变的因素,包括一天中的时间、位置、用户的活动,诸如阅读等。来自用户的该输入数据被包含于在由心理声学处理器330生成给用户的心理声学模型中,并且可以被用于根据用户的感知来控制听力设备。此外,如前所述,在稍后,当用户遇到相似/相同的位置、时间或活动时,心理声学处理器330可以控制信号处理器315以提供相似的声学输出,并且然后提示用户提供感知数据,其在一些方面可能是满意/不满意的感知数据。通过这种方式,心理声学处理器330能够针对不同的听力活动分类来调谐/学习用户的感知偏好,和/或相对于听力环境分类与听力活动分类的组合来学习用户的感知偏好。通过示例,如果用户遇到相同的听力活动分类,但是对由控制信号处理器315的心理声学处理器330所建议/生成的声学输出不满意,则心理声学处理器330可以处理听力活动分类之间的差异,并且智能地学习用户对听力环境分类以及听力活动分类的偏好。心理声学处理器330能够通过在对声学输出做出这样的改变之后提示用户反馈来确认其心理声学模型是正确的。
尽管以上已经结合特定的装置和方法描述了本公开的原理,但是应当清楚地理解,该描述仅是通过示例进行的,而不是对本发明范围的限制。

Claims (25)

1.一种具有智能的基于感知的控制的听力设备,包括:
声学输入,其被配置为接收声学信号;
声音分析器,其被配置为根据接收到的声学信号对听力环境进行分类;
信号处理器,其被配置为处理所述接收到的声学信号和经分类的听力环境,并且在所述听力设备的用户的耳朵中生成音频输出;
用户参数输入,其被配置为接收来自调节所述听力设备的操作参数的所述用户的输入;
用户感知输入,其被配置为从所述听力设备的所述用户接收感知数据,其中,所述感知数据包括所述用户对所述音频输出的感知,并且所述感知数据是在所述用户处在所述听力环境中时由所述用户实时提供的,所述感知数据包括关于所述音频输出的积极用户满意度的程度或者关于所述音频输出的消极用户满意度的程度;以及
处理电路,其被配置为根据所述经分类的听力环境、所述听力设备的所述操作参数和所述音频输出中的至少一项以及所述感知数据来生成针对所述听力设备的所述用户的心理声学模型,并且其中,所述信号处理器被配置为处理所生成的心理声学模型以产生定制的音频输出。
2.根据权利要求1所述的听力设备,其中,所述用户感知输入包括以下中的至少一项:在所述听力设备上的按钮,以及在能够与所述听力设备通信的外部设备上的输入。
3.根据权利要求2所述的听力设备,其中,所述外部设备包括所述处理电路。
4.根据权利要求2或权利要求3所述的听力设备,其中,所述外部设备包括以下中的至少一项:智能电话、便携式计算机、平板电脑和智能手表。
5.根据权利要求1所述的听力设备,其中,所生成的心理声学模型被存储在外部处理器上或者被存储在云中。
6.根据权利要求1所述的听力设备,其中,所述听力设备被配置为向所述用户提供对于输入所述感知数据的提示。
7.根据权利要求6所述的听力设备,其中,所述提示是在以下中的至少一项之后被提供给所述用户的:所述用户使用所述用户参数输入来调节所述听力设备的所述操作参数;所述信号处理器处理所生成的心理声学模型以产生所述定制的音频输出;以及所述信号处理器生成针对所述经分类的听力环境的所述音频输出。
8.根据权利要求1所述的听力设备,还包括:
传感器,其被配置为感测在所述听力环境中在所述听力设备的操作时发生的环境。
9.根据权利要求8所述的听力设备,其中,所述环境包括以下中的至少一项:时间、日期、位置、所述听力设备与外部设备的连接状态、向所述听力设备的声学输入的源以及用户活动。
10.根据权利要求9所述的听力设备,其中,所述传感器包括以下中的至少一项:全球定位***接收器、加速度计、温度传感器、时间和日期传感器、被配置为检测所述听力设备的连接状态的连接传感器、心率传感器、运动传感器、照度传感器、面部识别传感器和声音传感器。
11.根据权利要求8所述的听力设备,还包括:
听力活动分类器,其被配置为处理感测到的环境以确定所述听力设备用户的听力活动。
12.根据权利要求8所述的听力设备,其中,所述处理电路使用感测到的环境来生成所述心理声学模型。
13.根据权利要求8所述的听力设备,其中,所述传感器包括智能电话、活动***或智能手表。
14.一种用于针对听力设备用户控制听力设备的操作的方法,包括:
接收声学输入;
使用接收到的声学输入对听力环境进行分类;
处理所述声学输入以调节所述听力设备的操作参数以产生声学输出,其中,对所述声学输出的处理以及对所述操作参数的调节是使用听力环境分类和所述听力设备用户的听力能力来执行的;
向所述听力设备用户提供所述声学输出;
接收来自所述听力设备用户的关于所述听力设备用户对所述声学输出的感知的反馈,所述反馈包括关于所述声学输出的用户满意度或不满意度的程度;并且
使用所述反馈、所述听力环境分类和所述声学输出来生成针对所述听力设备用户的心理声学模型。
15.根据权利要求14所述的方法,还包括:
所述用户手动调节所述听力设备的所述操作参数以改变所述声学输出。
16.根据权利要求15所述的方法,其中,所述手动调节被添加到具有在所述手动调节被执行时的所述听力环境分类的所述心理声学模型。
17.根据权利要求14至16中的任一项所述的方法,还包括:
向所述用户提供对于提供所述反馈的提示。
18.根据权利要求17所述的方法,其中,所述提示在所述操作参数已经被调节之后被提供给所述听力设备用户。
19.根据权利要求17所述的方法,其中,所述提示在针对相同的听力环境分类和相同的声学输出接收到恒定的用户反馈之后被中断。
20.根据权利要求19所述的方法,其中,恒定反馈包括连续三次接收到同等的用户反馈。
21.根据权利要求14所述的方法,还包括:
接收听力活动数据;
使用所述听力活动数据对听力活动进行分类,其中,听力活动包括以下中的至少一项:时间位置;地理位置;状况数据,其包括以下中的至少一项:位置的类型、位置的物理特性、用于什么位置以及在一位置处发生什么类型的交互;以及听力设备用户活动。
22.根据权利要求21所述的方法,其中,经分类的听力活动被添加到所述心理声学模型,并且与所述听力活动期间的所述听力环境分类和所述操作参数相关联。
23.根据权利要求22所述的方法,其中,在所述听力活动期间由所述用户做出的用户反馈和/或任何手动调节与所述心理声学模型中的所述经分类的听力活动相关联。
24.根据权利要求21至23中的任一项所述的方法,其中,针对关于在所述听力活动期间对听力设备操作的感知的活动反馈来提示所述用户。
25.根据权利要求14所述的方法,其中,所述方法由所述听力设备和/或能够与所述听力设备通信的外部设备实时地自动执行。
CN201780097848.2A 2017-12-20 2017-12-20 听力设备及其操作方法 Active CN111492672B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/083874 WO2019120521A1 (en) 2017-12-20 2017-12-20 Intelligent,online hearing device performance management

Publications (2)

Publication Number Publication Date
CN111492672A CN111492672A (zh) 2020-08-04
CN111492672B true CN111492672B (zh) 2022-10-21

Family

ID=60813853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097848.2A Active CN111492672B (zh) 2017-12-20 2017-12-20 听力设备及其操作方法

Country Status (4)

Country Link
US (1) US11343618B2 (zh)
EP (1) EP3729828A1 (zh)
CN (1) CN111492672B (zh)
WO (1) WO2019120521A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3982647A1 (en) * 2020-10-09 2022-04-13 Sonova AG Coached fitting in the field
US11849288B2 (en) * 2021-01-04 2023-12-19 Gn Hearing A/S Usability and satisfaction of a hearing aid
DK180999B1 (en) * 2021-02-26 2022-09-13 Gn Hearing As Fitting agent and method of determining hearing device parameters
US11689868B2 (en) 2021-04-26 2023-06-27 Mun Hoong Leong Machine learning based hearing assistance system
CN116939458A (zh) * 2022-04-06 2023-10-24 上海又为智能科技有限公司 用于听力辅助设备的监控方法和装置
GB2620978A (en) * 2022-07-28 2024-01-31 Nokia Technologies Oy Audio processing adaptation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3236673A1 (en) * 2016-04-18 2017-10-25 Sonova AG Adjusting a hearing aid based on user interaction scenarios

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889879B2 (en) 2002-05-21 2011-02-15 Cochlear Limited Programmable auditory prosthesis with trainable automatic adaptation to acoustic conditions
EP1453356B1 (de) 2003-02-27 2012-10-31 Siemens Audiologische Technik GmbH Verfahren zum Einstellen eines Hörsystems und entsprechendes Hörsystem
EP2191662B1 (en) 2007-09-26 2011-05-18 Phonak AG Hearing system with a user preference control and method for operating a hearing system
US9253583B2 (en) * 2009-02-16 2016-02-02 Blamey & Saunders Hearing Pty Ltd. Automated fitting of hearing devices
EP2596647B1 (en) * 2010-07-23 2016-01-06 Sonova AG Hearing system and method for operating a hearing system
DE102011076484A1 (de) * 2011-05-25 2012-11-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Tonwiedergabevorrichtung mit hörszenariosimulation
EP2736273A1 (en) * 2012-11-23 2014-05-28 Oticon A/s Listening device comprising an interface to signal communication quality and/or wearer load to surroundings
EP2884766B1 (en) * 2013-12-13 2018-02-14 GN Hearing A/S A location learning hearing aid
JP6190351B2 (ja) * 2013-12-13 2017-08-30 ジーエヌ ヒアリング エー/エスGN Hearing A/S 学習型補聴器
EP3095252A2 (en) * 2014-01-17 2016-11-23 Hearglass, Inc. Hearing assistance system
EP3046338A1 (en) * 2015-01-13 2016-07-20 Oticon Medical A/S Hearing aid system with an aligned auditory perception
DE102015203288B3 (de) 2015-02-24 2016-06-02 Sivantos Pte. Ltd. Verfahren zur Ermittlung von trägerspezifischen Nutzungsdaten eines Hörgeräts, Verfahren zur Anpassung von Hörgeräteeinstellungen eines Hörgeräts, Hörgerätesystem und Einstelleinheit für ein Hörgerätesystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3236673A1 (en) * 2016-04-18 2017-10-25 Sonova AG Adjusting a hearing aid based on user interaction scenarios

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient individualization of hearing aid processed sound;Jens Brehm Nielsen;《2013 IEEE International Conference on Acoustics, Speech and Signal Processing》;20131021;全文 *

Also Published As

Publication number Publication date
EP3729828A1 (en) 2020-10-28
US11343618B2 (en) 2022-05-24
US20210092534A1 (en) 2021-03-25
CN111492672A (zh) 2020-08-04
WO2019120521A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
CN111492672B (zh) 听力设备及其操作方法
EP3520102B1 (en) Context aware hearing optimization engine
EP2071875B2 (en) System for customizing hearing assistance devices
US10510345B2 (en) Hearing aid device with speech control functionality
US20110051963A1 (en) Method for fine-tuning a hearing aid and hearing aid
CN113196229A (zh) 会话辅助音频设备个性化
US20210168538A1 (en) Hearing aid configured to be operating in a communication system
US11425516B1 (en) System and method for personalized fitting of hearing aids
CN113228710B (zh) 听力装置中的声源分离及相关方法
US11627398B2 (en) Hearing device for identifying a sequence of movement features, and method of its operation
US8139779B2 (en) Method for the operational control of a hearing device and corresponding hearing device
CN111279721B (zh) 听力装置***和动态地呈现听力装置修改建议的方法
CN112470496B (zh) 使用正常事物的听力性能和康复和/或复原增强
US10873816B2 (en) Providing feedback of an own voice loudness of a user of a hearing device
US11758341B2 (en) Coached fitting in the field
WO2024080160A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
EP4149120A1 (en) Method, hearing system, and computer program for improving a listening experience of a user wearing a hearing device, and computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant