CN109754796A - 使用多个麦克风执行功能的方法和电子装置 - Google Patents
使用多个麦克风执行功能的方法和电子装置 Download PDFInfo
- Publication number
- CN109754796A CN109754796A CN201811323363.3A CN201811323363A CN109754796A CN 109754796 A CN109754796 A CN 109754796A CN 201811323363 A CN201811323363 A CN 201811323363A CN 109754796 A CN109754796 A CN 109754796A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- function
- reference model
- mode data
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 17
- 230000000903 blocking effect Effects 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 6
- 241000209140 Triticum Species 0.000 claims description 5
- 235000021307 Triticum Nutrition 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000009527 percussion Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 137
- 230000005236 sound signal Effects 0.000 description 31
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及用于执行功能的电子装置和方法。电子装置包括麦克风和处理器。处理器实现包括以下操作的方法:使用麦克风检测用户输入;基于与该输入对应的声音信息生成模式数据;以及执行与模式数据对应的功能。
Description
技术领域
本公开总体涉及用于执行与使用电子装置中多个麦克风生成的模式数据对应的功能的设备和方法。
背景技术
随着信息通信技术和半导体技术的进步,电子装置现提供诸如广播、无线互联网、相机、用户认证、电子支付等各种功能。为了能够容易地使用这些不同的功能,电子装置可接收用户通过麦克风发出的语音命令,并提供与用户语音命令对应的功能。
为了提高语音命令的用户语音识别,电子装置可包括设置在电子装置的特定位置处(诸如,设置在电子装置的顶部处)的多个麦克风。然而,如果通常包括单独的、用于检测用户的物理输入的物理输入器件(例如,主页按钮)的电子装置在特定位置处添加或包括麦克风,电子装置的物理设计的复杂性可能增加,制造成本可能增加,并且电子装置适当的美学设计可能变得更加受限。
发明内容
为了解决上述缺陷,本公开的主要方面提供了执行与使用电子装置中的多个麦克风生成的模式数据对应的功能的设备和方法。
根据各种实施方式,公开了一种电子装置,该电子装置包括多个麦克风和至少一个处理器,其中,至少一个处理器配置成:使用多个麦克风检测用户输入;基于与用户输入对应的声音信息生成模式数据;以及执行与所生成的模式数据对应的功能。
根据各种实施方式,公开了一种操作电子装置的方法,该方法包括:使用多个麦克风检测用户输入;基于与检测到的用户输入对应的声音信息生成模式数据;以及执行与所生成的模式数据对应的功能。通过下文结合附图公开了本公开的各种实施方式的详细描述,本公开的其它方面、有益效果和显著特征将对本领域技术人员变得显而易见。
附图说明
通过下文结合附图的描述,本公开的某些实施方式的以上和其它方面、特征和优点将更加明显,其中:
图1是根据各种实施方式的在网络环境中的用于执行与使用多个麦克风生成的模式数据对应的功能的电子装置的框图;
图2是根据各种实施方式的用于使用多个麦克风执行功能的音频模块的框图;
图3是根据本公开的各种实施方式的包括多个麦克风的电子装置的图;
图4A和图4B是根据本公开的各种实施方式的电子装置的框图;
图5是在根据本公开的各种实施方式的基于与电子装置中的用户输入对应的模式数据执行功能的方法的流程图;
图6A至图6E是在根据本公开的各种实施方式的电子装置的麦克风处的用户输入的图;
图7是根据本公开的各种实施方式的基于电子装置中的麦克风的输入信号电平差生成模式数据的方法的流程图;
图8A和图8B是在根据本公开的各种实施方式的电子装置中的麦克风的输入信号电平差的图;
图9是在根据本公开的各种实施方式的电子装置中的通过将模式数据与参考模式进行比较来执行与模式数据对应的功能的方法的流程图;
图10是在根据本公开的各种实施方式的电子装置中的通过从外部装置接收参考模式信息来执行与模式数据对应的功能的方法的流程图;
图11是在根据本公开的各种实施方式的电子装置中的通过与外部装置相关联来执行与模式数据对应的功能的方法的流程图;以及
图12是在根据本公开的各种实施方式的电子装置中的基于状态信息执行与模式数据对应的功能的方法的流程图。
在整个附图中,相同的附图标记将被理解为表示相同的部分、部件和结构。
具体实施方式
在下文中,参考附图对各种实施方式进行详细描述。在下文的各种实施方式中,如果公知的功能或实施例将对本公开的主题产生不必要的模糊,则将不对这些公知的功能或实施例进行详细描述。此外,待在下文进行描述的术语考虑到各种实施方式中的功能而被限定,并可根据用户或操作者的意图或实践而被改变。因此,这些术语的限定应基于说明书的全部内容来进行限定。
图1是根据各种实施方式的在网络环境中的用于执行与使用多个麦克风生成的模式数据对应的功能的电子装置的框图。
图1是根据各种实施方式的在网络环境100中的用于执行与使用多个麦克风生成的模式数据对应的功能的电子装置101的框图。参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施方式,电子装置101可经由服务器108与电子装置104进行通信。根据实施方式,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施方式中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施方式中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施方式,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施方式,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施方式,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作***(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施方式,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施方式,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。根据实施方式,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施方式,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施方式,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施方式,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施方式,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施方式,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电源管理模块188可管理对电子装置101的供电。根据实施方式,可将电源管理模块188实现为例如电源管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施方式,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施方式,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。
无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送至电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施方式,天线模块197可包括一个或更多个天线,并且因此,可由例如通信模块190(例如,无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施方式,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施方式,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是根据各种实施方式的用于使用多个麦克风执行功能的音频模块的框图。
图2是示出根据各种实施方式的音频模块170的框图200。参照图2,音频模块170可包括例如音频输入接口210、音频输入混合器220、模数转换器(ADC)230、音频信号处理器240、数模转换器(DAC)250、音频输出混合器260或音频输出接口270。
音频输入接口210可经由麦克风(例如,动圈式麦克风、电容式麦克风、或压电式麦克风)接收与从电子装置101的外部获得的声音相应的音频信号,其中,麦克风配置成输入装置150的一部分或者与电子装置101分离。例如,如果从外部电子装置102(例如,头戴式耳机或麦克风)获得了音频信号,则音频输入接口210可经由连接端178与外部电子装置102直接连接,或者经由无线通信模块192与外部电子装置102无线连接(例如,蓝牙TM通信),以接收音频信号。根据实施方式,音频输入接口210可接收与从外部电子装置102获得的音频信号相关的控制信号(例如,经由输入按钮接收的音量调节信号)。音频输入接口210可包括多个音频输入通道,并可分别经由所述多个音频输入通道中的相应一个音频输入通道接收不同的音频信号。根据实施方式,另外地或可选地,音频输入接口210可从电子装置101的另一组件(例如,处理器120或存储器130)接收音频信号。
音频输入混合器220可将多个输入音频信号合成为至少一个音频信号。例如,根据实施方式,音频输入混合器220可将经由音频输入接口210输入的多个模拟音频信号合成为至少一个模拟音频信号。
ADC 230可将模拟音频信号转换为数字音频信号。例如,根据实施方式,ADC 230可将经由音频输入接口210接收的模拟音频信号转换为数字音频信号,或者另外地或可选地,可将经由音频输入混合器220合成的模拟音频信号转换为数字音频信号。
音频信号处理器240可对经由ADC 230接收到的数字音频信号或从电子装置101的另一组件接收到的数字音频信号执行各种处理。例如,根据实施方式,音频信号处理器240可针对一个或更多个数字音频信号执行以下操作:改变采样率、应用一个或更多个滤波器、插值处理、放大或减小整个或部分频带宽度、噪声处理(例如,减小噪声或回声)、改变声道(例如,在单声道和立体声之间切换)、混合、或提取特定信号。根据实施方式,可以以均衡器的形式实现音频信号处理器240的一个或更多个功能。
DAC 250可将数字音频信号转换为模拟音频信号。例如,根据实施方式,DAC 250可将由音频信号处理器240处理后的数字音频信号或从电子装置101的另一组件(例如,处理器(120)或存储器(130))获得的数字音频信号转换为模拟音频信号。
音频输出混合器260可将待输出的多个音频信号合成为至少一个音频信号。例如,根据实施方式,音频输出混合器260可将由DAC 250转换的模拟音频信号和另一模拟音频信号(例如,经由音频输入接口210接收到的模拟音频信号)合成为至少一个模拟音频信号。
音频输出接口270可经由声音输出装置155将由DAC 250转换的模拟音频信号输出到电子装置101的外部,或者另外地或可选地,可经由声音输出装置155将由音频输出混合器260合成的模拟音频信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器(诸如,动态驱动器或平衡电枢驱动器)或者接收器。根据实施方式,声音输出装置155可包括多个扬声器。在这种情况下,音频输出接口270可经由所述多个扬声器中的至少一些扬声器输出具有多个不同声道(例如,立体声声道或5.1声道)的音频信号。根据实施方式,音频输出接口270可经由连接端178与外部电子装置102(例如,外部扬声器或头戴式耳机)直接连接,或者可经由无线通信模块192与外部电子装置102无线连接,以输出音频信号。
根据实施方式,音频模块170可在不单独包括音频输入混合器220或音频输出混合器260的情况下,通过使用音频信号处理器240的至少一个功能合成多个数字音频信号来产生至少一个数字音频信号。
根据实施方式,音频模块170可包括音频放大器(未示出)(例如,扬声器放大电路),其中,音频放大器能够对经由音频输入接口210输入的模拟音频信号或者将经由音频输出接口270输出的音频信号进行放大。根据实施方式,音频放大器可配置成与音频模块170分离的模块。
根据各种实施方式的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施方式,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施方式以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施方式,而是包括针对相应实施方式的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其它术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施方式,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施方式实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施方式,可在计算机程序产品中包括和提供根据本公开的各种实施方式的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施方式,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施方式,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施方式,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施方式,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
根据本公开的各种实施方式,电子装置可包括多个麦克风和处理器,处理器配置成:检测在多个麦克风处的用户输入;基于用户输入生成模式数据;以及执行与模式数据对应的功能。
根据各种实施方式,用户输入可包括扫过、阻挡和敲击中的至少一项。
根据各种实施方式,处理器可配置成:识别多个麦克风的输入信号电平;识别其中一个麦克风的输入信号电平与其它麦克风的输入信号电平之间的差异;识别该差异是否超过参考范围;以及在该差异超过参考范围时生成模式数据。
根据各种实施方式,处理器可配置成:将模式数据与参考模式列表进行比较;识别在参考模式列表中是否存在与模式数据对应的参考模式;以及如果存在与模式数据对应的参考模式,则执行与模式数据对应的功能。
根据各种实施方式,处理器可配置成:如果不存在与模式数据对应的参考模式,则从外部装置请求与模式数据对应的参考模式信息;从外部装置接收参考模式信息;以及基于参考模式信息执行与模式数据对应的功能。
根据各种实施方式,处理器可配置成:从外部装置请求与模式数据对应的参考模式信息;从外部装置接收参考模式信息;以及基于参考模式信息执行与模式数据对应的功能。
根据各种实施方式,处理器可配置成:识别与模式数据对应的功能;基于所识别的功能确定是否与外部装置相关联;以及如果确定与外部装置相关联,则向外部装置发送用于请求执行所识别的功能的消息。
根据各种实施方式,处理器可配置成:如果确定与外部装置没有关联,则在电子装置处执行与模式数据对应的功能。
根据各种实施方式,处理器可配置成:识别电子装置的状态信息;基于状态信息确定是否发生关联事件;以及如果发生关联事件,则向外部装置发送用于请求执行与模式数据对应的功能的消息。
根据各种实施方式,状态信息可包括电池电平、处理器使用、设置的显示亮度、电子装置所消耗的电流、射频(RF)传输功率以及与电子装置的动作有关的感测信息中的至少一项。
图3是根据本公开的各种实施方式的包括多个麦克风的电子装置的示意图。在下文中,电子装置可包括图1的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图3,电子装置101可包括输入装置和声音输出装置。例如,电子装置101可包括多个麦克风300(即,301、302、303、304、305、306和307)和声音输出装置(例如,扬声器)。例如,麦克风300可结合第一麦克风301至第七麦克风307中的至少一个,并可设置在电子装置101的上部区域中。例如,电子装置101可经由麦克风300识别用户语音,并经由扬声器输出声音。图3中的麦克风300的结构仅为示例,并且麦克风300可包括第一麦克风301至第七麦克风307中的一个或多个,或者包括更多个麦克风。
根据实施方式,处理器120可通过麦克风300检测用户输入。例如,用户输入可包括语音输入和物理输入,并且物理输入可表示用户触摸麦克风300的至少一部分或者用户的身体部位接近于麦克风300。用户的物理输入可包括扫过、阻挡或敲击。
根据实施方式,处理器120可生成模式数据。例如,如果通过麦克风300检测到用户输入,则处理器120可分析输入到麦克风300的信号并生成模式数据。
根据实施方式,处理器120可执行与模式数据对应的功能。例如,处理器120可将模式数据与参考模式列表进行比较,并在参考模式列表中识别与模式数据对应的参考模式。处理器120可执行与所识别的参考模式对应的功能。
图4A和图4B是根据本公开的各种实施方式的电子装置的框图。在下文中,电子装置可包括图1的电子装置101、图3的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图4A,电子装置101可包括麦克风300、音频模块170和处理器120。例如,电子装置101可通过麦克风300检测输入信号。例如,电子装置101可使用音频模块170分析麦克风300的输入信号,并基于输入信号生成模式数据。如图4A中所示,可在语音识别预处理之前分析模式数据。在其它实施方式中,电子装置101可在音频模块170的语音识别预处理之后或大致与其同时生成模式数据。例如,电子装置101可通过音频模块170将语音数据和模式数据发送至处理器120。例如,处理器120可将所接收的语音数据作为语音内容存储在图1的存储器130中或执行与语音数据对应的功能,并执行与所接收的模式数据对应的功能。
参照图4B,电子装置101可类似地包括麦克风300、音频模块170和处理器120。例如,电子装置101可使用音频模块170分析麦克风300的输入信号,并基于所分析的麦克风300的输入信号执行语音识别预处理。例如,处理器120可根据从音频模块170接收的数据生成语音数据和模式数据。此外,处理器120可将所生成的语音数据作为语音内容存储在存储器130中或执行与语音数据对应的功能,并执行与所生成的模式数据对应的功能。图4B的不同之处在于省略了图4A中所示的模式数据的生成。
图5是在根据本公开的各种实施方式的基于与电子装置中的用户输入对应的模式数据执行功能的方法的流程图。图6A至图6E是在根据本公开的各种实施方式的电子装置的麦克风处的用户输入的图。在下文中,电子装置可包括图1的电子装置101、图3的电子装置101、图4A和图4B的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图5,电子装置101可在操作501中检测对图6A至图6E的麦克风300的用户输入。例如,处理器120可通过麦克风300检测用户输入,该用户输入通过与麦克风300接触(例如,通过物理触摸)或者接近接触而被检测。例如,用户输入可包括用户的语音输入、用户的物理输入等。例如,物理输入可包括与麦克风300的至少一部分进行物理接触600或者用户身体的一部分接近于麦克风300。用户的物理输入还可包括诸如扫过、阻挡或敲击的不同的手势输入。例如,用户可如图6A中所示地输入跨过与第二麦克风302对应的输入孔的手势(例如,扫过)。用户可如图6B中所示地输入阻挡第二麦克风302的孔的手势(例如,阻挡)。用户可如图6C中所示地输入从第一麦克风301朝向第二麦克风302移动的手势(例如,扫过动作)。用户可如图6D所示地输入从第一麦克风301朝向第三麦克风303移动的手势(例如,扫过动作)。
在操作503中,电子装置101可基于用户输入生成模式数据。例如,如果通过麦克风300检测到用户输入,则处理器120可分析输入到麦克风300的信号并针对用户输入生成相应的模式数据。例如,输入到麦克风300的信号可包括由用户输入产生的声音以及电子装置101周围的噪声(例如,外界的噪声或环境噪声)。例如,处理器120可通过将麦克风300的输入信号电平与其它麦克风300的输入信号电平进行比较来生成模式数据,这将在下文的图7中进一步描述。
根据实施方式,处理器120可通过分析麦克风300的输入信号的频率模式来生成模式数据。例如,如果在检测到用户输入时麦克风300的输入信号的频率模式与参考频率模式相同或者类似,则处理器120可生成模式数据。
在操作505中,电子装置101可执行与模式数据对应的功能。例如,处理器120可将模式数据与参考模式列表进行比较,并在参考模式列表中识别与模式数据对应的参考模式。处理器120可执行与所识别的参考模式对应的功能。例如,处理器120可响应于与如图6A中所示的扫过第二麦克风302的手势对应的模式数据执行打开电子装置101的功能,可响应于与图6B中所示的阻挡第二麦克风302的手势对应的模式数据执行关闭电子装置101的功能,可响应于与如图6C中所示的从第一麦克风301朝向第二麦克风302移动的手势对应的模式数据来增大电子装置101的音量,并可响应于与如图6D中所示的从第一麦克风301朝向第三麦克风303移动的手势对应的模式数据来减小电子装置101的音量。例如,处理器120可将与如图6E中所示的依次经过第四麦克风304、第三麦克风303、第七麦克风307和第五麦克风305的手势对应的模式数据与参考模式进行比较,并且如果模式数与参考模式匹配则执行相应的功能(例如,解锁电子装置101)。
图7是根据本公开的各种实施方式的基于电子装置中的麦克风的输入信号电平差生成模式数据的方法的流程图。图8A和图8B是在根据本公开的各种实施方式的电子装置中的麦克风的输入信号电平差的图。下文对图5的操作501和503中的基于麦克风的输入信号电平差生成模式数据的操作进行描述。电子装置可包括图1的电子装置101、图3的电子装置101、图4A和图4B的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图7,在操作701中,电子装置101可识别图3的麦克风300的输入信号电平。例如,处理器120可接收与第一麦克风301至第七麦克风307对应的输入信号,并识别所接收的输入信号各自的电平(例如,频率幅度)。例如,图8A和图8B描绘了输入信号的频率响应曲线。处理器120可基于输入信号的频率响应特性识别输入信号的电平。
在操作703中,电子装置101可识别麦克风的输入信号电平与其它麦克风的输入信号电平之间的差异。例如,如果第一麦克风的输入信号电平与其余麦克风的输入信号电平之间的差异超过某一预设阈值,则处理器120可识别输入信号之间的差异(例如,在步骤705处识别差异以供进一步考虑)。例如,图8A的频率响应曲线可以是当用户扫过第二麦克风302时的频率响应曲线。例如,在图8A中,在用户扫过的时间801处,处理器120可识别第二麦克风302的输入信号802的电平(例如,频率幅度)与其它麦克风301及303至307的输入信号803的电平之间的差异。例如,图8B的频率响应曲线可以是当用户阻挡第一麦克风301时的频率响应曲线。例如,在图8B中,在用户阻挡的时间804处,处理器120可识别第一麦克风301的输入信号805的电平(例如,频率幅度)与其它麦克风302至307的输入信号806的电平之间的差异。
在操作705中,电子装置101可识别所识别的麦克风的输入信号电平与其它麦克风的输入信号电平之间的差异是否超过预定参考范围。例如,参考范围可以是超过特定电平的频率范围。例如,处理器120可识别在特定频率范围上麦克风的输入信号电平是否与其它麦克风的输入信号电平不同。例如,如果第二麦克风302的输入信号802的电平与其它麦克风301及303至307的输入信号803的电平之间的差异达到某个值(例如,达到可视化为大于频率轴的一半的值,其中,频率轴为如图8A中所示的X轴),则处理器120可识别出第二麦克风302的输入信号802的电平与其它麦克风301及303至307的输入信号803的电平之间的差异超过参考范围。如果第一麦克风301的输入信号805的电平与其它麦克风302至307的输入信号806的电平之间的差异达到某个值(例如,达到可视化为大于频率轴的一半的值,其中,该频率轴为如图8B中所示的X轴),则处理器120可识别出第一麦克风301的输入信号805的电平与其它麦克风302至307的输入信号806的电平之间的差异超过参考范围。
如果麦克风的输入信号电平与其它麦克风的输入信号电平之间的差异低于参考范围,则电子装置101可返回到操作701。例如,处理器120可周期性地识别麦克风的输入信号电平。
相反,如果麦克风的输入信号电平与其它麦克风的输入信号电平之间的差异超过参考范围,则电子装置101可在操作707中生成模式数据。例如,处理器120可响应于图8A中的第二麦克风302处的扫过而生成模式数据。例如,处理器120可响应于图8B中的第一麦克风301处的阻挡而生成模式数据。
图9是在根据本公开的各种实施方式的电子装置中的通过将模式数据与参考模式进行比较来执行与模式数据对应的功能的方法的流程图。下文对图5的操作505中的执行与模式数据对应的功能的操作进行描述。电子装置可包括图1的电子装置101、图3的电子装置101、图4A和图4B的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图9,在操作901中,电子装置101可将模式数据与参考模式列表进行比较。例如,处理器120可将参考模式列表预先存储在图1的存储器中。例如,参考模式列表可包括多个参考模式以及分别与多个参考模式对应的功能。例如,参考模式列表可包括以下项中的至少一项:第一参考模式(图6A中的扫过第二麦克风302)和相应的第一功能(打开电子装置101)、第二参考模式(图6B中的阻挡第二麦克风302)和相应的第二功能(关闭电子装置101)、第三参考模式(图6C中的从第一麦克风301朝向第二麦克风302移动的手势)和相应的第三功能(增大电子装置101的音量)、第四参考模式(图6D中的从第一麦克风301朝向第三麦克风303移动的手势)和相应的第四功能(减小电子装置101的音量)以及第五参考模式(图6E中的依次经过第四麦克风304、第三麦克风303、第七麦克风307和第五麦克风305的手势)和相应的第五功能(解锁电子装置101)。
在操作903中,电子装置101可识别参考模式列表中指示的参考模式是否与模式数据对应(例如,与模式数据匹配或大致匹配)。例如,处理器120可识别参考模式列表是否包括与模式数据对应的参考模式。
当参考模式与模式数据对应或与模式数据匹配时,电子装置101可在操作905中执行与模式数据对应的功能。例如,如果第一参考模式(例如,如图6A中的扫过第二麦克风302)与根据扫过第二麦克风302的输入而生成的模式数据匹配,处理器120可执行与第一参考模式对应(例如,映射到第一参考模式)的第一功能(例如,打开电子装置101)。在一些实施方式中,电子装置101随后可返回到图5的操作501或图7的操作701。
在没有与模式数据对应的参考模式的情况下,电子装置101可在操作907中从外部装置请求与模式数据对应的参考模式信息。例如,处理器120可识别参考模式列表不包括扫过第一麦克风301的模式数据,并从外部装置请求参考模式信息,以执行与模式数据对应的功能。例如,外部装置可以是服务器、外部存储装置或***控制装置(例如,智能家庭集线器)。例如,参考模式信息可包括参考模式和相应的功能。
在操作909中,电子装置101可从外部装置接收参考模式信息。例如,处理器120可通过经由图1的通信模块190接收的外部传输来接收与模式数据对应的参考模式信息(例如,参考模式和相应的功能)。
根据实施方式,电子装置101可从外部装置接收指示没有参考模式信息与模式数据对应的消息,并结束该过程或周期性地识别麦克风的输入信号电平。
如果从外部装置接收到参考模式信息,则电子装置101可在操作905中执行与模式数据对应的功能。例如,基于参考模式信息,处理器120可识别与扫过第一麦克风301的模式数据对应的第六参考模式,并执行与第六参考模式对应的功能(使电子装置101静音)。
根据实施方式,在没有参考模式与模式数据对应的情况下,电子装置101可结束该过程而不执行特定功能,并且不进行操作907和909。
图10是在根据本公开的各种实施方式的电子装置中通过从外部装置接收参考模式信息来执行与模式数据对应的功能的方法的流程图。下文对图5的操作505中的执行与模式数据对应的功能的操作进行描述。电子装置可包括图1的电子装置101、图3的电子装置101、图4A和图4B的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图10,电子装置101可在操作1001中从外部装置请求与模式数据对应的参考模式信息。例如,电子装置101可缺少存储在图1的存储器130中的单独的参考模式列表(例如,可不存在与模式数据匹配的参考模式)。因此,处理器120可通过图1的通信模块190向外部装置发送用于请求与模式数据匹配的参考模式信息的消息。例如,外部装置可以是服务器、外部存储装置或***控制装置(例如,智能家庭集线器)。例如,参考模式信息可包括参考模式列表。例如,参考模式列表可包括多个参考模式和相应的功能。
在操作1003中,电子装置101可从外部装置接收参考模式信息的传输。例如,处理器120可通过图1的通信模块190从外部装置接收包括参考模式列表的参考模式信息。
在操作1005中,电子装置101可执行与模式数据对应的功能。例如,基于在所接收的参考模式信息中指示的新参考模式列表,处理器120可识别与模式数据(例如,表示从第一麦克风301朝向第二麦克风302移动的输入)对应或匹配的第三参考模式,并执行与第三参考模式对应(例如,先前映射到第三参考模式)的第三功能(诸如,增大电子装置101的音量)。
根据实施方式,电子装置101可从外部装置接收表示没有参考模式与模式数据对应的消息,并且结束该过程或周期性地识别麦克风的输入信号电平。
图11是在根据本公开的各种实施方式的电子装置中通过与外部装置相关联来执行与模式数据对应的功能的方法的流程图。下文对图5的操作505中的执行与模式数据对应的功能的操作进行描述。电子装置可包括图1的电子装置101、图3的电子装置101、图4A和图4B的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图11,电子装置101可在操作1101中识别与模式数据对应的功能。例如,该功能可以在电子装置101处执行,也可以不在电子装置101处执行。该功能可同时由电子装置和外部装置执行。例如,与模式数据对应的功能可以是第一功能(例如,打开装置的音量)、第二功能(例如,打开外部装置)或第三功能(例如,显示内容)中的任何一个。
在操作1103中,电子装置101可基于所识别的功能确定是否与外部装置相关联。例如,确定是否与外部装置相关联可以确定哪个装置执行所识别的功能。例如,与外部装置相关联可表示电子装置101和外部装置一起执行所识别的功能,或者外部装置根据电子装置101的控制信号执行所识别的功能。相反,不与外部装置相关联可表示电子装置101独自执行所识别的功能。
如果确定不与外部装置相关联,则电子装置101可在操作1105中执行与模式数据对应的功能。例如,处理器120可通过图1的声音输出装置155执行所识别的第一功能(打开装置的声音)。例如,处理器120可通过图1的显示装置160执行所识别的第三功能(显示内容)。
如果确定与外部装置相关联,则电子装置101可在操作1107中向外部装置发送功能执行请求消息。
根据实施方式,如果确定根据电子装置101的控制信号在外部装置处执行功能,则处理器120可通过图1的通信模块190向外部装置发送功能执行请求消息。例如,如果所识别的功能是第二功能(打开外部装置),则电子装置101可以不执行第二功能,并因而处理器120可以通过图1的通信模块190向外部装置发送与第二功能对应的请求消息。例如,如果外部装置为智能灯,则接收到请求消息的外部装置可向外发光。例如,如果电子装置101是不包括显示器或具有有限区域的人工智能扬声器并且所识别的功能是第三功能(显示内容),则处理器120可确定在外部装置处而不是在电子装置101处显示内容,并且通过通信模块190向外部装置发送与第三功能对应的请求消息。例如,如果电子装置101的声音输出装置155具有较低的规格并且外部装置是高规格的扬声器,则处理器120可确定通过外部装置输出声音,并通过通信模块190向外部装置发送与第一功能(打开装置的声音)对应的请求消息。
根据实施方式,如果确定在电子装置101和外部装置处执行所识别的功能,则处理器120可通过通信模块190向外部装置发送功能执行请求消息。例如,如果所识别的功能是第一功能(打开装置的声音),则处理器120可打开电子装置101的声音输出装置155,并通过通信模块190向外部装置发送与第一功能对应的请求消息。因此,用户既可通过电子装置101听到声音,也可通过外部装置听到声音。
根据实施方式,如果确定与外部装置相关联,则电子装置101可向用户提供用于选择由电子装置101还是外部装置执行所识别的功能的消息。例如,处理器120可在电子装置101的显示装置160处显示用于选择由电子装置101还是外部装置执行所识别的功能的消息。此外,处理器120可通过图1的声音输出装置155输出用于选择由电子装置101还是外部装置执行所识别的功能的声音消息。
根据实施方式,在操作1105或操作1107之后,电子装置101可检测用户输入或识别麦克风的输入信号电平。
图12是在根据本公开的各种实施方式的电子装置中基于状态信息执行与模式数据对应的功能的方法的流程图。下文对图5的操作505中的执行与模式数据对应的功能的操作进行描述。电子装置可包括图1的电子装置101、图3的电子装置101、图4A和图4B的电子装置101或电子装置101的至少一部分(例如,处理器120)。
参照图12,在操作1201中,电子装置101可识别电子装置101的状态信息。例如,电子装置的状态信息可包括电池电平、处理器120的使用、设置的显示亮度、电子装置101消耗的电流、RF传输功率或与电子装置101的动作有关的感测信息中的至少一项。
在操作1203中,电子装置101可基于电子装置101的状态信息确定是否发生“关联事件”。关联事件表示在电子装置101的操作中的可预先与相应的功能关联的预定可检测事件。例如,处理器120可基于与电池电平、处理器120的使用、设置的显示亮度、电子装置101消耗的电流、RF传输功率或与电子装置101的动作有关的感测信息中的至少一项有关的可检测事件来确定是否发生关联事件。例如,关联事件可包括选择用于功能执行的装置。例如,如果检测到电子装置101的电池电平低于参考电平,则处理器120可选择外部装置来执行一些所请求的功能,以防止本地电子装置101中的电力消耗。相反,如果电池电平超过参考电平,则处理器120可选择电子装置101执行所请求的功能。
如果发生关联事件,则电子装置101可在操作1205中将功能执行请求消息发送至外部装置。例如,如果检测到电子装置101的电池电平低于参考电平,则处理器120可通过图1的通信模块190将功能执行请求消息发送至外部装置。
相反,如果没有发生关联事件,则在操作1207中,可由电子装置101执行功能。例如,如果电子装置101的电池电平高于参考电平,则处理器120可在电子装置101处执行功能。
根据实施方式,在操作1205或操作1207之后,电子装置101可检测用户输入或识别麦克风的输入信号电平。
根据本公开的各种实施方式,用于操作电子装置的方法可包括:检测多个麦克风处的用户输入;基于用户输入生成模式数据;以及执行与模式数据对应的功能。
根据各种实施方式,用户输入可包括扫过、阻挡和敲击中的至少一项。
根据各种实施方式,生成模式数据可包括:识别多个麦克风的输入信号电平;识别其中一个麦克风的输入信号电平与其它麦克风的输入信号电平之间的差异;识别该差异是否超过参考范围;以及如果差异超过参考范围,则生成模式数据。
根据各种实施方式,执行与模式数据对应的功能可包括:将模式数据与参考模式列表进行比较;识别在参考模式列表中是否存在与模式数据对应的参考模式;以及如果存在与模式数据对应的参考模式,则执行与模式数据对应的功能。
根据各种实施方式,该方法还可包括:如果不存在与模式数据对应的参考模式,则从外部装置请求与模式数据对应的参考模式信息;从外部装置接收参考模式信息;以及基于参考模式信息执行与模式数据对应的功能。
根据各种实施方式,执行与模式数据对应的功能可包括:从外部装置请求与模式数据对应的参考模式信息;从外部装置接收参考模式信息;以及基于参考模式信息执行与模式数据对应的功能。
根据各种实施方式,执行与模式数据对应的功能可包括:识别与模式数据对应的功能;基于所识别的功能确定是否与外部装置相关联;以及如果确定与外部装置相关联,则将请求执行所识别的功能的消息发送至外部装置。
该方法还可包括:如果确定与外部装置没有关联,则在电子装置处执行与模式数据对应的功能。
根据各种实施方式,执行与模式数据对应的功能可包括:识别电子装置的状态信息;基于状态信息确定是否发生关联事件;以及如果发生关联事件,则向外部装置发送用于请求执行与模式数据对应的功能的消息。
根据各种实施方式,状态信息可包括电池电平、处理器使用、设置的显示亮度、电子装置消耗的电流、RF传输功率以及与电子装置的动作有关的感测信息中的至少一项。
根据各种实施方式的电子装置及其操作方法可通过多个麦克风检测用户的物理输入,并因而通过移除单独的物理输入器件而实现电子装置结构的简化、电子装置的制造成本的降低以及电子装置的各种设计。
虽然已经参照本公开的各种实施方式示出并描述了本公开,但本领域技术人员将理解的是,在不背离由所附权利要求及其等同范围限定的本公开的情况下,可在本公开中对形式和细节作出多种改变。
Claims (15)
1.电子装置,包括:
多个麦克风;以及
至少一个处理器,配置成:
使用所述多个麦克风检测用户输入;
基于与所述用户输入对应的声音信息生成模式数据;以及
执行与所生成的模式数据对应的功能。
2.根据权利要求1所述的电子装置,其中,所述用户输入包括由所述多个麦克风检测到的以下各项中的至少一项:
在所述多个麦克风中的一个或多个麦克风上的扫过动作;对所述多个麦克风中的一个或多个麦克风的阻挡;以及对所述电子装置的敲击。
3.根据权利要求1所述的电子装置,其中,所述至少一个处理器配置成:
识别与由所述多个麦克风中的每个麦克风检测到的所述用户输入对应的输入信号电平;
识别所述多个麦克风中的一个麦克风的输入信号电平与所述多个麦克风中的其它麦克风的输入信号电平之间的差异;以及
检测所识别的差异是否超过参考范围,
其中,响应于检测到所述差异超过所述参考范围而生成所述模式数据。
4.根据权利要求1所述的电子装置,其中,执行所述功能还包括:
将所生成的模式数据与参考模式列表中指示的参考模式进行比较;
检测所述参考模式中的一个参考模式是否与所述模式数据匹配;以及
响应于检测到匹配的参考模式,执行映射到所述匹配的参考模式的功能。
5.根据权利要求4所述的电子装置,还包括通信电路,其中,所述至少一个处理器配置成:
响应于检测到所述参考模式列表中没有参考模式与所述模式数据匹配,由所述通信电路向外部装置发送对参考模式信息的请求;
从所述外部装置接收所述参考模式信息;以及
如果所述参考模式信息包括与所生成的模式数据匹配的特定参考模式,则执行与所述特定参考模式对应的特定功能。
6.根据权利要求1所述的电子装置,其中,所述至少一个处理器配置成:
从外部装置请求参考模式信息;以及
从所述外部装置接收所述参考模式信息,
其中,执行所述功能还包括:
检测被包括在所述参考模式信息中的、与所生成的模式数据匹配的参考模式;以及
基于被映射到所检测到的、所述参考模式信息中的参考模式的功能,识别用于执行的功能。
7.根据权利要求1所述的电子装置,还包括通信电路,
其中,所述至少一个处理器配置成:
识别与所述模式数据对应的功能;
基于所识别的功能确定所述功能的执行是否与外部装置相关联;以及
当确定所述功能的执行与所述外部装置相关联时,向所述外部装置发送请求通过所述外部装置执行所识别的功能的消息。
8.根据权利要求7所述的电子装置,其中,所述至少一个处理器配置成:
当确定所述功能的执行与所述外部装置没有关联时,通过所述电子装置执行与所述模式数据对应的功能。
9.根据权利要求7所述的电子装置,其中,所述至少一个处理器配置成:
识别所述电子装置的状态;
基于所识别的状态确定是否发生了与所述功能的执行相关联的预定事件;以及
如果发生了所述预定事件,则向所述外部装置发送请求通过所述外部装置执行与所述模式数据对应的功能的消息。
10.根据权利要求9所述的电子装置,其中,所识别的状态包括以下各项中的至少一项:预定电池电平、预定处理器使用值、显示亮度配置值、所述电子装置消耗的电流量、射频传输功率以及表示所述电子装置的预定量动作的传感器信息。
11.用于操作电子装置的方法,包括:
使用多个麦克风检测用户输入;
基于与所检测到的用户输入对应的声音信息生成模式数据;以及
执行与所生成的模式数据对应的功能。
12.根据权利要求11所述的方法,其中,生成所述模式数据包括:
识别与由所述多个麦克风中的每个麦克风检测到的所述用户输入对应的输入信号电平;
识别所述多个麦克风中的一个麦克风的输入信号电平与所述多个麦克风中的其它麦克风的输入信号电平之间的差异;以及
检测所识别的差异是否超过参考范围;以及
其中,响应于检测到所述差异超过所述参考范围而生成所述模式数据。
13.根据权利要求11所述的方法,其中,执行与所述模式数据对应的功能包括:
将所生成的模式数据与参考模式列表中指示的参考模式进行比较;
检测所述参考模式中的一个参考模式是否与所述模式数据匹配;以及
响应于检测到匹配的参考模式,执行映射到所述匹配的参考模式的功能。
14.根据权利要求11所述的方法,其中,执行与所述模式数据对应的功能包括:
从外部装置请求参考模式信息;以及
从所述外部装置接收所述参考模式信息,
其中,执行所述功能还包括:
检测被包括在所述参考模式信息中的、与所生成的模式数据匹配的参考模式;以及
基于被映射到所检测到的、所述参考模式信息中的参考模式的功能,识别用于执行的功能。
15.根据权利要求11所述的方法,其中,执行与所述模式数据对应的功能包括:
识别与所述模式数据对应的功能;
基于所识别的功能确定所述功能的执行是否与外部装置相关联;以及
当确定所述功能的执行与所述外部装置相关联时,通过通信电路向所述外部装置发送请求通过所述外部装置执行所识别的功能的消息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170148044A KR20190052394A (ko) | 2017-11-08 | 2017-11-08 | 복수의 마이크를 이용하여 기능을 실행하기 위한 방법 및 그 전자 장치 |
KR10-2017-0148044 | 2017-11-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109754796A true CN109754796A (zh) | 2019-05-14 |
Family
ID=66327917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811323363.3A Pending CN109754796A (zh) | 2017-11-08 | 2018-11-08 | 使用多个麦克风执行功能的方法和电子装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10609480B2 (zh) |
EP (1) | EP3483721A1 (zh) |
KR (1) | KR20190052394A (zh) |
CN (1) | CN109754796A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102445112B1 (ko) * | 2018-02-14 | 2022-09-20 | 삼성전자 주식회사 | 전자파 신호를 기반으로 외부 전자 장치를 제어하기 위한 방법 및 전자 장치 |
JP2019191751A (ja) * | 2018-04-20 | 2019-10-31 | オリンパス株式会社 | 周辺機器、通信システム、中央制御機器、通信方法及び通信プログラム |
KR20210037987A (ko) | 2019-09-30 | 2021-04-07 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 비음성 오디오 신호를 이용한 제어 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040141418A1 (en) * | 2003-01-22 | 2004-07-22 | Fujitsu Limited | Speaker distance detection apparatus using microphone array and speech input/output apparatus |
US20140156269A1 (en) * | 2012-12-03 | 2014-06-05 | Lg Electronics Inc. | Portable device and method for providing voice recognition service |
US20140222436A1 (en) * | 2013-02-07 | 2014-08-07 | Apple Inc. | Voice trigger for a digital assistant |
WO2016099903A1 (en) * | 2014-12-17 | 2016-06-23 | Microsoft Technology Licensing, Llc | Tactile input produced sound based user interface |
CN106465006A (zh) * | 2014-06-30 | 2017-02-22 | 三星电子株式会社 | 麦克风的操作方法和支持该方法的电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7490041B2 (en) * | 2003-07-15 | 2009-02-10 | Nokia Corporation | System to allow the selection of alternative letters in handwriting recognition systems |
GB0801396D0 (en) | 2008-01-25 | 2008-03-05 | Bisutti Giovanni | Electronic apparatus |
KR101340028B1 (ko) | 2011-11-02 | 2013-12-10 | 한국과학기술원 | 사용자 단말의 터치 검출 방법, 장치 및 이를 이용한 사용자 단말 |
US9043210B1 (en) * | 2012-10-02 | 2015-05-26 | Voice Security Systems, Inc. | Biometric voice command and control switching device and method of use |
US9564128B2 (en) * | 2013-12-09 | 2017-02-07 | Qualcomm Incorporated | Controlling a speech recognition process of a computing device |
CN107405080A (zh) * | 2015-03-09 | 2017-11-28 | 皇家飞利浦有限公司 | 利用可穿戴设备远程地监测用户的健康的***、设备和方法 |
KR102386309B1 (ko) * | 2015-06-04 | 2022-04-14 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 입출력 제어 방법 |
-
2017
- 2017-11-08 KR KR1020170148044A patent/KR20190052394A/ko unknown
-
2018
- 2018-11-07 US US16/182,743 patent/US10609480B2/en active Active
- 2018-11-07 EP EP18205007.0A patent/EP3483721A1/en not_active Ceased
- 2018-11-08 CN CN201811323363.3A patent/CN109754796A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040141418A1 (en) * | 2003-01-22 | 2004-07-22 | Fujitsu Limited | Speaker distance detection apparatus using microphone array and speech input/output apparatus |
US20140156269A1 (en) * | 2012-12-03 | 2014-06-05 | Lg Electronics Inc. | Portable device and method for providing voice recognition service |
US20140222436A1 (en) * | 2013-02-07 | 2014-08-07 | Apple Inc. | Voice trigger for a digital assistant |
CN106465006A (zh) * | 2014-06-30 | 2017-02-22 | 三星电子株式会社 | 麦克风的操作方法和支持该方法的电子设备 |
WO2016099903A1 (en) * | 2014-12-17 | 2016-06-23 | Microsoft Technology Licensing, Llc | Tactile input produced sound based user interface |
Also Published As
Publication number | Publication date |
---|---|
KR20190052394A (ko) | 2019-05-16 |
US20190141444A1 (en) | 2019-05-09 |
EP3483721A1 (en) | 2019-05-15 |
US10609480B2 (en) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11308977B2 (en) | Processing method of audio signal using spectral envelope signal and excitation signal and electronic device including a plurality of microphones supporting the same | |
CN107509153B (zh) | 声音播放器件的检测方法、装置、存储介质及终端 | |
CN105392078B (zh) | 可穿戴电子设备 | |
US11361785B2 (en) | Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones | |
CN112992169B (zh) | 语音信号的采集方法、装置、电子设备以及存储介质 | |
CN108668009B (zh) | 输入操作控制方法、装置、终端、耳机及可读存储介质 | |
CN105451111A (zh) | 耳机播放控制方法、装置及终端 | |
CN109754796A (zh) | 使用多个麦克风执行功能的方法和电子装置 | |
CN108683968A (zh) | 显示控制方法及相关产品 | |
CN106416299A (zh) | 具有用于控制至少一个助听器的操作的应用软件的个人通信设备 | |
KR102419512B1 (ko) | 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 방법 및 전자 장치 | |
US11290800B2 (en) | Wearable electronic device with water repellent structure using speaker module and method for sensing moisture penetration thereof | |
CN108966080A (zh) | 音量调节方法、装置、存储介质及终端设备 | |
KR102512614B1 (ko) | 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법 | |
CN109067965A (zh) | 翻译方法、翻译装置、可穿戴装置及存储介质 | |
US10388301B2 (en) | Method for processing audio signal and electronic device for supporting the same | |
KR20200097590A (ko) | 전자 장치 및 전자 장치의 마이크로폰 블록 검출 방법 | |
WO2023051083A1 (zh) | 音频控制方法、电子设备和音频播放*** | |
US11190891B2 (en) | Method for determining whether error has occurred in microphone on basis of magnitude of audio signal acquired through microphone, and electronic device thereof | |
KR20210001646A (ko) | 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법 | |
CN108958481B (zh) | 设备控制方法及相关产品 | |
CN208337857U (zh) | 用于与终端设备配合使用的电子设备 | |
KR20210101670A (ko) | 음질 개선 방법 및 이를 이용한 전자 장치 | |
CN116156390B (zh) | 一种音频处理方法和电子设备 | |
EP4332966A1 (en) | Method and device for sound recording by electronic device using earphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190514 |
|
WD01 | Invention patent application deemed withdrawn after publication |