CN108595139B - 智能多媒体设备及其显示方法 - Google Patents

智能多媒体设备及其显示方法 Download PDF

Info

Publication number
CN108595139B
CN108595139B CN201810431760.6A CN201810431760A CN108595139B CN 108595139 B CN108595139 B CN 108595139B CN 201810431760 A CN201810431760 A CN 201810431760A CN 108595139 B CN108595139 B CN 108595139B
Authority
CN
China
Prior art keywords
microphone
display area
determining
display
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810431760.6A
Other languages
English (en)
Other versions
CN108595139A (zh
Inventor
董学会
刘鲁松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201810431760.6A priority Critical patent/CN108595139B/zh
Publication of CN108595139A publication Critical patent/CN108595139A/zh
Priority to PCT/CN2018/118566 priority patent/WO2019214216A1/zh
Application granted granted Critical
Publication of CN108595139B publication Critical patent/CN108595139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种智能多媒体设备及其显示方法。一种智能多媒体设备包括设置于其侧面的多个显示区域和设置于其表面的环形麦克风阵列,对应方法包括:确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;根据麦克风与显示区域之间的对应关系确定第一显示区域进行显示。另一种智能多媒体设备包括设置于其侧面的动态显示区域和设置于其表面的环形麦克风阵列,对应方法包括:确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;确定第一麦克风与动态显示区域的对应关系;根据对应关系控制动态显示区域的第一子区域进行显示。本发明的智能多媒体设备能够跟随声源方向/位置的变化实时自动调整可视显示区域。

Description

智能多媒体设备及其显示方法
技术领域
本发明涉及一种智能多媒体设备及其显示方法。
背景技术
随着生活水平的提高,智能家居越来越多的出现在人们的日常生活中,而智能多媒体设备(如智能音箱)作为其中的一类产品广受大众欢迎。市场上的一些智能多媒体设备大多设置有显示屏,显示屏不仅可以用于显示相关信息,还可以通过触控显示屏实现智能多媒体的控制。
目前,智能多媒体设备的显示屏一般朝向固定,不能实时调整进行定向显示,以对准人所在方向,使得用户在观看显示屏或者进行触控操作时,都需要移动至显示屏的对面或手动对设备进行移动,导致人机交互效果差,影响用户体验。
发明内容
本发明提供了一种智能多媒体设备及其显示方法,以解决现有技术方案的显示屏朝向固定、人机交互效果差的问题。
本发明的一个方面提供了一种智能多媒体设备的显示方法,智能多媒体设备包括设置于其侧面的多个显示区域,以及设置于其表面的环形麦克风阵列,环形麦克风阵列中的麦克风与显示区域之间具有对应关系,包括:确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;根据麦克风与显示区域之间的对应关系,确定与第一麦克风对应的第一显示区域;控制第一显示区域进行显示。
可选地,确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风,包括:确定环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
可选地,麦克风与显示区域之间的对应关系包括麦克风与显示区域之间设置位置的对应关系,确定与第一麦克风对应的第一显示区域,包括:根据设置位置的对应关系和第一麦克风的设置位置,确定第一显示区域,其中,当第一麦克风的设置位置在第一显示区域上时,确定第一显示区域;当第一麦克风的设置位置在两个相邻显示区域的边界上时,随机确定两个相邻显示区域中的一个为第一显示区域;或者,确定与设定规则相符的显示区域为第一显示区域;或者,不予响应。
可选地,第一麦克风包括多个参考麦克风,确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风,包括:确定环形麦克风阵列中接收的声音信号强度超过预设强度值的多个麦克风为所述多个参考麦克风,声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
可选地,麦克风与显示区域之间的对应关系包括麦克风与显示区域之间设置位置的对应关系,确定第一麦克风对应的第一显示区域,包括:根据设置位置的对应关系和多个参考麦克风的设置位置,确定第一显示区域,其中,当多个参考麦克风设置位置在所述显示区域上的数量不同时,确定设置参考麦克风数量大于在其他显示区域上参考麦克风数量的显示区域为第一显示区域;当多个参考麦克风设置位置在显示区域上的数量相同时,随机从多个参考麦克风的设置位置所在的显示区域中确定第一显示区域;或者,确定与设定规则相符的显示区域为第一显示区域;或者,不予响应。
本发明的一个方面还提供了一种智能多媒体设备的显示方法,智能多媒体设备包括设置于其侧面的动态显示区域,以及设置于其表面的环形麦克风阵列,包括:确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;确定第一麦克风与显示区域之间的对应关系;根据对应关系控制显示区域的第一子区域进行动态显示。
可选地,确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风,包括:确定环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,所述声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
可选地,确定第一麦克风与之间显示区域的对应关系,包括:根据第一麦克风与显示区域之间的设置位置关系,确定显示区域的第一子区域,第一麦克风的设置位置在第一子区域的中心线上,第一子区域为设定以智能多媒体设备体中心点为顶点的锥体底面。
本发明的另一个方面提供了一种智能多媒体设备,包括设置于其侧面的多个显示区域,以及设置于其表面的环形麦克风阵列,环形麦克风阵列中的麦克风与显示区域之间具有对应关系,还包括:第一信号处理单元,用于确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;第一分析处理单元,用于根据麦克风与显示区域之间的对应关系,确定第一麦克风对应的第一显示区域;第一屏显控制单元,用于控制第一显示区域进行显示。
本发明的另一个方面还提供了一种智能多媒体设备,包括设置于其侧面的动态显示区域,以及设置于其表面的环形麦克风阵列,还包括:第二信号处理单元,确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;第二分析处理单元,用于确定第一麦克风与动态显示区域之间的对应关系;第二屏显控制单元,用于根据对应关系控制动态显示区域的第一子区域进行显示。
本发明的又一个方面还提供了一种智能多媒体***,包括:一个或多个存储单元,存储有可执行指令;一个或多个处理单元,执行可执行指令,用于实现上述智能多媒体设备的显示方法。
本发明提出的智能多媒体设备及其显示方法,对具有多个显示区域的智能多媒体设备,预先设置每个显示区域与相麦克风具有对应关系,在调整智能多媒体的可视显示区域时,根据麦克风阵列中各个麦克风接收声音信号的信号特征确定能够标识声源位置的第一麦克风,以根据麦克风与显示区域的对应关系确定第一麦克风对应的第一显示区域进行显示,实现智能多媒体设备的智能定向显示,使得其能够跟随声源方向/位置的变化实时自动调整可视显示区域,加强人机交互效果,提升用户体验。
本发明提出的智能多媒体设备及其显示方法,对具有一个动态显示区域的智能多媒体设备,该动态显示区域可以动态地划分为多个子区域,在调整智能多媒体的可视显示区域时,通过确定第一麦克风与第一子区域的对应关系,在智能多媒体设备的动态显示区域上动态地确定第一麦克风对应的第一子区域,并控制第一子区域进行显示,实现智能多媒体设备的智能定向显示,使得其能够跟随声源方向/位置的变化实时动态调整可视显示区域,加强人机交互效果,提升用户体验。
附图说明
图1为本发明实施例示出的智能多媒体的立体结构示意图;
图2为本发明实施例示出的智能多媒体的分解示意图;
图3为本发明实施例示出的智能多媒体的剖面示意图;
图4为本发明实施例示出的棱柱体侧面的智能多媒体的多个显示区域示意图;
图5为本发明实施例示出的一种智能多媒体设备的显示方法流程图;
图6为本发明实施例示出的第一显示区域的确定方式示意图;
图7为本发明实施例示出的另一种智能多媒体设备的显示方法流程图;
图8为本发明实施例示出的在动态显示区域上映射第一子区域的示意图;
图9为本发明实施例示出的第一麦克风与第一子区域的对应关系示意图;
图10为本发明实施例示出的第一子区域随第一麦克风变化而动态变化的示意图;
图11为本发明实施例示出的一种智能多媒体设备的结构框图;
图12为本发明实施例示出的另一种智能多媒体设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思,除非上下文另外明确指出。此外,在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本发明的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本发明的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
为提升人机交互效果,打破朝向固定对人为操作范围的限制,本发明在智能多媒体设备的侧面设置多个显示区域,当智能多媒体的侧面为环形侧面,则可以在环形侧面上设置多个显示区域,当智能多媒体的侧面为由多面体的表面构成,则可以在多面体的每个表面设置显示区域,设置麦克风与显示区域的对应关系,通过分析拾取声音信号的特征确定能够标识声源位置的第一麦克风,控制第一麦克风对应的显示区域显示画面,其他显示区域不显示画面,以节约能量,实现显示屏可视位置可调。
为便于说明本实施例的智能多媒体的显示方案,本发明首先通过下述实施例说明智能多媒体设备的组成结构,本实施例的智能多媒体包括但不限于智能音箱、智能电视等设备。
图1为本发明实施例示出的智能多媒体的立体结构示意图,图2为本发明实施例示出的智能多媒体的分解示意图,图3为本发明实施例示出的智能多媒体的剖面示意图,如图1~3所示,本发明实施例的智能多媒体设备包括:上壳1、外壳7、第一PCB板2、显示屏3、第二PCB板4、麦克风阵列和喇叭模组6;
上壳1扣置在外壳7上,并与外壳7围成智能多媒体的壳体,第一PCB板2固定在上壳1的下侧,麦克风阵列设置在第一PCB板2和上壳1之间,上壳1上设置有与麦克风阵列中的麦克风b位置对应设置的麦克孔a,麦克风阵列中的麦克风b通过麦克孔a拾取外界声源的声音信号。
第二PCB板4为智能多媒体的主控制板,固定在外壳7内,显示屏3环绕外壳360度地设置在外壳7外侧,喇叭模组6设置在第二PCB板4和外壳7底部之间,喇叭模组6通过外壳7上的喇叭孔c将声音传递到外界,外壳7上套设有透明外壳5,显示屏3设置在外壳7上且位于透明外壳5和外壳7之间。其中,本实施例的显示屏可以由一块完整的显示屏组成,也可以由多块显示屏拼接而成,本实施例对此不作具体限定。
本实施例的第二PCB板4上可以集成各功能对应的元器件,如在第二PCB板4上设置音频处理、微处理器、屏幕控制模块等,利用音频处理器将麦克风拾取的声音信号进行降噪、去混响等处理,并将处理后的声音信号传递给微处理器,由微处理器确定各个麦克风拾取的声音信号的强度值据此确定声源方向,驱动屏幕控制模块使对应于声源方向的显示区域进行显示。可以理解的是,本实施例可以根据智能多媒体的功能在第二PCB板4上集成相应的元器件,并配置微处理器进行逻辑控制,如当智能多媒体设备支持会议工作模式和一般工作模式时,在微处理器接收到进入会议工作模式指令时,会驱动屏幕控制模块使对应于多个声源方向的各个显示区域进行显示,在微处理器接收到进入一般工作模式时,会驱动屏幕控制模块控制显示屏定向显示。
需要说明的是,本实施例图1~3只是示例性的示出具有圆柱体侧面的智能多媒体设备,显示屏包括圆柱体侧面一周,在此情况下,显示屏可以分割为多个显示区域,根据声源位置选择显示器进行显示。本实施例智能多媒体设备还可以为棱柱体侧面,参考图4所示,可以在棱柱体的每个侧面各设置显示屏,此时智能多媒体设备包括五个显示区域。
本实施例中麦克风阵列中各个麦克风的设置位置与智能多媒体设备的显示区域具有对应关系。由此,本实施例将由根据声源位置确定用于人机交互的显示区域转换为根据能够标识声源位置的第一麦克风的位置确定用于人机交互的显示区域。本发明通过下述实施例具体说明智能多媒体设备的显示方法。
本发明的一个方面提供了一种智能多媒体设备的显示方法。
图5为本发明实施例示出的一种智能多媒体设备的显示方法流程图,其中智能多媒体设备包括设置于其侧面的多个显示区域,以及设置于其表面的环形麦克风阵列,本实施例中环形麦克风阵列中的麦克风与显示区域之间具有对应关系,如麦克风与多个显示区域之间的设置位置的对应关系。如图5所示,本实施例的方法包括:
S510,确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风。
本实施例基于麦克风接收声音信号的信号强弱与声源位置/方向相关,正对声源且距离声源位置近的麦克风拾取的声音信号的强度大的特点,利用智能多媒体设备的环形麦克风阵列中麦克风拾取声源的声音信号,从拾取到声音信号的多个麦克风中确定出能够表示声源位置/方向的第一麦克风,以根据麦克风与多个显示区域之间的对应关系确定出第一麦克风对应的用于人机交互的显示区域。
S520,根据麦克风与显示区域的对应关系,确定与第一麦克风对应的第一显示区域。
本实施例在智能多媒体设备初始化时,设置麦克风与多个显示区域的对应关系,如设置麦克风与多个显示区域之间的设置位置的对应关系。根据本实施例,在智能多媒体设备初始化时,根据智能多媒体设备的各个显示区域的位置以及环形麦克风阵列中各个麦克风的设置位置,初始化多个显示区域与麦克风的对应关系,从而在确定出第一麦克风后,可以根据改对应关系确定第一麦克风对应的第一显示区域。
S530,控制第一显示区域进行显示。
本实施例预先设置智能多媒体设置的多个显示区域,并使每个显示区域与相应的麦克风具有对应关系,在调整智能多媒体的可视显示区域时,根据麦克风阵列中各个麦克风接收声音信号的信号特征确定能够标识声源位置的第一麦克风,根据麦克风与显示区域的对应关系确定第一麦克风对应的第一显示区域进行显示,实现智能多媒体设备的智能定向显示,使得其能够跟随声源方向/位置的变化实时自动调整可视显示区域,加强人机交互效果,提升用户体验。
根据本发明的实施例,环形麦克风阵列中麦克风与显示区域的对应关系包括麦克风与显示区域之间设置位置的对应关系。本实施例在利用环形麦克风阵列中各个麦克风拾取声源的声音信号,根据声音信号的特点确定环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风之后,获取第一麦克风的设置位置,以根据麦克风与显示区域之间设置位置的对应关系和第一麦克风的设置位置,确定第一麦克风对应第一显示区域:
当第一麦克风的设置位置在第一显示区域上时,确定第一显示区域。当第一麦克风的设置位置在两个相邻显示区域的边界上时,随机确定两个相邻显示区域中的一个为第一显示区域,或者确定与设定规则相符的显示区域为第一显示区域,或者不予响应。本实施例中的设定规则包括但不局限于以参考位置的顺/逆时针方向确定第一显示区域,参考位置可以为第一麦克风的设置位置。
根据本发明的实施例,以从具有圆柱形侧面的智能多媒体设备的多个显示区域中确定第一显示区域为例进行说明,从具有其他形状侧面的智能多媒体设备的多个显示区域中确定第一显示区域与本实施例的方法相同,再此不在赘述。
图6为本发明实施例示出的第一显示区域的确定方式示意图,参考图6所示,本实施例假设智能多媒体设备包括四个显示区域,每个显示区域中设置有8个麦克风,图6中用圆点表示麦克风。如图6所示,本实施例假设智能多媒体设备中黑色实心圆点表示的五个麦克风A7、B0、B1、B2和B3可以拾取到声源的声音信号,当麦克风B1拾取的声音信号的强度最大时,确定显示区域2为第一显示区域,当麦克风A7拾取的声音信号的强度最大时,确定显示区域1为第一显示区域,当麦克风B0拾取的声音信号的强度最大时,可以确定显示区域1或显示区域2为第一显示区域,还可以根据设定规则确定第一显示区域,例如设定当第一麦克风B0位于相邻显示区域边界时,其顺时针方向的显示区域2确定为第一显示区域,也可以不予响应,重新进入声音拾取。
本发明上述实施例根据麦克风拾取的声音信号确定第一麦克风,再根据麦克风与显示区域的对应关系确定第一麦克风对应的第一显示区域,具有简单快捷,便于实时调整智能多媒体设备的可视显示区域。
发明的本实施例还可以根据麦克风拾取的声音信号确定第一麦克风包括的多个参考麦克风,再根据多个参考麦克风在显示区域的分布情况确定第一显示区域。
根据本发明的实施例,环形麦克风阵列中麦克风与显示区域的对应关系包括麦克风与显示区域之间设置位置的对应关系。本实施例在利用环形麦克风阵列中的麦克风拾取声源的声音信号,根据声音信号的特点确定环形麦克风阵列中接收的声音信号强度超过预设强度值的多个参考麦克风之后,获取多个参考麦克风的设置位置,根据麦克风与显示区域之间设置位置的对应关系和多个参考麦克风的设置位置,确定第一显示区域:
当多个参考麦克风的设置位置在显示区域上的数量不同时,确定设置参考麦克风数量大于其他显示区域上参考麦克风数量的显示区域为第一显示区域。假设当多个参考麦克风的设置位置分布在三个显示区域中,这三个显示区域中的参考麦克风的数量不同,将这三个显示区域中参考麦克风数量最大的一个显示区域确定为第一显示区域。
当多个参考麦克风的设置位置在的显示区域上的数量相同时,随机从多个参考麦克风的设置位置所在的显示区域中确定第一显示区域,或者确定与设定规则相符的显示区域为第一显示区域,或者不予响应。本实施例中的设定规则包括但不局限于以拾取声音信号强度最大的参考麦克风所在的显示区域为第一显示区域,或者以参考位置的顺/逆时针方向确定第一显示区域,参考位置可以为设定麦克风的设置位置。
假设当多个参考麦克风的设置位置分布在三个显示区域中,这三个显示区域中的参考麦克风的数量相同,随机地将这三个显示区域中的任一个显示区域确定为第一显示区域。当三个显示区域中参考麦克风的数量相同时,还可以根据设定规则确定第一显示区域,例如拾取声音信号强度最大的参考麦克风所在的显示区域为第一显示区域。当三个显示区域中参考麦克风的数量相同时也可以不予响应,重新进入声音拾取。
参考图6,本实施例假设智能多媒体设备中黑色实心圆点表示的五个麦克风A7、B0、B1、B2和B3拾取到的声音信号的强度超过预设强度值,这五个麦克风为参考麦克风,从图6所示可以看出,只有麦克风A7位于显示区域1,麦克风B0、B1、B2和B3四个麦克风位于显示区域2,此时本实施例确定显示区域2为第一显示区域。
其中,本实施例所确定的声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值,以使得所确定的第一麦克风能够准确表示声源的方向/位置。
本发明上述实施例提供两种方案确定第一显示区域,第一种方案根据麦克风拾取的声音信号的强度确定第一显示区域,简单快速;第二种方案根据参考麦克风的分布情况和参考麦克风拾取的声音信号的强度确定第一显示区域,所确定出的第一显示区域更能表示声源位置。本实施例的两种方案各有优势,可以根据使用需求选择适合的方案。
图7为本发明实施例示出的另一种智能多媒体设备的显示方法流程图,智能多媒体设备包括设置于其侧面的动态显示区域,动态显示区域可以动态地划分为多个子区域。如图7所示,本实施例的方法包括:
S710,确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风。
本实施例基于麦克风接收声音信号的信号强弱与声源位置/方向相关,正对声源且距离声源位置近的麦克风拾取的声音信号的强度大的特点,利用智能多媒体设备的环形麦克风阵列中麦克风拾取声源的声音信号,从拾取到声音信号的多个麦克风中确定出能够表示声源位置/方向的第一麦克风,以根据第一麦克风的设置位置确定用于人机交互的第一显示区域。
S720,确定第一麦克风与动态显示区域之间的对应关系。
本实施例第一麦克风与动态显示区域的对应关系包括但不局限于,第一麦克风的设置位置对应于动态显示区域的第一子区域的中心线,第一子区域的边界线与智能多媒体设备的体中心点围成的顶角具有设定角度。
S730,根据对应关系控制显示区域的第一子区域进行显示。
本实施例可以根据第一麦克风与动态显示区域的对应关系在显示区域上映射第一麦克风对应的第一子区域,从而控制第一子区域进行人机交互显示。
本实施例根据麦克风阵列中各个麦克风接收声音信号的信号特征确定能够标识声源位置的第一麦克风,通过确定第一麦克风与第一子区域的对应关系,在智能多媒体设备的动态显示区域上动态地确定第一麦克风对应的第一子区域,并控制第一子区域进行显示,实现智能多媒体设备的智能定向显示,使得其能够跟随声源方向/位置的变化实时自动调整可视显示区域,加强人机交互效果,提升用户体验。
本实施例利用环形麦克风阵列中麦克风拾取声源的声音信号,确定环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,根据第一麦克风与动态显示区域的设置位置关系,确定动态显示区域的第一子区域,第一麦克风的设置位置在第一子区域的中心线上,第一子区域为以智能多媒体设备体中心点为顶点的锥体底面。
根据本发明的实施例,以从具有圆柱形侧面的智能多媒体设备的动态显示区域中确定第一子区域为例进行说明,从具有其他形状侧面的智能多媒体设备的动态显示区域中确定第一子示区域与本实施例的方法相同,再此不在赘述。
图8为本发明实施例示出的在动态显示区域上映射第一子区域的示意图,图9为本发明实施例示出的第一麦克风与第一子区域的对应关系示意图,如图8~9所示,本实施例根据麦克风拾取的声音信号强度确定麦克风A为第一麦克风,根据第一麦克风与动态显示区域之间的设置位置关系,确定第一麦克风的设置位置在动态显示区域上的直线为AF,将直线AF作为第一子区域的中心线,第一子区域为以智能多媒体设备的体中心点O为顶点的锥体O-BCDE的底面BCDE,底面BCDE上弧线BC对应的弧度为α。
本实施例在确定第一子区域时,若动态显示区域为柱面或球面,可以设置第一区域为具有设定弧度的弧面,若动态显示区域为平面,可以设置第一区域为具有设定长度或宽度的平面。
图10为本发明实施例示出的第一子区域随第一麦克风变化而动态变化的示意图,本实施例在第一时刻根据麦克风拾取的声音信号强度确定麦克风A为第一麦克风,根据上文描述的确定第一子区域的方法可以确定麦克风A对应的第一子区域为麦克风BAC所在位置。本实施例在第二时刻根据麦克风拾取的声音信号强度确定麦克风A’为第一麦克风,根据上文描述的确定第一子区域的方法可以确定麦克风A’对应的第一子区域为麦克风B’A’C’所在位置,由此可以看出本实施可以基于确定的第一麦克风的位置动态调整第一子区域,使得智能多媒体设备的可视显示区域基于声源方向实时动态可调,本实施例的显示方法尤其适用声源位置频繁移动的情况。
本发明的另一个方面提供了一种智能多媒体设备。
图11为本发明实施例示出的一种智能多媒体设备的结构框图,本实施例的智能多媒体设备包括设置于其侧面的多个显示区域,以及设置于其表面的环形麦克风阵列,环形麦克风阵列中的麦克风与显示区域之间具有对应关系。如图11所示,本实施例的智能多媒体设备还包括:
第一信号处理单元111,用于确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;
第一分析处理单元112,用于根据麦克风与显示区域之间的对应关系,确定第一麦克风对应的第一显示区域;
第一屏显控制单元113,用于控制第一显示区域进行显示。
本实施例中第一信号处理单元111具体用于确定环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,声音信号的强度为预设时间内环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
本实施例中麦克风与显示区域之间的对应关系包括麦克风与显示区域之间设置位置的对应关系,第一分析处理单元112用于根据设置位置的对应关系和第一麦克风的设置位置,确定第一显示区域;其中,当第一麦克风的设置位置在第一显示区域上时,确定第一显示区域;当第一麦克风的设置位置在两个相邻显示区域的边界上时,随机确定两个相邻显示区域中的一个为第一显示区域;或者,确定与设定规则相符的显示区域为第一显示区域;或者,不予响应。
本实施例的第一麦克风包括多个参考麦克风,第一信号处理单元111还用于确定环形麦克风阵列中接收的声音信号强度超过预设强度值的多个麦克风为多个参考麦克风,声音信号的强度为预设时间内环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
本实施例的麦克风与多显示区域之间的对应关系包括麦克风与显示区域之间设置位置的对应关系,第一分析处理单元112用于根据设置位置的对应关系和多个参考麦克风的设置位置,确定第一显示区域;其中,当多个参考麦克风设置位置在显示区域上的数量不同时,确定设置参考麦克风数量大于在其他显示区域上参考麦克风数量的显示区域为第一显示区域;当多个参考麦克风设置位置在显示区域上的数量相同时,随机从多个参考麦克风的设置位置所在的显示区域中确定第一显示区域;或者,确定与设定规则相符的显示区域为第一显示区域;或者,不予响应。
本发明装置实施例的各单元的具体工作方式可以参见本发明的方法实施例。
图12为本发明实施例示出的另一种智能多媒体设备的结构框图,本实施例的智能多媒体设备包括设置于其侧面的动态显示区域,以及设置于其表面的环形麦克风阵列。如图12所示,本实施例的智能多媒体设备还包括:
第二信号处理单元121,用于确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;
第二分析处理单元122,用于确定第一麦克风与动态显示区域之间的对应关系;
第二屏显控制单元123,用于根据对应关系控制动态显示区域的第一子区域进行显示。
本实施例的第二信号处理单元121具体用于确定环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
第二分析处理单元122具体用于根据第一麦克风与动态显示区域之间的设置位置关系,确定动态显示区域的第一子区域,第一麦克风的设置位置在所述第一子区域的中心线上,第一子区域为设定以智能多媒体设备体中心点为顶点的锥体底面。
本发明的另一个方面提供了一种智能多媒体***。
根据本发明实施例,本发明实施例的智能多媒体***包括:一个或多个存储单元,存储有可执行指令;一个或多个处理单元,执行可执行指令,用于实现前文描述的智能多媒体设备的显示方法。
本发明的另一个方面提供了一种可读存储介质。
根据本发明实施例,本发明实施例的可读存储介质,存储有可执行指令,可执行指令被处理器执行时以实现前文描述的智能多媒体设备的显示方法。
需要说明的是,本发明实施例的可读存储介质,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
可读存储介质可以包括计算机程序,该计算机程序可以包括代码/计算机可执行指令,其在由处理器执行时使得处理器执行例如前文所描述的方法流程及其任何变形。
计算机程序可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序中的代码可以包括一个或多个程序模块。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器执行时,使得处理器可以执行例如上文所描述的方法流程及其任何变形。
为了便于清楚描述本发明实施例的技术方案,在发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种智能多媒体设备的显示方法,所述智能多媒体设备包括设置于其侧面的多个显示区域,以及设置于其表面的环形麦克风阵列,所述环形麦克风阵列中的麦克风与所述显示区域之间的设置位置具有对应关系,所述方法包括:
确定所述环形麦克风阵列中接收声音信号的麦克风为第一麦克风;所述第一麦克风包括多个参考麦克风;
获取第一麦克风的设置位置,根据所述麦克风与所述显示区域之间设置位置的对应关系和第一麦克风的设置位置,确定与所述第一麦克风对应的第一显示区域;
控制所述第一显示区域进行显示;
所述确定与所述第一麦克风对应的第一显示区域,包括:
根据所述设置位置的对应关系和所述多个参考麦克风的设置位置,确定第一显示区域,
其中,
当所述多个参考麦克风设置位置在所述显示区域上的数量不同时,确定设置所述参考麦克风数量大于在其他显示区域上参考麦克风数量的显示区域为第一显示区域;
当所述多个参考麦克风设置位置在所述显示区域上的数量相同时,
随机从所述多个参考麦克风的设置位置所在的显示区域中确定第一显示区域;或者,
确定与设定规则相符的显示区域为第一显示区域;或者,
不予响应。
2.根据权利要求1所述的方法,其特征在于,所述确定所述环形麦克风阵列中接收声音信号的麦克风为第一麦克风,包括:
确定所述环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,所述声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
3.根据权利要求2所述的方法,其特征在于,所述确定与所述第一麦克风对应的第一显示区域,包括:
根据所述设置位置的对应关系和所述第一麦克风的设置位置,确定第一显示区域,
其中,
当所述第一麦克风的设置位置在所述第一显示区域上时,确定所述第一显示区域;
当所述第一麦克风的设置位置在两个相邻显示区域的边界上时,
随机确定两个相邻显示区域中的一个为第一显示区域;或者,
确定与设定规则相符的显示区域为第一显示区域;或者,
不予响应。
4.根据权利要求1所述的方法,其特征在于,所述确定所述环形麦克风阵列中接收声音信号的麦克风为第一麦克风,包括:
确定所述环形麦克风阵列中接收的声音信号强度超过预设强度值的多个麦克风为所述多个参考麦克风,所述声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
5.一种智能多媒体设备的显示方法,所述智能多媒体设备包括设置于其侧面的动态显示区域,以及设置于其表面的环形麦克风阵列,所述方法包括:
确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风;所述第一麦克风包括多个参考麦克风;
确定所述第一麦克风与动态显示区域之间的设置位置关系;
根据所述设置位置关系和第一麦克风的设置位置控制所述动态显示区域的第一子区域进行显示;
所述确定与所述第一麦克风对应的第一子区域,包括:
根据所述设置位置的对应关系和所述多个参考麦克风的设置位置,确定第一子区域,
其中,
当所述多个参考麦克风设置位置在所述子区域上的数量不同时,确定设置所述参考麦克风数量大于在其他显示区域上参考麦克风数量的显示区域为第一子区域;
当所述多个参考麦克风设置位置在所述显示区域上的数量相同时,
随机从所述多个参考麦克风的设置位置所在的显示区域中确定第一子区域;或者,
确定与设定规则相符的显示区域为第一子区域;或者,
不予响应。
6.根据权利要求5所述的方法,其特征在于,所述确定环形麦克风阵列中接收声音信号的麦克风为第一麦克风,包括:
确定所述环形麦克风阵列中接收的声音信号强度最大的麦克风为第一麦克风,所述声音信号的强度为预设时间内所述环形麦克风阵列中麦克风所拾取声音信号幅值的均值。
7.根据权利要求6所述的方法,其特征在于,所述确定所述第一麦克风与动态显示区域之间的设置位置关系,包括:
根据所述第一麦克风与所述动态显示区域之间的设置位置关系,确定动态显示区域的第一子区域,所述第一麦克风的设置位置在所述第一子区域的中心线上,所述第一子区域为设定以所述智能多媒体设备体中心点为顶点的锥体底面。
8.一种智能多媒体设备,所述智能多媒体设备包括设置于其侧面的多个显示区域,以及设置于其表面的环形麦克风阵列,环形麦克风阵列中的麦克风与所述显示区域之间的设置位置具有对应关系,还包括:
第一信号处理单元,用于确定所述环形麦克风阵列中接收声音信号的麦克风为第一麦克风;所述第一麦克风包括多个参考麦克风;
第一分析处理单元,用于获取第一麦克风的设置位置,根据所述麦克风与所述显示区域之间设置位置的对应关系和第一麦克风的设置位置,确定第一麦克风对应的第一显示区域;
第一屏显控制单元,用于控制所述第一显示区域进行显示;
所述确定与所述第一麦克风对应的第一显示区域,包括:
根据所述设置位置的对应关系和所述多个参考麦克风的设置位置,确定第一显示区域,
其中,
当所述多个参考麦克风设置位置在所述显示区域上的数量不同时,确定设置所述参考麦克风数量大于在其他显示区域上参考麦克风数量的显示区域为第一显示区域;
当所述多个参考麦克风设置位置在所述显示区域上的数量相同时,
随机从所述多个参考麦克风的设置位置所在的显示区域中确定第一显示区域;或者,
确定与设定规则相符的显示区域为第一显示区域;或者,
不予响应。
9.一种智能多媒体设备,所述智能多媒体设备包括设置于其侧面的动态显示区域,以及设置于其表面的环形麦克风阵列,还包括:
第二信号处理单元,用于确定所述环形麦克风阵列中接收声音信号的麦克风为第一麦克风;所述第一麦克风包括多个参考麦克风;
第二分析处理单元,用于确定所述第一麦克风与动态显示区域之间的设置位置关系;
第二屏显控制单元,用于根据所述设置位置关系和第一麦克风的设置位置控制所述动态显示区域的第一子区域进行显示;
所述确定与所述第一麦克风对应的第一子区域,包括:
根据所述设置位置的对应关系和所述多个参考麦克风的设置位置,确定第一子区域,
其中,
当所述多个参考麦克风设置位置在所述子区域上的数量不同时,确定设置所述参考麦克风数量大于在其他显示区域上参考麦克风数量的显示区域为第一子区域;
当所述多个参考麦克风设置位置在所述显示区域上的数量相同时,
随机从所述多个参考麦克风的设置位置所在的显示区域中确定第一子区域;或者,
确定与设定规则相符的显示区域为第一子区域;或者,
不予响应。
CN201810431760.6A 2018-05-08 2018-05-08 智能多媒体设备及其显示方法 Active CN108595139B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810431760.6A CN108595139B (zh) 2018-05-08 2018-05-08 智能多媒体设备及其显示方法
PCT/CN2018/118566 WO2019214216A1 (zh) 2018-05-08 2018-11-30 智能多媒体设备及其显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810431760.6A CN108595139B (zh) 2018-05-08 2018-05-08 智能多媒体设备及其显示方法

Publications (2)

Publication Number Publication Date
CN108595139A CN108595139A (zh) 2018-09-28
CN108595139B true CN108595139B (zh) 2022-09-23

Family

ID=63636038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810431760.6A Active CN108595139B (zh) 2018-05-08 2018-05-08 智能多媒体设备及其显示方法

Country Status (2)

Country Link
CN (1) CN108595139B (zh)
WO (1) WO2019214216A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595139B (zh) * 2018-05-08 2022-09-23 歌尔科技有限公司 智能多媒体设备及其显示方法
CN113168298A (zh) * 2018-12-27 2021-07-23 深圳市柔宇科技股份有限公司 控制方法与显示终端
CN111857619A (zh) * 2019-04-26 2020-10-30 深圳市冠旭电子股份有限公司 音箱屏幕的显示控制方法、显示控制装置及音箱
CN112309380B (zh) * 2019-07-26 2024-02-06 北京新能源汽车股份有限公司 一种语音控制方法、***、设备及汽车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082689A (ja) * 2013-10-21 2015-04-27 株式会社日本自動車部品総合研究所 音響システムおよび超音波フィルタ
CN105229570A (zh) * 2013-03-14 2016-01-06 三星电子株式会社 显示控制方法和装置
CN106066758A (zh) * 2015-04-21 2016-11-02 三星电子株式会社 用于显示屏幕的电子设备及其控制方法
CN107222798A (zh) * 2017-07-19 2017-09-29 歌尔科技有限公司 一种智能音箱显示装置
CN107643886A (zh) * 2017-09-29 2018-01-30 联想(北京)有限公司 一种多媒体设备及控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102820022B (zh) * 2011-06-09 2014-12-24 宏碁股份有限公司 显示装置及其操作方法
TWI544807B (zh) * 2014-07-18 2016-08-01 緯創資通股份有限公司 具喇叭模組的顯示裝置
US11023034B2 (en) * 2016-06-16 2021-06-01 Shenzhen Royole Technologies Co., Ltd. Method and apparatus for multiuser interaction and accompanying robot
CN107589760B (zh) * 2017-08-31 2024-02-20 重庆海尔制冷电器有限公司 一种转动控制台
CN108595139B (zh) * 2018-05-08 2022-09-23 歌尔科技有限公司 智能多媒体设备及其显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229570A (zh) * 2013-03-14 2016-01-06 三星电子株式会社 显示控制方法和装置
JP2015082689A (ja) * 2013-10-21 2015-04-27 株式会社日本自動車部品総合研究所 音響システムおよび超音波フィルタ
CN106066758A (zh) * 2015-04-21 2016-11-02 三星电子株式会社 用于显示屏幕的电子设备及其控制方法
CN107222798A (zh) * 2017-07-19 2017-09-29 歌尔科技有限公司 一种智能音箱显示装置
CN107643886A (zh) * 2017-09-29 2018-01-30 联想(北京)有限公司 一种多媒体设备及控制方法

Also Published As

Publication number Publication date
CN108595139A (zh) 2018-09-28
WO2019214216A1 (zh) 2019-11-14

Similar Documents

Publication Publication Date Title
CN108595139B (zh) 智能多媒体设备及其显示方法
US10827291B2 (en) Audio apparatus adaptable to user position
US10694291B2 (en) Directional propagation method and apparatus for audio signal, a terminal device and a storage medium
US8934647B2 (en) Orientation-responsive acoustic driver selection
CN111711884A (zh) 气流排出几何形状
CN104954953B (zh) 定向响应式的声学驱动器操作
KR102127390B1 (ko) 무선 리시버 및 그 제어 방법
CN111629300A (zh) 信号处理方法、装置和电子设备
CN109276895B (zh) 积木***、拓扑结构识别的方法、装置及***
CN107643886A (zh) 一种多媒体设备及控制方法
CN108337926A (zh) 声音收集装置
US11303979B2 (en) Electronic device including multi-channel speaker system
KR20220012554A (ko) 마이크를 포함하는 오디오 출력 장치
CN108737934A (zh) 一种智能音箱及其控制方法
CN105472488A (zh) 便携式蓝牙音箱及组合式蓝牙音箱
US20230413002A1 (en) Electronic device for applying directionality to audio signal, and method therefor
CN109151659B (zh) 一种音频设备定向发声方法、装置和音频设备
WO2018042658A1 (ja) 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法
US9942660B2 (en) Sound output device
US20220328030A1 (en) Wearable electronic device controlling noise canceling of external wearable electronic device and method of operating the same
CN114384466A (zh) 声源方向确定方法、装置、电子设备及存储介质
CN208707930U (zh) 一种智能音箱
US11907494B2 (en) Electronic device comprising expandable display, and method for providing content of electronic device
US12008170B2 (en) Electronic device for controlling at least one external device and operating method thereof
US20240107251A1 (en) Electronic device for changing audio signal based on information related to visual object and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant