CN101676861A - 具备麦克风的平板电脑以及控制方法 - Google Patents

具备麦克风的平板电脑以及控制方法 Download PDF

Info

Publication number
CN101676861A
CN101676861A CN200910173852.XA CN200910173852A CN101676861A CN 101676861 A CN101676861 A CN 101676861A CN 200910173852 A CN200910173852 A CN 200910173852A CN 101676861 A CN101676861 A CN 101676861A
Authority
CN
China
Prior art keywords
panel computer
pattern
voice
space
dull
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910173852.XA
Other languages
English (en)
Other versions
CN101676861B (zh
Inventor
米田雅春
西野浩造
森英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo PC International Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN101676861A publication Critical patent/CN101676861A/zh
Application granted granted Critical
Publication of CN101676861B publication Critical patent/CN101676861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/162Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position changing, e.g. reversing, the face orientation of the screen with a two degrees of freedom mechanism, e.g. for folding into tablet PC like position or orienting towards the direction opposite to the user to show to a second user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00Computer graphics processing and selective visual display systems
    • Y10S345/901Electronic book with display
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00Computer graphics processing and selective visual display systems
    • Y10S345/903Modular display
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00Computer graphics processing and selective visual display systems
    • Y10S345/905Display device with housing structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明提供一种平板PC,在从PC使用模式变更为平板使用模式时,可以不需要用户的介入地继续使用从麦克风收集到的语音信号。平板PC(13)具备构成麦克风阵列的多个麦克风。平板PC可以在形成强调空间(200)来对从麦克风收集到的语音信号进行处理的语音强调模式下、以及不形成强调空间地对从麦克风收集到的语音信号进行处理的非处理模式下工作。当用户操作平板PC的显示器的机壳,从PC使用模式变更为平板使用模式时,平板PC检测出该变更。平板PC当检测出使用模式的变更时,对强调空间进行处理来工作,以便可以在平板使用模式下使用麦克风收集到的语音信号处理。

Description

具备麦克风的平板电脑以及控制方法
技术领域
本发明涉及一种具备麦克风的可转换型平板电脑,更详细地说,涉及一种对应于平板电脑的使用模式,对麦克风收集的语音信号的处理进行控制的技术。
背景技术
在个人电脑(以后称为PC)中,把可以通过手写输入对显示器进行操作的薄型的PC称为平板PC。平板PC不使用键盘而通过手写输入进行操作,由此提供与笔记本型电脑(以后称为笔记本PC)相同的功能。在平板PC中大致可以分为可转换型(convertible)和纯平板型(pure tablet)两种。可转换型是改变安装有键盘的笔记本PC的显示器的方向,还可以作为平板PC使用的结构。纯平板型是不安装键盘,仅进行基于手写输入的操作的结构。
在平板PC中,具有把麦克风收集到的用户的语音信号转换为数字信号,在进行语音识别后用于各种用途。因为在通常的语音输入环境中存在噪音,所以为了提高语音识别的精度,需要从噪音中分离出成为目标的语音,或者相对于噪音强调成为目标的语音。在此,已知以下的波束形成(beam forming)技术:通过构成麦克风阵列的多个麦克风收集语音,根据音源的方向和麦克风之间的距离,利用各个麦克风接收到的语音信号的相位差来强调目标语音并抑制噪音。
在波束形成中,采用增大针对来自相对于麦克风阵列的特定方向的目标语音的灵敏度,降低针对来自其他方向的噪音的灵敏度的方式来处理语音信号。现有技术公开了以下技术:通过多个麦克风收集声音信号,得到强调了该声音信号中包含的目标信号、并且抑制了噪音信号的声音信号。
在可转换型的平板PC中,通过键盘输入来使用平板PC时(以下称为PC使用模式)与通过手写输入来使用平板PC时(以下称为平板使用模式)相比,用户的嘴相对于麦克风的位置不同。因此,即使为了在PC使用模式下强调从用户的嘴发出的语音而设定波束形成的灵敏度方向,在平板使用模式下有时不被强调反而被抑制。并且,有时在从PC使用模式变更为平板使用模式后无法识别语音时,用户误认为装置发生了故障。
发明内容
因此,本发明的目的在于提供一种可转换型平板电脑,在从PC使用模式变更为平板使用模式时,不需要用户的介入,可以继续使用从麦克风收集到的语音信号。并且,本发明的目的在于提供这样的平板电脑中的语音信号的控制方法以及计算机程序。
本发明的可转换型平板电脑具备构成麦克风阵列的多个麦克风。平板电脑可以在形成强调空间来对从多个麦克风收集到的语音信号进行强调处理的语音强调模式下、以及不形成强调空间地对从多个麦克风收集到的语音信号进行处理的非处理模式下工作。在PC使用模式下使平板电脑在强调模式下工作时,最佳地设定强调空间的指向轴的方向以及指向范围角的大小,以使在PC使用模式下预想的用户的嘴进入到强调空间中,并且不需要的噪音不会进入。当用户操作平板电脑的显示器机壳,从PC使用模式向平板使用模式变更设定时,平板电脑检测该变更。
在平板使用模式下当用户的嘴未进入强调空间时,平板电脑无法使用麦克风收集到的语音信号。平板电脑处理强调空间来工作,以便在检测到使用模式的变更时可以在平板使用模式下使用麦克风收集到的语音信号。结果,即使变更使用模式,平板电脑也不需要用户的介入,可以继续使用从麦克风收集到的语音。
在处理强调空间,为了可以在平板使用模式下使用语音信号而工作的一个方法中,为了消除强调空间,平板电脑从语音强调模式转移到非处理模式。结果,平板电脑不进行强调处理,所以可以使用从与麦克风的性能相对应的方向收集到的声音。虽然在该声音中包含噪音,但与用户的嘴进入到抑制空间而完全无法使用语音信号的状态相比便利性高。此外,在从平板使用模式变更为PC使用模式时,平板电脑检测出该变更,从非处理模式转移到语音强调模式。并且,用户的嘴进入到强调空间中,平板电脑可以使用抑制了噪音并且强调了目标音的语音信号。
在处理强调空间,为了可以在平板使用模式下使用语音信号而工作的另一方法中,平板电脑即使在平板使用模式下也维持语音强调模式。但是,平板电脑在变更为平板使用模式后,将强调空间的指向轴以及指向范围角或者其中的某一方设定为与PC使用模式时的值不同的值。结果,用户的嘴进入到强调空间中,平板电脑可以继续使用语音信号。在平板使用模式下,通常用户位于显示画面的下侧,所以通过检测显示画面的方向,可以使指向轴朝向用户的嘴的方向以使用户的嘴进入到强调空间中。
根据平板电脑中机壳的倾斜角,用户的嘴的位置和指向轴的关系发生变化。因此,可以检测平板电脑的倾斜角,对应倾斜角来改变指向轴的方向,使用户的嘴进入到强调空间内。在用户抱着平板电脑在平板使用模式下使用时,有时平板电脑产生摇晃。在平板电脑的机壳摇晃时,指向轴和用户的嘴的位置与晃动相对应地变化。此时,通过使强调空间的指向范围角的大小大于PC使用模式时的值,即使摇晃也可以使用户的嘴进入到强调空间内。
根据本发明,可以提供在从PC使用模式变更为平板使用模式时,无需用户的介入而可以继续使用从麦克风收集到的语音信号的可转换型平板电脑。并且,根据本发明,可以提供这样的平板电脑中的语音信号的控制方法以及计算机程序。
附图说明
图1是表示本发明实施方式的平板PC的外观的立体图。
图2是表示本实施方式的平板PC的硬件的概要结构的框图。
图3是表示与本实施方式相关联的软件的结构的框图。
图4说明通过语音处理程序在显示器机壳的前面形成的强调空间的情况。
图5是表示平板PC在从PC使用模式变更为平板使用模式时,从语音强调模式转移到语音未处理模式的过程的流程图。
图6是表示平板PC在从PC使用模式变更为平板使用模式时,维持语音强调模式,同时变更指向轴的方向以及指向范围角的大小或者变更其中一方的过程的流程图。
图7表示改变指向轴的方向或指向范围角的大小时的情况。
符号说明
10平板PC;11***机壳;12a、12b、12c、12d边缘;13显示器机壳;17输入显示板;17a触摸板输入部;17b显示器;23显示方向旋转按钮;200、200a、200b、200c、200d强调空间;201指向轴;θ指向范围角;203、205抑制空间
具体实施方式
(平板PC的结构)
以下,参照附图说明本发明中优选的实施方式。图1是表示本发明实施方式的平板PC10的外观的立体图。平板PC10是可转换型,具备全部是大致立方体的***机壳11以及显示器机壳13。***机壳11具备输入部15,该输入部15具有键盘以及指点设备(pointing device),显示器机壳13具备输入显示板17,该输入显示板17在液晶显示器(LCD)上重叠触摸板输入部,可以进行画面显示以及基于触摸笔(touch pen)的输入。
并且,***机壳11以及显示器机壳13在各自的端部的中央通过连接部21连接。连接部21使这些机壳在相互开闭的方向上可以自由旋转地支持这些机壳。并且,在从***机壳11打开了显示器机壳13的状态下,可以使显示器机壳13以连接部21为中心至少旋转180度。平板PC10在图1(A)所示的PC使用模式下,如通常的笔记本PC那样,可以对键盘以及鼠标构成的输入部15进行操作来使用。并且,如果如图1(B)所示,使显示器机壳13旋转,然后如图1(C)所示在***机壳11上重叠显示器机壳13地进行折叠,使输入显示板17朝向表面,则成为图1(D)所示的平板使用模式。在平板使用模式下,可以通过触摸笔或者手指向输入显示板17进行指示来使用平板PC10。
显示器机壳13在输入显示板17的周边包含四个边缘12a、12b、12c、12d。在边缘12a上设置有显示方向旋转按钮23。当用户每按动一次显示方向旋转按钮23时,在输入显示板17上显示的画面的方向每次向预定方向旋转90度。旋转的方向可以是设定的顺时针方向、逆时针方向、或者是某个所选择的方向。并且,在要使其旋转180度时,可以不用每次旋转90度,而是一次旋转180度。
在边缘12a上还设置有两个无指向性的麦克风19a、19b。麦克风19a、19b构成用于通过波束形成技术在显示器机壳13的前面形成声音的强调空间的麦克风阵列。在本实施方式中使麦克风的数量为两个,但也可以通过三个以上的麦克风构成麦克风阵列。
(硬件结构)
图2是表示平板PC10的硬件的概要结构的框图。CPU51是承担平板PC10的中枢功能的运算处理装置,执行OS、BIOS、设备驱动程序、或者应用程序等。CPU51控制经由各种总线与以北桥55以及南桥61为中心而构成的芯片组连接的各种设备。北桥55成为以下结构:包含用于控制向主存储器53的访问动作的存储器控制器功能、用于吸收总线之间的数据传输速度差的数据缓冲功能等。
主存储器53是作为CPU51执行的程序的读入区域、写入处理数据的作业区域而被使用的易失性的RAM。视频控制器57具有视频芯片以及VRAM(都未图示),接收来自CPU51的绘图命令,生成应该描绘的图像并将其写入到VRAM中,把从VRAM读出的图像作为绘图数据发送给显示器17b。同时,视频控制器57可以对应显示方向旋转按钮23的操作,执行使显示器17b上显示的画面的方向每次向逆时针方向旋转90度的功能。
在北桥55上连接有南桥61。南桥61具备作为北桥55和LPC总线65之间的桥的功能。南桥61还包含作为串行ATA接口以及USB接口(未图示)的功能,经由串行ATA接口与硬盘驱动器(HDD)63连接,并经由USB接口与音频控制器59连接。在HDD63中存储有平板PC10为了实现本发明所需要的程序。此外,程序还可以存储在HDD63以外的非易失性存储器中。
在音频控制器59上连接有麦克风19a、19b。在LPC总线65上连接有嵌入式控制器(EC)67、按钮控制器71以及I/O控制器73。EC67是由8~16位的CPU、ROM、RAM等构成的微计算机,并且具备多通道的A/D输入端子、D/A输出端子、计时器以及数字输入输出端子。EC67可以与CPU51独立地执行与平板PC10的工作环境的管理有关的程序。在EC67上连接有加速度传感器69以及模式开关25。
加速度传感器69测定从外部对平板PC10施加的加速度,把与其相对应的模拟电压输出给EC67的A/D输入端子。EC67对从加速度传感器69输入的电压进行A/D转换来得到加速度值。把得到的加速度值存储在EC67的RAM中,由执行需要加速度值的应用程序的CPU51定期地读取。模式开关25检测出平板PC10如图1(D)那样被完全设定为平板使用模式,然后生成平板信号,在检测到从完全的平板使用模式向PC使用模式的变化时生成PC信号,然后将其通知给EC67。EC67在从模式开关25取得平板信号或PC信号时对CPU51施加中断,并且通知给后面说明的控制程序。
在按钮控制器71上连接有显示方向旋转按钮23。按钮控制器71检测来自显示方向旋转按钮23的输入,将其通知给视频控制器57。视频控制器57根据该通知,改变在显示器17b中显示的显示画面的方向。I/O控制器73连接在PC使用模式下使用的输入部15、以及在平板使用模式下使用的触摸板输入部17a。触摸板输入部17a和显示器17b构成图1的输入显示板17。
图1以及图2为了说明本实施方式,仅简要地记载了与本实施方式相关联的主要的硬件的结构以及连接关系。除了此前的说明中所涉及到的设备之外,为了构成平板PC10还使用多个设备。但是这些对于本领域技术人员来说是公知的,所以在此没有详细地说明。把附图中记载的多个方框设为一个集成电路或装置,或者相反将一个方框分割为多个集成电路或装置,也在本领域技术人员可以任意选择的范围内,包含在本发明的范围中。此外,连接各个设备之间的总线以及接口等的种类只不过是一个例子,即使是这些以外的连接,也在本领域技术人员可以任意选择的范围内,包含在本发明的范围内。
(软件结构)
图3是表示与本实施方式相关联的软件的结构的概要框图。图3所示的软件存储在HDD63中,在CPU51执行时被读入到主存储器53中。控制程序101、语音处理程序103以及语音使用程序105是在OS107上运行,通过OS107的API与其他程序进行数据交换或者控制硬件来执行作为用户的目标作业的程序。控制程序101对应于从模式开关25取得的PC信号或平板信号,控制语音处理程序103,以便在PC使用模式或平板使用模式的任意一个模式下语音利用程序105都可以使用语音数据。之后说明该控制方法。
控制程序101定期地从EC67取得加速度传感器69检测到的加速度值,在平板使用模式时,计算并保持***机壳11从水平状态倾斜的倾斜角。关于在输入显示板17的平面上垂直相交的两个轴方向,分别计算倾斜角。控制程序101根据随时间变化的倾斜角的大小,判断***机壳11是否在晃动。控制程序101经由视频驱动程序111取得与显示器17b上显示的当前的显示画面的方向有关的信息。
语音处理程序103是用于利用麦克风阵列技术来强调目标声音,抑制作为指向性噪音的非目标声音的程序。语音处理程序103从音频驱动程序113取得麦克风19a、19b收集到的语音信号,根据麦克风19a、19b之间的间隔以及音源的方向引起的两信号间的相位差,对取得的语音信号实施运算处理,由此在麦克风19a、19b的前面形成语音信号的强调空间和抑制空间。把通过语音处理程序103进行的语音处理技术称为波束形成。
在利用了麦克风阵列的波束形成中,介绍了Delay and Sum、减法运算型波束形成、自适应型波束形成、还有Griffiths-Jim型波束形成等各种各样的技术,在本发明中无需特别地对它们进行限定。此外,为了在显示器机壳13的前面形成强调空间和抑制空间,可以采用加入了语音处理程序103的运算功能的音频控制器,在硬件级别上进行处理。并且,还可以采用与用于形成强调空间和抑制空间来分离目标声音和指向性噪音的波束形成不同的其他公知的语音强调技术。
语音处理程序103具备针对在应用层工作的控制程序101以及语音使用程序105的接口。语音使用程序105是进行以下作业的程序,该作业为使用由麦克风19a、19b收集到的用户的语音信号,通过计算机网络实时地进行基于文字的会话的聊天、IP电话、或者文本输入等。语音使用程序105,在执行了语音处理程序103时,从语音处理程序103取得进行了强调处理的语音数据,在没有执行语音处理程序103时,从音频驱动程序113取得根据无指向性的麦克风19a、19b收集到的语音信号由音频控制器59生成的语音数据。
按钮驱动程序109控制按钮控制器71,将显示方向旋转按钮23等操作按钮的信号传输给OS107。视频驱动程序111控制视频控制器57,处理在显示器17b上显示的图像信号。视频驱动程序111当从OS107取得变更显示器17b的画面的显示方向的事件时,控制视频控制器57来变更显示方向。
在视频驱动程序111变更了显示画面的方向时,OS107向控制程序101通知画面设定已变更。接收该通知后控制程序101向OS107询问画面的设定信息,取得与新的画面的显示方法有关的信息。音频驱动程序113根据来自控制程序101的指示控制音频控制器59,把转换为数字数据的语音信号转发给语音处理程序103或语音使用程序105。中间驱动程序115是用于控制程序101与EC67进行通信的程序。
(强调空间)
图4说明通过语音处理程序103在显示器机壳13的前面形成的强调空间的情况。图4(A)为立体图,图4(B)是从上面观看相对于***机壳11垂直打开的显示器机壳13的平面图。强调空间200被定义为:通过语音处理程序103对与麦克风19a、19b所收集到的语音信号对应的语音数据实施运算处理,强调来自存在于显示器机壳13周围的音源的声音的空间。
强调空间200在显示器机壳13的附近,从显示器机壳13的平面起向左右方向如扇形那样地扩展并且向上下方向筒状地延伸。换句话说,成为分别通过与中心轴平行并且相对于中心轴形成预定角度的两个平面分割圆柱而得到的形状。强调空间200的中心轴201(以后称为指向轴)在与显示器机壳13的表面垂直的平面内,左右均等地分割强调空间200。表示强调空间200的左右方向的扩展范围的指向范围角θ,在平板PC10为PC使用模式时被设定为60度,指向轴201被设定为与显示器机壳13的表面垂直的方向。显示器机壳13的表面大体相当于输入显示板17的表面。
强调空间200离显示器机壳13的距离(扇形的半径的长度)以及高度方向的范围,取决于麦克风19a、19b以及音频控制器59的能力。在平板PC10的周围的空间中,把位置203、205等强调空间200以外的空间定义为抑制空间。通过语音处理程序103处理来自位于抑制空间中的音源的声音信号,来抑制或者消除该声音信号。当用户在PC使用模式下使用平板PC10时,通常把脸置于显示器机壳13的前面对麦克风19a、19b说话,所以成为音源的用户的嘴存在于强调空间200中。结果,强调用户的语音,抑制来自存在于抑制空间中的音源的噪音。
将这样的强调空间的指向轴的方向以及指向范围角θ的大小设定为:在PC使用模式下用户的嘴切实进入到强调空间中,并且强调空间不会增大到需要以上的程度而混入噪音的最佳值。但是,在平板使用模式下使用平板PC10时,在图4所示的强调空间200的结构中产生不良。当用户在平板使用模式下使用平板PC10时,在如图1(D)那样折叠显示器机壳13后,通过一只手保持***机壳11,通过另一只手操作触摸笔。此时,通常用户的身***于边缘12b或12d一侧。
此时,根据图4(A)可知用户的嘴进入到抑制空间中。当把嘴置于抑制空间中的用户向麦克风19a、19b说话时,语音数据难以传输到语音使用程序105,有时用户认为语音***发生了故障。此时,用户可以操作语音处理程序103的用户界面窗口画面来停止执行语音处理程序103。
将音频驱动程序113构成为,当语音处理程序103停止执行时,将语音数据从音频驱动程序113直接转发给语音使用程序105。这相当于一同消除了强调空间200和抑制空间。然后,语音使用程序105可以使用没有进行强调处理的语音数据。在本说明书中,把语音使用程序105使用执行语音处理程序103来实施了强调处理的语音数据的状态称为语音强调模式,把停止执行语音处理程序103,语音使用程序105使用没有进行强调处理的语音数据的状态称为非处理模式。
在本发明中,当平板PC10在PC使用模式、并且在语音强调模式下进行工作的状态下变更为平板使用模式时,可以不介入用户的操作,继续向语音使用程序105提供语音数据,继续使用语音。在实现该功能的第一方法中,检测出变更为平板使用模式后,自动地将工作模式从语音强调模式变更为非处理模式。在第二方法中,通过一边维持语音强调模式,一边变更指向轴的方向以及指向范围角的大小或者变更其中的某一方,使用户不进入抑制空间。无论在哪个方法中,都对PC使用模式时生成的强调空间施加变更处理。
(第一实施例)
图5是表示在将平板PC10从PC使用模式变更为平板使用模式时,从语音强调模式转移到非处理模式的过程的流程图。在方框301中,平板PC10的显示器机壳13被设定为图1(A)所示的PC使用模式。EC67因为已经向控制程序101发送了PC信号,所以控制程序101识别出平板PC10当前被设定为PC使用模式。语音处理程序103以及语音使用程序105被预先读出到主存储器53中。
在方框303中,识别出设定为PC使用模式的控制程序101使语音处理程序103执行。语音处理程序103形成图4所示的、指向轴201与显示器机壳13的表面垂直并且指向范围角θ为60度的强调空间200。然后,当用户执行语音使用程序105时,麦克风19a、19b收集到的语音数据在经由音频驱动程序113以及语音处理程序103进行了强调处理后,被提供给语音使用程序105。
在方框305中,控制程序101根据来自EC67的平板信号判断用户是否将平板PC10变更为图1(D)所示的平板使用模式。在方框307中,当控制程序101从EC67取得平板信号时,停止执行语音处理程序103。在方框307中,当控制程序101向音频驱动程序113通知已停止了语音处理程序103时,以后音频驱动程序113直接将语音数据转发给语音使用程序105。在从音频驱动程序113向语音使用程序105直接转发语音数据的方法中,可以使控制程序101不介入,由OS107监视语音处理程序103的执行状态,来控制来自音频驱动程序113的语音数据的转发目的地。然后,在方框309中,平板PC10在非处理模式下工作。
在非处理模式下,不形成强调空间和抑制空间,所以不对无指向性的麦克风19a、19b收集到的语音信号执行从噪音中强调目标声音的强调处理,但由于用户的嘴没有进入到抑制空间中,所以语音使用程序105可以继续使用语音数据。在方框311中,控制程序101根据来自EC67的PC信号,判断用户是否将平板PC10变更为图1(A)所示的PC使用模式。控制程序101在从EC67收到PC信号时转移到方框303,与PC使用模式对应地执行语音处理程序103。通过该过程,将用户从进行用户界面窗口画面的操作的麻烦中解放出来。
(第二实施例)
图6是表示在将平板PC10从PC使用模式变更为平板使用模式时,一边维持语音强调模式,一边变更指向轴201的方向以及指向范围角θ的大小或变更其中一方的过程的流程图。图7表示使指向轴201的方向或指向范围角θ的大小变化时的情况。在图7中,用户501全部位于显示器机壳13的边缘12b或边缘12d一侧。此外,在图7(A)~(C)中,为了使说明容易理解,较窄地标记了指向范围角θ,但实际的指向范围角θ是在PC使用模式下采用的60度。
从图6的方框401到405与图5的方框301到305的过程相同,所以省略说明。在方框407中,从EC67取得了平板信号的控制程序101识别当前在输入显示板17上显示的画面的上下方向和边缘的关系。在每次变更画面的方向时,从视频驱动程序111向控制程序101转发与画面的上下方向有关的数据。控制程序101以用户501存在于画面的下侧为前提来进行判断。
在方框409中,控制程序101在识别出画面的上侧位于边缘12b或12d时,判断为需要变更强调空间200的指向轴203的方向,转移到方框411。控制程序101在判断出画面的上侧位于边缘12a或12c时,不变更指向轴203的方向,维持PC使用模式下的指向轴203的方向和指向范围角θ(60度)。如图4(A)所示,在用户位于边缘12a或边缘12c的某一侧时,用户的嘴进入到PC使用模式下的强调空间200中,所以向语音使用程序105提供进行了强调处理的语音数据。
在平板使用模式下,很多时候用户通过单手稍微倾斜地保持***机壳11来使用。在方框411中,控制程序101对语音处理程序103进行指示,根据用户保持***机壳11时使***机壳11倾斜的标准角度,如图7(A)所示,变更强调空间200a的指向轴以使其朝向用户的脸。语音处理程序103使指向轴201相对于显示板13的表面的角度α向画面的下侧方向倾斜到预定角度,以使该角度α小于90度。强调空间200a到200c的指向范围角为60度。通过如此根据显示画面的方向使指向轴201的方向朝向预测存在用户的方向,用户的嘴不会进入到抑制空间内,语音处理程序103可以继续对语音使用程序105提供语音数据。
在方框413中,控制程序101根据来自EC67的PC信号判断用户是否将平板PC10变更为图1(A)所示的PC使用模式。控制程序101当从EC67取得PC信号时转移到方框403,对应于PC使用模式地执行语音处理程序103。
在方框413中,在控制程序101识别出平板使用模式继续时,转移到方框415、419或421。控制程序101定期地从EC67取得与***机壳11有关的加速度信息,识别该时刻的***机壳11的姿势或相对于水平方向的倾斜角。在方框415中,控制程序101判断***机壳11是否从方框411中变更了指向轴201的方向时的***机壳11的标准的倾斜角向边缘12b方向或边缘12c方向进行了倾斜。
例如,如图7(B)那样在用户将平板PC10放置在水平桌面上时,以在方框411中设定的指向轴201的方向,用户的嘴有可能进入抑制空间。此外,如图7(C)那样在用户进一步使平板PC10倾斜时,当不再次变更指向轴201的方向时,出现用户的嘴进入抑制空间的可能性。控制程序101当在方框415中判断出***机壳11倾斜了预定角度以上时,转移到方框417对语音处理程序103进行指示,使指向轴201相对于显示器机壳13的表面的角度α变化与倾斜角对应的角度,然后转移到方框413。
把使指向轴201变化的方向设为与箭头A所示的***机壳11的倾斜方向相反的箭头B的方向。在显示器机壳13成为接近垂直的状态时,角度α变得大于在方框411中设定的值。控制程序101当在方框415中判断出***机壳11没有倾斜预定角度以上时,转移到方框413。在方框419中,当操作了显示方向旋转按钮23时,视频驱动程序111向CPU51施加中断,对控制程序101传输与当前的显示画面的上下方向有关的信息,并转移到方框407。在方框407中,当画面的上下方向以位于边缘12b或边缘12d的方向上的方式发生了变化时,在方框409中变更指向轴的方向。
在方框421中,控制程序101根据定期观测到的加速度信息,判断***机壳11是否在晃动。控制程序101在判断出***机壳11如图7(D)所示在箭头C方向上晃动时,转移到方框423,对语音处理程序103进行指示以使指向范围角θ大于60度,即使***机壳11晃动也会使用户的嘴进入强调空间中。当在方框421中控制程序101判断出***机壳11不晃动时,如果到此时为止指向范围角θ扩大到60度以上,则使其恢复为60度,然后转移到方框413。
至此,根据附图所示的特定的实施方式说明了本发明,但本发明并不限于附图所示的实施方式,只要起到本发明的效果,当然可以采用到目前为止所公知的任何结构。

Claims (17)

1.一种在可转换型的平板电脑中控制语音信号的控制方法,该可转换型的平板电脑具备构成麦克风阵列的多个麦克风,能够在形成强调空间来对从该多个麦克风收集到的语音信号进行处理的语音强调模式下工作、或不形成强调空间地对从该多个麦克风收集到的语音信号进行处理的非处理模式下工作,该控制方法的特征在于,
具有以下步骤:
在PC使用模式下使所述平板电脑在所述语音强调模式下工作;
所述平板电脑检测从所述PC使用模式变更为平板使用模式;以及
所述平板电脑对所述检测的步骤进行响应,对所述强调空间进行处理来工作,以便能够在所述平板使用模式下使用所述多个麦克风收集到的语音信号。
2.根据权利要求1所述的控制方法,其特征在于,
所述工作的步骤包含:从所述语音强调模式转移到所述非处理模式的步骤。
3.根据权利要求2所述的控制方法,其特征在于,
具有所述平板电脑检测从所述平板使用模式变更为所述PC使用模式的步骤,
所述工作的步骤包含:对所述检测的步骤进行响应,从所述非处理模式转移到所述语音强调模式的步骤。
4.根据权利要求1所述的控制方法,其特征在于,
所述工作的步骤包含:把所述强调空间的指向轴以及指向范围角或其中的某一方设定为与所述PC使用模式时的值不同的值的步骤。
5.根据权利要求4所述的控制方法,其特征在于,
具有所述平板电脑检测所述平板使用模式下的显示画面的方向的步骤,
所述工作的步骤包含:对应所述显示画面的方向改变所述指向轴的方向的步骤。
6.根据权利要求4或5所述的控制方法,其特征在于,
具有所述平板电脑检测所述平板电脑的倾斜角的步骤,
所述工作的步骤包含:对应所述倾斜角改变所述指向轴的方向的步骤。
7.根据权利要求4至6的任意一项所述的控制方法,其特征在于,
具有所述平板电脑检测所述平板电脑的晃动的步骤,
所述工作的步骤包含:对所述晃动进行响应,使所述强调空间的指向范围角的大小大于所述PC使用模式时的值的步骤。
8.一种可转换型的平板电脑,其特征在于,
具有:
构成麦克风阵列的多个麦克风;
语音数据生成单元,其根据所述多个麦克风收集到的语音信号生成语音数据;
语音处理单元,其形成强调空间对从所述语音数据生成单元取得的语音数据进行处理;
模式检测单元,其检测PC使用模式或平板使用模式的设定;
语音使用单元,其从所述语音数据生成单元或所述语音处理单元取得语音数据来使用;以及
控制单元,在所述语音使用单元在所述PC使用模式下从所述语音处理单元取得了语音数据时,对所述模式检测单元检测到所述平板使用模式进行响应,控制所述语音处理单元,以使所述语音使用单元从语音数据生成单元或所述语音处理单元取得语音数据。
9.根据权利要求8所述的平板电脑,其特征在于,
所述控制单元对所述模式检测单元检测出所述平板使用模式进行响应,使所述语音数据生成单元向所述语音使用单元提供语音数据。
10.根据权利要求9所述的平板电脑,其特征在于,
所述控制单元对所述模式检测单元检测出所述PC使用模式进行响应,使所述语音处理单元向所述语音使用单元提供语音数据。
11.根据权利要求8所述的平板电脑,其特征在于,
所述控制单元控制所述语音处理单元,以便将所述强调空间的指向轴以及指向范围角或者其中某一方设定为与所述PC使用模式时的值不同的值。
12.根据权利要求11所述的平板电脑,其特征在于,
具有检测在所述平板电脑的显示器上显示的画面的显示方向的显示方向检测单元,
所述控制单元,对应从所述显示方向检测单元取得的表示画面的方向的信息,改变所述指向轴的方向。
13.根据权利要求11或12所述的平板电脑,其特征在于,
具有测定所述平板电脑的倾斜角的倾斜角测定单元,
所述控制单元,对应从所述倾斜角测定单元取得的倾斜角信息,改变所述指向轴的方向。
14.根据权利要求13所述的平板电脑,其特征在于,
所述控制单元,对应所述平板电脑的晃动使所述指向范围角的大小大于所述PC使用模式时的值,所述平板电脑的晃动是根据从所述倾斜角测定单元定期取得的倾斜角信息而检测出的。
15.一种计算机程序,其特征在于,
使能够在对麦克风收集到的语音信号进行强调处理的语音强调模式下、和不进行强调处理的非处理模式下工作的可转换型平板电脑实现以下功能:
在PC使用模式下对所述麦克风收集到的语音信号进行强调处理;
检测从所述PC使用模式变更为平板使用模式;以及
对变更为所述平板使用模式进行响应,对所述强调处理的内容施加变更来工作,以便在所述平板使用模式下能够使用所述麦克风收集到的语音信号。
16.根据权利要求15所述的计算机程序,其特征在于,
所述工作的功能包含以下功能:停止所述强调处理来使用所述麦克风收集到的语音信号。
17.根据权利要求15所述的计算机程序,其特征在于,
所述工作的功能包含以下功能:进行工作,以使进行所述强调处理的空间的方向成为与所述PC使用模式时不同的方向。
CN200910173852.XA 2008-09-16 2009-09-16 具备麦克风的平板电脑以及控制方法 Active CN101676861B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008236394 2008-09-16
JP2008-236394 2008-09-16
JP2008236394A JP4643698B2 (ja) 2008-09-16 2008-09-16 マイクロフォンを備えるタブレット・コンピュータおよび制御方法

Publications (2)

Publication Number Publication Date
CN101676861A true CN101676861A (zh) 2010-03-24
CN101676861B CN101676861B (zh) 2014-09-03

Family

ID=42006777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910173852.XA Active CN101676861B (zh) 2008-09-16 2009-09-16 具备麦克风的平板电脑以及控制方法

Country Status (3)

Country Link
US (1) US8174547B2 (zh)
JP (1) JP4643698B2 (zh)
CN (1) CN101676861B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634721A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种数据处理方法以及一种电子设备
CN104658536A (zh) * 2015-03-09 2015-05-27 深圳酷派技术有限公司 录音方式切换方法、录音方式切换***和终端
CN105957527A (zh) * 2016-05-16 2016-09-21 珠海格力电器股份有限公司 一种语音控制电器的方法、装置及语音控制空调
CN110691290A (zh) * 2019-09-27 2020-01-14 联想(北京)有限公司 拾音控制方法和装置、电子设备和介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134251A (ja) * 2008-12-05 2010-06-17 Sanyo Electric Co Ltd 映像表示装置およびその制御方法
US8941623B2 (en) * 2010-07-27 2015-01-27 Motorola Mobility Llc Methods and devices for determining user input location based on device support configuration
US8989360B2 (en) * 2011-03-04 2015-03-24 Mitel Networks Corporation Host mode for an audio conference phone
US9066169B2 (en) * 2011-05-06 2015-06-23 Etymotic Research, Inc. System and method for enhancing speech intelligibility using companion microphones with position sensors
US9246543B2 (en) 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US9141136B2 (en) 2012-01-08 2015-09-22 Parle Innovation, Inc. Tablet computer carrying case with retractable latch
JP2014085946A (ja) * 2012-10-25 2014-05-12 Toshiba Corp 情報処理装置および動作制御方法
US9078057B2 (en) * 2012-11-01 2015-07-07 Csr Technology Inc. Adaptive microphone beamforming
JP6030032B2 (ja) * 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
US10114481B2 (en) * 2015-12-24 2018-10-30 Intel Corporation Flexible display sensing
US10848866B2 (en) 2016-04-05 2020-11-24 Hewett-Packard Development Company, L.P. Audio interface for multiple microphones and speaker systems to interface with a host
JP2018129678A (ja) * 2017-02-08 2018-08-16 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、そのマイク使用方法、及びコンピュータが実行するためのプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748757A (en) * 1995-12-27 1998-05-05 Lucent Technologies Inc. Collapsible image derived differential microphone
JPH1021047A (ja) * 1996-07-05 1998-01-23 Nippon Telegr & Teleph Corp <Ntt> 雑音抑圧収音装置
JP2950260B2 (ja) * 1996-11-22 1999-09-20 日本電気株式会社 雑音抑圧送話装置
JP3475809B2 (ja) * 1998-10-14 2003-12-10 株式会社デンソー 携帯型テレビ無線電話
JP2000287292A (ja) * 1999-03-30 2000-10-13 Matsushita Electric Ind Co Ltd 指向性可変マイクロフォンを備えた情報処理装置
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP3940662B2 (ja) 2001-11-22 2007-07-04 株式会社東芝 音響信号処理方法及び音響信号処理装置及び音声認識装置
DE10211002A1 (de) * 2002-03-13 2003-09-25 Philips Intellectual Property Tragbares elektronisches Gerät mit Mitteln zur Registrierung der räumlichen Lage
WO2004034734A1 (ja) * 2002-10-08 2004-04-22 Nec Corporation アレイ装置および携帯端末
US7206196B2 (en) * 2003-09-15 2007-04-17 Intel Corporation Computer system with detachable display
JP4266148B2 (ja) * 2003-09-30 2009-05-20 株式会社東芝 電子機器
CN2662351Y (zh) * 2003-12-10 2004-12-08 英业达股份有限公司 附加在周边无线设备上的音频信号输入装置
JP4449869B2 (ja) * 2005-09-14 2010-04-14 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置及びプログラム
JP4929740B2 (ja) * 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置
JP2007272366A (ja) * 2006-03-30 2007-10-18 Toshiba Corp 電子機器及び動作制御方法
DE202006005761U1 (de) * 2006-04-06 2006-07-06 Brunnbauer, Gerhard Faltcomputer
JP4365845B2 (ja) * 2006-09-29 2009-11-18 レノボ・シンガポール・プライベート・リミテッド 携帯式コンピュータ、画面表示方向の変更方法、プログラムおよび記憶媒体
JP4350740B2 (ja) * 2006-12-05 2009-10-21 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器、画面の表示方向の変更方法、プログラムおよび記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634721A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种数据处理方法以及一种电子设备
US9332331B2 (en) 2012-08-20 2016-05-03 Lenovo (Beijing) Co., Ltd. Data processing method and an electronic apparatus
CN104658536A (zh) * 2015-03-09 2015-05-27 深圳酷派技术有限公司 录音方式切换方法、录音方式切换***和终端
CN105957527A (zh) * 2016-05-16 2016-09-21 珠海格力电器股份有限公司 一种语音控制电器的方法、装置及语音控制空调
CN110691290A (zh) * 2019-09-27 2020-01-14 联想(北京)有限公司 拾音控制方法和装置、电子设备和介质
CN110691290B (zh) * 2019-09-27 2022-10-25 联想(北京)有限公司 拾音控制方法和装置、电子设备和介质

Also Published As

Publication number Publication date
US8174547B2 (en) 2012-05-08
US20100066665A1 (en) 2010-03-18
JP2010072695A (ja) 2010-04-02
JP4643698B2 (ja) 2011-03-02
CN101676861B (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN101676861A (zh) 具备麦克风的平板电脑以及控制方法
US11175726B2 (en) Gesture actions for interface elements
JP5732792B2 (ja) 情報処理装置及び情報処理プログラム
US20200168177A1 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
US9075429B1 (en) Distortion correction for device display
EP2864932B1 (en) Fingertip location for gesture input
US20200272322A1 (en) Terminal interface display method and terminal
KR102389185B1 (ko) 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
JP6658518B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9141133B2 (en) Information processing apparatus and display screen operating method for scrolling
EP3223119B1 (en) Method and device for adjusting object attribute information
RU2598780C2 (ru) Способ управления вращением экрана и поддерживающие его терминал и воспринимающая касания система
CN105474131A (zh) 在电子装置中识别握持状态的方法及装置
US10311715B2 (en) Smart device mirroring
WO2015025277A1 (en) Controlling marine electronics device
CN108919839B (zh) 云台转向控制方法、装置、电子设备及存储介质
CN104808942A (zh) 用于web页面的触摸事件处理
US11392224B2 (en) Digital pen to adjust a 3D object
US10281996B2 (en) Touch sensitive system and stylus for commanding by maneuvering and method thereof
WO2017177394A1 (zh) 控制可穿戴电子设备运行状态的方法和装置
JP2017530350A (ja) 要求されたセンサ特性に基づく自動センサ選択
CN111124156B (zh) 移动终端的交互控制方法和移动终端
CN108803669B (zh) 云台转向控制方法、装置、电子设备及存储介质
US9146631B1 (en) Determining which hand is holding a device
CN112416115B (zh) 一种用于控件交互界面中进行人机交互的方法与设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200702

Address after: 23 / F, Lincoln building, 979 King's road, Quarry Bay, Hong Kong, China

Patentee after: Lenovo PC International Limited

Address before: Singapore New Technology Park

Patentee before: LENOVO (SINGAPORE) PTE. LTD.