CN102819314B - 声音控制设备和控制方法 - Google Patents

声音控制设备和控制方法 Download PDF

Info

Publication number
CN102819314B
CN102819314B CN201210180549.4A CN201210180549A CN102819314B CN 102819314 B CN102819314 B CN 102819314B CN 201210180549 A CN201210180549 A CN 201210180549A CN 102819314 B CN102819314 B CN 102819314B
Authority
CN
China
Prior art keywords
equipment
user
head
instruction
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210180549.4A
Other languages
English (en)
Other versions
CN102819314A (zh
Inventor
宫沢悠介
奥村泰史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102819314A publication Critical patent/CN102819314A/zh
Application granted granted Critical
Publication of CN102819314B publication Critical patent/CN102819314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种声音控制设备和控制方法。设备可以包含硬件处理器和存储介质。存储介质可以耦合到该处理器，并且可以存储指令。当被处理器执行时，指令可以使该设备接收方向信号，该方向信号指示用户头部相对于固定方向所面向的第一方向。指令也可以使设备在用户转动头部时把头部相对于固定方向所面向的第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向。另外，指令可以使设备生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。

Description

声音控制设备和控制方法
技术领域
本公开涉及控制来自头戴式耳机和耳塞式耳机的声音的声音控制设备等等的技术。
背景技术
过去，已知有控制头戴式耳机和耳塞式耳机的声音信号以使得从某个方向听到声音的技术。
日本专利申请公开第2008-92193号公开了在虚拟声源空间排列与音乐有关的多个虚拟声源并且控制来自头戴式耳机的声音信号以使得从多个虚拟声源听到音乐的技术。例如，假定戴着头戴式耳机的用户从他/她正面向前方的状态面向右，则当用户面向前方时从前方听到的音乐被从左手方听到，而当用户面向前方时从右手方听到的音乐被从前方听到。
发明内容
需要一种技术来从例如商店的真实对象(或虚拟对象)所存在的方向向用户呈现关于该真实对象(或虚拟对象)的简单信息，以及随着用户关于所呈现的信息执行某种动作而获得更加具体的信息。
相应地，公开了一种用于控制声音的设备，其可以包含硬件处理器和存储介质。存储介质可以耦合到该处理器，并且可以存储指令。当被处理器执行时，指令可以使该设备接收方向信号，该方向信号指示用户头部相对于固定方向所面向的第一方向。指令也可以使设备在用户转动头部时把头部相对于固定方向所面向的第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向。另外，指令可以使设备生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。
也公开了一种用于控制声音的方法。该方法可以包含接收方向信号，所述方向信号指示用户的头部相对于固定方向所面向的第一方向。该方法也可以包含当用户转动头部时把头部相对于固定方向所面向的第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向。另外，该方法可以包含生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。
另外，公开了一种存储指令的非暂时性计算机可读存储介质。当被处理器执行时，指令可以使设备接收方向信号，该方向信号指示用户头部相对于固定方向所面向的第一方向。指令也可以使设备把头部相对于固定方向所面向的第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向。另外，指令可以使设备生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。
根据一个实施例，提供了一种包含传感器单元和控制器的声音控制设备。
控制器被配置成基于来自传感器单元的信号判断用户面部相对于空间中出现的真实对象和空间中虚拟布置的虚拟对象之一的方向，控制声音信号的输出，使得从与相对于所述真实对象和所述虚拟对象之一的所述面部方向相对应的方向，从声音输出单元听到关于所述真实对象和所述虚拟对象之一的初级信息，基于来自所述传感器单元的信号判断用户关于所述初级信息的动作，以及根据所述动作控制所述声音信号的输出，使得从所述声音输出单元听到作为比初级信息更加具体的内容的次级信息。
在该声音控制设备中，控制声音输出单元(例如，头戴式耳机或耳塞式耳机)的声音信号，使得从诸如商店和建筑的真实对象存在的方向听到关于真实对象的初级信息(例如，"有一个商店”)。可选地，假定诸如邮件程序的虚拟对象例如虚拟布置在空间中，则控制声音输出单元的声音信号，使得从布置虚拟对象的方向听到关于虚拟对象的初级信息(例如，"接收到邮件”)。
当用户关于初级信息执行动作时，传感器单元检测到动作，并且控制声音输出单元的声音信号，使得听到作为比初级信息更加具体的内容的次级信息(例如，关于商店和主要内容的具体信息)。随着用户关于初级信息执行动作，能够听到作为比初级信息更加具体的内容的次级信息。
声音控制设备还可以包含通信单元。在这样的情况下，控制器可以测量声音控制设备的位置，经由所述通信单元获得空间中出现的真实对象的位置信息，基于位置信息判断声音控制设备和真实对象之间的距离，以及控制声音信号的输出，使得当距离变得等于或小于预定阈值(即，距离)时，从声音输出单元听到关于真实对象的初级信息。
通过这种结构，在用户正携带声音控制设备的情况下，当声音控制设备和真实对象之间的距离变得等于或小于预定阈值时，控制声音输出单元的声音信号，使得从真实对象存在的方向听到关于真实对象的初级信息。如果用户需要关于真实对象的次级信息(具体信息)，用户只需关于初级信息执行动作。
在声音控制设备中，控制器可以把使面部朝向听到初级信息的方向的运动判断为用户关于初级信息的动作，并且控制声音信号的输出，使得随着面部的方向接近听到初级信息的方向，次级信息的音量变大。
在声音控制设备中，随着当希望得到次级信息时用户面向听到初级信息的方向，次级信息的音量随着面部方向接近听到初级信息的方向而变大。
在声音控制设备中，控制器可以执行主任务，并且控制声音信号的输出，使得随着面部方向接近听到初级信息的方向，次级信息的音量变大，而主任务的音量变小。
在声音控制设备中，随着当希望得到次级信息时用户面向听到初级信息的方向，次级信息的音量变大，并且例如，由主任务实行的音乐音量变小。
在声音控制设备中，控制器可以把头部的运动判断为用户关于初级信息的动作，并且控制声音信号的输出，使得当头部上下运动时，从声音输出单元听到次级信息。
结果，通过上下活动头部(点头)，用户能够听到次级信息。
在声音控制设备中，控制器可以把在用户正将面部朝向听到初级信息的方向的状态下头部的运动判断为用户关于初级信息的动作，并且基于在面部朝向听到初级信息的方向的状态下头部的运动来判断是否把次级信息作为声音信号输出。
通过这种结构，用户能够通过在面向听到初级信息的方向的同时仅仅活动头部来选择是否听次级信息。
在声音控制设备中，控制器可以判断在用户正将面部朝向听到初级信息的方向的状态下头部的运动，并且基于在面部朝向听到初级信息的方向的状态下头部的运动来控制声音信号的输出，使得从声音输出单元听到次级信息。
通过这种结构，用户能够通过在面向听到初级信息的方向的同时仅仅上下活动头部(点头)来选择是否听次级信息。
在声音控制设备中，控制器可以控制声音信号的输出，使得从与面部相对于真实对象和虚拟对象之一的方向相对应的方向听到次级信息。
在声音控制设备中，声音输出单元可以是头戴式耳机和耳塞式耳机之一。
附图说明
图1是示出根据本公开一个实施例的声音控制设备的图；
图2是示出根据本公开的该实施例的声音控制设备的电气结构的框图；
图3是示出根据本公开的该实施例的蜂窝(即移动)电话的控制器的处理的流程图；
图4是用于说明图3所示的处理的补充图，该图示出了用户正戴着头戴式耳机并且在地上行走的状态；
图5是示出设置屏幕的示例的图，该设置屏幕被显示给用户以便设置关于属于什么类别的真实对象的什么信息将被呈现；
图6是示出控制器的处理的示例的流程图，其中当根据用户关于初级信息的动作从头戴式耳机听次级信息时执行该处理；
图7是示出控制器的处理的另一示例的流程图，其中当根据用户关于初级信息的动作从头戴式耳机听次级信息时执行该处理；
图8是示出控制器的处理的另一示例的流程图，其中当根据用户关于初级信息的动作从头戴式耳机听次级信息时执行该处理；
图9是示出根据本公开另一实施例的声音控制设备的图；
图10是示出根据该另一实施例的声音控制设备的电气结构的框图；
图11是示出根据该另一实施例的集成有显示单元的PC的控制器的处理的流程图；
图12是用于说明图11所示的处理的补充图，该图示出空间中虚拟布置的虚拟对象；
图13是示出在听到关于邮件程序的初级信息之后用户面向听到初级信息的方向的状态的图；
图14是示出根据本公开另一实施例的声音控制设备的处理的流程图；而
图15是用于说明图14所示的处理的补充图，该图示出在面向虚拟对象(邮件程序)存在的方向的同时用户发出语音的状态。
具体实施方式
下文参考附图详细描述本公开的实施例。
[声音控制设备100的总体结构和部件的结构]
图1是示出根据本公开一个实施例的声音控制设备100的图。图2是示出声音控制设备100的电气结构的框图。如图所示，声音控制设备100包含声音控制设备主体10(蜂窝电话10)、连接到声音控制设备主体10的头戴式耳机20(声音输出单元)和附连到头戴式耳机20的传感器单元30。在第一实施例中，蜂窝电话10作为声音控制设备主体10的示例。
蜂窝电话10包含控制器11、显示单元12、输入单元13、天线14、通信单元15和存储设备16。蜂窝电话10也包含通信扬声器和通信麦克风(未示出)。
显示单元12由例如液晶显示器或EL(电致发光)显示器构成。输入单元13包含触摸传感器，其检测通过手指、输入笔等等关于显示单元12和蜂窝电话10上提供的输入按钮进行的用户操作。
存储设备16包含易失存储器(例如，RAM(随机访问存储器))和非易失存储器(例如，ROM(只读存储器))。易失存储器被用作控制器11的工作区，并且临时存储用于控制器11的处理的程序和诸如音乐数据和视频数据的数据。非易失存储器固定存储控制器11的处理所需的各种程序和诸如音乐数据和视频数据的数据。可以从诸如光盘和半导体存储器的可拆卸记录介质中读出非易失存储器中存储的程序。
控制器11由CPU(中央处理单元(即，硬件处理器))等等构成。控制器11基于存储设备(即，存储介质)16中存储的程序(即，指令)执行各种操作。
通信单元15执行把天线14发送和接收的无线电波的频率进行转换的处理、调制处理、解调处理等等。天线14发送和接收通信无线电波，以及用于电子邮件、万维网数据等等的分组通信的无线电波。
通信单元15能够与信息管理服务器(未示出)通信。信息管理服务器存储空间中出现的真实对象1(例如，商店和建筑)的位置信息(参见图4)，以及关于真实对象1的初级和次级信息。信息管理服务器也响应于来自蜂窝电话10的请求而发送真实对象1的位置信息，和关于真实对象1的初级和次级信息。
关于真实对象1(例如，商店和建筑)的初级信息是关于真实对象1的简单信息。另一方面，关于真实对象1的次级信息是关于真实对象1的具体信息。例如，在真实对象1是商店的情况下，初级信息是商店名称、商店类型等等，在真实对象1是建筑的情况下，初级信息是建筑名称、建筑类型等等。例如，在真实对象1是商店的情况下，次级信息是推荐的产品、营业时间等等，在真实对象1是建筑的情况下，次级信息是建筑的具体历史等等。
例如，在头戴式耳机20的顶部提供传感器单元30。传感器单元30包含方向传感器(例如，地磁传感器)和运动(即，移动)传感器，方向传感器检测地面上(即，相对于固定方向)用户的面部的方向(即，用户头部面向的方向)，运动传感器检测用户头部的移动。运动传感器的示例包含角速度传感器(例如，振动陀螺仪传感器和旋转陀螺陀螺仪传感器)和加速度传感器(例如，压缩电阻传感器、压电传感器和电容传感器)。角速度传感器和加速度传感器的组合可以被用作运动传感器。
传感器单元30包含A/D转换单元。从方向传感器和运动传感器输出的信号(例如，分别输出的方向和运动信号)被进行A/D转换，并且输入到蜂窝电话10的控制器11。
虽然在图1和2中蜂窝电话10和头戴式耳机20是有线连接的，然而蜂窝电话10和头戴式耳机20可以无线通信。
[操作说明]
下面描述这个实施例的蜂窝电话10的控制器11的处理。图3是示出这个实施例的蜂窝电话10(控制器11)的处理的流程图。图4是用于说明图3所示的处理的补充图，该图示出了用户正戴着头戴式耳机20并且在地上行走的状态。
首先，用户在戴着头戴式耳机20的同时在地上行走。在这样的情况下，用户可以在听蜂窝电话10中存储的音乐数据或视频数据的声音的同时行走。
如图3所示，控制器11首先经由天线14和通信单元15从GPS卫星接收无线电波(即，头部位置信号)，并且基于来自GPS卫星的无线电波测量用户的位置(蜂窝电话10的位置)(步骤101)。以预定周期执行用户位置(蜂窝电话10的位置)的测量。
接着，控制器11向信息管理服务器发送针对有关在用户位置的预定距离d内出现的真实对象1(例如，商店和建筑)的位置信息、初级信息和次级信息的请求信号(步骤102)。距离d例如是大约10m到2km(参见图4)。
响应于请求信号，信息管理服务器发送关于在用户位置的预定距离d内出现的真实对象1的位置信息(即，对象位置信号)、初级信息和次级信息。
在接收到关于真实对象1的信息(在步骤103为"是")时，控制器11判断在蜂窝电话10的位置(用户位置)的预定距离d内是否存在具有信息的真实对象1(参见图5)(步骤104)。
当蜂窝电话10的位置的预定距离d内存在真实对象1(在步骤104为"是")时，控制器11判断真实对象1是否匹配用户的偏好(步骤105)。
这里，预先设置用户希望得到什么样的关于真实对象1的信息。例如，控制器11在显示单元12上显示设置屏幕，设置屏幕用于设置在分类为多个类别的真实对象1中，属于什么类别的真实对象1的什么信息将被呈现。
图5是示出设置屏幕的示例的图，该设置屏幕被显示给用户以便设置关于属于什么类别的真实对象的什么信息将被呈现。在图5中，真实对象1被分类为"商店"类别和"建筑"类别。另外，在图5中，"商店"类别被分类为"餐馆"类别、"CD商店"类别和"书店"类别，"建筑"类别被分类为"现代建筑风格"类别和"历史建筑风格"类别。
图5示出CD商店和现代建筑风格被选择为用户偏好的情形的示例。基于用户偏好选择的真实对象1被存储在存储设备中。当用户希望改变设置时，通过在显示"○"和"×"的部分进行触摸操作来使"○"和"×"反置。
回来参照图3，当用户位置(蜂窝电话10的位置)的预定距离d内出现的真实对象1是匹配用户偏好的真实对象1时(在步骤105中为"是")，控制器11前进到步骤106。在步骤106，控制器11计算用户(蜂窝电话10)和真实对象1之间的距离，以及用户面部相对于真实对象1的方向(即，头部相对于连接头部和真实对象1的另一方向所面向的方向)的角度。
基于用户的位置信息和真实对象1的位置信息计算用户和真实对象1之间的距离。另一方面，基于蜂窝电话10的位置信息、真实对象1的位置信息和关于方向传感器获得的方向的信息，计算用户面部的方向的角度。
应当注意，当蜂窝电话10的预定距离d内出现匹配用户偏好的多个真实对象1时，针对多个真实对象1中的每个计算距离和面部方向。
接着，控制器11计算提供真实对象1的声源的距离和提供真实对象1的声源的方向(步骤107)。基于用户和真实对象1之间的距离确定提供真实对象1的声源的距离。换句话说，在接近用户的位置提供接近用户的真实对象1的声源，而在远离用户的位置提供远离用户的真实对象1的声源。基于用户面部相对于真实对象1的方向的角度，确定提供真实对象1的声源的方向。
应当注意，当蜂窝电话10的预定距离d内出现匹配用户偏好的多个真实对象1时，针对多个真实对象1中的每个计算距离和声源方向。
在计算提供声源的距离和方向之后，控制器11控制声音(即，音频)信号的输出，使得从与面部相对于真实对象1的方向相对应的方向(即，使得根据信号生成的声音被用户感知为从真实对象1的方向到达)，以与真实对象1和用户之间的距离相对应的音量听到初级信息(步骤108)。
结果，从头戴式耳机20听用户的预定距离d内出现并且匹配用户偏好的真实对象1的初级信息。此时，从与面部相对于真实对象1的方向相对应的方向，以对应于用户和真实对象1之间的距离的音量听到初级信息(参见图4)。
例如，从与用户面部相对于CD商店A(A：商店名称)的方向相对应的方向，以对应于CD商店A和用户之间的距离的音量，听到诸如”有CD商店A”的简单信息(初级信息)。此外，从与用户面部相对于东京塔的方向相对应的方向，以对应于东京塔和用户之间的距离的音量，听到诸如”有东京塔”的简单信息(初级信息)。结果，用户能够识别出在用户处于的区域中出现匹配用户偏好的哪些真实对象1，诸如商店和建筑。用户也可以直观地识别真实对象1的方向和真实对象1相对于其自身的距离。
应当注意，当在真实对象1的初级信息正被再现的同时用户转动他/她的头部并且改变面部方向时，调整真实对象1的声源的位置，使得从真实对象1出现的方向听到真实对象1的初级信息。例如，当在从左手方听到真实对象1的初级信息的情况下用户面向左手方时，于是从前方听到真实对象1的初级信息。
当在蜂窝电话10正执行诸如音乐再现和视频再现的主任务的同时再现初级信息时，控制器11可以把初级信息的音频与音乐或视频的音频合成并输出。在这样的情况下，控制器11可以控制声音信号，使得音乐或视频的音量变小。
在针对头戴式耳机20控制声音信号的输出之后，控制器11接着控制声音信号的输出，使得基于关于初级信息的用户动作，从头戴式耳机20听真实对象1的次级信息(具体信息)(步骤109)。
<当根据关于初级信息的用户动作从头戴式耳机20听次级信息时控制器11的处理>
接着使用3个示例具体描述当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器11的处理。
图6是示出当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器11的处理的一个示例的流程图。
如图6所示，当控制声音信号使得从头戴式耳机20听真实对象1的初级信息(步骤201)(参见步骤108)时，控制器11接着判断用户是否正面向听到初级信息的方向(步骤202)。能够基于来自方向传感器的方向信息来判断用户是否正面向听到初级信息的方向。
当用户正面向听到初级信息的方向(在步骤202为"是")时，控制器11判断用户是否横向摇动了他/她的头部(步骤204)。在这样的情况下，控制器11基于来自头戴式耳机20中提供的传感器单元30的运动传感器的信号，判断用户是否横向摇动了他/她的头部。
当用户没有横向摇动他/她的头部(在步骤204为"否")时，控制器11判断用户是否已点头(步骤205)。在这样的情况下，控制器11基于来自头戴式耳机20中提供的传感器单元30的运动传感器的信号，判断用户是否已点头。
当在步骤202用户未面向听到初级信息的方向(在步骤202为"否")时，控制器11前进到步骤203。类似地，当用户正面向听到初级信息的方向但是既未横向摇动他/她的头部也未点头(在步骤205为"否")时，控制器11前进到步骤203。
在步骤203，控制器11判断从初级信息的再现结束是否经过了预定时间(步骤203)。该时间例如为大约5到10秒。
当自从初级信息的再现结束未经过预定时间(在步骤203为"否")时，控制器11返回到步骤202并且判断用户是否正面向听到初级信息的方向。
当用户在经过预定时间之前面向听到初级信息的方向并且横向摇动他/她的头部(在步骤204为"是")时，控制器11在没有再现真实对象1的次级信息的情况下结束处理。结果，用户能够通过面向听到真实对象1的初级信息的方向并且横向摇动他/她的头部来取消次级信息的再现。
例如，当在听到”有CD商店A”的初级信息时用户面向听到初级信息的方向(出现CD商店的方向)并且横向摇动他/她的头部时，CD商店的次级信息(具体信息)的再现被取消。类似地，当在听到”有东京塔"的初级信息时用户面向听到初级信息的方向(出现东京塔的方向)并且横向摇动他/她的头部时，东京塔的次级信息(具体信息)的再现被取消。
当用户在经过预定时间之前面向听到初级信息的方向并且点头(在步骤205为"是")时，控制器11控制声音信号，使得从头戴式耳机20听到真实对象1的次级信息(步骤206)。在这样的情况下，控制器11控制声音信号的输出，使得从与面部相对于真实对象1的方向相对应的方向，以对应于真实对象1和用户之间的距离的音量听到真实对象1的次级信息。
例如，当在听到”有CD商店A”的初级信息时用户面向听到初级信息的方向(出现CD商店的方向)并且点头时，开始CD商店的次级信息(具体信息)的再现。在这样的情况下，诸如关于推荐CD和CD商店A的营业时间的信息的具体信息被作为次级信息来再现。
类似地，当在听到”有东京塔"的初级信息时用户面向听到初级信息的方向(出现东京塔的方向)并且点头时，再现东京塔的次级信息(具体信息)。在这样的情况下，作为次级信息，再现诸如东京塔的高度、东京塔的历史和东京塔点灯的时间的具体信息。
如上所述，用户能够通过面向听到真实对象1的初级信息的方向并且点头来获取关于真实对象1的具体信息。
应当注意，当在真实对象1的次级信息正被再现的同时用户转动他/她的头部并且改变面部方向时，调整声源的位置，使得从真实对象1出现的方向听到真实对象1的次级信息。例如，当用户面向真实对象1的方向并且点头，以及之后向左转动头部以改变面部方向90°时，从右手方听到真实对象1的次级信息。
当在蜂窝电话10正执行诸如音乐再现和视频再现的主任务的同时再现次级信息时，控制器11可以把次级信息的音频与音乐或视频的音频合成并输出。在这样的情况下，控制器11可以控制声音信号，使得音乐或视频的音量变小。
此外，随着当再现次级信息的同时用户横向摇动他/她的头部，可以停止次级信息的再现。
当用户面向听到初级信息的方向并且在没有横向摇动他/她的头部或点头的情况下经过预定时间(在步骤203为"是")时，控制器11在没有再现次级信息的情况下结束处理。换句话说，当用户未关于初级信息执行任何动作时，控制器11在不再现次级信息的情况下结束处理。结果，用户能够通过不关于初级信息执行任何动作来取消次级信息的再现。
接着，使用另一个示例描述当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器11的处理。
图7是示出当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器11的处理的另一示例的流程图。
在上述图6的示例中，用户通过在面向听到真实对象1的初级信息的方向的同时横向摇动他/她的头部或点头来选择是否再现真实对象1的次级信息。另一方面，图7的示例不同于图6的示例的地方在于，当通过横向摇动他/她的头部或点头来选择是否再现真实对象1的次级信息时，用户能够面向任何方向。
如图7所示，当控制声音信号使得从头戴式耳机20听真实对象1的初级信息(步骤301)(参见步骤108)时，控制器11接着判断用户是否横向摇动他/她的头部(步骤302)。
当用户没有横向摇动他/她的头部(在步骤302为"否")时，控制器11判断用户是否已点头(步骤303)。当用户没有点头(在步骤303为"否")时，控制器11判断自从真实对象1的初级信息的再现结束是否经过了预定时间(步骤304)。像在图6所示的示例的情形中那样，预定时间例如为大约5到10秒。
当自从真实对象1的初级信息的再现结束没有经过预定时间(在步骤304为"否")时，控制器11返回到步骤302，并且再次判断用户是否横向摇动他/她的头部。
当用户在从初级信息的再现结束经过预定时间之前横向摇动他/她的头部(在步骤302为"是")时，控制器11在不再现真实对象1的次级信息的情况下结束处理。结果，用户能够通过在再现初级信息之后横向摇动他/她的头部来取消次级信息的再现。
当用户在从初级信息的再现结束经过预定时间之前点头(在步骤303为"是")时，控制器11控制声音信号，使得从头戴式耳机20听真实对象1的次级信息。在这样的情况下，控制器11控制声音信号的输出，使得从与面部相对于真实对象1的方向相对应的方向，以对应于真实对象1和用户之间的距离的音量听到真实对象1的次级信息。结果，用户能够通过在再现初级信息之后点头来开始次级信息的再现。当用户在再现次级信息的同时横向摇动他/她的头部时，控制器11可以停止次级信息的再现。
当在用户没有横向摇动他/她的头部或点头的情况下经过预定时间(在步骤304为"是")时，控制器11在没有再现次级信息的情况下结束处理。结果，用户能够通过不关于初级信息执行任何动作来取消次级信息的再现。
接着使用另一个示例来描述当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器11的处理。
图8是示出当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器11的处理的另一示例的流程图。
如图8所示，当控制声音信号使得从头戴式耳机20听真实对象1的初级信息(步骤401)(参见步骤108)时，控制器11接着开始真实对象1的次级信息的再现(步骤402)。在这样的情况下，控制器11控制声音信号的输出，使得从与面部相对于真实对象1的方向相对应的方向，以对应于真实对象1和用户之间的距离的音量听到真实对象1的次级信息。
接着，控制器11判断用户面部相对于真实对象1的方向是否已经改变(步骤403)。在这样的情况下，控制器11基于来自方向传感器的方向信息判断用户面部的方向是否已经改变。
当用户转动他/她的头部以改变面部方向(在步骤403为"是")时，控制器11根据用户面部相对于真实对象1的方向调整真实对象1的声源的位置和次级信息的音量(步骤404)。此时，控制器11控制声音信号的输出，使得随着用户面部的方向接近听到初级信息的方向(听到次级信息的方向)，次级信息的音量变大。
当用户面部的方向未改变(在步骤403为"否")并且已经调整真实对象1的声源的位置和次级信息的音量(步骤404)时，控制器11前进到步骤405。在步骤405，控制器11判断是否已经再现所有次级信息。
当仍然有要再现的次级信息(在步骤405为"否")时，控制器11返回到步骤403，并且再次判断面部的方向是否已经改变。另一方面，当已经再现所有次级信息(在步骤405为"是")时，控制器11结束处理。
通过图8所示的处理，用户能够通过面向听到次级信息的方向(真实对象1出现的方向)来调整次级信息的音量以变大。
在对第一实施例的说明中，虽然蜂窝电话10被作为声音控制设备主体10的示例，然而声音控制设备主体10不限于此。声音控制设备主体10可以是便携音乐播放器、PDA(个人数字助理)、平板PC(个人计算机)、膝上型PC等等。
<第二实施例>
下面描述本公开的第二实施例。在上述第一实施例中，描述了这样的情形：从与用户面部相对于空间中出现的诸如商店和建筑的真实对象1的方向相对应的方向听有关真实对象1的初级和次级信息。另一方面，第二实施例不同于上述第一实施例的地方在于，诸如应用程序的虚拟对象2被虚拟布置在空间中，并且从提供虚拟对象2的方向听有关虚拟对象2的初级和次级信息。因此，将主要描述此方面。
[声音控制设备200的总体结构和部件的结构]
图9是示出根据本公开第二实施例的声音控制设备200的图。图10是示出根据第二实施例的声音控制设备200的电气结构的框图。
如图所示，第二实施例的声音控制设备200包含声音控制设备主体50(集成显示单元的PC 50)、连接到声音控制设备主体50的头戴式耳机20和传感器单元60。传感器单元60包含声音控制设备主体50上提供的第一传感器单元61和头戴式耳机20上提供的第二传感器单元62。在第二实施例中，集成显示单元的PC 50被作为声音控制设备主体50的示例。
集成显示单元的PC 50包含控制器51、显示单元52、输入单元53、通信单元54和存储设备55。
显示单元52由例如液晶显示器或EL(电致发光)显示器构成。输入单元53由键盘、鼠标、触摸传感器等等构成，从用户输入指令并且把指令输出到控制器51。
存储设备55包含易失存储器(例如，RAM(随机访问存储器))和非易失存储器(例如，ROM(只读存储器))。存储设备55包含辅助存储装置，诸如HDD(硬盘驱动器)和SDD(固态驱动器)。ROM、HDD和SDD固定存储控制器51的处理所需的各种程序和各种数据。可以从诸如光盘和半导体存储器的可拆卸记录介质(即，非暂时性计算机可读存储介质)读出程序。
控制器51基于存储设备55中存储的程序执行各种操作。通信单元54在控制器51的控制下发送和接收诸如电子邮件和万维网数据的各种数据。
构成传感器单元60的一部分的第一传感器单元61由诸如CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器的摄像器件构成。从第一传感器单元61输出的信号经过A/D转换并且输入到控制器51。控制器51基于第一传感器单元61得到的图像判断用户面部的方向。
构成传感器单元60的一部分的第二传感器单元62由诸如加速度传感器和角速度传感器的运动传感器构成。从第二传感器单元62输出的信号经过A/D转换并且输入到控制器51。控制器51基于从第二传感器单元62输出的信号判断用户头部的移动。
虽然在图9和10中集成显示单元的PC 50和头戴式耳机20是有线连接的，然而集成显示单元的PC 50和头戴式耳机20可以无线通信。
[操作说明]
下面描述这个实施例的集成显示单元的PC 50的控制器51的处理。图11是示出这个实施例的集成显示单元的PC 50的控制器51的处理的流程图。图12是用于说明图11所示的处理的补充图，该图示出虚拟布置于(即，位于)空间中的虚拟对象2。
如图11所示，控制器51首先在空间中虚拟布置虚拟对象2(步骤501)。图12示出了一个情形的示例：作为虚拟对象2的邮件程序2a被布置在用户的右手侧(头戴式耳机20的右侧)，作为虚拟对象2的微博客2b被布置在用户的左手侧(头戴式耳机20的左侧)。
如图12所示，当在空间中布置虚拟对象2时，控制器51正执行诸如音乐再现和视频再现的主任务。此时，控制器51控制头戴式耳机20的声音信号，使得从对应于用户面部的方向的方向听到音乐和视频的音频。
当在空间中布置虚拟对象2之后，控制器51判断是否经由通信单元54接收了邮件程序2a的邮件、微博客2b的推特信息和评论、等等(步骤502)。
当经由通信单元54接收到那些信息(在步骤502中为"是")时，控制器51接着计算用户面部相对于虚拟对象2的方向的角度(步骤503)。在这样的情况下，控制器51判断用户面部相对于来自由第一传感器单元61(摄像器件)得到的图像的屏幕的方向。接着，控制器51基于用户面部相对于屏幕的方向来判断用户面部相对于虚拟对象2的方向。
接着，控制器51计算用于布置虚拟对象2的声源的距离和方向(步骤504)。基于用户面部相对于虚拟对象2的方向，确定用于布置虚拟对象2的声源的方向。
接着，控制器51控制声音信号，使得从虚拟对象2的声源的位置，从头戴式耳机20听到关于虚拟对象2的初级信息(步骤505)。应当注意，在这样的情况下，控制器51把初级信息的音频与音乐、视频等等(主任务的音频)的音频相合成并输出。控制器51可以在初级信息的再现期间执行调低主任务的音量的处理。
例如，下面描述虚拟对象2是邮件程序2a的情形。在这样的情况下，控制声音信号，使得作为虚拟对象2的初级信息，从布置邮件程序2a的方向听到诸如"从...接收到邮件。"的简单信息。可选地，可以控制声音信号，使得作为初级信息，从布置邮件程序2a的方向听到诸如"哔哔"的简单提醒声。
接着，描述虚拟对象2是微博客2b的情形。在这样的情况下，控制声音信号，使得作为虚拟对象2的初级信息，从布置微博客2b的方向听到诸如"来自...的推特信息。"或"来自...的评论"的简单信息。可选地，可以控制声音信号，使得作为初级信息，从布置微博客2b的方向听到诸如"哔哔"的简单提醒声。
应当注意，当在虚拟对象2的初级信息正被再现的同时用户转动他/她的头部以改变面部方向时，调整虚拟对象2的声源的位置，使得从虚拟对象2出现的方向听到初级信息。例如，当在从左手方听到虚拟对象2的初级信息的情况下用户面向左手方时，于是从前方听到虚拟对象2的初级信息。
接着，控制器51控制声音信号，使得根据关于初级信息(简单信息)的用户动作从头戴式耳机20听次级信息(具体信息)(步骤506)。
<当根据关于初级信息的用户动作从头戴式耳机20听次级信息时控制器51的处理>
接着，描述当根据关于初级信息的用户动作从头戴式耳机20听次级信息时执行的控制器51的处理。除了空间中布置的对象不是真实对象1而是虚拟对象2之外，在这样的情况下的处理通常与参考图6到8描述的第一实施例的3个示例相同。因此，下面参考图6到8描述在这样的情况下的处理。
参考图6，当用户在从初级信息的再现结束经过预定时间之前(在步骤203为"否")面向听到初级信息的方向(在步骤202为"是")并且横向摇动他/她的头部(在步骤204为"是")时，控制器51在未再现次级信息的情况下结束处理。结果，用户能够通过面向听到初级信息的方向并且横向摇动他/她的头部来取消次级信息的再现。
根据已经基于第一传感器单元61(摄像器件)得到的图像判断出的用户面部的方向，判断用户是否正面向听到初级信息的方向。此外，基于第二传感器单元62(运动传感器)检测的信号，判断用户是否横向摇动他/她的头部。
例如，当在听到"从...接收到邮件。"的初级信息时用户面向听到初级信息的方向(出现邮件程序2a的方向)并且横向摇动他/她的头部时，取消次级信息(具体信息)的再现。类似地，当在听到"来自...的推特信息。"或"来自...的评论"的初级信息时用户面向听到初级信息的方向(出现微博客2b的方向)并且横向摇动他/她的头部时，取消次级信息(具体信息)的再现。
当用户在从初级信息的再现结束经过预定时间之前(在步骤203为"否")面向听到初级信息的方向(在步骤202为"是")并且点头(在步骤205为"是")时，控制器51控制声音信号的输出，使得从与用户面部相对于虚拟对象2的方向相对应的方向听到次级信息(步骤206)。此外，基于第二传感器单元62(运动传感器)检测的信号，判断用户是否点头。
应当注意，在这样的情况下，控制器51把次级信息的音频与音乐、视频等等(主任务的音频)的音频相合成并输出。控制器51可以在次级信息的再现期间执行调低主任务的音量的处理。
例如，当在听到"从...接收到邮件。"的初级信息时用户面向听到初级信息的方向(出现邮件程序2a的方向)并且点头时，开始次级信息(具体信息)的再现。在这样的情况下，控制器51将邮件内容作为次级信息来再现。
类似地，当在听到"来自...的推特信息。"或"来自...的评论"的初级信息时用户面向听到初级信息的方向(出现微博客2b的方向)并且点头时，开始次级信息(具体信息)的再现。在这样的情况下，控制器51将推特信息或评论的内容作为次级信息来再现。TTH(文本到语音)技术被用作把邮件、推特信息、评论等等的文字内容转换为音频的方法。
如上所述，通过面向听到初级信息的方向(虚拟对象2出现的方向)并且点头，用户能够获取作为比初级信息更加具体的内容的次级信息。
应当注意，当在真实对象1的次级信息正被再现的同时用户转动他/她的头部并且改变面部方向时，调整声源的位置，使得从虚拟对象2出现的方向听到次级信息。例如，当用户面向虚拟对象2的方向并且点头，以及之后向左转动头部以改变面部方向90°时，从右手方听到次级信息。
此外，随着当再现次级信息的同时用户横向摇动他/她的头部，可以停止次级信息的再现。
当用户面向听到初级信息的方向并且在用户没有横向摇动他/她的头部或点头的情况下经过预定时间(在步骤203为"是")时，控制器51在没有再现次级信息的情况下结束处理。换句话说，当用户未关于初级信息执行任何动作时，控制器51在不再现次级信息的情况下结束处理。结果，用户能够通过不关于初级信息执行任何动作来取消次级信息的再现。
参考图7，当用户在从初级信息的再现结束经过预定时间之前(在步骤304为"否")横向摇动他/她的头部(在步骤302为"是")时，控制器51在未再现诸如邮件内容、推特信息和评论的次级信息的情况下结束处理。结果，用户能够通过在再现初级信息之后横向摇动他/她的头部(不管面部方向如何)来取消次级信息的再现。
当用户在经过预定时间之前(在步骤304为"否")点头(在步骤303为"是")时，控制器51控制声音信号，使得从头戴式耳机20听到诸如邮件内容、推特信息和评论的次级信息(步骤305)。在这样的情况下，控制器51控制声音信号的输出，使得从与面部相对于虚拟对象2的方向相对应的方向听到次级信息。
通过如上所述的处理，用户能够通过在再现初级信息之后点头(不管面部方向如何)来开始次级信息的再现。当用户在再现次级信息的同时横向摇动他/她的头部时，控制器51可以停止次级信息的再现。
当在用户没有横向摇动他/她的头部或点头的情况下经过预定时间时(在步骤304为"是")，控制器51在没有再现次级信息的情况下结束处理。结果，用户能够通过不关于初级信息执行任何动作来取消次级信息的再现。
参考图8，当在开始次级信息的再现之后用户面向听到初级信息的方向(听到次级信息的方向)时(在步骤403为"是")，从与用户面部相对于虚拟对象2的方向相对应的方向听到次级信息，并且随着面部方向接近虚拟对象2的方向，次级信息的音量变大(步骤404)。
图13是示出在听到关于邮件程序2a的初级信息之后用户面向听到初级信息的方向的状态的图。如图13的左侧所示，当从前方听到主任务的音频(音乐的音频等等)时，从布置在用户右手侧的邮件程序2a的声源位置听到"从...接收到邮件。"的初级信息。下面描述如图13的右侧所述用户转动他/她的头部以面向听到初级信息的方向的情形。
在这样的情况下，控制声音信号，使得从与用户面部相对于邮件程序2a的方向相对应的方向听到诸如邮件内容的次级信息。类似地，控制声音信号，使得从对应于用户面部的方向的方向听到主任务的音频(音乐的音频)。此外，在这样的情况下，控制声音信号，使得随着面部方向接近听到初级信息的方向(听到次级信息的方向)，次级信息的音量变大，并且主任务的音量变小。
通过图8所示的处理，用户能够通过面向听到次级信息的方向(虚拟对象2出现的方向)来调高次级信息的音量。
[第二实施例的修改例子]
下面描述第二实施例的修改例子。如上所述，在第二实施例中，诸如邮件程序2a和微博客2b的应用程序作为虚拟对象2被布置在空间中。于是，控制器51控制声音信号，使得从虚拟对象2的方向听到初级和次级信息。由于从某方向听到初级和次级信息，用户已经知道诸如邮件程序2a和微博客2b的应用程序(虚拟对象2)被布置在的方向。在第二实施例的修改例子中使用这种关系。
图14是示出根据第二实施例的修改例子的处理的流程图。图15是用于说明图14所示的处理的补充图，该图示出在面向虚拟对象2(邮件程序2a)出现的方向的同时用户发出语音的状态。
如图15所示，控制器51正执行诸如音乐再现和视频再现的主任务。参考图14，控制器51基于第一传感器单元61(摄像器件)得到的图像判断用户面部的方向是否已经改变(步骤601)。
当用户的面部方向已经改变(在步骤601为"是")时，控制器51判断诸如邮件程序2a和微博客2b的应用程序(虚拟对象2)是否被布置在用户面向的方向(步骤602)。在这样的情况下，控制器51当在距离用户面部的前方例如±45°的范围内存在应用程序时，判断在用户面向的方向存在应用程序(虚拟对象2)。
应当注意，当用户的面部方向已经改变时，控制器51控制声源的位置，使得从与用户的面部方向相对应的方向听到音乐和视频的音频(主任务的音频)(图15的左侧和右侧)。
当在步骤602判断"是"(在步骤602为"是")时，控制器51执行音频识别处理(步骤603)。由加入到例如头戴式耳机20中的麦克风来收集用户说出的语音。
在图15的右侧，示出这样的情形的示例：在面向邮件程序2a(虚拟对象2)出现的方向的同时，用户说出"亲爱的...。"，并且说出要发送到...的邮件的内容。应当注意，由于从右手侧听到初级("从...接收到邮件。")和次级信息(邮件内容)，用户已经知道邮件程序2a被布置在用户的右手侧。
在执行音频识别处理之后，控制器51向应用程序发出音频命令(步骤604)。结果，在邮件文本中写下用户说出的"亲爱的...。"的内容。
此外，当在面向微博客2b出现的方向的同时用户说出要在微博客2b中写下的内容(推特信息、评论等等)时，控制器51识别音频。于是，用户关于微博客2b说出的内容被写在微博客2b中。
通过如上所述的处理，用户能够在不禁止主任务的情况下通过发声来写下邮件和微博客的内容。
虽然在第二实施例和第二实施例的修改例子的说明中集成显示单元的PC 50被作为声音控制设备主体50的示例，然而声音控制设备主体50不限于此。声音控制设备主体50可以是台式PC、膝上型PC、平板PC、蜂窝电话、便携音乐播放器、PDA(个人数字助理)等等。
<修改例子>
上述说明以头戴式耳机20作为一个例子。然而，也可以使用耳塞式耳机(声音输出单元)而不是头戴式耳机20。
在上述说明中，头戴式耳机20中提供的方向传感器、运动传感器等等被作为检测关于初级信息的用户动作的传感器的示例。然而，用于检测关于初级信息的用户动作的传感器不限于此。
然而，麦克风可以被用作用于检测关于初级信息的用户动作的传感器。在例如声音控制设备主体10或50、或头戴式耳机20中提供麦克风。
在这样的情况下，例如，当听到诸如"有家商店"和"接收到邮件"的初级信息时，用户对麦克风说出诸如"是"或"否"的语音以作为关于初级信息的动作。当判断已经说出"是"的语音时，控制器11或51可以作为声音信号输出诸如关于商店和邮件内容的具体信息的次级信息。用户可以在面向诸如商店和邮件程序2a的对象出现的方向的同时说出"是"或"否"，或者在不考虑诸如商店和邮件程序2a的对象出现的方向的情况下说出"是"或"否"。
本公开也可以采取下面的结构。
(1)一种设备，包括：
硬件处理器；和
耦合到所述处理器并且存储指令的存储介质，所述指令当被所述处理器执行时使所述设备：
接收方向信号，所述方向信号指示用户的头部相对于固定方向所面向的第一方向；
把所述头部相对于所述固定方向所面向的所述第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向；以及
生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。
(2)如(1)所述的设备，包括方向传感器，其被配置成生成所述方向信号。
(3)如(1)或(2)所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得由所述音频信号生成的声音指示关于所述对象的第一信息。
(4)如(3)所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备：
接收指示所述头部的运动的运动信号；以及
有选择地基于所述运动信号生成所述音频信号，使得由所述音频信号生成的声音指示关于所述对象的第二信息。
(5)如(4)所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得当所述运动信号指示所述头部点头时，由所述音频信号生成的声音指示所述第二信息。
(6)如(4)所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得当(i)所述运动信号指示所述头部点头并且(ii)所述方向信号指示所述头部面向所述对象时，由所述音频信号生成的声音指示所述第二信息。
(7)如(4)至(6)中任何一个所述的设备，包括运动传感器，其被配置成生成所述运动信号。
(8)如(4)至(7)中任何一个所述的设备，包括用于接收无线电波的天线，其中所述存储介质存储指令，所述指令当被所述处理器执行时使所述设备通过所述天线从另一设备接收所述第一信息和所述第二信息。
(9)如(1)至(8)中任何一个所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备：
接收指示所述头部的位置的头部位置信号；
接收指示所述对象的位置的对象位置信号；以及
当所述头部的位置和所述对象的位置之间的距离小于或等于预定阈值距离时，有选择地生成所述音频信号。
(10)如(9)所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得由所述音频信号生成的声音的音量对应于所述头部的位置和所述对象的位置之间的距离。
(11)如(9)或(10)所述的设备，包括用于接收无线电波的天线，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备通过所述天线从另一设备接收所述对象位置信号。
(12)如(1)至(11)中任何一个所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成音频信号，使得由所述音频信号生成的声音当所述头部面向所述对象时的音量比所述头部不面向所述对象时的音量更大。
(13)如(1)至(12)中任何一个所述的设备，包括头戴式耳机或耳塞式耳机之一，被配置成接收所述音频信号并且由所述音频信号生成所述声音。
(14)如(1)至(13)中任何一个所述的设备，其中
所述对象是虚拟对象；并且
所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备在空间中定位所述虚拟对象。
虽然参考附图详细描述了一些实施例，然而本公开不限于这样的实施例。本领域的技术人员应当理解，根据设计需求和其它因素，可以进行各种修改、组合、子组合和变化，只要它们在所附权利要求书或其等同表述的范围内。此外，应当理解，如这里所使用的，在包含转折词"包括"、"包含"和/或"具有"的开放式权利要求中，不定冠词"a"和"an”("一"和"一个")表示"一个或更多个"。

Claims (16)

1.一种用于控制声音的设备，包括：
硬件处理器；和
耦合到所述处理器并且存储指令的存储介质，所述指令当被所述处理器执行时使所述设备：
接收方向信号，所述方向信号指示用户的头部相对于固定方向所面向的第一方向；
当所述用户转动头部时，把所述头部相对于所述固定方向所面向的所述第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向；以及
生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。
2.如权利要求1所述的设备，包括方向传感器，其被配置成生成所述方向信号。
3.如权利要求1所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得由所述音频信号生成的声音指示关于所述对象的第一信息。
4.如权利要求3所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备：
接收指示所述头部的运动的运动信号；以及
有选择地基于所述运动信号生成所述音频信号，使得由所述音频信号生成的声音指示关于所述对象的第二信息。
5.如权利要求4所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得当所述运动信号指示所述头部点头时，由所述音频信号生成的声音指示所述第二信息。
6.如权利要求4所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得当(i)所述运动信号指示所述头部点头并且(ii)所述方向信号指示所述头部面向所述对象时，由所述音频信号生成的声音指示所述第二信息。
7.如权利要求4所述的设备，包括运动传感器，其被配置成生成所述运动信号。
8.如权利要求7所述的设备，包括头戴式耳机或耳塞式耳机之一，配有所述运动传感器，并且被配置成接收所述音频信号并且由所述音频信号生成所述声音。
9.如权利要求4所述的设备，包括用于接收无线电波的天线，其中所述存储介质存储指令，所述指令当被所述处理器执行时使所述设备通过所述天线从另一设备接收所述第一信息和所述第二信息。
10.如权利要求1所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备：
接收指示所述头部的位置的头部位置信号；
接收指示所述对象的位置的对象位置信号；以及
当所述头部的位置和所述对象的位置之间的距离小于或等于预定阈值距离时，有选择地生成所述音频信号。
11.如权利要求10所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成所述音频信号，使得由所述音频信号生成的声音的音量对应于所述头部的位置和所述对象的位置之间的距离。
12.如权利要求10所述的设备，包括用于接收无线电波的天线，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备通过所述天线从另一设备接收所述对象位置信号。
13.如权利要求1所述的设备，其中所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备生成音频信号，使得由所述音频信号生成的声音当所述头部面向所述对象时的音量比所述头部不面向所述对象时的音量更大。
14.如权利要求1所述的设备，包括头戴式耳机或耳塞式耳机之一，被配置成接收所述音频信号并且由所述音频信号生成所述声音。
15.如权利要求1所述的设备，其中
所述对象是虚拟对象；并且
所述存储介质存储这样的指令：所述指令当被所述处理器执行时使所述设备在空间中定位所述虚拟对象。
16.一种用于控制声音的方法，包括：
接收方向信号，所述方向信号指示用户的头部相对于固定方向所面向的第一方向；
当所述用户转动头部时，把所述头部相对于所述固定方向所面向的所述第一方向转换为第二方向，其中所述头部相对于连接所述头部和对象的第三方向而面向所述第二方向；以及
生成音频信号，所述音频信号具有使得由所述音频信号生成的声音被所述用户感知为从所述第三方向到达的特征。
CN201210180549.4A 2011-06-09 2012-06-01 声音控制设备和控制方法 Active CN102819314B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-128983 2011-06-09
JP2011128983A JP5757166B2 (ja) 2011-06-09 2011-06-09 音制御装置、プログラム及び制御方法

Publications (2)

Publication Number Publication Date
CN102819314A CN102819314A (zh) 2012-12-12
CN102819314B true CN102819314B (zh) 2016-12-14

Family

ID=47303455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210180549.4A Active CN102819314B (zh) 2011-06-09 2012-06-01 声音控制设备和控制方法

Country Status (3)

Country Link
US (2) US9055157B2 (zh)
JP (1) JP5757166B2 (zh)
CN (1) CN102819314B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610706A (zh) * 2019-09-23 2019-12-24 珠海格力电器股份有限公司 声音信号采集方法、装置、电器设备控制方法及电器设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT1607840E (pt) 2004-06-18 2015-05-20 Tobii Ab Controlo ocular de um computador
US9880615B2 (en) * 2013-02-15 2018-01-30 Seiko Epson Corporation Information processing device and control method for information processing device
JP2015087695A (ja) * 2013-11-01 2015-05-07 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN104424073A (zh) * 2013-08-21 2015-03-18 联想(北京)有限公司 一种信息处理的方法及电子设备
EP3036620B1 (en) 2013-08-23 2017-03-29 Tobii AB Systems and methods for providing audio to a user based on gaze input
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
CN103593047B (zh) * 2013-10-11 2017-12-08 北京三星通信技术研究有限公司 移动终端及其操控方法
JP6674737B2 (ja) * 2013-12-30 2020-04-01 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 位置データを有する聴取装置および聴取装置の動作方法
WO2015103439A1 (en) 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200708171A (en) * 2005-06-21 2007-02-16 Japan Science & Tech Agency Mixing device, method, and program
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US6061718A (en) * 1997-07-23 2000-05-09 Ericsson Inc. Electronic mail delivery system in wired or wireless communications system
AUPP271598A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
US6298305B1 (en) * 1998-07-15 2001-10-02 Visteon Technologies, Llc Methods and apparatus for providing voice guidance in a vehicle navigation system
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
GB2374507B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface with audio cursor
JP2002257581A (ja) * 2001-03-02 2002-09-11 Denso Corp 携帯型誘導案内装置
JP4300036B2 (ja) * 2002-08-26 2009-07-22 株式会社リコー トナー及び画像形成装置
JP4438816B2 (ja) * 2002-08-27 2010-03-24 ヤマハ株式会社 サウンドデータ配信システム
JP2005343431A (ja) * 2004-06-07 2005-12-15 Denso Corp 車両用情報処理システム
JP2005354223A (ja) * 2004-06-08 2005-12-22 Toshiba Corp 音源情報処理装置、音源情報処理方法、音源情報処理プログラム
JP2006025281A (ja) * 2004-07-09 2006-01-26 Hitachi Ltd 情報源選択システム、および方法
US7489979B2 (en) * 2005-01-27 2009-02-10 Outland Research, Llc System, method and computer program product for rejecting or deferring the playing of a media file retrieved by an automated process
JP4837512B2 (ja) 2006-09-29 2011-12-14 独立行政法人科学技術振興機構 音源選択装置
US20080253547A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Audio control for teleconferencing
DE102008055180A1 (de) * 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
US8401848B2 (en) * 2009-12-15 2013-03-19 At&T Intellectual Property I, L.P. System and method for audible text center subsystem
US10031576B2 (en) * 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
EP2591614B1 (en) * 2010-07-06 2014-05-14 Bang & Olufsen A/S A method and an apparatus for a user to select one of a multiple of audio tracks
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
TW200708171A (en) * 2005-06-21 2007-02-16 Japan Science & Tech Agency Mixing device, method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610706A (zh) * 2019-09-23 2019-12-24 珠海格力电器股份有限公司 声音信号采集方法、装置、电器设备控制方法及电器设备

Also Published As

Publication number Publication date
JP2012257076A (ja) 2012-12-27
CN102819314A (zh) 2012-12-12
US20120328137A1 (en) 2012-12-27
US20150237456A1 (en) 2015-08-20
US10542369B2 (en) 2020-01-21
JP5757166B2 (ja) 2015-07-29
US9055157B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
CN102819314B (zh) 声音控制设备和控制方法
US20140168176A1 (en) Multi-purpose stylus for a computing device
US9189136B2 (en) Information processing apparatus and information processing method
CN108540655A (zh) 一种来电显示处理方法及移动终端
CN109104662A (zh) 指令执行方法、操作响应方法、终端及耳机设备
CN107491283A (zh) 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
US20210081163A1 (en) Spatialized augmented reality (ar) audio menu
CN109582817A (zh) 一种歌曲推荐方法、终端及计算机可读存储介质
CN111628925A (zh) 歌曲交互方法、装置、终端及存储介质
CN110830368A (zh) 即时通讯消息发送方法及电子设备
CN108763475A (zh) 一种录制方法、录制装置及终端设备
CN113365085A (zh) 一种直播视频生成方法及装置
JP6733662B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP6727921B2 (ja) 情報処理装置、情報処理システム、情報処理方法
CN110706679A (zh) 一种音频处理方法及电子设备
CN111341317B (zh) 唤醒音频数据的评价方法、装置、电子设备及介质
KR101626307B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR101727900B1 (ko) 휴대 단말기 및 그 동작 제어방법
CN107911428A (zh) 一种歌曲推送方法、装置及移动终端
CN108563650B (zh) 一种音频文件播放进度的调节方法及移动终端
CN112086081A (zh) 合唱方法、终端及计算机存储介质
CN109831170A (zh) 一种播放设备控制方法、***及存储介质
KR101685340B1 (ko) 휴대 단말기 및 그 동작 방법
US20240176818A1 (en) Content playback system, information processing apparatus, and content playback controlling application
KR101727911B1 (ko) 휴대 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant