CN117121512A - 音响再现方法、计算机程序及音响再现装置 - Google Patents

音响再现方法、计算机程序及音响再现装置 Download PDF

Info

Publication number
CN117121512A
CN117121512A CN202280025435.4A CN202280025435A CN117121512A CN 117121512 A CN117121512 A CN 117121512A CN 202280025435 A CN202280025435 A CN 202280025435A CN 117121512 A CN117121512 A CN 117121512A
Authority
CN
China
Prior art keywords
sound
information
listener
plane
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280025435.4A
Other languages
English (en)
Inventor
榎本成悟
水野耕
石川智一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority claimed from PCT/JP2022/015600 external-priority patent/WO2022220114A1/ja
Publication of CN117121512A publication Critical patent/CN117121512A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)

Abstract

音响再现方法包括:取得步骤,取得第1区域信息及方向信息,第1区域信息表示第1声音的声像被定位的第1区域(A1),方向信息表示收听者(L)的头部所朝向的方向(D);判断步骤,在将经过收听者(L)的两耳的平面设为规定平面(S)的情况下,取得表示在声音再现空间中第2声音的声像被定位的第2区域(A2)的第2区域信息,并且基于方向信息,判断第1声音到达收听者(L)的第1方向(D1)与第2声音到达收听者(L)的第2方向(D2)是否以规定平面(S)为对称面而面对称;处理步骤,在判断为第1方向(D1)与第2方向(D2)面对称的情况下,对声音信息实施将第2方向(D2)变更的变更处理;以及输出步骤,输出实施变更处理后的声音信息。

Description

音响再现方法、计算机程序及音响再现装置
技术领域
本公开涉及音响再现方法等。
背景技术
在专利文献1中,公开了对1个以上的第1声音(音响对象)及其他的1个以上的第2声音(音响对象)分别进行与第1规则及第2规则对应的处理(演绎)的音响再现方法。
现有技术文献
专利文献
专利文献1:国际公开第2017/220852号
发明内容
发明要解决的课题
但是,有时收听者难以正确地感知到达收听者的两个声音。
所以,本公开的目的是提供收听者容易正确地感知到达收听者的两个声音的音响再现方法等。
用来解决课题的手段
有关本公开的一技术方案的音响再现方法包括:取得步骤,取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中到达收听者的对象声音即第1声音的声像被定位的第1区域,上述方向信息表示上述收听者的头部所朝向的方向;判断步骤,在将与上述收听者的头部所朝向的方向垂直、且经过上述收听者的两耳的平面设为规定平面的情况下,取得表示在上述声音再现空间中到达上述收听者的第2声音的声像被定位的第2区域的第2区域信息,并且基于所取得的上述方向信息,判断上述第1声音到达上述收听者的第1方向与上述第2声音到达上述收听者的第2方向是否以上述规定平面为对称面而面对称;处理步骤,在判断为上述第1方向与上述第2方向面对称的情况下,取得表示上述第2声音的声音信息,对所取得的上述声音信息实施将上述第2方向变更以使上述第1方向与上述第2方向不为面对称的变更处理;以及输出步骤,输出实施上述变更处理后的上述声音信息。
有关本公开的一技术方案的程序使计算机执行上述的音响再现方法。
有关本公开的一技术方案的音响再现装置具备:取得部,取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中到达收听者的对象声音即第1声音的声像被定位的第1区域,上述方向信息表示上述收听者的头部所朝向的方向;判断部,在将与上述收听者的头部所朝向的方向垂直、且经过上述收听者的两耳的平面设为规定平面的情况下,取得表示在上述声音再现空间中到达上述收听者的第2声音的声像被定位的第2区域的第2区域信息,并且基于所取得的上述方向信息,判断上述第1声音到达上述收听者的第1方向与上述第2声音到达上述收听者的第2方向是否以上述规定平面为对称面而面对称;处理部,在判断为上述第1方向与上述第2方向面对称的情况下,取得表示上述第2声音的声音信息,对所取得的上述声音信息实施将上述第2方向变更以使上述第1方向与上述第2方向不为面对称的变更处理;以及输出部,输出实施上述变更处理后的上述声音信息。
另外,这些包含性或具体的技术方案也可以由***、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时性的记录介质实现,也可以由***、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
根据有关本公开的一技术方案的音响再现方法,收听者容易正确地感知到达收听者的两个声音。
附图说明
图1是表示有关实施方式1的音响再现装置的功能结构的框图。
图2是表示有关实施方式1的声音再现空间的示意图。
图3是有关实施方式1的音响再现装置的动作例的流程图。
图4是用来说明有关实施方式1的声音再现空间中的第2声音的示意图。
图5是表示对第2声音信息实施变更处理后的声音再现空间的示意图。
图6是表示有关实施方式1的收听者的头部所朝向的方向发生了变化的情况下的声音再现空间的一例的示意图。
图7是表示有关实施方式1的收听者的头部所朝向的方向发生了变化的情况下的声音再现空间的另一例的示意图。
图8是表示有关实施方式2的音响再现装置的功能结构的框图。
图9是有关实施方式2的音响再现装置的动作例的流程图。
图10是用来说明有关实施方式2的声音再现空间中的第2声音的示意图。
图11是表示对第2声音信息实施变更处理后的声音再现空间的示意图。
具体实施方式
(作为本公开的基础的认识)
以往,已知有通过对多个声音分别进行与不同的规则对应的处理,收听者能够听到即能够感知多个声音的音响再现方法。
例如,在专利文献1中公开了以下的音响再现方法。在该音响再现方法中,根据收听者的动作将多个声音分类,以使其属于第1组或第2组。进而,对属于第1组的1个以上的第1声音进行与第1规则对应的处理,对属于第2组的1个以上的第2声音进行与第2规则对应的处理。
例如,第1规则定义:变更第1声音的强度以及变更第1声音与收听者的距离,第2规则定义:变更第2声音的强度以及变更第2声音与收听者的距离。
根据这样的音响再现方法,收听者能够感知两个声音(第1声音及第2声音)。
但是,在专利文献1所公开的音响再现方法中,有时收听者难以正确地感知到达收听者的两个声音。以下进行说明。
设与收听者的头部朝向的方向垂直、且经过收听者的平面为规定平面。当将该规定平面作为对称面时,第1声音到达收听者的第1方向与第2声音到达收听者的第2方向面对称的情况下,收听者难以正确地感知到达收听者的两个声音。另外,第1方向与第2方向面对称的情况,换言之也是第1声音到达收听者的方向(第1方向)与规定平面所成的角度等于第2声音到达收听者的方向(第2方向)与规定平面所成的角度的情况。
在这样的情况下,如果收听者听第1声音及第2声音,则会发生从相同的方向听到第1声音及第2声音等的问题,即收听者不能正确地感知第1声音及第2声音。该问题因为人具有来源于耳壳形状及分辨极限的感知特性(更具体地讲是听觉特性)而发生。
在这样的情况下,即使如专利文献1所公开的音响再现方法所示进行处理以使第1声音及第2声音的强度等变更,收听者也会从相同的方向听到第1声音及第2声音。因此,需要有收听者容易正确地感知到达收听者的两个声音的音响再现方法等。
所以,有关本公开的一技术方案的音响再现方法包括:取得步骤,取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中到达收听者的对象声音即第1声音的声像被定位的第1区域,上述方向信息表示上述收听者的头部所朝向的方向;判断步骤,在将与上述收听者的头部所朝向的方向垂直、且经过上述收听者的两耳的平面设为规定平面的情况下,取得表示在上述声音再现空间中到达上述收听者的第2声音的声像被定位的第2区域的第2区域信息,并且基于所取得的上述方向信息,判断上述第1声音到达上述收听者的第1方向与上述第2声音到达上述收听者的第2方向是否以上述规定平面为对称面而面对称;处理步骤,在判断为上述第1方向与上述第2方向面对称的情况下,取得表示上述第2声音的声音信息,对所取得的上述声音信息实施将上述第2方向变更以使上述第1方向与上述第2方向不为面对称的变更处理;以及输出步骤,输出实施上述变更处理后的上述声音信息。
由此,第1方向和第2方向不会成为面对称的关系。进而,第1声音到达收听者的方向(第1方向)与规定平面所成的角度不同于第2声音到达收听者的方向(第2方向)与规定平面所成的角度。因此,即使收听者听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生,所以收听者能够正确地感知第1声音及第2声音。即,能实现收听者容易正确地感知到达收听者的两个声音的音响再现方法。
此外,例如也可以是,上述第2声音是与上述第1声音不同的对象声音,上述音响再现方法包括提取步骤,在该提取步骤中,取得音频内容信息,提取所取得的上述音频内容信息所包含的上述第1区域信息、上述第2区域信息及上述声音信息,在上述取得步骤中,取得所提取的上述第1区域信息,在上述判断步骤中,取得所提取的上述第2区域信息,在上述处理步骤中,取得所提取的上述声音信息。
由此,能实现在第2声音是与第1声音不同的对象声音的情况下,收听者也容易正确地感知到达收听者的两个声音的音响再现方法。
此外,例如也可以是,在上述取得步骤中,取得表示上述声音再现空间的形状的空间信息,上述音响再现方法包括决定步骤,在该决定步骤中,基于所取得的上述第1区域信息及所取得的上述空间信息,决定作为上述第1声音的反射声音的上述第2声音的上述声像被定位的上述第2区域,在上述判断步骤中,取得表示所决定的上述第2区域的上述第2区域信息,在上述处理步骤中,取得表示上述第1声音的声音信息作为表示上述第2声音的上述声音信息。
由此,能实现在第2声音是第1声音的反射声音的情况下,收听者也容易正确地感知到达收听者的两个声音的音响再现方法。
此外,例如也可以是,在上述处理步骤中,实施将上述第2方向错移以使上述第2声音的两耳间强度差及上述第2声音的两耳间时间差中的至少一方变大的上述变更处理。
这样,通过将第2声音到达收听者的方向(第2方向)错移,第1声音到达收听者的方向(第1方向)与规定平面所成的角度不同于第2声音到达收听者的方向(第2方向)与规定平面所成的角度。进而,如果第2声音的两耳间强度差变大,则收听者更容易感知第2声音到达收听者的方向(第2方向)。同样,如果第2声音的两耳间时间差变大,则收听者更容易感知第2声音到达收听者的方向(第2方向)。因此,通过将第2声音到达收听者的方向(第2方向)错移以使两耳间强度差及两耳间时间差中的至少一方变大,能实现收听者更容易正确地感知到达收听者的两个声音的音响再现方法。
此外,有关本公开的一技术方案的计算机程序是用来使计算机执行上述的音响再现方法的计算机程序。
由此,计算机能够按照程序执行上述的音响再现方法。
此外,有关本公开的一技术方案的音响再现装置具备:取得部,取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中到达收听者的对象声音即第1声音的声像被定位的第1区域,上述方向信息表示上述收听者的头部所朝向的方向;判断部,在将与上述收听者的头部所朝向的方向垂直、且经过上述收听者的两耳的平面设为规定平面的情况下,取得表示在上述声音再现空间中到达上述收听者的第2声音的声像被定位的第2区域的第2区域信息,并且基于所取得的上述方向信息,判断上述第1声音到达上述收听者的第1方向与上述第2声音到达上述收听者的第2方向是否以上述规定平面为对称面而面对称;处理部,在判断为上述第1方向与上述第2方向面对称的情况下,取得表示上述第2声音的声音信息,对所取得的上述声音信息实施将上述第2方向变更以使上述第1方向与上述第2方向不为面对称的变更处理;以及输出部,输出实施上述变更处理后的上述声音信息。
由此,第1方向和第2方向不会成为面对称的关系。进而,第1声音到达收听者的方向(第1方向)与规定平面所成的角度不同于第2声音到达收听者的方向(第2方向)与规定平面所成的角度。因此,即使收听者听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生,所以收听者能够正确地感知第1声音及第2声音。即,能实现收听者容易正确地感知到达收听者的两个声音的音响再现装置。
另外,这些包含性或具体的技术方案也可以由***、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时性的记录介质实现,也可以由***、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下,参照附图对实施方式具体地进行说明。
另外,以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,不是要限定权利要求的范围。
此外,在以下的说明中,有对要素赋予第1及第2等序数的情况。这些序数是为了识别要素而对要素赋予的,并不一定对应于有意义的顺序。这些序数既可以适当替换,也可以新赋予,也可以去除。
此外,各图是示意图,并不一定是严密地图示的。因而,在各图中比例尺等并不一定一致。在各图中,对于实质上相同的结构赋予相同的标号,将重复的说明省略或简略化。
在本说明书中,平行或垂直等的表示要素间的关系性的用语、数值范围不是仅表示严格的意义的表现,而是意味着实质上同等的范围、例如也包含几个百分点左右的差异的表现。
(实施方式1)
[结构]
首先,对有关实施方式1的音响再现装置100的结构进行说明。图1是表示有关本实施方式的音响再现装置100的功能结构的框图。图2是表示有关本实施方式的声音再现空间的示意图。
有关本实施方式的音响再现装置100是用于对表示第1声音的声音信息及表示第2声音的声音信息实施处理,并通过向收听者L佩戴的耳机200输出而使收听者L收听第1声音及第2声音的装置。更具体地讲,音响再现装置100是用于使收听者L收听立体音响的立体音响再现装置。作为一例,有关本实施方式的音响再现装置100是应用于虚拟现实或增强现实(VR/AR)等的各种各样的应用的装置。
图2中表示了作为在声音再现空间中到达收听者L的对象声音的第1声音。更具体地讲,图2是在从收听者L的上方朝向收听者L的方向、即从收听者L的头的上方沿着铅直下方朝向收听者L的方向上观察声音再现空间的图。另外,在本实施方式中,声音再现空间是指在虚拟现实或增强现实(VR/AR)等的各种各样的应用中使用的虚拟现实空间或增强现实空间。
在图2所示的声音再现空间中,为了说明方向,以与时钟盘表示的时间对应的方式表示了0时、3时及9时。此外,中空箭头表示收听者L的头部所朝向的方向D,在图2中,位于上述时钟盘的中心(也称作原点)的收听者L的头部所朝向的方向D是0时方向。以下,有时将连结收听者L与0时的方向记作“0时方向”,时钟盘表示的其他时间也是同样的。
这里,对有关本实施方式的第1声音进行说明。
如图2所示,作为对象声音的第1声音的声像被定位于第1区域A1。即,第1声音是从声音再现空间中的第1区域A1到达收听者L的声音。此外,第1声音是如图2所示在从收听者L的头的上方沿着铅直下方朝向收听者L的方向上观察时从第1区域A1到达收听者L的声音。另外,在图2中用黑点表示了第1区域A1。此外,第1声音到达收听者L的方向是第1方向D1。
此外,设与收听者L的头部所朝向的方向D垂直、且经过收听者L的两耳的平面为规定平面S。有关本实施方式的规定平面S是与上述的方向D垂直的平面(更具体地讲是与铅直方向平行的平面),并且是经过收听者L的两耳的平面。此外,规定平面S也可以说是收听者L的冠状面。在图2中,由于收听者L的头部所朝向的方向D是0时方向,所以用在3时及9时的方向上延伸的单点划线表示了规定平面S。
另外,关于在图2中未图示的第2声音在后面叙述。
接着,对耳机200进行说明。
如图1所示,耳机200是具备头部传感器部201和第2输出部202的声音输出装置。
头部传感器部201感测收听者L的头部所朝向的方向D,将表示收听者L的头部所朝向的方向D的方向信息输出给音响再现装置100。另外,收听者L的头部所朝向的方向D也是收听者L的脸所朝向的方向。
头部传感器部201可以感测收听者L的头部的6DoF(Degrees of Freedom:自由度)的信息。例如,头部传感器部201可以是惯性测量单元(IMU:Inertial Measurement Unit)、加速度计、陀螺仪、磁传感器或它们的组合。
此外,如果设收听者L的头部所朝向的方向D为收听者L的前方、与该前方相反的方向为收听者L的后方,则如图2所示,在本实施方式中,第1声音是从收听者L的前方到达收听者L的声音。
第2输出部202是再现第1声音及第2声音的装置。更具体地讲,第2输出部202基于由音响再现装置100处理并从音响再现装置100输出的表示第1声音的声音信息及表示第2声音的声音信息,再现第1声音及第2声音。另外,以下有将表示第1声音的声音信息记作第1声音信息、将表示第2声音的声音信息记作第2声音信息的情况。
接着,对图1表示的音响再现装置100进行说明。
如图1所示,音响再现装置100具备提取部110、信息处理部120、卷积处理部130和第1输出部140。
提取部110取得音频内容信息,提取所取得的音频内容信息所包含的规定的信息。提取部110例如从音响再现装置100外的存储装置(未图示)取得音频内容信息。另外,提取部110也可以取得在音响再现装置100自身具备的存储装置(未图示)中存储的音频内容信息。提取部110具有区域信息提取部111、空间信息提取部112和声音信息提取部113。
区域信息提取部111提取所取得的音频内容信息所包含的第1区域信息。第1区域信息是表示第1声音的声像被定位的第1区域A1的信息。更具体地讲,第1区域信息是表示声音再现空间中的第1区域A1的位置的信息。
空间信息提取部112提取所取得的音频内容信息所包含的空间信息。空间信息是表示声音再现空间的形状的信息,更具体地讲,是表示该声音再现空间中的设置物(墙壁、门、地板、顶棚、日常用具等)的设置位置及形状的信息。此外,空间信息还包含表示在该设置物将声音反射时将哪个频率以何种程度反射的信息。
声音信息提取部113提取所取得的音频内容信息所包含的第1声音信息。第1声音信息是表示作为对象声音的第1声音的信息,是以WAVE、MP3或WMA等形式表示的数字数据。
这样,在本实施方式中,音频内容信息包括第1区域信息、第1声音信息及空间信息。
此外,音频内容信息可以已被实施MPEG-H 3D Audio(ISO/IEC 23008-3)(以下记作MPEG-H 3D Audio)等编码处理。即,提取部110取得作为被编码的比特流的音频内容信息。提取部110取得音频内容信息并进行解码。提取部110基于上述的MPEG-H 3D Audio等实施解码处理。即,例如提取部110作为解码器发挥功能。
信息处理部120基于第1区域信息、空间信息及方向信息,判断第1声音的声像被定位的第1区域A1与第2声音的声像被定位的第2区域的位置关系。信息处理部120具有取得部121、决定部122和判断部123。
取得部121取得由提取部110提取的第1区域信息及空间信息。更具体地讲,取得由区域信息提取部111提取的第1区域信息及由空间信息提取部112提取的空间信息。此外,取得部121取得由耳机200(更具体地讲是头部传感器部201)感测到的方向信息。
决定部122基于所取得的第1区域信息及空间信息,决定第2声音的声像被定位的第2区域。
这里,对第2声音进行说明。例如,在声音再现空间中存在设置物等的情况下,第1声音直接到达收听者L,并且在该设置物上反射而到达收听者L。在本实施方式中,第2声音是在该设置物上反射而到达收听者L的第1声音,即是第1声音的反射声音。此外,第2声音到达收听者L的方向是第2方向。
决定部122基于第1区域信息所表示的第1区域A1和空间信息所表示的设置物的设置位置及形状,决定是否有第1声音的反射声音(第2声音),在有第2声音的情况下,决定第2声音的声像被定位的第2区域。进而,决定部122将表示所决定的第2区域的第2区域信息输出给判断部123。另外,第2区域信息是表示声音再现空间中的第2区域的位置的信息。
判断部123取得第2区域信息,该第2区域信息表示在声音再现空间中到达收听者L的第2声音的声像被定位的第2区域。另外,在本实施方式中,判断部123取得表示由决定部122决定的第2区域的第2区域信息。进而,判断部123基于由取得部121取得的方向信息,判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向是否以规定平面S为对称面而面对称。进而,判断部123将判断的结果向卷积处理部130输出。
卷积处理部130基于判断部123判断的结果,对表示第1声音的声音信息(第1声音信息)及表示第2声音的声音信息(第2声音信息)实施处理。卷积处理部130具有第1声音处理部131、第2声音处理部132和HRTF(Head-Related Transfer Function头相关传递函数)存储部133。
第1声音处理部131参照存储在HRTF存储部133中的头相关传递函数,对第1声音信息实施处理。更具体地讲,第1声音处理部131实施将头相关传递函数与第1声音信息卷积的处理,以使第1声音从由取得部121取得的第1区域信息所表示的第1区域A1到达收听者L。另外,第1声音处理部131取得由提取部110的声音信息提取部113从音频内容信息提取的第1声音信息,对所取得的第1声音信息实施上述的处理。
第2声音处理部132是参照存储在HRTF存储部133中的头相关传递函数对第2声音信息实施处理的处理部的一例。更具体地讲,第2声音处理部132实施将头相关传递函数与第2声音信息卷积的处理,以使第2声音从由决定部122决定的第2区域到达收听者L。如上述那样,第2声音是第1声音的反射声音。因此,第2声音处理部132取得由提取部110的声音信息提取部113从音频内容信息提取的第1声音信息作为第2声音信息,对所取得的第2声音信息实施上述的处理。
另外,在由判断部123判断为第1方向D1与第2方向面对称的情况下,第2声音处理部132进行以下的处理。第2声音处理部132取得表示第2声音的声音信息(第2声音信息),对所取得的第2声音信息实施将第2声音到达收听者L的第2方向变更以使第1方向D1与第2方向不为面对称的处理(变更处理)。即,在此情况下,第2声音处理部132实施将头相关传递函数与第2声音信息卷积的处理,以使得第2区域变更,并且第2声音到达收听者L的第2方向变更。
HRTF存储部133是存储有由第1声音处理部131及第2声音处理部132使用的头相关传递函数的存储装置。
由第1声音处理部131实施处理后的第1声音信息被输出到第1输出部140。同样,由第2声音处理部132实施处理后的第2声音信息被输出到第1输出部140。
第1输出部140是输出部的一例,取得被输出的第1声音信息及第2声音信息,将所取得的第1声音信息及第2声音信息输出给耳机200。在本实施方式中,第1输出部140将所取得的第1声音信息及所取得的第2声音信息混合,将混合后的第1声音信息及第2声音信息输出给耳机200。
另外,第1输出部140在由判断部123判断为第1方向D1与第2方向不为面对称的情况下,取得实施处理后的第1声音信息和实施处理后的第2声音信息。此外,第1输出部140在由判断部123判断为第1方向D1与第2方向面对称的情况下,取得实施处理后的第1声音信息和实施上述变更处理后的第2声音信息。
进而,耳机200的第2输出部202基于由第1输出部140输出的第1声音信息及第2声音信息,再现第1声音及第2声音。
这样,信息处理部120、卷积处理部130及第1输出部140基于由提取部110提取的信息,输出能够由耳机200再现的第1声音信息及第2声音信息。即,例如信息处理部120、卷积处理部130及第1输出部140作为渲染器发挥功能。
[动作例]
以下,对由音响再现装置100进行的音响再现方法的动作例进行说明。图3是有关本实施方式的音响再现装置100的动作例的流程图。
首先,提取部110取得音频内容信息(S10)。
提取部110从所取得的音频内容信息中,提取有关第1声音的第1区域信息及第1声音信息、以及空间信息(S20)。更具体地讲,区域信息提取部111提取音频内容信息所包含的第1区域信息。空间信息提取部112提取音频内容信息所包含的空间信息。声音信息提取部113提取音频内容信息所包含的第1声音信息。提取部110输出所提取的第1区域信息、第1声音信息及空间信息。
进而,信息处理部120取得表示第1区域A1的第1区域信息、方向信息及空间信息(S30)。更具体地讲,信息处理部120的取得部121取得从提取部110输出的第1区域信息及空间信息、以及从耳机200的头部传感器部201输出的方向信息。另外,该步骤S30相当于取得步骤。
接着,决定部122基于所取得的第1区域信息以及空间信息,决定作为反射声音的第2声音的声像被定位的第2区域(S40)。另外,该步骤S40相当于决定步骤。
这里,使用图4对步骤S40的处理进行更详细的说明。
图4是用来说明有关本实施方式的声音再现空间中的第2声音的示意图。另外,图4与图2同样是在从收听者L的头的上方沿着铅直下方朝向收听者L的方向上观察的图,后述的图5~图7、图10及图11也同样。
如上述那样,有关本实施方式的第2声音是第1声音的反射声音。决定部122基于第1区域信息所表示的第1区域A1和空间信息所表示的设置物的设置位置及形状,决定是否有第1声音的反射声音(第2声音)。这里,第1区域A1和设置物的设置位置及形状可以由x轴、y轴及z轴等坐标位置表示。
在图4中表示了作为设置物的一例的墙壁W。在此情况下,第1声音在墙壁W上反射而到达收听者L,所以决定为有作为第1声音的反射声音的第2声音。进而,在有第2声音的情况下,决定部122基于所取得的第1区域信息及空间信息,决定第2声音的声像被定位的第2区域A2。
另外,如上述那样,在本实施方式中,第1声音是从收听者L的前方到达收听者L的声音。进而,这里第2声音是从收听者L的后方到达收听者L的反射声音。
如图4所示,作为第1声音的反射声音的第2声音是从声音再现空间中的第2区域A2到达收听者L的声音。此外,第2声音是当如图4所示在从收听者L的头的上方沿着铅直下方朝向收听者L的方向上观察时从第2区域A2到达收听者L的声音。另外,第2区域A2在图4中由黑点表示,表示有第2声音到达收听者L的方向(第2方向D2)。
进而,决定部122将表示所决定的第2区域A2的第2区域信息输出给判断部123。
判断部123取得第2区域信息,该第2区域信息表示在声音再现空间中到达收听者L的第2声音的声像被定位的第2区域A2(S50)。更具体地讲,判断部123取得表示由决定部122决定的第2区域A2的第2区域信息。
进而,判断部123基于由取得部121取得的方向信息,判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向D2是否以规定平面S为对称面而面对称(S60)。另外,该步骤S60相当于判断步骤。
另外,在本实施方式中,收听者L与第1区域A1的距离和收听者L与第2区域A2的距离相同。因此,第1方向D1与第2方向D2面对称的情况相当于第2区域A2位于第1区域A1的面对称位置的情况。
这里,使用图4对步骤S60的处理进行更详细的说明。
在步骤S60中,由于已经取得了方向信息,所以作为与收听者L的头部所朝向的方向D垂直、且经过收听者L的平面的规定平面S在声音再现空间中怎样取位变得清楚。例如在图4中,收听者L的头部所朝向的方向D是0时方向,所以规定平面S在3时及9时的方向上延伸,关于规定平面S的x轴、y轴及z轴等坐标位置可以变得清楚。
此外,在已经取得的第1区域信息及第2区域信息各自中,可以将第1区域A1的位置用x轴、y轴及z轴等坐标位置表示,将第2区域A2的位置用x轴、y轴及z轴等坐标位置表示。
基于这样的信息,判断部123判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向D2是否以规定平面S为对称面而面对称。进而,判断部123将判断的结果输出给卷积处理部130。卷积处理部130取得判断部123判断的结果。
另外,在图4中,用θ1表示第1声音到达收听者L的第1方向D1与规定平面S所成的角度(以下有时记作第1角度)。此外,用θ2表示第2声音到达收听者L的第2方向D2与规定平面S所成的角度(以下有时记作第2角度)。在第1方向D1与第2方向D2面对称的情况下,第1角度(θ1)等于第2角度(θ2)。
如在(作为本公开的基础的认识)中说明那样,在第1方向D1与第2方向D2面对称的情况下,收听者L难以正确地感知到达收听者L的两个声音(这里是第1声音及第2声音)。更具体地讲,如果收听者L听第1声音及第2声音,则会从相同的方向听到第1声音及第2声音。例如,如第1声音的声像及第2声音的声像双方从第1方向D1到达收听者L那样听到第1声音及第2声音。因此,对于收听者L而言,听起来像没有作为反射声音的第2声音那样。即,在这样的情况下,收听者L不能正确地感知第1声音及第2声音。
另外,在本实施方式中,收听者L与第1区域A1的距离和收听者L与第2区域A2的距离相同,但并不限于此。即,即使收听者L与第1区域A1的距离和收听者L与第2区域A2的距离不同,在第1方向D1与第2方向D2面对称的情况下,也发生在(作为本公开的基础的认识)中记载的问题。
再次使用图3对动作例进行说明。
首先,对由判断部123判断为第1方向D1与第2方向D2面对称的情况(S60中为“是”)进行说明。这里,作为一例而说明第1角度及第2角度满足θ1=θ2=80°的情况。
在此情况下,卷积处理部130(第2声音处理部132)取得表示第2声音的第2声音信息,实施以下的处理。卷积处理部130(第2声音处理部132)对所取得的第2声音信息实施将第2声音到达收听者L的第2方向D2变更以使第1方向D1与第2方向D2不为面对称的处理(变更处理)(S70)。另外,此时卷积处理部130(第1声音处理部131)也对第1声音信息实施处理。更具体地讲,第1声音处理部131实施将头相关传递函数与第1声音信息卷积的处理,以使第1声音从第1区域A1到达收听者L。卷积处理部130将实施处理后的第1声音信息及实施变更处理后的第2声音信息输出给第1输出部140。另外,该步骤S70相当于处理步骤。
进而,第1输出部140将由卷积处理部130实施变更处理并输出的第2声音信息输出给耳机200(S80)。更具体地讲,第1输出部140将由卷积处理部130输出的第1声音信息及第2声音信息混合,将混合后的第1声音信息及第2声音信息输出给耳机200。另外,该步骤S80相当于输出步骤。
接着,耳机200的第2输出部202基于由第1输出部140输出的第1声音信息及第2声音信息,再现第1声音及第2声音。
这里,使用图5更详细地说明进行步骤S70及步骤S80的动作的结果在声音再现空间中到达收听者L的声音。
图5是表示对第2声音信息实施变更处理后的声音再现空间的示意图。
通过实施变更处理,第2声音的声像被定位的区域从图4所示的第2区域A2变更到图5所示的第2区域A21。即,第2声音到达收听者L的第2方向从图4所示的第2方向D2变更到图5所示的第2方向D21。在图5中表示了虚线箭头,该虚线箭头表示从图4所示的第2区域A2到图5所示的第2区域A21的变更。
另外,第1声音信息被第1声音处理部131实施了处理,以使第1声音从第1区域A1到达收听者L。因此,如图5所示,第1声音从第1区域A1到达收听者L。
此外,如果对第2声音信息实施变更处理,则作为第2声音到达收听者L的第2方向与规定平面S所成的角度的第2角度从图4所示的θ2变更为图5所示的θ21。因此,如果对第2声音信息实施变更处理,则第1角度(θ1)和第2角度(θ21)成为不同的值。因此,即使收听者L听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生。
此外,θ2与θ21之差的绝对值(即|θ2-θ21|)优选的是4°以上且20°以下,更优选的是6°以上且15°以下,更加优选的是8°以上且12°以下。例如,如上述那样是θ1=θ2=80°,但θ21=70°。由于θ2与θ21之差的绝对值成为上述的范围,因此可充分抑制上述问题的发生。
以上总结如下,有关本实施方式的音响再现方法包括取得步骤、判断步骤、处理步骤和输出步骤。
在取得步骤中,取得第1区域信息即方向信息,第1区域信息表示在声音再现空间中作为到达收听者L的对象声音的第1声音的声像被定位的第1区域A1,方向信息表示收听者L的头部所朝向的方向D。此外,设与收听者L的头部所朝向的方向D垂直、且经过收听者L的两耳的平面为规定平面S。在判断步骤中,取得第2区域信息,该第2区域信息表示在声音再现空间中到达收听者L的第2声音的声像被定位的第2区域A2。并且,在判断步骤中,基于所取得的方向信息,判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向D2是否以规定平面S为对称面而面对称。在处理步骤中,在判断为第1方向D1与第2方向D2面对称的情况下,取得表示第2声音的声音信息(第2声音信息),对所取得的第2声音信息实施将第2方向D2变更以使第1方向D1与第2方向D2不为面对称的变更处理。在输出步骤中,输出实施变更处理后的第2声音信息。
由此,第1方向D1与第2方向D21不会成为面对称的关系。进而,第1声音到达收听者L的第1方向D1与规定平面S所成的角度(第1角度)θ1不同于第2声音到达收听者L的第2方向D21与规定平面S所成的角度(第2角度)θ21。因此,即使收听者L听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生,所以收听者L能够正确地感知第1声音及第2声音。即,实现收听者L容易正确地感知到达收听者L的两个声音的音响再现方法。
此外,在有关本实施方式的变更处理中,第2声音与收听者L的距离保持为一定。进而,在有关本实施方式的变更处理中,第2声音的强度保持为一定。
这样,即使第2声音与收听者L的距离及第2声音的强度保持为一定,通过实施有关本实施方式的变更处理,也可充分地抑制上述问题的发生。
此外,在本实施方式中,在取得步骤中,取得表示声音再现空间的形状的空间信息。音响再现方法包括决定步骤,在该决定步骤中,基于所取得的第1区域信息及所取得的空间信息,决定作为第1声音的反射声音的第2声音的声像被定位的第2区域A2。在判断步骤中,取得表示所决定的第2区域A2的第2区域信息。在处理步骤中,取得表示第1声音的声音信息(第1声音信息)作为表示第2声音的声音信息(第2声音信息),。
由此,能实现在第2声音是第1声音的反射声音的情况下,收听者L也容易正确地感知到达收听者L的两个声音的音响再现方法。
此外,在本实施方式中,实施变更处理以使第2角度成为θ2>θ21。即,在处理步骤中,可以实施将第2方向D2错移以使第2声音的两耳间强度差及第2声音的两耳间时间差中的至少一方变大的变更处理。第2声音的两耳间强度差表示收听者L的两耳中的第2声音的强度之差,第2声音的两耳间时间差表示收听者L的两耳中的第2声音的到达时间之差。
由此,通过将第2声音到达收听者L的第2方向D2错移,θ1与θ21的关系成为如下。即,第1声音到达收听者L的第1方向D1与规定平面S所成的角度(第1角度)即θ1不同于第2声音到达收听者L的第2方向D21与规定平面S所成的角度(第2角度)即θ21。进而,如果第2声音的两耳间强度差变大,则收听者L更容易感知第2声音到达收听者L的第2方向D21。同样,如果第2声音的两耳间时间差变大,则收听者L更容易感知第2声音到达收听者L的第2方向D21。因此,通过两耳间强度差及两耳间时间差中的至少一方变大,实现收听者L更容易正确地感知到达收听者L的两个声音的音响再现方法。
另外,与本实施方式不同,也可以实施变更处理以使第2角度成为θ2<θ21。即,也可以实施将第2声音到达收听者L的第2方向D2错移以使第2声音的两耳间强度差及第2声音的两耳间时间差双方变小的变更处理。在此情况下,收听者L也能够正确地感知第1声音及第2声音。
此外,有关本实施方式的程序也可以是用来使计算机执行上述音响再现方法的程序。
由此,计算机能够按照程序执行上述的音响再现方法。
此外,有关本实施方式的音响再现装置100具备取得部121、判断部123、处理部(第2声音处理部132)和输出部(第1输出部140)。取得部121取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中作为到达收听者L的对象声音的第1声音的声像被定位的第1区域A1,上述方向信息表示收听者L的头部所朝向的方向D。此外,设与收听者L的头部所朝向的方向D垂直、且经过收听者L的两耳的平面为规定平面S。判断部123取得第2区域信息,该第2区域信息表示在声音再现空间中到达收听者L的第2声音的声像被定位的第2区域A2。并且,判断部123基于所取得的方向信息,判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向D2是否以规定平面S为对称面而面对称。第2声音处理部132在判断为第1方向D1与第2方向D2面对称的情况下,取得表示第2声音的声音信息(第2声音信息),对所取得的第2声音信息实施将第2方向D2变更以使第1方向D1与第2方向D2不为面对称的变更处理。第1输出部140输出实施变更处理后的第2声音信息。
由此,第1方向D1与第2方向D21不会成为面对称的关系。进而,第1声音到达收听者L的第1方向D1与规定平面S所成的角度(第1角度)即θ1不同于第2声音到达收听者L的第2方向D21与规定平面S所成的角度(第2角度)即θ21。由此,即使收听者L听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生,所以收听者L能够正确地感知第1声音及第2声音。即,实现了收听者L容易正确地感知到达收听者L的两个声音的音响再现装置100。
此外,对由判断部123判断为第1方向D1与第2方向D2不为面对称的情况(S60中为“否”)进行说明。即,是θ1≠θ2的情况。
在此情况下,卷积处理部130(第2声音处理部132)取得表示第2声音的第2声音信息,对所取得的第2声音信息实施不将第2声音到达收听者L的第2方向D2变更的处理(S90)。更具体地讲,第2声音处理部132实施将头相关传递函数与第2声音信息卷积的处理,以使第2声音从第2区域A2到达收听者L。即,与步骤S70不同,第2声音处理部132对第2声音信息实施与上述变更处理不同的处理。另外,此时与步骤S70同样,卷积处理部130(第1声音处理部131)也对第1声音信息实施处理。更具体地讲,第1声音处理部131实施将头相关传递函数与第1声音信息卷积的处理,以使第1声音从第1区域A1到达收听者L。卷积处理部130将实施处理后的第1声音信息及实施处理后的第2声音信息输出给第1输出部140。
进而,第1输出部140将由卷积处理部130实施处理并输出的第2声音信息输出给耳机200(S100)。更具体地讲,第1输出部140将由卷积处理部130输出的第1声音信息及第2声音信息混合,将混合后的第1声音信息及第2声音信息输出给耳机200。
并且,耳机200的第2输出部202基于由第1输出部140输出的第1声音信息及第2声音信息,再现第1声音及第2声音。
在S60中为“否”的情况下,即在θ1≠θ2的情况下,即使收听者L听第1声音及第2声音,也不会发生从相同的方向听到第1声音及第2声音等的问题。即,在此情况下,也能实现收听者L容易正确地感知到达收听者L的两个声音的音响再现方法。
此外,使用图6对在收听者L听图5所示的第1声音及第2声音时收听者L的头部所朝向的方向D稍稍发生了变化的情况进行说明。
图6是表示有关本实施方式的收听者L的头部所朝向的方向D发生了变化的情况下的声音再现空间的一例的示意图。
在图5中,收听者L的头部所朝向的方向D是0时方向。这里,如图6所示,收听者L的头部所朝向的方向D与0时方向所成的角度是α。即,与图5的状态相比,在图6的状态下,收听者L的头部所朝向的方向D以顺时针旋转了α。另外,α例如是0°以上且10°以下,这里是2°等的非常小的值。
此外,由于收听者L的头部所朝向的方向D以顺时针发生了变化,所以规定平面S也以顺时针发生了变化。
这样,在α为2°等的非常小的值的情况下,第2声音处理部132对所取得的第2声音信息进一步实施处理。更具体地讲,这里,第2声音处理部132对第2声音信息实施维持处理,维持处理是将第2声音到达收听者L的第2方向D22与规定平面S所成的角度(第2角度)维持为一定的处理。
即,在表示实施了维持处理的情况的图6中,第2角度是θ22,由于第2角度被维持为一定,所以θ22=θ21。这样,在α是非常小的值的情况下,在实施维持处理的前后维持第2角度。
另外,由于规定平面S旋转了,所以如果实施维持处理,则第2声音的声像被定位于作为与图5所示的第2区域A21不同的区域的第2区域A22。此外,在图6中表示了虚线箭头,该虚线的箭头表示从图5所示的第2区域A21到图6所示的第2区域A22的变更。
此时,作为第1声音到达收听者L的第1方向D1与规定平面S所成的角度的第1角度是θ12,满足θ12=θ1-α。另外,α由于是非常小的值,所以可以忽视,成为θ12=θ1。另一方面,第2角度是θ22=θ21。如使用图5在上述中说明那样,作为第1角度的θ1和第2角度θ21是不同的值,所以在图6中作为第1角度的θ12(即θ1)与作为第2角度的θ22(即θ21)也是不同的值。此时,第1方向D1与第2方向D22不为面对称。因此,即使收听者L听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生。
另外,说明假如在如图6所示α是非常小的值的情况下,不对第2声音信息实施变更处理而第2声音例如从图4所示的第2区域A2到达收听者L的情况。在此情况下,第1声音到达收听者L的第1方向D1与规定平面S所成的角度(第1角度)是θ1-α。同样,第2声音到达收听者L的第2方向D2与规定平面S所成的角度(第2角度)是θ2+α。由于α是非常小的值,所以能够忽视,第1角度成为θ1,第2角度成为θ2,当满足θ1=θ2时,第1方向D1与第2方向D2会面对称。即,在α是非常小的值的情况下,如果不对第2声音信息实施维持处理,则若收听者L听第1声音及第2声音,则会发生从相同的方向听到第1声音及第2声音等的问题。
此外,使用图7对在收听者L听图5所示的第1声音及第2声音时收听者L的头部所朝向的方向D大福变化的情况进行说明。
图7是表示有关本实施方式的收听者L的头部所朝向的方向D发生了变化的情况下的声音再现空间的另一例的示意图。
在图5中,收听者L的头部所朝向的方向D是0时方向。这里,如图7所示,收听者L的头部所朝向的方向D与0时方向所成的角度是β。即,与图5的状态相比,在图7的状态下,收听者L的头部所朝向的方向D以顺时针旋转了β。另外,β例如是10°以上且90°以下,这里是30°等的较大的值。
此外,由于收听者L的头部所朝向的方向D以顺时针发生了变化,所以规定平面S也以顺时针发生变化。
这样,在β是较大的值的情况下,第2声音处理部132与步骤S90同样,实施将头相关传递函数与第2声音信息卷积的处理,以使第2声音从第2区域A2到达收听者L。
在此情况下,第2角度是θ23,更具体地讲,满足θ23=θ2+β。此时,作为第1声音到达收听者L的第1方向D1与规定平面S所成的角度的第1角度是θ13,满足θ13=θ1-β。
作为第1角度的θ13(即θ1-β)与第2角度θ23(即θ2+β)是不同的值,第1方向D1与第2方向D2不为面对称。因此,即使收听者L听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生。换言之,在图7所示的收听者L的头部所朝向的方向D大幅变化的情况下,不需要变更第2声音到达收听者L的第2方向D2。
(实施方式2)
在实施方式1中,第2声音是第1声音的反射声音,作为表示第2声音的声音信息(第2声音信息)而取得了表示第1声音的声音信息(第1声音信息),但并不限于此。在实施方式2中,第2声音是与第1声音不同的对象声音,从音频内容信息提取而取得表示第2声音的第2声音信息。
[结构]
接着,对有关实施方式2的音响再现装置100a的结构进行说明。
图8是表示有关本实施方式的音响再现装置100a的功能结构的框图。
有关本实施方式的音响再现装置100a主要是代替提取部110而具备提取部110a、代替信息处理部120而具备信息处理部120a、代替卷积处理部130而具备卷积处理部130a这些点与音响再现装置100不同。
即,音响再现装置100a具备提取部110a、信息处理部120a、卷积处理部130a和第1输出部140。
如上述那样,有关本实施方式的第2声音是与第1声音不同的对象声音。第1声音及第2声音都是对象声音,没有被特别限定,例如既可以是人的歌声、人的讲话声、人拍手的声音等起因于人的声音,也可以是车的驱动音等起因于人以外的物体的声音。这里,假设第1声音是女性的歌声,第2声音是男性的讲话声。在本实施方式中,音频内容信息中包含有与这样的第1声音及第2声音有关的信息。
以下,关于有关本实施方式的音响再现装置100a,以与有关实施方式1的音响再现装置100不同的点为中心进行说明。
提取部110a具有区域信息提取部111a、空间信息提取部112和声音信息提取部113a。
区域信息提取部111a提取所取得的音频内容信息所包含的第1区域信息及第2区域信息。第2区域信息是表示第2声音的声像被定位的第2区域A2的信息。更具体地讲,第2区域信息是表示声音再现空间中的第2区域A2的位置的信息。
声音信息提取部113a提取所取得的音频内容信息所包含的第1声音信息及第2声音信息。第2声音信息是表示作为对象声音的第2声音的信息,是以WAVE、MP3或WMA等形式表示的数字数据。
信息处理部120a基于第1区域信息、第2声音信息、空间信息及方向信息,判断第1声音的声像被定位的第1区域A1和第2声音的声像被定位的第2区域A2的位置关系。信息处理部120a具有取得部121a和判断部123a。即,与有关实施方式1的信息处理部120不同,信息处理部120a也可以不具有决定部122。
取得部121a取得由提取部110a提取的第1区域信息、第2区域信息及空间信息。更具体地讲,取得由区域信息提取部111a提取的第1区域信息及第2区域信息、以及由空间信息提取部112提取的空间信息。此外,取得部121a取得由耳机200(更具体地讲是头部传感器部201)感测到的方向信息。
判断部123a取得表示在声音再现空间中到达收听者L的第2声音的声像被定位的第2区域A2的第2区域信息。另外,在本实施方式中,判断部123a取得由提取部110a提取并且由取得部121a取得的第2区域信息。进而,判断部123a基于由取得部121a取得的方向信息,判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向D2是否以规定平面S为对称面而面对称。进而,判断部123a将判断的结果输出给卷积处理部130a。
卷积处理部130a基于判断部123a所判断的结果,对表示第1声音的声音信息(第1声音信息)及表示第2声音的声音信息(第2声音信息)实施处理。卷积处理部130a具有第1声音处理部131a、第2声音处理部132a和HRTF存储部133。
第1声音处理部131a参照存储在HRTF存储部133中的头相关传递函数,对第1声音信息实施处理。更具体地讲,第1声音处理部131a实施将头相关传递函数与第1声音信息卷积的处理,以使第1声音从由取得部121a取得的第1区域信息所表示的第1区域A1到达收听者L。另外,第1声音处理部131a取得由提取部110a的声音信息提取部113a从音频内容信息提取的第1声音信息,对所取得的第1声音信息实施上述的处理。
第2声音处理部132a参照存储在HRTF存储部133中的头相关传递函数,对第2声音信息实施处理。更具体地讲,第2声音处理部132a实施将头相关传递函数与第2声音信息卷积的处理,以使第2声音从由提取部110a提取的第2区域信息所表示的第2区域A2到达收听者L。第2声音处理部132a取得由提取部110a的声音信息提取部113a从音频内容信息提取的第2声音信息,对所取得的第2声音信息实施上述的处理。
另外,在由判断部123a判断为第1方向D1与第2方向D2面对称的情况下,第2声音处理部132a进行以下的处理。第2声音处理部132a取得第2声音信息,对所取得的第2声音信息实施将第2声音到达收听者L的第2方向D2变更以使第1方向D1与第2方向D2不为面对称的处理(变更处理)。
由第1声音处理部131a实施处理后的第1声音信息被输出到第1输出部140。同样,由第2声音处理部132a实施处理后的第2声音信息被输出到第1输出部140。
[动作例]
以下,对由音响再现装置100a进行的音响再现方法的动作例进行说明。图9是有关本实施方式的音响再现装置100a的动作例的流程图。
首先,提取部110a取得音频内容信息(S10)。
提取部110a从所取得的音频内容信息,提取与第1声音有关的第1区域信息及第1声音信息、与第2声音有关的第2区域信息及第2声音信息、以及空间信息(S20a)。更具体地讲,区域信息提取部111a提取音频内容信息所包含的第1区域信息及第2区域信息。空间信息提取部112提取音频内容信息所包含的空间信息。声音信息提取部113a提取音频内容信息所包含的第1声音信息及第2声音信息。提取部110a输出所提取的第1区域信息、第1声音信息、第2区域信息、第2声音信息及空间信息。另外,该步骤S20a相当于提取步骤。
进而,信息处理部120a取得表示第1区域A1的第1区域信息、表示第2区域A2的第2区域信息、方向信息及空间信息(S30a)。更具体地讲,信息处理部120a的取得部121a取得从提取部110a输出的第1区域信息、第2区域信息及空间信息、以及从耳机200的头部传感器部201输出的方向信息。取得部121a将表示第1区域A1的第1区域信息、表示第2区域A2的第2区域信息、方向信息及空间信息输出给判断部123a。
进而,判断部123a基于由取得部121a取得的方向信息,判断第1声音到达收听者L的第1方向D1与第2声音到达收听者L的第2方向D2是否以规定平面S为对称面而面对称(S60)。
这里,使用图10对有关本实施方式的动作例中的步骤S60的处理进行更详细的说明。图10是用来说明有关本实施方式的声音再现空间中的第2声音的示意图。
在有关本实施方式的步骤S60中,可以进行与有关实施方式1的步骤S60同样的处理。即,判断部123a可以基于规定平面S的x轴、y轴及z轴等的坐标位置、第1区域A1的x轴、y轴及z轴等的坐标位置、以及第2区域A2的x轴、y轴及z轴等的坐标位置进行上述判断。
判断部123a将判断的结果输出给卷积处理部130a。卷积处理部130a取得判断部123a判断的结果。
另外,在图10中,用θ1表示了第1角度,用θ2表示了第2角度。在第1方向D1与第2方向D2面对称的情况下,第1角度(θ1)等于第2角度(θ2)。在此情况下,收听者L难以正确地感知到达收听者L的两个声音(这里是第1声音及第2声音)。更具体地讲,如果收听者L听第1声音及第2声音,则会从相同的方向听到第1声音及第2声音,收听者L不能正确地感知第1声音及第2声音。
再次使用图9对动作例进行说明。
首先,对由判断部123a判断为第1方向D1与第2方向D2面对称的情况(S60中为“是”)进行说明。
在此情况下,第2声音处理部132a取得表示第2声音的第2声音信息,对所取得的第2声音信息实施将第2声音到达收听者L的第2方向D2变更以使第1方向D1与第2方向D2不为面对称的处理(变更处理)(S70)。另外,此时第1声音处理部131a也对第1声音信息实施处理。更具体地讲,第1声音处理部131a实施将头相关传递函数与第1声音信息卷积的处理,以使第1声音从第1区域A1到达收听者L。卷积处理部130a将实施处理后的第1声音信息及实施变更处理后的第2声音信息输出给第1输出部140。
进而,第1输出部140将由卷积处理部130a实施变更处理并输出的第2声音信息输出给耳机200(S80)。
接着,耳机200的第2输出部202基于由第1输出部140输出的第1声音信息及第2声音信息,再现第1声音及第2声音。
这里,使用图11对进行了有关本实施方式的动作例中的步骤S70及步骤S80的动作的结果在声音再现空间中到达收听者L的声音进行更详细的说明。
图11是表示对第2声音信息实施变更处理后的声音再现空间的示意图。
通过实施变更处理,第2声音的声像被定位的区域从图10所示的第2区域A2变更到图11所示的第2区域A21。即,第2声音到达收听者L的第2方向从图10所示的第2方向D2变更到图11所示的第2方向D21。
另外,第1声音信息被第1声音处理部131a实施了处理,以使第1声音从第1区域A1到达收听者L。因此,如图11所示,第1声音从第1区域A1到达收听者L。
此外,如果对第2声音信息实施变更处理,则作为第2声音到达收听者L的第2方向与规定平面S所成的角度的第2角度从图10所示的θ2变更为图11所示的θ21。因此,如果对第2声音信息实施变更处理,则第1角度(θ1)和第2角度(θ21)成为不同的值。因此,即使收听者L听第1声音及第2声音,也能抑制从相同的方向听到第1声音及第2声音等的上述问题的发生。
即,在本实施方式中,第2声音是与第1声音不同的对象声音。音响再现方法包括提取步骤,在该提取步骤中,取得音频内容信息,提取所取得的音频内容信息所包含的第1区域信息、第2区域信息及声音信息(第2声音信息)。在取得步骤中,取得所提取的第1区域信息。在判断步骤中,取得所提取的第2区域信息。在处理步骤中,取得所提取的声音信息(第2声音信息)。
由此,能实现在第2声音是与第1声音不同的对象声音的情况下,收听者L也容易正确地感知到达收听者L的两个声音的音响再现方法。
此外,对由判断部123a判断为第1方向D1与第2方向D2不为面对称的情况(S60中为“否”)进行说明。即,是θ1≠θ2的情况。
在此情况下,第2声音处理部132a取得表示第2声音的第2声音信息,对所取得的第2声音信息实施不将第2声音到达收听者L的第2方向D2变更的处理(S90)。更具体地讲,第2声音处理部132a实施将头相关传递函数与第2声音信息卷积的处理,以使第2声音从第2区域A2到达收听者L。即,与步骤S70不同,第2声音处理部132a对第2声音信息实施与上述的变更处理不同的处理。另外,此时与步骤S70同样,第1声音处理部131a也对第1声音信息实施处理。更具体地讲,第1声音处理部131a实施将头相关传递函数与第1声音信息卷积的处理,以使第1声音从第1区域A1到达收听者L。卷积处理部130a将实施处理后的第1声音信息及实施处理后的第2声音信息输出给第1输出部140。
进而,第1输出部140将由卷积处理部130a实施处理并输出的第2声音信息输出给耳机200(S100)。
接着,耳机200的第2输出部202基于由第1输出部140输出的第1声音信息及第2声音信息,再现第1声音及第2声音。
在S60中为“否”的情况下,即在θ1≠θ2的情况下,即使收听者L听取第1声音及第2声音,也不发生从相同的方向听到第1声音及第2声音等的问题。即,在此情况下,也能够实现收听者L容易正确地感知到达收听者L的两个声音的音响再现方法。
(其他实施方式)
以上,基于实施方式对有关本公开的技术方案的音响再现装置及音响再现方法进行了说明,但本公开并不限定于该实施方式。例如,也可以将通过将在本说明书中记载的构成要素任意地组合、或将构成要素的某些排除而实现的其他实施方式作为本公开的实施方式。此外,在不脱离本公开的主旨即权利要求书所记载的语句表示的意思的范围内对上述实施方式实施本领域技术人员想到的各种变形而得到的变形例也包含在本公开中。
此外,以下所示的形态也可以包含在本公开的一个或多个技术方案的范围内。
(1)构成上述的音响再现装置的构成要素的一部分也可以是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机***。在上述RAM或硬盘单元中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作而达成其功能。这里,计算机程序是为了达成规定的功能而将表示对于计算机的指令的命令代码组合多个而构成的。
(2)构成上述的音响再现装置及音响再现方法的构成要素的一部分也可以由1个***LSI(Large Scale Integration:大规模集成电路)构成。***LSI是将多个构成部集成到1个芯片上而制造的超多功能LSI,具体而言是包括微处理器、ROM、RAM等而构成的计算机***。在上述RAM中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作,***LSI达成其功能。
(3)构成上述的音响再现装置的构成要素的一部分也可以由相对于各装置能够拆装的IC卡或单体的模块构成。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机***。上述IC卡或上述模块也可以包括上述的超多功能LSI。通过由微处理器按照计算机程序动作,上述IC卡或上述模块达成其功能。该IC卡或该模块也可以具有耐篡改性。
(4)此外,构成上述的音响再现装置的构成要素的一部分也可以为将上述计算机程序或上述数字信号记录到能够由计算机读取的记录介质,例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等中的产品。此外,也可以是记录在该记录介质中的数字信号。
此外,构成上述的音响再现装置的构成要素的一部分也可以为将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送的***。
(5)本公开也可以是上述所示的方法。此外,也可以是由计算机实现这些方法的计算机程序,也可以是由上述计算机程序构成的数字信号。
(6)此外,本公开也可以是具备微处理器和存储器的计算机***,上述存储器存储有上述计算机程序,上述微处理器按照上述计算机程序动作。
(7)此外,也可以通过将上述程序或上述数字信号记录到上述记录介质中并移送,或通过将上述程序或上述数字信号经由上述网络等移送,由独立的其他计算机***实施。
(8)也可以将上述实施方式及上述变形例分别组合。
此外,虽然在图2等中没有表示,但也可以将与从耳机200输出的声音联动的影像提示给收听者L。在此情况下,例如也可以在收听者L的周围设置液晶面板或有机EL(Electro Luminescence)面板等的显示装置,由该显示装置提示该影像。此外,也可以通过收听者L佩戴头戴显示器等而提示该影像。
工业实用性
本公开能够利用于音响再现方法及音响再现装置,特别是能够应用于立体音响再现***等。
附图标记说明
100、100a 音响再现装置
110、110a 提取部
111、111a 区域信息提取部
112 空间信息提取部
113、113a 声音信息提取部
120、120a 信息处理部
121、121a 取得部
122 决定部
123、123a 判断部
130、130a 卷积处理部
131、131a 第1声音处理部
132、132a 第2声音处理部
133 HRTF存储部
140 第1输出部
200 耳机
201 头部传感器部
202 第2输出部
A1 第1区域
A2、A21、A22 第2区域
D 方向
D1 第1方向
D2、D21、D22 第2方向
L 收听者
S 规定平面

Claims (6)

1.一种音响再现方法,其中,包括:
取得步骤,取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中到达收听者的对象声音即第1声音的声像被定位的第1区域,上述方向信息表示上述收听者的头部所朝向的方向;
判断步骤,在将与上述收听者的头部所朝向的方向垂直、且经过上述收听者的两耳的平面设为规定平面的情况下,取得表示在上述声音再现空间中到达上述收听者的第2声音的声像被定位的第2区域的第2区域信息,并且基于所取得的上述方向信息,判断上述第1声音到达上述收听者的第1方向与上述第2声音到达上述收听者的第2方向是否以上述规定平面为对称面而面对称;
处理步骤,在判断为上述第1方向与上述第2方向面对称的情况下,取得表示上述第2声音的声音信息,对所取得的上述声音信息实施将上述第2方向变更以使上述第1方向与上述第2方向不为面对称的变更处理;以及
输出步骤,输出实施上述变更处理后的上述声音信息。
2.如权利要求1所述的音响再现方法,其中,
上述第2声音是与上述第1声音不同的对象声音,
上述音响再现方法包括提取步骤,在该提取步骤中,取得音频内容信息,提取所取得的上述音频内容信息所包含的上述第1区域信息、上述第2区域信息及上述声音信息,
在上述取得步骤中,取得所提取的上述第1区域信息,
在上述判断步骤中,取得所提取的上述第2区域信息,
在上述处理步骤中,取得所提取的上述声音信息。
3.如权利要求1所述的音响再现方法,其中,
在上述取得步骤中,取得表示上述声音再现空间的形状的空间信息,
上述音响再现方法包括决定步骤,在该决定步骤中,基于所取得的上述第1区域信息及所取得的上述空间信息,决定作为上述第1声音的反射声音的上述第2声音的上述声像被定位的上述第2区域,
在上述判断步骤中,取得表示所决定的上述第2区域的上述第2区域信息,
在上述处理步骤中,取得表示上述第1声音的声音信息作为表示上述第2声音的上述声音信息。
4.如权利要求1~3中任一项所述的音响再现方法,其中,
在上述处理步骤中,实施将上述第2方向错移以使上述第2声音的两耳间强度差及上述第2声音的两耳间时间差中的至少一方变大的上述变更处理。
5.一种计算机程序,用于使计算机执行权利要求1~4中任一项所述的音响再现方法。
6.一种音响再现装置,其中,具备:
取得部,取得第1区域信息及方向信息,上述第1区域信息表示在声音再现空间中到达收听者的对象声音即第1声音的声像被定位的第1区域,上述方向信息表示上述收听者的头部所朝向的方向;
判断部,在将与上述收听者的头部所朝向的方向垂直、且经过上述收听者的两耳的平面设为规定平面的情况下,取得表示在上述声音再现空间中到达上述收听者的第2声音的声像被定位的第2区域的第2区域信息,并且基于所取得的上述方向信息,判断上述第1声音到达上述收听者的第1方向与上述第2声音到达上述收听者的第2方向是否以上述规定平面为对称面而面对称;
处理部,在判断为上述第1方向与上述第2方向面对称的情况下,取得表示上述第2声音的声音信息,对所取得的上述声音信息实施将上述第2方向变更以使上述第1方向与上述第2方向不为面对称的变更处理;以及
输出部,输出实施上述变更处理后的上述声音信息。
CN202280025435.4A 2021-04-12 2022-03-29 音响再现方法、计算机程序及音响再现装置 Pending CN117121512A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163173645P 2021-04-12 2021-04-12
US63/173,645 2021-04-12
JP2022-041201 2022-03-16
PCT/JP2022/015600 WO2022220114A1 (ja) 2021-04-12 2022-03-29 音響再生方法、コンピュータプログラム及び音響再生装置

Publications (1)

Publication Number Publication Date
CN117121512A true CN117121512A (zh) 2023-11-24

Family

ID=88811481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280025435.4A Pending CN117121512A (zh) 2021-04-12 2022-03-29 音响再现方法、计算机程序及音响再现装置

Country Status (1)

Country Link
CN (1) CN117121512A (zh)

Similar Documents

Publication Publication Date Title
CN104995681B (zh) 多声道音频数据的视频分析辅助产生
US11310619B2 (en) Signal processing device and method, and program
US11956623B2 (en) Processing sound in an enhanced reality environment
US20210004201A1 (en) Audio capture and rendering for extended reality experiences
US20230195412A1 (en) Augmenting control sound with spatial audio cues
ES2645148T3 (es) Procesador de audio para procesamiento dependiente de la orientación
CN114041113A (zh) 用于音频渲染的隐私分区和授权
US12010490B1 (en) Audio renderer based on audiovisual information
US11070933B1 (en) Real-time acoustic simulation of edge diffraction
CN101118746A (zh) 基于双声道音频数据标定的方法及多人语音通话***
US11678111B1 (en) Deep-learning based beam forming synthesis for spatial audio
EP4124065A1 (en) Acoustic reproduction method, program, and acoustic reproduction system
CN117121512A (zh) 音响再现方法、计算机程序及音响再现装置
EP4203522A1 (en) Acoustic reproduction method, computer program, and acoustic reproduction device
WO2022220114A1 (ja) 音響再生方法、コンピュータプログラム及び音響再生装置
US20240048936A1 (en) A Method and Apparatus for Scene Dependent Listener Space Adaptation
US11432095B1 (en) Placement of virtual speakers based on room layout
WO2021187606A1 (ja) 音響再生方法、コンピュータプログラム及び音響再生装置
US20240098447A1 (en) Shared point of view
WO2021187335A1 (ja) 音響再生方法、音響再生装置およびプログラム
US11758348B1 (en) Auditory origin synthesis
US20220295213A1 (en) Signal processing device, signal processing method, and program
WO2023199818A1 (ja) 音響信号処理装置、音響信号処理方法、及び、プログラム
WO2022185551A1 (ja) 音声アシストシステム、音声アシスト方法およびコンピュータプログラム
JP2007318188A (ja) 音像提示方法および音像提示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination