CN116018824A - 信息处理方法、程序和音响再现装置 - Google Patents

Abstract

信息处理方法根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，计算时间轴上的规定方向的变动的角度量，基于与规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自到来方向的声音的立体音响滤波器，将与规定音相关的信息输入到所选择的立体音响滤波器并生成输出信号，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器：在所计算出的规定方向的变动的角度量小于阈值的情况下，与规定方向的变动的角度量为阈值以上的情况相比更加强调规定音并使用户感知。

Description

信息处理方法、程序和音响再现装置

技术领域

本公开涉及音响再现装置、以及与该音响再现装置相关的信息处理方法和程序。

背景技术

以往，已知有与用于在虚拟的三维空间内通过控制作为感觉上的声源对象的声像的位置来使用户感知立体的声音的音响再现相关的技术(例如，参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2020-18620号公报

发明内容

发明要解决的问题

另一方面，在使用户将声音感知为三维声场内的立体的声音时，可能产生难以由用户感知的声音。在现有的音响再现装置等中的信息处理方法中，有可能没有对这样的难以感知的声音适当的处理。

鉴于上述情况，本公开的目的在于提供一种更适当地使用户感知立体的声音的信息处理方法等。

解决问题的手段

本公开的一个形态的信息处理方法，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户沿着时间序列将所述规定音感知为从与所述规定方向对应的三维声场中的到来方向到来的声音的输出音信号，所述信息处理方法计算时间轴上的所述规定方向的变动的角度量，基于与所述规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自所述到来方向的声音的立体音响滤波器，将与所述规定音相关的信息输入到所选择的所述立体音响滤波器并生成所述输出信号，在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，与所计算出的所述规定方向的变动的角度量为阈值以上的情况相比，更加强调所述规定方向的变动的角度量小于阈值的情况下的所述规定音而使所述用户感知。

此外，本公开的一个形态的音响再现装置根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户将所述规定音感知为从与所述规定方向对应的三维声场中的到来方向到来的声音的输出音信号，并再现，所述音响再现装置具备：取得部，取得所述声音信息；滤波器选择部，计算时间轴上的所述规定方向的变动的角度量，并基于与所述规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自所述到来方向的声音的立体音响滤波器；输出音生成部，将与所述规定音相关的信息作为所述输入音，输入到所选择的所述立体音响滤波器而生成所述输出音信号；以及输出部，利用所生成的所述输出音信号来输出声音，所述滤波器选择部以如下方式选择所述立体音响滤波器，该方式为，与所计算出的所述规定方向的变动的角度量为阈值以上的情况相比，更加强调在所述规定方向的变动的角度量小于阈值的情况下的所述规定音并使所述用户感知。

另外，本公开的一个形态也能够作为用于使计算机执行上述记载的音响再现方法的程序来实现。

此外，这些总括性或具体的形态可以通过***、装置、方法、集成电路、计算机程序、或者计算机可读取的CD-ROM等非暂时性记录介质来实现，也可以通过***、装置、方法、集成电路、计算机程序、以及记录介质的任意组合来实现。

发明的效果

根据本公开，可以更适当地使用户感知立体的声音。

附图说明

图1是表示实施方式的音响再现装置的使用事例的概略图。

图2是表示实施方式的音响再现装置的功能结构的框图。

图3是表示实施方式的取得部的功能结构的框图。

图4是表示实施方式的滤波器选择部的功能结构的框图。

图5是表示实施方式的输出音生成部的功能结构的框图。

图6是表示实施方式的音响再现装置的动作的流程图。

图7是说明实施方式的基于所选择的立体音响滤波器的规定音的到来方向的第一图。

图8是说明实施方式的基于所选择的立体音响滤波器的规定音的到来方向的第二图。

图9是说明实施方式的基于所选择的立体音响滤波器的规定音的到来方向的第三图。

具体实施方式

(成为公开的基础的见解)

以往，已知有与音响再现相关的技术，该音响再现用于在虚拟的三维空间内(以下，有时称为三维声场)，通过控制作为用户感觉上的声源对象的声像的位置，使用户感知立体的声音(例如，参照专利文献1)。通过使声像定位在虚拟三维空间内的规定位置，用户能够感知该声音，就好像该声音是从平行于连结该规定位置和用户的直线的方向(即规定方向)到来的声音一样。为了这样地使声像定位在虚拟的三维空间内的规定位置，例如，对于所收音到的声音来说，需要计算处理，以使作为立体的声音而被感知的两耳间产生声音的到来时间差、以及两耳间产生声音的级别差(或声压差)等。

作为这样的计算处理的一例，已知有针对目标声音的信号将用于感知为从规定方向到来的声音的头部传递函数卷积的处理。以更高分辨率实施该头部传递函数的卷积的处理，从而提高用户所体感的临场感。另一方面，已知在头部传递函数的卷积中，难以感知声音的到来方向在时域中的变动。因此，对于在时域中变动微小的声音，用户有时会错误地感知为该声音没有变动。

此外，近年来，关于虚拟现实(VR：Virtual Reality)的技术的开发已经积极地进行。在虚拟现实中，将重点放在不使虚拟的三维空间的位置跟随用户的活动，而用户能够体感如同正在虚拟空间内移动。特别是，在该虚拟现实技术中，进行了通过将听觉要素引入视觉要素来进一步提高临场感的尝试。例如，当声像被定位在用户的正面时，若用户转向右则该声像移动到用户的左方向，若用户转向左则该声像移动到用户的右方向。这样，产生了使虚拟空间内的声像的定位位置相对于用户的活动而向与用户的活动反向地移动的需要。这样的处理通过将立体音响滤波器应用于原来的声音信息来进行。

在本公开中，鉴于上述，实施更适当的计算处理，该计算处理在利用用于使用户感知为来自三维声场内的规定方向的声音的立体音响滤波器的同时，改善时域中的微小变动的声音被感知的容易度。在本公开中，目的在于提供一种通过该适当的计算处理使用户感知立体的声音的信息处理方法等。

更具体而言，本公开的一个形态的信息处理方法，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户沿着时间序列将规定音感知为从与规定方向对应的三维声场中的到来方向到来的声音的输出音信号，信息处理方法计算时间轴上的规定方向的变动的角度量，基于与规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自到来方向的声音的立体音响滤波器，将与规定音相关的信息输入到所选择的立体音响滤波器并生成输出信号，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器，该方式为，与所计算出的规定方向的变动的角度量为阈值以上的情况相比，更加强调规定方向的变动的角度量小于阈值的情况下的规定音而使用户感知。

根据这样的信息处理方法，在计算出的规定方向的变动的角度量小于阈值的情况下，即，在包含有对于用户来说正进行难以感知其到来方向的变动的微小变动的规定音的情况下，能够更加强调该规定音并使用户感知。由于用户的注意力趋向于该规定音，所以能够更适当地使用户感知规定音的到来方向的微小变动。

此外，例如，也可以是，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器，该方式为，使在所计算出的规定方向的变动的角度量小于阈值的情况下根据使用所选择的立体音响滤波器时的输出音信号而感知的到来方向的变动的角度量，大于在所计算出的规定方向的变动的角度量为阈值以上的情况下根据使用要选择的立体音响滤波器时的输出音信号而感知的到来方向的变动的角度量。

由此，与应用在相对于规定音具有阈值以上的变动的角度量的情况下要选择的立体音响滤波器的情况相比，即，与应用以成为预先设定在内容中的变动的角度量的方式生成输出音信号的立体音响滤波器的情况相比，为了更加强调规定音，能够以使得变动的角度量变大的方式进行立体音响滤波器的选择。其结果，根据输出音信号，通过变动的角度量被放大，从而规定音被强调地被感知。

此外，例如，也可以是，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器，该方式为，使所计算出的规定方向的变动的角度量越小，根据使用所选择的立体音响滤波器的情况下的输出音信号而感知的到来方向的变动的角度量越大。

由此，与应用在相对于规定音具有阈值以上的变动的角度量的情况下要选择的立体音响滤波器的情况相比，即，与应用以成为预先设定在内容中的变动的角度量的方式生成输出音信号的立体音响滤波器的情况相比，为了更加强调规定音，能够以使得变动的角度量变大的方式进行立体音响滤波器的选择。其结果，根据输出音信号，通过变动的角度量被放大，从而规定音被强调地被感知。此时，由于在声音信息上变动的角度量越小则输出音信号中的声音的变动的角度量越大，因此越是在原来的内容上变动小故而其变动难以被感知的规定音，越被强调为更容易被感知并提示给用户。

此外，例如，也可以是，在所计算出的规定方向的变动的角度量小于阈值的情况下，在使用所选择的立体音响滤波器时，通过乘以扩展系数α(α＞1)来扩展输出音信号的时间轴上的到来方向的变动的角度量，其中，声音信息上的规定方向的变动的角度量越小，则扩展系数α的数值越大，规定方向的变动的角度量与扩展系数α的关系为非线性。

由此，由于在声音信息上变动的角度量越小则输出音信号中的声音的变动的角度量越大，因此越是在原来的内容上变动小故而其变动难以被感知的规定音，越被强调为更容易被感知并提示给用户。通过乘以扩展系数α，规定方向的变动的角度量与输出音信息中的规定音的到来方向的关系变为非线性，并且越是变动小的规定音，其强调效果就能够越显著。

此外，例如，也可以是，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器，该方式为，对于将用户的头部划分为前后的虚拟边界面，使在规定方向位于边界面的后面侧并且所计算出的规定方向的变动的角度量小于阈值的情况下，使用所选择的立体音响滤波器时的时间轴上的到来方向的变动的角度量，比在规定方向位于边界面的前面侧并且所计算出的规定方向的变动的角度量小于阈值的情况下，使用所选择的立体音响滤波器时的时间轴上的到来方向的变动的角度量大。

由此，在难以感知到来方向的变动的边界面的后面侧，与边界面的前面侧相比，能够使强调效果更大。

此外，例如，也可以是，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器，该方式为，与声音信息上的规定方向相比，使根据使用所选择的立体音响滤波器的情况下的输出音信号而感知的到来方向在时间轴上振动。

由此，在输出音信息中，能够向用户提示到来方向振动的规定音。由于到来方向在时间轴上正振动，所以与其他声音相比，用户更容易感知到规定音，从而具有更容易感知到该规定音的变动的效果。

另外，例如，也可以是，在使用所选择的立体音响滤波器的情况下，通过如下方式来计算输出音信号的时间轴上的第N个(N为2以上的整数)时间点的到来方向，该方式为，对与输出音信号的时间轴上的第(N-1)个时间点对应的声音信息上的规定方向和与第N个时间点对应的声音信息上的规定方向的差值，乘以数值在时间轴上振动的振动函数中的对应时间点的数值，将相乘后的差值加到与第(N-1)个时间点对应的声音信息上的规定方向上。

由此，在输出音信息中，能够向用户提示到来方向振动的规定音。由于到来方向在时间轴上正振动，所以与其他声音相比，用户更容易感知到规定音，从而具有更容易感知到该规定音的变动的效果。

此外，例如，也可以是，在立体音响滤波器的选择中，以如下方式选择立体音响滤波器，该方式为，使在所计算出的规定方向的变动的角度量小于阈值的情况下根据使用所选择的立体音响滤波器时的输出音信号而感知的时间轴上的规定音的声压的变化量，大于在所计算出的规定方向的变动的角度量为阈值以上的情况下根据使用要选择的立体音响滤波器时的输出音信号而感知的规定音的声压的变化量。

由此，与应用在相对于规定音具有阈值以上的变动的角度量的情况下要选择的立体音响滤波器的情况相比，即，与应用以成为预先设定在内容中的变动的角度量的方式生成输出音信号的立体音响滤波器的情况相比，为了更加强调规定音，能够以使声压的变化量变大的方式进行立体音响滤波器的选择。其结果，通过输出音信号，声压的变化量被放大，从而规定音被增强并被感知。

另外，例如，一种信息处理方法，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户沿着时间序列将规定音感知为从与规定方向对应的三维声场中的到来方向到来的声音的输出音信号，所述信息处理方法计算时间轴上的规定方向的变动的角度量，以如下方式对与规定方向相关的信息进行修正，该方式为，与所计算出的规定方向的变动的角度量为阈值以上的情况相比，更加强调在规定方向的变动的角度量小于阈值的情况下的规定音而使用户感知，将与规定音相关的信息输入到基于修正后的与规定方向相关的信息从多个立体音响滤波器中选择的立体音响滤波器，并生成输出信号，所述多个立体音响滤波器是成为候选的多个立体音响滤波器，即对每个到来方向准备的多个立体音响滤波器。

由此，在计算出的规定方向的变动的角度量小于阈值的情况下，即，在包含有对于用户来说难以感知其到来方向的变动的微小变动的规定音的情况下，能够更加强调该规定音并使用户感知。因此，通过修正声音信息中包含的与规定方向相关的信息，能够使随后要选择的立体音响滤波器成为用于更加强调规定音而使用户感知的立体音响滤波器。其结果，由于用户的注意力趋向于该规定音，能够更适当地使用户感知规定音的到来方向的微小变动。

另外，本公开的一个形态的程序是用于使计算机执行上述记载的信息处理方法的程序。

由此，能够使用计算机实现与上述记载的信息处理方法同样的效果。

此外，本公开的一个形态的音响再现装置，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户将规定音感知为从与规定方向对应的三维声场中的到来方向到来的声音的输出音信号，并再现，所述音响再现装置具备：取得部，取得声音信息；滤波器选择部，计算时间轴上的规定方向的变动的角度量，并基于与规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自到来方向的声音的立体音响滤波器；输出音生成部，将与规定音相关的信息作为输入音，输入到所选择的立体音响滤波器而生成输出音信号；以及输出部，利用所生成的输出音信号来输出声音，滤波器选择部以如下方式选择立体音响滤波器，该方式为，与所计算出的规定方向的变动的角度量为阈值以上的情况相比，更加强调在规定方向的变动的角度量小于阈值的情况下的规定音并使用户感知。

由此，能够起到与上述记载的信息处理方法同样的效果。

此外，这些总括性或具体的形态可以通过***、装置、方法、集成电路、计算机程序、或者计算机可读取的CD-ROM等非暂时性记录介质来实现，也可以通过***、装置、方法、集成电路、计算机程序、以及记录介质的任意组合来实现。

以下，参照附图对实施方式进行具体说明。另外，以下说明的实施方式均表示总括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一例，并非旨在限定本公开。另外，关于以下的实施方式中的构成要素中的、独立技术方案中未记载的构成要素，作为任意的构成要素进行说明。另外，各图是示意图，并不一定是严格图示的图。另外，在各图中，有时对实质上相同的结构标注相同的附图标记，并省略或简化重复的说明。

另外，在以下的说明中，有时对要素附加第一、第二以及第三等序数。这些序数被分配给要素以识别要素，不一定对应于有意义的顺序。这些序数可以适当地互换、重新赋予或去除。

(实施方式)

[概要]

首先，说明实施方式的音响再现装置的概况。图1是表示实施方式的音响再现装置的使用事例的概略图。在图1中，示出了使用音响再现装置100的用户99。

图1所示的音响再现装置100与立体影像再现装置200同时使用。通过同时视听立体的图像和立体的声音，图像和声音分别增强听觉的临场感和视觉的临场感，能够体感如同好像他们身在拍摄图像和声音的现场。例如，已知在显示有人交谈的图像(动态图像)的情况下，即使在交谈声音的声像的定位相对于该人的嘴边偏移的情况下，用户99也将其感知为从该人的嘴边发出的交谈声音。这样，通过根据视觉信息修正声像的位置等，将图像和声音合并，从而提高临场感。

立体影像再现装置200是佩戴在用户99的头部的图像显示设备。因此，立体影像再现装置200与用户99的头部一体地移动。例如，如图所示，立体影像再现装置200是由用户99的耳朵和鼻子支承的眼镜型的设备。

立体影像再现装置200通过根据用户99的头部的活动使显示的图像变化，使用户99感知为在三维图像空间内活动头部。即，在三维图像空间内的物***于用户99的正面时，当用户99转向右时该物体移动到用户99的左方向，当用户99转向左时该物体移动到用户的右方向。这样，立体影像再现装置200相对于用户99的活动，使三维图像空间向与用户99的活动相反的方向移动。

立体影像再现装置200显示在用户99的左右眼中分别产生了视差量的偏差的两个图像。用户99能够基于所显示的图像的视差量的偏差，感知图像上的物体的三维位置。另外，在将音响再现装置100用于睡眠引导用的疗愈音的再现等、用户99闭眼使用的情况等下，不需要同时使用立体影像再现装置200。即，立体影像再现装置200不是本公开的必需的构成要素。

音响再现装置100是佩戴在用户99的头部的声音提示设备。因此，音响再现装置100与用户99的头部一体地移动。例如，本实施方式的音响再现装置100是所谓的头戴耳机型的设备。此外，音响再现装置100的方式没有特别限定，例如可以是独立地分别佩戴在用户99的左右耳上的两个耳塞型设备。这两个设备相互通信，从而同步地提示用于右耳的声音和用于左耳的声音。

音响再现装置100通过根据用户99的头部的活动使所提示的声音变化，使用户99感知为用户99在三维声场内正在活动头部。因此，如上所述，音响再现装置100使三维声场相对于用户99的活动而向与用户的活动相反的方向移动。

这里，已知当向用户提示的声像的时域中的变化(也称为时间轴上的变动)变小时，用户99对三维声场内的声像的活动的识别变得模糊。本实施方式的音响再现装置100修正由信息处理提示的声音以完善该现象，从而使得用户99能够感知到声像中有活动。即，音响再现装置100取得声像的活动量，在所取得的活动量小于阈值的情况下，更加强调三维声场中的规定音地使用户99感知。

该阈值是与活动量相关的数值，该活动量是用户99无法捕捉到活动量的量，因此，该阈值根据用户99而成为固有的阈值。因此，该阈值可以设定为通过实验或经验得到的值。此外，可以应用基于多个用户99的统计的一般化后的阈值。此外，这里的活动量是在微小时间内规定音的到来方向的变动的量，是从用户99观察的规定方向的每个微小时间的变化角的量。即，活动量由分别对应于从第一时间点到第二时间点之间的两个时间点的两个规定音的到来方向彼此所成的角度的最大值来表现。

[结构]

接下来，参照图2，说明本实施方式的音响再现装置100的结构。图2是表示实施方式的音响再现装置的功能结构的框图。

如图2所示，本实施方式的音响再现装置100具备处理模块101、通信模块102、检测器103和驱动器104。

处理模块101是用于进行音响再现装置100中的各种信号处理的运算装置，处理模块101例如具备处理器和存储器，通过处理器执行存储在存储器中的程序来发挥各种功能。处理模块101具有取得部111、滤波器选择部121、输出音生成部131和信号输出部141。以下将结合处理模块101以外的结构的细节来说明处理模块101所具有的各功能部的细节。

通信模块102是用于受理声音信息向音响再现装置100的输入的接口装置。通信模块102例如具备天线和信号转换器，通过无线通信从外部的装置接收声音信息。更详细地，通信模块102使用天线接收表示被转换成用于无线通信的形式的声音信息的无线信号，并且通过信号转换器进行从无线信号向声音信息的重新转换。由此，音响再现装置100通过无线通信从外部的装置取得声音信息。由通信模块102取得的声音信息由取得部111取得。以这种方式，声音信息被输入到处理模块101。此外，音响再现装置100和外部装置之间的通信可以通过有线通信来进行。

音响再现装置100取得的声音信息，例如以MPEG-H 3D Audio(ISO/IEC 23008-3)等规定的形式被编码。作为一例，编码后的声音信息包含关于由音响再现装置100再现的规定音的信息、以及关于该声音的声像被定位在三维声场内的规定位置(即被感知为从规定方向到来的声音)时的定位位置的信息即关于规定方向的信息。例如，声音信息包括关于包含第一规定音和第二规定音的多个声音的信息，并且定位声像，使得再现各个声音时的声像被感知为从三维声场内的不同方向到来的声音。

通过该立体的声音，例如，能够与使用立体影像再现装置200视觉确认的图像一起，提高所视听的内容等的临场感。另外，在声音信息中，也可以仅包含关于规定音的信息。在这种情况下，可以另外取得关于规定方向的信息。此外，如上所述，声音信息包含与第一规定音相关的第一声音信息和与第二规定音相关的第二声音信息，也可以分别取得分别包含它们的多个声音信息，通过同时进行再现，将声像定位在三维声场内的不同位置。这样，输入的声音信息的方式没有特别限定，音响再现装置100具备与各种方式的声音信息相应的取得部111即可。

这里，使用图3说明取得部111的一例。图3是表示实施方式的取得部的功能结构的框图。如图3所示，本实施方式中的取得部111例如具备编码音信息输入部112、解码处理部113和感测信息输入部114。

编码音信息输入部112是输入由取得部111取得的编码后(换句话说，被编码)的声音信息的处理部。编码音信息输入部112将所输入的声音信息输出到解码处理部113。解码处理部113是通过对从编码音信息输入部112输出的声音信息进行解码(decode)而以在以后的处理中使用的形式生成与声音信息所包含的规定音相关的信息和与规定方向相关的信息的处理部。关于感测信息输入部114，与检测器103的功能一起在下文进行说明。

检测器103是用于检测用户99的头部的活动速度的装置。检测器103通过组合陀螺仪传感器、加速度传感器等用于检测活动的各种传感器而构成。在本实施方式中，检测器103内置于音响再现装置100中，但例如也可以与音响再现装置100同样地内置于根据用户99的头部的活动而动作的立体影像再现装置200等外部的装置中。在这种情况下，检测器103可以不包括在音响再现装置100中。另外，作为检测器103，也可以使用外部的摄像装置等，对用户99的头部的活动进行摄像，通过处理被摄像的图像来检测用户99的活动。

检测器103例如被一体地固定于音响再现装置100的框体，检测框体的活动的速度。由于包括上述框体的音响再现装置100在用户99佩戴音响再现装置100之后与用户99的头部一体地移动，因此作为结果，检测器103能够检测用户99的头部的活动的速度。

检测器103例如可以检测将在三维空间内相互正交的3个轴中的至少一个设为旋转轴的旋转量，也可以检测将上述3个轴中的至少一个设为位移方向的位移量，来作为用户99的头部的活动量。另外，检测器103也可以检测旋转量以及位移量这双方作为用户99的头部的活动量。

感测信息输入部114从检测器103取得用户99的头部的活动速度。更具体地说，感测信息输入部114取得检测器103在每单位时间检测到的用户99的头部的活动量作为活动的速度。这样，感测信息输入部114从检测器103取得旋转速度和位移速度中的至少一方。这里取得的用户99的头部的活动量用于决定用户99在三维声场内的坐标和方向。在音响再现装置100中，基于所决定的用户99的坐标和方向来决定声像的相对位置，并且再现声音。具体而言，上述功能由滤波器选择部121和输出音生成部131实现。

滤波器选择部121是基于所决定的用户99的坐标和方向，来决定使用户99将规定音感知为从三维声场内的哪个方向到来的声音，并选择要对规定音应用的立体音响滤波器的处理部。立体音响滤波器是通过针对输入的规定音将特定的头部传递函数卷积，从而使用户99将上述规定音感知为从基于该特定的头部传递函数的规定方向到来的声音的函数滤波器。换言之，通过向立体音响滤波器输入规定音(或与规定音相关的信息)，使规定音的左右的声音信号产生声压差、时间差及相位差等，能够输出能够再现控制了到来方向的规定音的声音信号。

成为选择候选的多个立体音响滤波器例如按每个用户99进行调整而预先准备。

这里，使用图4说明滤波器选择部121的一例。图4是表示实施方式的滤波器选择部的功能结构的框图。如图4所示，本实施方式的滤波器选择部121例如具备滤波器存储部122、变动角计算部123和滤波器决定部124。

如上所述，滤波器存储部122是用于存储通过预先计算声音的各个到来方向而生成的多个立体音响滤波器的存储装置。变动角计算部123是基于声音信息计算微小时间中的规定方向的变动的量(角度量)的处理部。例如，变动角计算部123根据与规定方向相关的信息，计算在数毫秒～数秒的范围内固定的期间内的、规定方向的变动的量。这里，变动角计算部123计算在上述期间内规定方向的角度差成为最大时的角度差作为上述的角度量。变动角计算部123进行计算出的角度量与阈值的比较。所计算的角度量小于阈值等比较结果被用于由滤波器决定部124进行的要选择的立体音响滤波器的决定。

滤波器决定部124是如下的处理部：以在由上述变动角计算部123计算出的角度量小于阈值的情况下更加强调规定音并使用户99感知的方式，决定要选择的立体音响滤波器。通过滤波器决定部124所决定的立体音响滤波器从滤波器存储部122中读出并输出，即，作为由滤波器选择部121选择的立体音响滤波器输出。由滤波器决定部124进行的立体音响滤波器的决定(即，由滤波器选择部121进行的立体音响滤波器的选择)的细节将后述。

输出音生成部131是使用在滤波器选择部121中所选择的立体音响滤波器，通过将与声音信息中包含的规定音相关的信息输入到所选择的立体音响滤波器，生成输出音信号的处理部。

这里，使用图5说明输出音生成部131的一例。图5是表示实施方式的输出音生成部的功能结构的框图。如图5所示，本实施方式的输出音生成部131例如具备滤波器处理部132。滤波器处理部132逐次读入滤波器选择部121连续地选择的滤波器，输入与时间轴上的对应的规定音相关的信息，从而连续地输出规定音在三维声场中到来的到来方向被控制后的声音信号。这样，在时间轴上按每个处理单位的时间而划分的声音信息作为在时间轴上连续的声音信号(输出音信号)而被输出。

信号输出部141是将所生成的输出音信号向驱动器104输出的功能部。信号输出部141通过基于输出音信号进行从数字信号向模拟信号的信号转换等，生成波形信号，并基于波形信号使驱动器104产生声波，向用户99提示声音。驱动器104例如具有振动板和磁铁及音圈等驱动机构。驱动器104根据波形信号使驱动机构动作，通过驱动机构使振动板振动。这样，驱动器104通过与输出音信号相应的振动板的振动，产生声波，声波在空气中传播并传递到用户99的耳朵，用户99感知到声音。

[动作]

接下来，参照图6，对上述说明的音响再现装置100的动作进行说明。图6是表示实施方式的音响再现装置的动作的流程图。首先，当音响再现装置100的动作开始时，取得部111经由通信模块102取得声音信息。声音信息由解码处理部113解码为与规定音相关的信息和与规定方向相关的信息，开始滤波器选择。

在滤波器选择部121中，作为初始值，从滤波器存储部122中读出以成为预先设定在内容中的到来方向(与规定方向一致的到来方向)的方式使规定音再现的立体音响滤波器。另一方面，在变动角计算部123中，计算规定方向的变动的角度量(S101)。然后，变动角计算部123判定变动的角度量是否小于阈值(S102)。在变动的角度量为阈值以上的情况下(S102中为否)，滤波器选择部121结束处理，将规定方向与到来方向一致的立体音响滤波器向输出音生成部131输出。

另一方面，在变动的角度量小于阈值的情况下(S102中为是)，进行由滤波器决定部124进行的立体音响滤波器的决定(S103)。立体音响滤波器的决定也可以被解读为，即，进行选择以变更被选择为初始值的立体音响滤波器。此时的输出音信号中的声音的到来方向是与声音信息上的规定方向不同的方向。

另外，也可以不设定上述那样的立体音响滤波器的初始值，而直接从滤波器存储部122中读出滤波器决定部124决定的立体音响滤波器。换句话说，立体音响滤波器的变更是为了说明方便而使用的表达，本公开还包含直接选择并输出立体音响滤波器而不使用初始值的情况。

以下，参照图7～图9说明立体音响滤波器的决定。图7是说明实施方式的基于所选择的立体音响滤波器的规定音的到来方向的第一图。另外，图8是说明实施方式的基于所选择的立体音响滤波器的规定音的到来方向的第二图。另外，图9是说明实施方式的基于所选择的立体音响滤波器的规定音的到来方向的第三图。

在图7中，在空心向右箭头的左侧示出了未进行立体音响滤波器的变更的情况下的规定音的到来方向，用实线示出了第一时间点的规定音的到来方向，用虚线示出了第一时间点之后的第二时间点的规定音的到来方向。另外，在图7中，在空心向右箭头的右侧示出了进行了立体音响滤波器的变更的情况下的规定音的到来方向，用实线示出了第一时间点的规定音的到来方向，用虚线示出了第一时间点之后的第二时间点的规定音的到来方向。另外，在图7中，以附加有“U”的圆形示意性地示出以纸面上方为正面的姿势的用户99，该用户99在与纸面垂直的方向上呈直立的姿势。

此外，在图7中，定位有规定音的位置被示为黑色圆形标记，并且还示出了虚拟扬声器。

如图7所示，第一时间点的第一规定音被定位的位置是第一位置S1。该第一规定音在立体音响滤波器没有变更的情况下，在第二时间点向第二位置S1a移动。规定方向从连结第一位置S1和用户99的第一方向，向连结第二位置S1a和用户99的第二方向旋转。另外，在第一时间点和第二时间点之间，第一规定音在时间上和空间上都直线地移动。在从该第一方向向第二方向旋转的量(规定音的到来方向的变动量)小于阈值的情况下，用户99难以识别第一规定音移动的情况。

另一方面，通过进行立体音响滤波器的变更，规定音向在第二时间点的第三位置S1b移动。规定方向从连结第一位置S1和用户99的第一方向，向连结第三位置S1b和用户99的第三方向旋转。第二方向和第三方向的角度差(通过变更而放大的角度)可以是例如5度、10度、15度、20度等固定角度，也可以是基于第一方向和第二方向的角度差，第一方向与第三方向的角度差充分地超过人的最小辨别角度(大约10度)的角度。

此外，第一方向和第二方向的角度差(即，原声音信息中的规定方向的变动的角度量)越小，第二方向和第三方向的角度差越大。具体而言，滤波器决定部124可以决定立体音响滤波器，使得在原声音信息上的规定方向的变动的角度量越小，在使用变更后的立体音响滤波器的情况下的输出音信号的到来方向上的变动的角度量越大。例如，如图8所示，可以通过将扩展系数α(α＞1)乘以第一方向和第二方向的角度差来决定第三方向，使得在第二时间点的规定音从该第三方向到来，由此进行立体音响滤波器的变更，所述扩展系数α是声音信息上的规定方向的变动的角度量越小其数值越大的系数。此外，该扩展系数α也可以是非线性的关系，使得变动的角度量越小，因变更而变动的角度量越放大。

此外，在图7中，在用户99的左右延伸的单点划线示出了将用户99的头部划分为前后的虚拟边界面。该边界面可以是沿着用户99的外耳道的面，也可以是通过用户99的耳廓的最后端的点的面，也可以是仅通过用户99的头部的重心的面。已知在这样的边界面的前后即在用户99的前后，声音的听取容易度存在差异。因此，以边界面为界，在前面侧和后面侧使立体音响滤波器的变更特性不同是有效的。

在图7中，第一时间点的定位有第二规定音的位置是第四位置S2。在立体音响滤波器没有变更的情况下，该第二规定音在第二时间点向第五位置S2a移动。规定方向从连结第四位置S2和用户99的第四方向，向连结第五位置S2a和用户99的第五方向旋转。第一方向和第四方向平行，第二方向和第五方向平行。因此，在从第一时间点到第二时间点的期间内，第二规定音的变动的角度量与第一规定音的变动的角度量相等。然而，由于第二规定音位于边界面的后面侧(用户99的背后侧)，因此与前面侧相比，用户99更难以识别变动。

因此，滤波器决定部124决定立体音响滤波器，使得与在规定方向位于边界面的前面侧时使用变更后的立体音响滤波器的情况下的时间轴上的到来方向的变动的角度量相比，规定方向位于边界面的后面侧时使用变更后的立体音响滤波器的情况的时间轴上的到来方向的变动的角度量更大。例如，在图7中，规定音的定位位置从第四方向的第四位置S2向第六位置S2b变化，使得变动角大于第一方向和第三方向所成的角度。第五方向和第六方向的角度差例如可以是10度、15度、20度、25度等固定的角度，也可以设定为相对于前面侧的角度差的2倍、3倍、4倍、5倍等系数倍的角度差。

此外，图9表示由滤波器决定部124进行的立体音响滤波器的决定的另一例。在图9中，示出了与图7相同的结构的图，立体音响滤波器的变更后的结构(空心向右箭头的右侧)不同。另外，在图9中，仅示出边界面的前面侧的声像，此外，在空心向右箭头的右侧，为了可读性，省略了关于第一时间点的第一规定音所定位的第一位置S1的图示。

如图9所示，可以选择立体音响滤波器，以使第二时间点处的第一规定音定位在第七位置S1c，并且与声音信息上的规定方向的变动不同地进行振动。在此，示出了在以第七位置S1c为中心且由两条单点划线夹着的角度区域内第一规定音振动的情况。这样，第一规定音也可以通过不是放大到来方向的变动的大小的方法来强调。在图9的例子中，通过使第一规定音周期性地以及规则性地变动，从而唤醒用户99意识，即使其变化稍小，也能够因用户99加以注意而容易识别。

另外，这样的周期性及规则性的变动，能够通过将正弦函数或余弦函数等数值在时间轴上振动的振动函数与规定音的到来方向的变动的角度量相乘或相加而产生。例如，在使用变更后的立体音响滤波器的情况下，可以通过以下方式来计算输出音信号的时间轴上的第N个(N为2以上的整数)时间点的到来方向(对应于变更后的角度量)：将与输出音信号的时间轴上的第(N-1)个时间点对应的声音信息上的规定方向和与第N个时间点对应的声音信息上的规定方向的差值(原角度量)乘以振动函数中的对应时间点的数值，并将相乘后的差值加到与第(N-1)个时间点对应的声音信息上的规定方向上。

此外，为了强调在第二时间点的规定音的到来方向，也可以变更立体音响滤波器，使得与使用变更前的立体音响滤波器的情况相比，根据使用变更后的立体音响滤波器的情况下的输出音信号而感知的时间轴上的规定音的声压的变化量大。此外，这些立体音响滤波器的变更例并不相互矛盾，也可以作为任意的组合使用。

这样，在本实施方式中，能够通过立体音响滤波器的变更，改变在规定音的到来方向的变动小于阈值的情况下用户99难以识别该变动的现象，以在该情况下强调变动的方式生成输出音信号。因此，用户99难以识别的规定音的到来方向的小变动变得更清楚，从而用户99可以更适当地感知立体声。

(其他实施方式)

以上，对实施方式进行了说明，但本公开并不限定于上述的实施方式。

例如，尽管在上述实施方式中说明了声音不跟随用户的头部的活动的例子，但是本公开的内容在声音跟随用户的头部的活动的情况下也是有效的。即，在使用户将规定音感知为从随着用户的头部的活动而相对移动的第一位置到达的声音的动作中，在规定音的到来方向的变动量小于阈值的情况下，可以选择立体音响滤波器以强调变动。

此外，例如，上述实施方式中说明的音响再现装置可以实现为具备所有构成要素的单一装置，也可以通过将各功能分配给多个装置并使这些多个装置协作来实现。在后一种情况下，作为相当于处理模块的装置，可以使用智能电话、平板终端或PC等信息处理装置。

作为与上述实施方式的说明不同的结构，例如，通过由解码处理部修正原来的声音信息，也能够选择变更后的立体音响滤波器。具体而言，本例中的解码处理部是生成与声音信息中包含的规定方向相关的信息，并且进行原来的声音信息的修正的处理部。解码处理部计算时间轴上的规定方向的变动的角度量，在计算出的规定方向的变动的角度量小于阈值的情况下，以与规定方向的变动的角度量为阈值以上的情况相比更加强调规定音并使用户感知的方式，修正与规定方向相关的信息。由此，仅基于从解码处理部输出的与修正后的规定方向相关的信息，选择规定规定音到来的到来方向的立体音响滤波器，就可以应用上述的实施方式中的变更后的立体音响滤波器。

这样，本申请公开的信息处理方法等可以通过修正原来的声音信息中的与规定方向相关的信息来实现。如上所述的解码处理部例如能够实现如下的音响再现装置：仅替换为进行以往的立体音响再现装置的解码处理的处理部并***，就能够起到与本申请公开相同的效果。

此外，本公开的音响再现装置能够作为音响处理装置来实现，所述音响处理装置与仅具备驱动器的再现装置连接，对该再现装置仅使用基于所取得的声音信息而选择的立体音响滤波器将输出音信号输出。在这种情况下，音响处理装置可以作为具备专用的电路的硬件来实现，也可以作为用于使通用的处理器执行特定的处理的软件来实现。

此外，在上述实施方式中，也可以由其他的处理部执行特定的处理部执行的处理。另外，也可以变更多个处理的顺序，也可以并行执行多个处理。

另外，在上述的实施方式中，各构成要素也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。

此外，各构成要素也可以通过硬件来实现。例如，各构成要素可以是电路(或集成电路)。这些电路可以作为整体构成一个电路，也可以是各自不同的电路。另外，这些电路可以分别是通用的电路，也可以分别是专用的电路。

另外，本公开的整体或具体的形态也可以通过装置、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现。另外，本公开的整体或具体的形态也可以通过装置、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。

例如，本公开可以作为由计算机执行的声音信号再现方法来实现，也可以作为用于使计算机执行声音信号再现方法的程序来实现。本公开可以作为记录有这样的程序的计算机可读取的非暂时性记录介质来实现。

此外，对各实施方式实施本领域技术人员想到的各种变形而得到的方式、或者在不脱离本公开的主旨的范围内任意组合各实施方式中的构成要素以及功能而实现的方式也包含于本公开。

产业上的可利用性

本公开在使用户感知立体的声音等音响再现时有用。

附图标记说明

99  用户

100  音响再现装置

101  处理模块

102  通信模块

103  检测器

104  驱动器

111  取得部

112  编码音信息输入部

113  解码处理部

114  感测信息输入部

121  滤波器选择部

122  滤波器存储部

123  变动角计算部

124  滤波器决定部

131  输出音生成部

132  滤波器处理部

141  信号输出部

200  立体影像再现装置

S1  第一位置

S1a  第二位置

S1b  第三位置

S1c  第七位置

S2  第四位置

S2a  第五位置

S2b  第六位置

Claims (11)

1.一种信息处理方法，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户沿着时间序列将所述规定音感知为从与所述规定方向对应的三维声场中的到来方向到来的声音的输出音信号，其中，

计算时间轴上的所述规定方向的变动的角度量，

基于与所述规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自所述到来方向的声音的立体音响滤波器，

将与所述规定音相关的信息输入到所选择的所述立体音响滤波器并生成所述输出信号，

在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，与所计算出的所述规定方向的变动的角度量为阈值以上的情况相比，更加强调所述规定方向的变动的角度量小于阈值的情况下的所述规定音而使所述用户感知。

2.根据权利要求1所述的信息处理方法，其中，

在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，使在所计算出的所述规定方向的变动的角度量小于阈值的情况下根据使用所选择的所述立体音响滤波器时的所述输出音信号而感知的所述到来方向的变动的角度量，大于在所计算出的所述规定方向的变动的角度量为阈值以上的情况下根据使用要选择的立体音响滤波器时的所述输出音信号而感知的所述到来方向的变动的角度量。

3.根据权利要求2所述的信息处理方法，其中，

在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，使所计算出的所述规定方向的变动的角度量越小，根据使用所选择的所述立体音响滤波器的情况下的所述输出音信号而感知的所述到来方向的变动的角度量越大。

4.根据权利要求3所述的信息处理方法，其中，

在所计算出的所述规定方向的变动的角度量小于阈值的情况下，在使用所选择的所述立体音响滤波器时，通过乘以扩展系数α来扩展所述输出音信号的时间轴上的所述到来方向的变动的角度量，其中，所述声音信息上的所述规定方向的变动的角度量越小，则所述扩展系数α的数值越大，且α＞1，

所述规定方向的变动的角度量与所述扩展系数α的关系为非线性。

5.根据权利要求2至4中任一项所述的信息处理方法，其中，

在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，对于将所述用户的头部划分为前后的虚拟边界面，使在所述规定方向位于所述边界面的后面侧并且所计算出的所述规定方向的变动的角度量小于阈值的情况下，使用所选择的所述立体音响滤波器时的时间轴上的所述到来方向的变动的角度量，比在所述规定方向位于所述边界面的前面侧并且所计算出的所述规定方向的变动的角度量小于阈值的情况下，使用所选择的所述立体音响滤波器时的时间轴上的所述到来方向的变动的角度量大。

6.根据权利要求1至5中任一项所述的信息处理方法，其中，

在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，与所述声音信息上的所述规定方向相比，使根据使用所选择的所述立体音响滤波器的情况下的所述输出音信号而感知的所述到来方向在时间轴上振动。

7.根据权利要求6所述的信息处理方法，其中，

在使用所选择的所述立体音响滤波器的情况下，通过如下方式来计算所述输出音信号的时间轴上的第N个时间点的所述到来方向，该方式为，

对与所述输出音信号的时间轴上的第(N-1)个时间点对应的所述声音信息上的所述规定方向和与所述第N个时间点对应的所述声音信息上的所述规定方向的差值，乘以数值在时间轴上振动的振动函数中的对应时间点的数值，

将相乘后的所述差值加到与所述第(N-1)个时间点对应的所述声音信息上的所述规定方向上，

其中，N为2以上的整数。

8.根据权利要求1所述的信息处理方法，其中，

在所述立体音响滤波器的选择中，以如下方式选择所述立体音响滤波器，该方式为，使在所计算出的所述规定方向的变动的角度量小于阈值的情况下根据使用所选择的所述立体音响滤波器时的所述输出音信号而感知的时间轴上的所述规定音的声压的变化量，大于在所计算出的所述规定方向的变动的角度量为阈值以上的情况下根据使用要选择的立体音响滤波器时的所述输出音信号而感知的所述规定音的声压的变化量。

9.一种信息处理方法，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户沿着时间序列将所述规定音感知为从与所述规定方向对应的三维声场中的到来方向到来的声音的输出音信号，其中，

计算时间轴上的所述规定方向的变动的角度量，

以如下方式对与所述规定方向相关的信息进行修正，该方式为，与所计算出的所述规定方向的变动的角度量为阈值以上的情况相比，更加强调在所述规定方向的变动的角度量小于阈值的情况下的所述规定音而使所述用户感知，

将与所述规定音相关的信息输入到基于修正后的与所述规定方向相关的信息从多个立体音响滤波器中选择的立体音响滤波器，并生成所述输出信号，所述多个立体音响滤波器是成为候选的多个立体音响滤波器，即对每个到来方向准备的多个立体音响滤波器。

10.一种程序，其中，

用于使计算机执行权利要求1至9中任一项所述的信息处理方法。

11.一种音响再现装置，根据时间轴上的各时间点处的包含与规定音相关的信息及与规定方向相关的信息的声音信息，生成用于使用户将所述规定音感知为从与所述规定方向对应的三维声场中的到来方向到来的声音的输出音信号，并再现该输出音信号，其中，所述音响再现装置具备：

取得部，取得所述声音信息；

滤波器选择部，计算时间轴上的所述规定方向的变动的角度量，并基于与所述规定方向相关的信息，从成为候选的多个立体音响滤波器即对每个到来方向准备的多个立体音响滤波器中，选择使所输入的输入音感知为来自所述到来方向的声音的立体音响滤波器；

输出音生成部，将与所述规定音相关的信息作为所述输入音，输入到所选择的所述立体音响滤波器而生成所述输出音信号；以及

输出部，利用所生成的所述输出音信号来输出声音，

所述滤波器选择部以如下方式选择所述立体音响滤波器，该方式为，与所计算出的所述规定方向的变动的角度量为阈值以上的情况相比，更加强调在所述规定方向的变动的角度量小于阈值的情况下的所述规定音并使所述用户感知。

Images