CN116982322A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及允许位于远程地点的多个演奏者执行高水平合奏表演的信息处理装置、信息处理方法以及程序。信息处理装置包括：声学处理单元，对通过收集一起表演的多个用户分别所在的空间中的声音而获得的声学信号执行声学处理，执行声学处理以根据虚拟空间中的用户之间的位置关系来卷积声音的传播特性；以及输出控制单元，使基于通过声学处理产生的信号的声音从由各个用户使用的输出装置输出。例如，本技术可应用于用于执行远程合奏表演的计算机。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且具体涉及允许远程地点的多个演奏者执行高水平合奏的信息处理装置、信息处理方法和程序。

背景技术

已经尝试在远程地点进行合奏(ensemble)，例如，控制传染病的主要目的。由演奏者在远程地点进行的合奏被称为远程合奏。

[引用列表]

[专利文献]

[PTL 1]

JP H11-331992A。

发明内容

[技术问题]

在乐队等中的大量演奏者的远程合奏中，演奏者经常在具有相对小的房间容量的环境下(例如，在家的演播室或隔音室中)演奏乐器。在具有小房间容量和短混响时间的环境下的合奏中，与在诸如音乐厅和乐队排练室的宽广环境下的表演期间不同，演奏者难以获得对所演奏声音的适当声学反馈。

此外，演奏者通过耳机等听到其他演奏者的组合(混合)声音，因此不能确保距离感或方向感，并且难以获得关于其他演奏者的演奏声音的声学反馈。

因此，难以实现具有例如演奏定时、声音等级和声音拉取程度的协调的高水平远程合奏。

本技术已经在这种情况中设计并且被配置为通过远程地点的多个演奏者实现高水平合奏。

[问题的解决方案]

根据本技术的一个方面的信息处理装置包括：声学处理单元，对通过收集一起表演的多个用户所在的空间中的声音而获得的声学信号执行声学处理，执行声学处理以根据虚拟空间中的用户之间的位置关系来卷积声音的传递特性；以及输出控制单元，使基于通过声学处理产生的信号的声音从由每个用户使用的输出装置输出。

在本技术的一个方面，对通过收集在一起表演的多个用户所在的空间中的声音而获得的声学信号执行声学处理，执行声学处理以根据虚拟空间中的用户之间的位置关系来卷积声音的传递特性，并且基于由声学处理产生的信号的声音从由每个用户使用的输出装置输出。

附图说明

图1示出了根据本技术的实施方式的远程合奏***的配置实例。

图2示出了设置在隔音室中的装置的实例。

图3示出了语音数据的传输的实例。

图4示出以合奏表演的演奏者的状态。

图5示出了虚拟音乐厅的示例。

图6示出了舞台上演奏者的位置的实例。

图7示出了演奏者的位置的实例。

图8示出了HRIR的实例。

图9示出了如何听到演奏声音的实例。

图10示出了如何听到演奏者的演奏声音的示例。

图11示出了远程合奏***的配置实例的框图。

图12示出了传送控制器的配置实例的框图。

图13示出了信息处理装置的配置实例的框图。

图14示出了用于声学处理的BRIR的实例。

图15示出了用于说明传送控制器的处理的流程图。

图16示出了用于说明演奏者使用的信息处理装置的处理的流程图。

图17示出了远程合奏***的另一配置实例。

图18示出了使用所记录的声音信号的再现装置的配置实例的方框图。

图19示出了传送控制器的另一配置实例。

图20示出了计算机硬件的配置实例的框图。

具体实施方式

下面将描述用于实现本技术的实施方式。将按照以下顺序进行描述。

1.远程合奏***的配置

2.各个装置的配置

3.各个装置的操作

4.变形例

<1.远程合奏***的配置>

图1示出了根据本技术的实施方式的远程合奏***的配置实例。

图1的远程合奏***是用于由远程地点的演奏者执行的所谓的远程合奏的***。

图1的实例示出了在管弦乐队中演奏的演奏者1至4。演奏者1、2演奏小提琴，演奏者3演奏大提琴。演奏者4演奏喇叭。

演奏者的数量不限于四个。实际上，通过使用更多种类的乐器的更多演奏者来执行远程合奏。演奏者的数量在带形成之间变化。

图1的远程合奏***被配置为使得演奏者1至4使用的多个信息处理装置连接至传送控制器101。传送控制器101和信息处理装置可以通过有线通信或无线电通信连接。

演奏者1至4在远程空间进行。例如，在演播室中准备的不同隔音间被用作表演的空间。在图1中，围绕演奏者1至4的虚线矩形表示演奏者1至4在不同的隔音间演奏。

图2示出了设置在隔音间中的装置的实例。

如图2所示，耳机111-1、麦克风112-1以及信息处理装置113-1设置在演奏者1的隔音间中。耳机111-1和麦克风112-1连接至通过PC、智能电话或平板电脑等配置的信息处理装置113-1。麦克风112-1还适当地直接连接至传送控制器101。

耳机111-1是佩戴在演奏者1的头部上的输出装置。在信息处理装置113-1的控制下，耳机111-1输出演奏者1的演奏声音和其他演奏者的演奏声音。耳机(内耳式耳机)可以用作输出装置，而不是耳机。

麦克风112-1收集演奏者1的演奏声音。

此外，演奏者2至4的隔音室均设置有三个装置：耳机、麦克风和信息处理装置，如在演奏者1的隔音室中一样。

在演奏者2的隔音室中，提供了耳机111-2、麦克风112-2、以及信息处理装置113-2。在演奏者3的隔音室中，提供了耳机111-3、麦克风112-3和信息处理装置113-3。在演奏者4的隔音室中，提供了耳机111-4、麦克风112-4和信息处理装置113-4。

在下文中，不需要彼此区分的耳机111-1至111-4将被统称为耳机111。还将共同地描述在远程合奏***中提供的其他装置。

如上所述，在图1的远程合奏***中，每个演奏者佩戴耳机并且在收听从耳机输出的演奏声音的同时通过麦克风演奏。

图1的传送控制器101控制来自演奏者1至4的演奏声音的声学信号的传送，传送控制器101连接至设置在隔音室中的装置。

例如，如图3的上部中的箭头A1所示，当响应于演奏者1的表演而从信息处理装置113-1发送演奏者1的演奏声音的声学信号时，传送控制器101将演奏者1的演奏声音的声学信号传送给信息处理装置113-2至113-4，如图3的下部中的箭头A11至A13所示。在信息处理装置113-2至113-4中，从传送控制器101传送的声学信号经历信号处理，然后从耳机111-2至111-4输出演奏者1的演奏声音。

此外，在演奏者2至4的表演中，由设置在隔音间中的麦克风收集的演奏声音的声学信号经由传送控制器101被传送到由其他演奏者使用的信息处理装置113。

传送控制器101管理各个演奏者在虚拟空间内的位置和方位(方向)。虚拟空间是被设置为用于合奏的位置的虚拟三维空间。为合奏(例如，音乐厅或乐队排练室)设计的声学空间被设置为虚拟空间。在下文中，将用于包括演奏者1至4的所有演奏者的合奏的虚拟空间适当地称为虚拟音乐厅。

虚拟音乐厅中的演奏者1至4的位置例如被设置在与演奏者1至4演奏的乐器对应的位置。虚拟音乐厅上的演奏者1至4的位置可以由传送控制器101自动设置，或者可以由演奏者通过操作例如信息处理装置113来设置。虚拟音乐厅的位置由三维坐标表示。

关于虚拟空间内的演奏者的位置的信息被提供给演奏者使用的信息处理装置113，并在其中管理，所述位置由传送控制器101管理。

在已经接收从传送控制器101传送的声学信号的信息处理装置113中，对声学信号执行声学处理，使得每个演奏者从虚拟音乐厅上的其他演奏者的位置收听到其他演奏者的演奏声音，并且在再现虚拟音乐厅的声学特性的同时获得每个演奏者的演奏声音和其他演奏者的演奏声音。声学处理包括渲染，诸如基于位置信息的VBAP(基于向量的振幅平移)和使用BRIR(双耳室脉冲响应)的卷积。

通过根据各演奏者的位置和其他演奏者的位置之间的位置关系使用BRIR进行声学处理，各演奏者感觉好像从演奏者的位置听到其他演奏者的演奏声音。此外，演奏者感觉好像他们在虚拟音乐厅演奏。稍后将描述BRIR。

图4示出了在合奏中表演的演奏者的状态。

如图4所示，例如，演奏者1在感觉上好像从与演奏者2至4的位置关系对应的方向听到与演奏者1一起演奏的演奏者2至4的声音的同时表演。在图4中，在演奏者2至4的脚下的阴影表示与演奏者1一起表演的演奏者2至4不存在于与演奏者1相同的隔音间中。

其他演奏者演奏的声音是从虚拟音乐厅中的位置对应的位置听到的。因此，即使具有耳机111的演奏者可以在从其他演奏者的演奏声音感受到距离感和方向感的同时演奏。

通过根据虚拟音乐厅的声学特性使用BRIR进行声学处理，每个演奏者可以获得关于在真实音乐厅的表演中的其他演奏者的演奏声音的适当声学反馈。声学反馈包括例如演奏定时、距离感、方向感、应力和声音的提取程度。

换言之，即使每个演奏者在相对小的隔音间演奏而其他演奏者位于远程地点，每个演奏者也可以实现如在音乐厅的真实合奏中的高水平表演。

·虚拟音乐厅

图5示出了虚拟音乐厅的实例。

如图5所示，例如，具有中央舞台的虚拟三维空间被设置为虚拟音乐厅。多个座位实际上围绕舞台设置。

在虚拟音乐厅的舞台上设置演奏者在远程合奏中的虚拟位置。

图6示出了舞台上演奏者的位置的实例。

在图6中，由数字围绕的圆的位置是指挥者和演奏者的虚拟位置。类似于指示围绕数字“0”的位置的位置P0，将适当地使用由圆围绕的数字描述舞台上的位置。

在图6中，舞台上的位置P0表示指挥者的位置。例如，以位于指挥者的位置的原点来设置各演奏者的位置坐标。在图6的实例中，位置P1至P96的96个点的位置设置在舞台上作为演奏者的位置。

图7示出了演奏者的位置的实例。

如图7所示，例如，第一小提琴1的演奏者的位置为位置P1。位置P1位于舞台前方(图6)。

例如，第一小提琴1的演奏者在开始表演之前通过操作信息处理装置113等将演奏者的位置设置在位置P1。

其他乐器的演奏者也在开始表演之前设置演奏者的位置。可由远程合奏***的管理员而不是演奏者来设置演奏位置。

·BRIR

下面将描述用于声学信号的卷积的BRIR。

虚拟布置在舞台上每个位置处的演奏者N(N是任意数字)通过从演奏者M到演奏者N的卷积的BRIR收听到演奏者M(M是任意数字)的演奏声音，演奏者M位于声源的位置处。对于从演奏者M到演奏者N的RIR(室脉冲响应)，具有与演奏声音的到达方向对应的卷积HRIR(头部相关脉冲响应)的传递特性被用作从演奏者M到演奏者N的BRIR。

从演奏者M到演奏者N的RIR表示根据虚拟音乐厅的形状、建筑材料、演奏者N的位置和演奏者M的位置的从演奏者M到演奏者N的直达声音的传递特性和反射声音的传递特性。反射声音表示来自演奏者M的位置处的声源的声音的初始反射声音或后混响声音。

HRIR表示直到从指定声源输出的声音到达演奏者N的两个耳部的时间的传递特性。

图8示出了HRIR的实例。

如图8所示，在数据库中准备从声源到左耳的左耳HRIR和从声源到右耳的右耳HRIR，声源相对于演奏者N的位置O而设置在天球上。在图8中，多个声源相对于位置O以距离a设置。例如，位置O是演奏者N的头部的中心位置。

在来自设置在天球上的信号源的HRIR中，来自声源的左耳HRIR和右耳HRIR被卷积为包括在RIR中的各种声音，声源对应于包括在RIR中的各种声音(诸如直达声音、初始反射声音和后混响声音)的到达方向。例如，对于包括在RIR中的预定反射声音，在连接虚拟音乐厅中的反射声音的声源的位置和位置O的线上对来自声源的左耳HRIR和右耳HRIR进行卷积。RIR中包含的不同声音由单声道信号表示。

期望在数据库中准备的到HRIR的声源的距离a与从位置O到预定反射声音的声源的位置的距离一致。然而，如果反射音的声源的位置位于距离位置O预定距离以上处，则误差可以忽略。

具有卷积的HRIR的RIR的方向在考虑收听演奏声音的演奏者的方位的情况下被校正。例如，在管弦乐队中，每个演奏者在表演过程中面对指挥者，并且因此该RIR被校正成使得该RIR的前部面向该指挥者。

在图6的舞台上，演奏者的位置被设置在96个位置。由此，如下面的式(1)所示，通过选择96个位置中的任意两个位置的排列来计算演奏者之间的路径的所有组合的数量，

p(96，2)＝96×95＝9120...(1)。

由此，对于使用BRIR执行声学处理的信息处理装置113，针对9120条路径中的每条路径准备BRIR。

通过从演奏者M到演奏者N使用BRIR进行声音处理，演奏者N感觉好像从演奏者M的位置听到演奏者M的演奏声音。此外，演奏者N可以在虚拟音乐厅中听到演奏者M的带有再现的初始反射声音或后混响声音的演奏声音。

图9示出了如何听到演奏声音的实例。

对于在位置P1处的第一小提琴1的演奏者，基于从在位置P2处具有声源的演奏者2到演奏者1的BRIR，使在位置P2处的第一小提琴2的演奏者的演奏声音经受声学处理，使得声音基本上从演奏者1的左侧听到，如图9的箭头A21所示。第一小提琴1的演奏者的前部指向指挥者的位置P0。

此外，基于从在位置P3处具有声源的演奏者3到演奏者1的BRIR，对在位置P3处的第一小提琴3的演奏者的演奏声音进行声学处理，使得如箭头A22所示，基本上从演奏者1的后面听到演奏声音。

基于从在位置P31处具有声源的演奏者31到演奏者1的BRIR，对在位置P31处的中提琴31的演奏者的演奏声音进行声学处理，使得从实质上稍微远离演奏者1的前面的位置听到声音，如箭头A23所示。

图10示出了如何听到演奏者的演奏声音的实例。

例如，能够使用再现声音的输出从外部收集声音的开放式耳机用作耳机111。由此，演奏者能够听到作为直达声音的实际演奏声音。

对于演奏者的演奏声音的声学信号，使用表示除了直达声音之外的初始反射声音和后混响声音的传递特性的BRIR来执行声学处理。通过使用开放式耳机作为耳机111，隔音间中的演奏者可以直接听到演奏者演奏的声音，使得表示除直达声音之外的声音的传递特性的BRIR用于声学处理。通过使用表示初始反射声音和后混响声音的传递特性的BRIR执行声学处理，如图10的气球状所示，在虚拟音乐厅中，从耳机111输出具有再现的初始反射声音或演奏者的演奏声音的后混响声音的演奏声音。

通过收听虚拟音乐厅中的演奏者的演奏声音的初始反射声音或后混响声音，演奏者可以在收听演奏者的实际演奏声音的同时从初始反射声音和后混响声音获得适当的声学反馈。

封闭式耳机可用作耳机111。在这种情况下，对于演奏者的演奏声音的声学信号，使用表示直达声音、初始反射声音和后混响声音的传递特性的BRIR来执行声学处理。在下文中，开放式耳机用作耳机111，并且对于演奏者的演奏声音的声学信号，使用表示除直达声音之外的初始反射声音和后混响声音的传递特性的BRIR执行声学处理。

·获得BRIR的方法

通过在真实音乐厅或管弦乐队排练室中使用虚拟头部的测量或使用声学模拟的数值计算，来获得BRIR。

在声学模拟中，音乐厅和人体模型同时用于直接获得BRIR。可替代地，通过上述方式将通过不同方法获得的RIR和HRIR组合，从而获得BRIR。通过测量或声学模拟获得用于该组合的RIR和HRIR。

根据卷积方法，可使用作为关于时域的信息的HRIR，可使用作为关于频域的信息的HRTF(头相关传递函数)，或者可使用HRIR和HRTF两者。

<2.每个装置的配置>

·整体远程合奏***的配置实例

图11是示出远程合奏***的配置实例的框图。

图11的实例是M个演奏者(即，演奏者1至M)执行远程合奏的配置实例。对于不演奏任何乐器的听众(诸如指挥者和观众)，准备与演奏者相同的装置。

在演奏者1的隔音间中，提供耳机111-1、麦克风112-1以及信息处理装置113-1。在演奏者M的隔音间中，提供耳机111-M、麦克风112-M以及信息处理装置113-M。在收听者的隔音间中，提供耳机111-L、麦克风112-L以及信息处理装置113-L。

这些装置连接到传送控制器101。用于记录各演奏者的演奏声音的记录器121连接到传送控制器101。

麦克风112-1收集演奏者1的演奏声音并获取演奏者1的演奏声音的声学信号s11。声学信号s11在被传送到传送控制器101的同时被输入到信息处理装置113-1。

声学信号s12至s15与声学信号s11一起被输入至信息处理装置113-1。声学信号s12为演奏者2的演奏声音的声学信号，声学信号s13为演奏者3的演奏声音的声学信号。声学信号s14为演奏者M的演奏声音的声学信号，声学信号s15为收听者的语音的声学信号。如果收听者是指挥者，则声学信号s15是该指挥者的指令语音的声学信号。

对于声学信号s11，信息处理装置113-1卷积从演奏者1到演奏者1的BRIR。如上所述，从演奏者1到演奏者1的BRIR是表示除了直达声音之外的初始反射声音和后混响声音的传递特性的BRIR。

对于声学信号s12，卷积从演奏者2到演奏者1的BRIR，而对于声学信号s13，卷积从演奏者3到演奏者1的BRIR。对于声学信号s14，卷积从演奏者M到演奏者1的BRIR。如果收听者是指挥者，则对于声学信号s15，卷积从指挥者的位置到演奏者1的BRIR。

信息处理装置113-1基于具有卷积的BRIR的声学信号s11至s15生成包括L信号和R信号的2声道再现信号，并且使包括演奏声音和指令语音的声音从耳机111-1输出。

在其他演奏者的隔音间中执行相同的处理。具体地，麦克风112-M收集演奏者M的演奏声音，并获取演奏者M的演奏声音的声学信号S24。声学信号s24在被传送到传送控制器101的同时被输入到信息处理装置113-M。

声学信号s21至s23和s25与声学信号s24一起被输入到信息处理装置113-M。声学信号s21是演奏者1的演奏声音的声学信号，声学信号s22是演奏者2的演奏声音的声学信号。声学信号s23是演奏者3的演奏声音的声学信号，声学信号s25是收听者的语音的声学信号。

对于声学信号s24，信息处理装置113-M卷积从演奏者M到演奏者M的BRIR。如上所述，从演奏者M到演奏者M的BRIR是表示除了直达声音之外的初始反射声音和后混响声音的传递特性的BRIR。

对于声学信号s21，卷积从演奏者1到演奏者M的BRIR，而对于声学信号s22，卷积从演奏者2到演奏者M的BRIR。对于声学信号s23，卷积从演奏者3到演奏者M的BRIR。如果收听者是指挥者，则对应声学信号s25，卷积从该指挥者的位置到播放器M的BRIR。

信息处理装置113-M基于具有卷积的BRIR的声学信号s21至s25生成再现信号，并且使包括演奏声音和指令语音的声音从耳机111-M输出。

在收听者的隔音室中执行相同的处理。具体地，麦克风112-L收集指挥者的指令语音并且获取指令语音的声学信号。指令语音的声信号被传送到传送控制器101。如果收听者是指挥者，则使用麦克风112-L。如果收听者是观众，则不使用麦克风112-L。

该指挥者可以通过使用麦克风112-L向管弦乐队成员提供指令。对于指挥者的指令语音的声学信号，从指挥者的位置到每个演奏者的BRIR通过设置在每个演奏者的隔音室中的信息处理装置113进行卷积。因此，每个演奏者可以在根据指挥者的指令或手势感受到距离感和方向感的同时演奏。

声学信号s31至s34被输入到信息处理装置113-L。声学信号s31是演奏者1的演奏声音的声学信号，声学信号s32是演奏者2的演奏声音的声学信号。声学信号s33是演奏者3的演奏声音的声学信号，声学信号s34是演奏者M的演奏声音的声学信号。

对于声学信号s31，卷积从演奏者1到收听者位置的BRIR，而对于声学信号s32，卷积从演奏者2到收听者位置的BRIR。对于声学信号s33，卷积从演奏者3到收听者位置的BRIR，而对于声学信号s34，卷积从演奏者M到收听者位置的BRIR。

信息处理装置113-L基于具有卷积的BRIR的声学信号s31至s34生成再现信号并且使演奏声音从耳机111-L输出。

传送控制器101接收通过设置在每个隔音室中的麦克风112获得的声学信号并将声学信号传送至设置在每个隔音室中的信息处理装置113。此外，传送控制器101使记录器121记录接收的声学信号。

在不需要实时操作的情况下再现的情况下，例如，当收听者在与远程合奏的日期和时间不同的日期和时间收听演奏声音时，适当地读取记录在记录器121中的声学信号。

·传送控制器的配置实例

图12是示出了传送控制器101的配置实例的框图。图12的功能单元中的至少一些通过由安装在构成传送控制器101的PC等中的CPU执行程序来实现。

如图12所示，传送控制器101配置有接收单元151、记录控制单元152、位置信息管理单元153和传送单元154。

接收单元151接收从每个演奏者所使用的麦克风112发送的声学信号，并将该声学信号输出到记录控制单元152和传送单元154。

记录控制单元152使记录器121记录从接收单元151提供的声学信号。

位置信息管理单元153通过与信息处理装置113的通信等管理位置信息。位置信息是表示虚拟音乐厅中的演奏者和听众的位置(坐标)的信息。将由位置信息管理单元153管理的位置信息提供给传送单元154。

传送单元154将从接收单元151提供的声学信号和从位置信息管理单元153提供的位置信息传送到设置在每个隔音间中的信息处理装置113。

·信息处理装置的配置实例

图13是示出信息处理装置113的配置实例的框图。图13的至少一些功能单元通过由安装在构成信息处理装置113的PC等中的CPU执行程序来实现。

如图13所示，信息处理装置113配置有声学信号获取单元161、位置信息获取单元162、延迟校正单元163、再现单元164、输出控制单元165以及声学传递函数数据库166。

声学信号获取单元161获取由麦克风112收集的演奏声音的声学信号。此外，声学信号获取单元161获取从传送控制器101传送的声学信号。由声学信号获取单元161获取的声学信号被提供至再现单元164。

位置信息获取单元162获取从传送控制器101传送的位置信息。由位置信息获取单元162获取的位置信息被提供给延迟校正单元163和再现单元164。

延迟校正单元163基于声学信号的传送延迟时间校正用于声学处理的BRIR。基于从位置信息获取单元162提供的位置信息，校正与每个演奏者或收听者的位置相对应的BRIR，从声学传递函数数据库166获取BRIR。

图14示出了用于声学处理的BRIR的实例。在图14的A至C中，上波形(L)表示左耳的BRIR，下波形(R)表示右耳的BRIR。横轴表示时间。

图14中的A表示从演奏者1(位置P1处的演奏者)到演奏者1的BRIR的初始时间的一部分。如上所述，从演奏者1到演奏者1的BRIR是表示除了演奏者1的演奏声音的直达声音之外的初始反射声音和后混响声音的传递特性的BRIR。演奏者1的演奏声音的初始反射声音和后混响声音在从声音发出起延迟时间t₀之后到达演奏者1。

图14中的B表示从演奏者2(位置P2处的演奏者)到演奏者1的BRIR的初始时间的一部分。演奏者2的直达声音从声音发出起延迟时间t₁后到达演奏者1。时间t₁短于时间t₀。

图14中的C表示从演奏者30(位置P30处的演奏者)到演奏者1的BRIR的初始时间的一部分。演奏者30的直达声音从声音发出起延迟时间t₂后到达演奏者1。由于位置P1与位置P30之间的一定距离，时间t₂比时间t₀长。

如果由于网络的传输延迟等，在与演奏者1一起表演的演奏者的演奏声音的声学信号的传送中发生不可避免的延迟，则当演奏声音的声学信号被原样再现时，在延迟之后，与演奏者1一起表演的演奏者的演奏声音可以从耳机111输出。在这种情况下，对于演奏者，与其他演奏者的协调表演是困难的。

在理论上，没有声波比通过演奏者之间的最短路径传播的直达声音更早地传播。由此，从用于声学处理的BRIR的时间0到时间t₁或时间t₂的响应是0响应，时间t₁或t₂对应于直达声音的传播时间。

例如，如果声学信号的传送的延迟时间被表示为t_x，并且t₁和t_x中的较短时间被表示为t_y，则延迟校正单元163通过从从演奏者2到演奏者1的BRIR的时间0到时间t_y截断响应部分，来校正从演奏者2到演奏者1的BRIR。

此外，对于其他BRIR，通过截断声学时间的传送的延迟时间和直达声音的传播时间中的较小的一者的响应部分来进行校正。

如果通过使用校正的BRIR再现声学信号，则在声学信号的传送的延迟时间被部分或全部补充时的时间，从耳机111输出演奏声音。由此，在虚拟音乐厅中，可以用在演奏者之间的距离上的声波的传播时间来代替网络的不可避免的传输延迟。这可减小从耳机111输出的演奏声音的延迟，该延迟由声学信号的传输延迟引起。

由图13的延迟校正单元163校正的BRIR被提供给再现单元164。

再现单元164用作对从声学信号获取单元161提供的声学信号执行声学处理的声学处理单元。通过执行声学处理，由延迟校正单元163校正的BRIR被卷积成声学信号。通过将声学信号乘以构成BRIR的系数并且将相乘的结果相加来执行BRIR的卷积。通过执行声学处理获得的声学信号被提供到输出控制单元165。

输出控制单元165使对应于从再现单元164提供的声学信号的声音从耳机111输出。

在声学传递函数数据库166中，存储BRIR和RIR，BRIR和RIR对应于相对于虚拟音乐厅上的位置的多个位置。例如，从传送控制器101或互联网上的服务器获取用于卷积的BRIR，并且将BRIR存储在声学传递函数数据库166中。BRIR可以在声学处理期间从诸如互联网上的服务器的外部设备获取。

可替代地，可以通过对应于RIR的方向的HRIR和RIR的卷积，由传送控制器101或信息处理装置113合成BRIR。当BRIR被卷积成声学信号时，HRIR和RIR的卷积不需要被实时执行。只有当演奏者等开始使用信息处理装置113时才可以进行卷积。如果BRIR由信息处理装置113合成，则RIR和HRIR的数据库被存储在声学传递函数数据库166中。BRIR通过使用适合于例如使用信息处理装置113的演奏者的HRIR的数据库来合成，由此针对每个演奏者最佳地合成BRIR。使用针对演奏者优化的BRIR来执行卷积，从而提高例如每个演奏者从耳机111输出的声音所感知的方向感的准确度。

<3.每个装置的操作>

下面将描述由此配置的传送控制器101和信息处理装置113的操作。

·传送控制器的操作

参照图15的流程图，下面将描传送控制器101的处理。

在步骤S1中，接收单元151接收由麦克风112获取的声学信号。

在步骤S2中，传输送单元154将声学信号传送给演奏者和收听者使用的信息处理装置113。关于演奏者和收听者的位置信息可与声学信号一起被传送到信息处理装置113，或者可在远程合奏开始之前被传送到信息处理装置113。

在步骤S3中，记录控制单元152使记录器121记录声学信号。每当从麦克风112传送声学信号时，执行上述处理。

·信息处理装置的操作

参考图16的流程图，下面描述演奏者1所使用的信息处理装置113-1的处理。

在步骤S11中，声学信号获取单元161获取演奏者1的由麦克风112-1收集的演奏声音的声学信号。

在步骤S12中，再现单元164将表示仅初始反射声音和后混响声音(从演奏者1到演奏者1的BRIR)的传递特性的BRIR卷积为演奏者1的演奏声音的声学信号。

在步骤S13中，声学信号获取单元161接收从传送控制器101传送的与演奏者1一起表演的演奏者的演奏声音的声学信号。收听者的语音的声学信号也适当地与和演奏者1一起表演的演奏者的演奏声音的声学信号一起接收。

在步骤S14中，延迟校正单元163基于演奏者M的演奏声音的声学信号的传送中的延迟时间，校正从演奏者M到演奏者1的BRIR。

在步骤S15中，在延迟校正单元163校正了BRIR之后，再现单元164将从演奏者M到演奏者1的BRIR卷积为演奏者M的演奏声音的声学信号。

在对所有演奏者和收听者执行步骤S14和步骤S15的处理之后，在步骤S16中，输出控制单元165输出对应于已经通过再现单元164进行声学处理的声学信号的再现声音。

在输出再现声音之后，重复执行上述处理。而且，在由其他演奏者和收听者使用的信息处理装置113中，通过使用与其他演奏者和收听者的位置对应的BRIR执行与图16的处理相同的处理。

如上所述，通过根据虚拟音乐厅的声学特性和演奏者在虚拟音乐厅上的相对位置使用BRIR进行声学处理，每个演奏者可以获得关于在真实音乐厅中的表演中的其他演奏者的演奏声音的声学反馈。

通过使用表示演奏者的演奏声音的初始反射声音和后混响声音的传递特性的BRIR执行声学处理，演奏者可以获得如在真实音乐厅的表演中关于演奏声音的声学反馈。

由此，在音乐厅中，各演奏者能够真实地实现高水平表演。

<4.变形例>

·远程合奏***的配置

图17示出了远程合奏***的另一配置实例。

在图17中所示的配置中，与参考图11所描述的配置相同的配置由相同的参考字符表示。适当省略重复的描述。

图17中的远程合奏***是当由M个演奏者中的演奏者1至K(K是小于M的任何数)构成的组在相同空间中表演时使用的***。该组包括，例如，在虚拟音乐厅上彼此靠近定位的多个演奏者。

在由演奏者1至K组成的组表演的空间中，提供耳机111-1至111-K、麦克风112-G和信息处理装置113-G。

耳机111-1至111-K被分别佩戴在演奏者1至K的头上。

麦克风112-G收集演奏者1至K的演奏声音并获取组的演奏声音的声学信号s41。声学信号s41在被传送到传送控制器101的同时被输入到信息处理装置113-G。

声学信号s42至s45与声学信号s41一起被输入到信息处理装置113-G。声学信号s42至s44为演奏者K+1至M的演奏声音的声学信号，声学信号s45为收听者的语音的声学信号。

如果开放式耳机作为耳机111-1至111-K佩戴在所有演奏者1至K的头上，则信息处理装置113-G将表示初始反射声音和后混响声音的传递特性的BRIR卷积成声学信号s41。在这种情况下，BRIR对应于构成该组的演奏者1至K的位置的中间位置。例如，根据演奏者1至K的位置，演奏者1至K的位置的中心位置被确定为中间位置。

如果封闭式耳机作为耳机111-1至111-K佩戴在所有演奏者1至K的头上，则表示初始反射声音和后混响声音的传递特性的BRIR被卷积成声学信号s41。开放式耳机和封闭式耳机不以混合方式用作耳机111-1至111-K。

对于声学信号s42至s45，与演奏者和收听者的位置相对应的BRIR被卷积。

信息处理装置113-G基于具有卷积的BRIR的声学信号s41至s45生成再现信号，并且使包括演奏声音和指令语音的声音从耳机111-1至111-K输出。

麦克风112-M收集演奏者M的演奏声音，并获取演奏者M的演奏声音的声学信号s54。声学信号s54在被传送到传送控制器101的同时被输入到信息处理装置113-M。

声学信号s51至s53和s55与声学信号s54一起被输入到信息处理装置113-M。声学信号s51是演奏者1至K组成的组的演奏声音的声学信号，声学信号s52是演奏者K+1的演奏声音的声学信号。其中，声学信号s53为演奏者K+2的演奏声音的声学信号，声学信号s55为收听者语音的声学信号。

对于声学信号s54，信息处理装置113-M卷积从演奏者M到演奏者M的BRIR。

对于声学信号s51，BRIR对应于演奏者1至K的位置的中间位置。对于声学信号s52至s55，对应于收听者和演奏者的位置的BRIR被卷积。

信息处理装置113-M基于具有卷积的BRIR的声学信号s51至s55生成再现信号，并且使包括演奏声音和指令语音的声音从耳机111-M输出。

声学信号s61至s64被输入到信息处理装置113-L。声学信号s61是演奏者1至K组成的组的演奏声音的声学信号，声学信号s62至s64是演奏者K+1至M的演奏声音的声学信号。

对于声学信号s61，BRIR对应于演奏者1至K的位置的中间位置。对于声学信号s62至s64，对应于演奏者和收听者的位置的BRIR被卷积。

信息处理装置113-L基于具有卷积的BRIR的声学信号s61至s64生成再现信号并且使演奏声音从耳机111-L输出。

这样，在虚拟音乐厅中彼此接近的多个演奏者的位置可以被一起处理为一个位置。

·声学信号的合成

在记录器121中，为每个演奏者记录用于每个演奏者的演奏声音的声学信号。记录在记录器121中的声学信号可用于再现已经以任何记录模式记录的演奏声音或在任何收听位置听到的演奏声音。

例如，当记录真实音乐厅中的合奏时，Decca Tree技术的麦克风阵列可用作用于记录的三点悬挂麦克风。

根据构成Decca Tree技术的麦克风阵列的麦克风的坐标位置和方向来设置声音接收点，并且从演奏者的位置到声音接收点的RIR被卷积为每个演奏者的演奏声音的声学信号，从而再现如在真实音乐厅中使用Decca Tree技术的麦克风阵列时的记录结果。在这种情况下，反映麦克风的方向特性的RIR被用作从演奏者的位置到声音接收点的RIR。

此外，在座位的任何座位位置处设置声音接收点，并且从每个演奏者的位置到声音接收点的BRIR被卷积，从而获得与通过在座位处执行的双耳记录获得的记录结果相对应的声学信号。使得从耳机输出与声学信号对应的声音，允许收听者感觉好像在真实音乐厅中听到演奏声音。

例如，通过对与RIR的方向相对应的RIR和HRIR进行卷积来合成从演奏者的位置到声音接收点的BRIR。BRIR通过使用适合于演奏者的HRIR的数据库来合成，从而针对收听者最佳地合成BRIR。使用针对收听者优化的BRIR来执行卷积，从而提高例如由收听者根据从耳机111输出的声音所感知的方向感的准确度。

图18为示出使用所记录的声学信号的再现装置201的配置实例的方框图。

声学信号获取单元211从记录器121获取每个演奏者的演奏声音的声学信号，并且将该信号输出到再现单元214。

位置信息取得单元212获取演奏者的位置信息，将该位置信息输出到再现单元214，该位置信息由传送控制器101管理。

声音接收点获取单元213获取表示声音接收点的坐标位置和方向的位置信息并且将该位置信息输出至再现单元214。可由收听者通过再现装置201的操作设置或者可由再现装置201的管理员设置声音接收点的位置和方向。

再现单元214从声学传递函数数据库216获取与从位置信息获取单元212提供的关于演奏者的位置信息和从声音接收点获取单元213提供的关于声音接收点的位置信息对应的BRIR。

再现单元214通过使用从每个演奏者的位置到声音接收点的BRIR，对每个演奏者的演奏声音的声学信号执行声学处理，声学信号是从声学信号获取单元211提供的。通过执行声学处理获得的声学信号被提供给输出控制单元215。

输出控制单元215使对应于从再现单元214提供的声学信号的再现声音从由收听者使用的耳机输出。从再现单元214提供的声学信号适当地从输出控制单元215输出到外部装置并被记录。

由此配置的再现装置201可设置在远程合奏***的传送控制器101中或由收听者使用的信息处理装置113-L中。

·在传送控制器中执行的声学处理的实例

在上述实例中，每个信息处理装置113执行使用BRIR的声学处理。使用BRIR的声学处理可以由传送控制器101执行。在这种情况下，在传送控制器101中提供使用BRIR执行声学处理的信息处理装置113的配置的至少一部分。

图19示出了传送控制器101的另一配置实例。

图19中的传送控制器101的配置与图12的配置的不同之处在于提供延迟校正单元231、再现单元232以及声学传递函数数据库233。适当省略重复的描述。

延迟校正单元231、再现单元232以及声学传递函数数据库233具有与图13中的延迟校正单元163、再现单元164以及声学传递函数数据库166相同的功能。

延迟校正单元231基于声学信号的传送延迟时间，校正用于声学处理的BRIR。基于从位置信息管理单元153提供的位置信息，校正与每个演奏者或收听者的位置相对应的BRIR，从声学传递函数数据库233获取BRIR。由延迟校正单元231校正的BRIR被提供给再现单元232。

再现单元232对从接收单元151提供的声学信号执行声学处理。通过执行声学处理，由延迟校正单元231校正的BRIR被卷积成声学信号。通过执行声学处理获得的声学信号被提供给传送单元154。

传送单元154将从再现单元232提供的声学信号传送送到由每个演奏者使用的信息处理装置113。传送单元154用作使基于通过声学处理生成的声学信号的演奏声音从耳机111输出的输出控制单元。

·其他

根据每个演奏者的乐器的类型，不同的RIR可以用于声学处理。具体地，通过将RIR与乐器的反射辐射方向特性和与RIR的方向对应的HRIR进行卷积，来合成将用于声学处理的BRIR。

例如，对于木风乐器的演奏者演奏的声音的声学信号，通过使用用于木风乐器的RIR来执行声学处理。对于由黄铜乐器的演奏者演奏的声音的声学信号，通过使用用于黄铜乐器的RIR来执行声学处理。例如，对于弦乐器的演奏者演奏的声音的声学信号，通过使用弦乐器的RIR来执行声学处理。对于由打击乐器的演奏者演奏的声音的声学信号，通过使用用于打击乐器的RIR来执行声学处理。

使用对应于乐器的种类的RIR来执行卷积，从而以更高的保真度再现声学特性。

在前面的描述中，由管弦乐队的演奏者执行远程合奏。该处理适用于由多个演奏者执行的各种合奏，例如，由爵士乐队演奏者执行的合奏或者由摇滚乐队演奏者执行的合奏。在要卷积的声学信号中，发声者的语音可以与乐器的演奏声音包括在一起。

此外，该处理适用于由多个表演者演奏的表演艺术。在这种情况下，表演者的语音被包括在将被卷积的声学信号中。

如上所述，合奏中的演奏者或表演艺术中的表演者用作在每个隔音室中提供的耳机、麦克风和信息处理装置的用户。

多个虚拟音乐厅可以具有不同的声学特性，并且可以为每个虚拟音乐厅准备BRIR。

·计算机的配置实例

上述一系列处理可以由硬件或软件执行。当通过软件执行该系列处理时，将构成软件的程序从程序记录介质安装到内置于专用硬件中的计算机或者通用个人计算机上。

图20是示出使用程序执行一系列处理的计算机的硬件的配置实例的框图。传送控制器101和信息处理装置113配置有例如具有与图20的配置相同的配置的PC。

CPU(中央处理单元)501、ROM(只读存储器)502、以及RAM(随机存取存储器)503经由总线504彼此连接。

输入/输出接口505另外连接至总线504。包括键盘和鼠标的输入单元506以及包括显示器和扬声器的输出单元507连接至输入/输出接口505。此外，包括硬盘和非易失性存储器的存储单元508、包括网络接口的通信单元509、以及驱动可移动介质511的驱动器510被连接至输入/输出接口505。

在由此配置的计算机中，例如，CPU 501通过经由输入/输出接口505和总线504将存储在存储单元508中的程序加载到RAM 503中并且执行程序来执行上述一系列处理。

由CPU 501执行的程序记录在例如可移动介质511上或者经由诸如局域网、互联网、以及数字广播等有线或无线传输介质提供并且安装在存储单元508中。

由计算机执行的程序可以是按照本说明书中描述的顺序按照时间序列执行多个处理步骤的程序，或者可以是并行或在必要的时间(例如，当进行调用时)执行多个处理步骤的程序。

在本说明书中，***意味着多个组成元件(装置、模块(部件)等)的集合，而不管所有组成元件是否位于同一壳体中。因此，存储在单独的壳体中并且经由网络连接的多个装置组成***，并且包括存储在壳体中的多个模块的一个装置也是***。

本说明书中描述的效果仅是示例性的并且不受限制，并且可以获得其他效果。

本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下，可以做出各种变化。

例如，本技术可以被配置为云计算，其中，多个装置经由网络共享和协作处理一个功能。

另外，上述流程图中描述的每个步骤可以由一个装置执行或者由多个装置以共享方式执行。

此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个装置执行或者由多个装置以共享方式执行。

·配置的组合实例

本技术可以配置如下：

(1)

一种信息处理装置，包括：声学处理单元，对通过收集一起表演的多个用户所在的空间中的声音而获得的声学信号执行声学处理，所述声学处理被执行以根据虚拟空间中的用户之间的位置关系来卷积声音的传递特性；以及

输出控制单元，使基于通过声学处理产生的信号的声音从由每个用户使用的输出装置输出。

(2)

根据(1)的信息处理装置，其中所述声学处理单元使用与所述用户的位置和所述其他用户的位置之间的位置关系相对应的传递特性，对所述声学信号进行声学处理，所述声学信号是通过收集所述其他用户所在空间中的声音获得的。

(3)

根据(1)或(2)的信息处理装置，其中所述声学处理单元使用所述传递特性来对所述声学信号执行所述声学处理，所述传递特性表示在所述虚拟空间上在所述用户的位置处具有声源的声音的反射声音的特性，所述声学信号是通过收集所述用户所在空间中的声音获得的。

(4)

根据(1)至(3)中任一项的信息处理装置，其中传递特性是BRIR。

(5)

根据(1)至(4)中任一项的信息处理装置，进一步包括：接收单元，接收从外部控制器传送的声学信号，所述外部控制器被配置为控制声学信号的传送；以及

校正单元，基于所述声学信号的所述传送延迟时间校正所述传递特性，

其中，

所述声学处理单元通过使用所述校正的传递特性来执行所述声学处理。

(6)

根据(1)至(5)中任一项的信息处理装置，其中所述声学处理单元通过使用与基于所述多个用户在所述虚拟空间上的位置确定的位置对应的所述传递特性对所述声学信号执行所述声学处理，所述声学信号是通过收集所述多个用户的所述组所在的空间中的声音获得的。

(7)

根据(1)至(6)中任一项的信息处理装置，进一步包括：接收单元，接收通过收集用户所在空间中的声音而获得的声学信号；以及

传送单元，将通过对所接收的声学信号的声学处理产生的信号传送到由用户中的每个用户使用的装置，所述输出装置连接到所述装置。

(8)

根据(7)的信息处理装置，进一步包括：记录控制单元，使记录器记录通过收集多个用户所在空间中的声音而获得的声学信号。

(9)

根据(8)的信息处理装置，其中所述声学处理单元对由所述记录器记录的所述声学信号执行所述声学处理。

(10)

根据(1)至(9)中任一项的信息处理装置，其中所述声学处理单元对表示所述多个用户的演奏声音的声学信号执行所述声学处理。

(11)

根据(10)的信息处理装置，其中虚拟空间是为用于演奏合奏的大厅设计的声学空间。

(12)

一种信息处理方法，使信息处理装置：

对通过收集一起表演的多个用户所在的空间中的声音而获得的声学信号执行声学处理，所述声学处理被执行以根据虚拟空间中的用户之间的位置关系来卷积声音的传递特性；以及

使基于由所述声学处理产生的信号的声音从由每个所述用户使用的输出装置输出。

(13)

一种用于使计算机执行以下处理的程序：

对通过收集一起表演的多个用户所在的空间中的声音而获得的声学信号执行声学处理，所述声学处理被执行以根据虚拟空间中的用户之间的位置关系来卷积声音的传递特性；以及

从由每个用户使用的输出装置输出基于由声学处理产生的信号的声音。

[参考标号列表]

101 传送控制器

111 耳机

112 麦克风

113 信息处理装置

121 记录器

151 接收单元

152 记录控制单元

153 传送单元

154 位置信息管理单元

161 声学信号获取单元

162 位置信息获取单元

163 延迟校正单元

164 再现单元

165 输出控制单元

166 声学传递函数数据库

201 再现装置

211 声学信号获取单元

212 位置信息获取单元

213 声音接收点获取单元

214 再现单元

215 输出控制单元

216 声学传递函数数据库

231 延迟校正单元

232 再现单元

233 声学传递函数数据库。

Claims (13)

1.一种信息处理装置，包括：声学处理单元，对通过一起表演的多个用户中的每个用户所在的空间中收集声音而获得的声学信号执行声学处理，在所述声学处理中卷积与各个用户之间在虚拟空间中的位置关系对应的声音的传递特性；以及

输出控制单元，使基于通过所述声学处理产生的信号的声音从由所述每个用户使用的输出装置输出。

2.根据权利要求1所述的信息处理装置，其中，所述声学处理单元通过使用对应于用户的位置与其他用户的位置之间的位置关系的传递特性，对通过在所述其他用户所在的各个空间中收集声音而获得的声学信号执行所述声学处理。

3.根据权利要求1所述的信息处理装置，其中，所述声学处理单元通过使用所述传递特性，对通过在用户所在的空间中收集声音而获得的声学信号执行所述声学处理，所述传递特性表示声音的反射声音的特性，所述声音以所述用户在所述虚拟空间的位置为声源位置。

4.根据权利要求1所述的信息处理装置，其中，所述传递特性是BRIR。

5.根据权利要求1所述的信息处理装置，进一步包括：接收单元，接收从外部控制器传送的声学信号，所述外部控制器被配置为控制所述声学信号的传送；以及

校正单元，基于所述声学信号的传送延迟时间校正所述传递特性，

其中，

所述声学处理单元使用校正后的传递特性来执行所述声学处理。

6.根据权利要求1所述的信息处理装置，其中，所述声学处理单元通过使用与基于所述多个用户分别在所述虚拟空间上的位置确定的位置对应的所述传递特性，对所述声学信号执行所述声学处理，所述声学信号是通过所述多个用户的组所在的空间中收集声音而获得的。

7.根据权利要求1所述的信息处理装置，进一步包括：接收单元，接收通过在各个用户所在空间中收集声音而获得的声学信号；以及

传送单元，将通过对所接收的声学信号的声学处理产生的信号发送到由用户中的每个用户使用的装置，所述输出装置连接到所述装置。

8.根据权利要求7所述的信息处理装置，进一步包括：记录控制单元，使记录器记录所述声学信号，所述声学信号是通过在所述多个用户中的每个用户所在空间中收集声音而获得的。

9.根据权利要求8所述的信息处理装置，其中，所述声学处理单元对由所述记录器记录的所述声学信号执行所述声学处理。

10.根据权利要求1所述的信息处理装置，其中，所述声学处理单元对表示所述多个用户中的每个用户的演奏声音的所述声学信号执行所述声学处理。

11.根据权利要求10所述的信息处理装置，其中，所述虚拟空间是为用于演奏合奏的大厅设计的声学空间。

12.一种信息处理方法，在所述信息处理方法中，信息处理装置：

对通过一起表演的多个用户中的每个用户所在的空间中收集声音而获得的声学信号执行声学处理，在所述声学处理中卷积与各个用户之间在虚拟空间中的位置关系对应的声音的传递特性；以及

使基于由所述声学处理产生的信号的声音从由所述每个用户使用的输出装置输出。

13.一种用于使计算机执行以下处理的程序：

对通过一起表演的多个用户中的每个用户所在空间中收集声音而获得的声学信号执行声学处理，在所述声学处理中卷积与各个用户之间在虚拟空间中的位置关系对应的声音的传递特性；以及

使基于由所述声学处理产生的信号的声音从由所述每个用户使用的输出装置输出。