CN107277736A - 模拟***、声音处理方法及信息存储介质 - Google Patents

Abstract

本发明提供了即便当用户的位置、方向变化了时也能够形成适当的声场的模拟***、图像处理方法以及信息存储介质等。模拟***包括：输入处理部，获得在配置有第一～第M扬声器(SP1～SP4)的实际空间中移动的用户的位置、方向的信息；以及声音处理部，即便在随着实际空间中的用户的位置、方向的变化，与用户对应的虚拟用户(PV)在虚拟空间中的位置(PP)、方向(DP)变化了的情况下，相对于对虚拟用户(PV)保持规定的相对位置关系而追随的第一～第N位置(PS1～PS4)，进行第一～第M扬声器的音量平衡调整，从而设定第一～第N虚拟扬声器(VS1～VS4)，使用第一～第N虚拟扬声器，进行虚拟空间内的基于虚拟声源的声场的形成处理。

Description

模拟***、声音处理方法及信息存储介质

技术领域

本发明涉及模拟***、声音处理方法及信息存储介质等。

背景技术

以往，已知使用例如5.1ch等环绕声用的多个扬声器，形成模拟现实世界的声场的实时的声场且能娱乐游戏、电影鉴赏等的虚拟现实的模拟***。作为这种模拟***的现有技术，存在例如专利文献1中所公开的技术。

【在先技术文献】

【专利文献】

专利文献1：日本特开平8-243256号公报

然而，在使用多个扬声器实现环绕声等的现有的模拟***中，作为用户朝向规定的标准方向位于规定的标准位置，相对于这多个扬声器的配置位置而形成环绕声的声场。因此，通过用户通过在实际空间中移动，从而若用户的位置、方向变化，则存在无法维持适当的环绕声等的声场的技术问题。

发明内容

根据本发明的几个方式，能够提供即便在用户的位置、方向已变化的情况下也能够形成适当的声场的模拟***、声音处理方法或信息存储介质等。

本发明的一方面涉及模拟***包括：输入处理部，获得在配置有第一～第M(M是大于等于3的整数)的扬声器的实际空间中移动的用户的位置、方向的信息；以及声音处理部，即便在随着在所述实际空间中的所述用户的位置、方向的变化，与所述用户对应的虚拟用户在虚拟空间中的位置、方向变化了的情况下，相对于对所述虚拟用户保持规定的相对位置关系而追随的第一～第N(N是大于等于2的整数)位置，进行所述第一～第M扬声器的音量平衡调整，从而设定第一～第N虚拟扬声器，使用所述第一～第N虚拟扬声器，进行所述虚拟空间内的基于虚拟声源的声场的形成处理。另外，本发明涉及使计算机作为上述各部发挥功能的程序、或者存储该程序的计算机可读取的信息存储介质。

根据本发明的一方面，获得在配置有第一～第M扬声器的实际空间中移动的用户的位置、方向的信息。并且，在随着用户的位置、方向的变化，虚拟用户的位置、方向变化了的情况下，相对于对虚拟用户保持规定的相对位置关系而追随的第一～第N位置，设定第一～第N虚拟扬声器。这些第一～第N虚拟扬声器通过进行配置在实际空间中的第一～第M扬声器的音量平衡调整来设定。而且，使用设定的第一～第N虚拟扬声器，进行虚拟空间内的基于虚拟声源的声场的形成处理。这样，在本发明的一方面中，即便在随着用户的位置、方向的变化而虚拟用户的位置、方向变化了的情况下，第一～第N虚拟扬声器也对该虚拟用户保持规定的相对位置关系而追随。而且，虚拟空间内的基于虚拟声源的声场使用这种对于虚拟用户保持规定的相对位置关系而追随的第一～第N虚拟扬声器形成。因此，能够提供即便在用户的位置、方向变化了的情况下，能够形成适当的声场的模拟***等。

另外，在本发明的一方面中，所述声音处理部也可以根据所述第一～第M扬声器中的第一扬声器群的位置的信息和所述第一～第N位置中的第一位置的信息，进行所述第一扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第一虚拟扬声器，根据所述第一～第M扬声器中的第二扬声器群的位置的信息和所述第一～第N位置中的第二位置的信息，进行所述第二扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第二虚拟扬声器。

通过这样，根据与各虚拟扬声器对应的扬声器群的位置的信息和各虚拟扬声器的位置的信息，进行该扬声器群的音量平衡调整，从而能够设定各虚拟扬声器。

另外，在本发明的一方面中，所述声音处理部可以向至少包括三个扬声器的所述第一扬声器群输出第一声道的声音，向至少包括三个扬声器的所述第二扬声器群输出第二声道的声音。

这样，如果使用至少包括三个扬声器的扬声器群，设定各虚拟扬声器，则能够在任意位置设定虚拟扬声器等。

另外，在本发明的一方面中，所述声音处理部能以在与所述虚拟用户的左耳对应的位置设定所述第一虚拟扬声器的方式进行所述第一扬声器群的音量平衡调整，以在与所述虚拟用户的右耳对应的位置设定所述第二虚拟扬声器的方式进行所述第二扬声器群的音量平衡调整。

通过这样，能够实现例如就像佩戴虚拟的头戴耳机那样的音响效果。

另外，在本发明的一方面中，所述声音处理部可以向所述第一扬声器群、所述第二扬声器群输出双声道声源的声音。

这样，通过向第一扬声器群、第二扬声器群输出双声道声源的声音，能够实现更加具有实际临场感的立体音响。

另外，在本发明的一方面中，所述声音处理部可以根据所述第一～第M扬声器中的第一扬声器群的位置的信息和所述第一～第N位置中的第一位置的信息，进行所述第一扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第一虚拟扬声器，根据所述第一～第M扬声器中的第二扬声器群的位置的信息和所述第一～第N位置中的第二位置的信息，进行所述第二扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第二虚拟扬声器，根据所述第一～第M扬声器中的第三扬声器群的位置的信息和所述第一～第N位置中的第三位置的信息，进行所述第三扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第三虚拟扬声器。

这样，通过进行第一～第M扬声器的第一扬声器群、第二扬声器群、第三扬声器群的音量平衡调整，从而能够设定第一虚拟扬声器、第二虚拟扬声器、第三虚拟扬声器。而且，随着用户的位置、方向的变化，虚拟用户的位置、方向变化，这第一虚拟扬声器、第二虚拟扬声器、第三虚拟扬声器也能保持与虚拟用户的规定的相对位置关系并追随，所以能够实现更适当的环绕声效果等。

另外，在本发明的一方面中，所述声音处理部可以根据所述第一～第N虚拟扬声器的所述第一～第N位置的信息和所述虚拟声源的位置的信息，进行所述第一～第N虚拟扬声器的音量平衡调整，从而进行基于所述虚拟声源的所述声场的形成处理。

通过这样，通过进行保持与虚拟用户和规定的相对位置关系并追随的第一～第M虚拟扬声器的音量平衡调整，能够适当地形成虚拟空间内的基于虚拟声源的声场。

另外，在本发明的一方面中，对所述实际空间的所述用户设定可移动范围，可以在与所述可移动范围对应的位置配置所述第一～第M扬声器。

通过这样，用户在设定于实际空间的可移动范围中移动，即便在其位置、方向变化了的情况下，也能够形成不依存于其位置、方向的变化的适当的声场。

另外，在本发明的一方面中，所述模拟***可以包括显示处理部，所述显示处理部进行从与所述用户对应的所述虚拟用户的视点看得到的图像的显示处理。

通过这样，通过用户的位置、方向变化时，虚拟用户的位置、方向变化，从虚拟用户的视点看得到的图像也变化，对用户显示这样变化的图像。而且，在这样图像变化了的情况下，能够使用虚拟扬声器形成适当的虚拟声源的声场，所以能够提高用户的虚拟现实感。

另外，在本发明的一方面中，所述显示处理部可以进行在没有显示所述虚拟用户的一人称视点下的图像的显示处理。

通过这样，用户能够得到宛如自身已经成为虚拟用户的那种虚拟现实感。而且，关于虚拟声源的声场，能够使用虚拟扬声器适当地形成，所以能够防止该虚拟现实感受到损害。

另外，在本发明的一方面中，所述显示处理部可以进行用于在所述用户佩戴的头部佩戴型显示装置显示图像的处理。

通过这样，即便在由头部佩戴型显示装置导致覆盖用户的视野的情况下，也能够使用虚拟扬声器适当地形成基于虚拟声源的声场，所以能够提高用户的虚拟现实感。

另外，在本发明的一方面中，在所述用户佩戴头部佩戴型显示装置并移动的情况下，所述输入处理部可以根据来自设置于所述头部佩戴型显示装置的传感器部的信息，获得所述用户的位置、方向的信息。

通过这样，根据来自设置于头部佩戴型显示装置的传感器部的信息，获得用户的位置、方向的信息，随着用户的位置、方向的变化，能够改变虚拟用户的位置、方向。

另外，在本发明的一方面中，所述显示处理部可以进行再现所述虚拟空间中的基于所述虚拟声源的声音的产生状况的图像的显示处理。

这样，通过对用户显示的图像再现在虚拟空间中的基于虚拟声源的声音的发生状况，能够适当地形成基于该虚拟声源的声场，并进一步提高用户的虚拟现实感。

另外，在本发明的一方面中，在检测出所述用户接近所述实际空间的所述第一～第M(1≦i＜M)扬声器中的第i扬声器的情况下，所述声音处理部可以进行调整从所述第i扬声器输出的声音的音量、高频率成分以及余音中的至少一个的处理。

通过这样，在用户已接近实际世界的扬声器的情况下，用户识别该扬声器的存在，能够防止用户的虚拟现实感受到损害。

另外，在本发明的一方面中，在判断出产生了规定状况的情况下，所述声音处理部无效所述第一～第N虚拟扬声器的设定。

如果这样无效虚拟扬声器的设定，则使用户能够把握实际空间的扬声器的位置，能够例如对应紧急情况的发生等的规定状况的发生。

另外，本发明的另一方面涉及声音处理方法包括：输入处理，获得在配置有第一～第M(M是大于等于3的整数)的扬声器的实际空间中移动的用户的位置、方向的信息；以及声音处理，即便在随着在所述实际空间中的所述用户的位置、方向的变化，与所述用户对应的虚拟用户在虚拟空间中的位置、方向变化了的情况下，相对于对所述虚拟用户保持规定的相对位置关系而追随的第一～第N(N是大于等于2的整数)位置，进行所述第一～第M扬声器的音量平衡调整，从而设定第一～第N虚拟扬声器，使用所述第一～第N虚拟扬声器，进行所述虚拟空间内的基于虚拟声源的声场的形成处理。

附图说明

图1是示出本实施方式的模拟***的构成例的框图。

图2的(A)、图2的(B)是本实施方式中使用的HMD的一例。

图3的(A)、图3的(B)是本实施方式中使用的HMD的另一例。

图4是作为游戏区域的房间的说明图。

图5是作为游戏区域的房间的说明图。

图6是通过本实施方式生成的游戏图像的例子。

图7是通过本实施方式生成的游戏图像的例子。

图8是关于台上的用户(虚拟用户)的移动的说明图。

图9的(A)、图9的(B)是在实际空间中用户的位置已变化的情况下声场形成的问题点的说明图。

图10是在实际空间中用户的方向已变化的情况下声场形成的问题点的说明图。

图11的(A)、图11的(B)是立体声用的虚拟扬声器的设定方法的说明图。

图12是通过扬声器群的音量平衡调整设定图11的(A)、图11的(B)的虚拟扬声器的方法的说明图。

图13的(A)、图13的(B)是在与虚拟用户的耳朵对应的位置设定虚拟扬声器的方法的说明图。

图14是通过扬声器群的音量平衡调整设定图13的(A)、图13的(B)的虚拟扬声器的方法的说明图。

图15的(A)、图15的(B)是使用双声道声源的方法的说明图。

图16的(A)、图16的(B)是使虚拟用户追随环绕声用的虚拟扬声器的方法的说明图。

图17是虚拟空间内的虚拟声源的说明图。

图18是通过虚拟扬声器的音量平衡调整形成虚拟声源的声场的方法的说明图。

图19是佩戴HMD的用户的可移动范围或与可移动范围对应配置的扬声器的说明图。

图20是虚拟声源的具体例的说明图。

图21的(A)、图21的(B)是说明虚拟声源的声音的产生状况的一例的图。

图22的(A)、图22的(B)是说明虚拟声源的声音的产生状况的其他例的图。

图23是用户在接近扬声器的情况下进行的处理的说明图。

图24是示出本实施方式的详细的处理例的流程图。

具体实施方式

下面，对本实施方式进行说明。此外，以下说明的本实施方式，并非不当地限定本发明的保护范围所记载的本发明的内容。并且，本实施方式中说明的构成的全部不一定是本发明的必须构成要件。

1.构成

图1中示出本实施方式的模拟***(游戏***、影像显示***、模拟装置)的构成例。此外，本实施方式的模拟***并不限定于图1的构成，可以省略其构成要素(各部分)的一部分、或者增加其他构成要素等的各种变形实施。

输入装置160是用户用于输入各种输入信息的装置。该输入装置160能够包括声音输入装置161和振动器件164。另外，输入装置160也可以具有用于用户输入游戏的操作信息的游戏控制器的功能。游戏控制器例如通过操作按钮、方向指示键、操纵杆或控制杆等实现。此时，游戏控制器和声音输入装置161可以通过一体的箱体实现，也可以通过单独的箱体实现。

声音输入装置161是用于用户输入声音信息的装置。通过声音输入装置161例如能够输入用户的歌声、呼声、喝彩声等的用户声音。该声音输入装置161例如能够通过在图2的(A)中说明的麦克风162等实现。此外，声音输入装置161的形状不限定于图2的(A)那种形状的麦克风162，能够使用例如具有头带的头戴型麦克风或小型麦克风等各种类型的声音输入装置。另外，声音输入装置161也可以是乐器或模仿乐器的装置中的声音输入装置(拾音器等)。作为乐器，包括弦乐器(吉他)、打击乐器(鼓、太鼓)、或者键盘乐器(钢琴、键盘)等。

振动器件164(振动产生部)是产生用于警告等的振动的器件，其例如通过振动电机(振动器)等实现。振动电机例如通过旋转偏芯的锤来产生振动。具体而言，在驱动轴的两端安装偏芯的锤来使电机自身摆动。此外，振动器件164不限定于振动电机，也可以通过例如压电元件等实现。

存储部170存储各种信息。存储部170作为处理部100、通信部196等的工作区域发挥功能。游戏程序或者执行游戏程序所需的游戏数据保存在该存储部170中。存储部170的功能能够通过半导体存储器(DRAM、VRAM)、HDD(硬盘驱动器)、SDD、光盘装置等实现。存储部170包括空间信息存储部172、乐曲信息存储部174、声音数据存储部175、参数存储部176、绘图缓冲器178。

信息存储介质180(通过计算机可读取的介质)存储程序、数据等，其功能能够通过光盘(DVD、BD、CD)、HDD、或者半导体存储器(ROM)等实现。处理部100根据存储于信息存储介质180中的程序(数据)进行本实施方式的各种处理。即，在信息存储介质180中存储作为本实施方式的各部分使计算机(包括输入装置、处理部、存储部、输出部的装置)发挥功能的程序(用于在计算机中执行各部的处理的程序)。

头部佩戴型显示装置200(HMD)被佩戴在用户的头部，其是在用户的眼前显示图像的装置。HMD200优选非透过型，但也可以为透过型。另外，HMD200也可以是所谓的眼镜类型的HMD。

HMD200包括传感器部210、显示部220、处理部240。此外，也可以进行在HMD200中设置发光元件的变形实施。传感器部210用于实现例如头部追踪等的追踪处理。例如，通过使用传感器部210的追踪处理，指定HMD200的位置、方向。通过指定HMD200的位置、方向，能够指定用户的位置、方向。通过用户的位置、方向，指定与用户(玩家)对应的虚拟空间的虚拟用户(虚拟玩家)的位置、方向。用户的位置、方向是例如用户的视点位置、视线方向。虚拟用户的位置、方向例如是虚拟用户的视点位置、视线方向。

作为追踪方式能够采用各种方式。在作为追踪方式的一例的第一追踪方式中，如在后述的图2的(A)、图2的(B)中详细的说明，作为传感器部210而设置多个受光元件(发光二极管等)。而且，通过这些多个受光元件接收来自设置在外部的发光元件(LED等)的光(激光等)，从而指定现实世界的三维空间中的HMD200(用户的头部)的位置、方向的第二追踪方式中，如在后述的图3的(A)、图3的(B)中详细说明的那样，在HMD200设置多个发光元件(LED)。而且，通过由设置在外部的摄像部拍摄来自这些多个发光元件的光，从而指定HMD200的位置、方向。在第三追踪方式中，设置运动传感器作为传感器部210，使用该运动传感器指定HMD200的位置、方向。运动传感器例如能够通过加速度传感器、陀螺仪传感器等实现。例如通过使用三轴的加速度传感器和三轴的陀螺仪传感器的六轴运动传感器，从而能够指定在现实世界的三维空间中HMD200的位置、方向。此外，也可以通过第一追踪方式和第二追踪方式的组合、或者第一追踪方式和第三追踪方式的组合等，指定HMD200的位置、方向。

HMD200的显示部220通过例如通过液晶显示器(LCD)、有机EL显示器等实现。例如，在HMD200中作为显示部220设置有配置在用户的左眼前的第一显示器和配置在用户的右眼前的第二显示器，能够进行例如立体视显示。在进行立体视显示的情况下，可以生成例如视差不同的左眼用图像和右眼用图像，在第一显示器显示左眼用图像，在第二显示器显示右眼用图像。

HMD200的处理部240在HMD200中进行所需的各种处理。例如，处理部240进行传感器部210的控制处理、显示部220的显示控制处理等。另外，处理部240进行三维音响(立体音响)处理，可以实现三维的声音的方向、距离、广度的再现。

声音输出部192用于输出由本实施方式生成的声音，其能够通过扬声器或头戴耳机等实现。

I/F(接口)部194用于进行与便携式信息存储介质195之间的接口处理，其功能能够通过I/F处理用的ASIC等实现。便携型信息存储介质195是用于用户保存各种信息的存储介质，其是在没有供给电源的情况下也保持这些信息的存储的存储装置。便携型信息存储介质195能够通过IC卡(存储卡)、USB存储器或磁卡等实现。

通信部196经由有线或无线的网络进行与外部(其他装置)之间的通信，其功能能够通过通信用ASIC或通信用处理器等的硬件、或者通信用微程序语言实现。

此外，使计算机作为本实施方式的各部分发挥功能的程序(数据)从服务器(主装置)具有的信息存储介质经由网络以及通信部196分配到信息存储介质180(或者存储部170、辅助存储装置195)。这种服务器(主装置)的信息存储介质的使用也能够包含在本发明的范围内。

处理部100(处理器)根据来自输入装置160的输入信息或在HMD200的追踪信息(HMD的位置、方向或视点位置、视线方向)、程序等，进行游戏处理、游戏成绩运算处理、显示处理或声音处理等。

处理部100的各部分进行的本实施方式的各处理(各功能)能够通过处理器(包含硬件的处理器)实现。例如本实施方式的各处理能够通过基于程序等的信息而动作的处理器、以及存储程序等的信息的存储器实现。处理器可以例如各部分的功能通过单独的硬件实现、或者各部分的功能可以通过一体的硬件实现。例如，处理器包括硬件，该硬件能够包括处理数字信号的电路以及处理虚拟信号的电路的至少一部分。例如，处理器能够通过安装在电路基板的1或多个电路装置(例如IC等)、一个或多个电路元件(例如电阻、电容器等)构成。处理器例如可以是CPU(Central Processing Unit：中央处理器)。但是，处理器并不限定于CPU，可以使用GPU(Graphics Processing Unit：图形处理器)或者DSP(DigitalSignal Processor：数字信号处理器)等各种处理器。另外，处理器也可以是基于ASIC的硬件电路。另外，处理器可以包括处理虚拟信号的放大器电路、滤波电路等。存储器(存储部170)可以是SRAM、DRAM等的半导体存储器，也可以是寄存器。或者也可以为硬盘装置(HDD)等的磁存储装置，可以为光盘装置等的光学式存储装置。例如，存储器存储通过计算机可读取的命令，通过处理器执行该命令，实现处理部100的各部分的处理(功能)。这里的命令可以是构成程序的命令组，也可以是对处理器的硬件电路指示动作的命令。

处理部100包括输入处理部102、运算处理部110、输出处理部140。运算处理部110包括游戏处理部111、游戏成绩运算部118、显示处理部120、声音处理部130。如上所述，通过这些各部执行的本实施方式的各处理能够通过处理器(或者处理器以及存储器)实现。此外，也可以省略这些构成要素(各部)的一部分、或追加其他构成要素等各种变形实施。

输入处理部102(输入处理的程序模块)将接受输入信息或追踪信息的处理、从存储部170读出信息的处理、经由通信部196接收信息的处理作为输入处理进行。例如，输入处理部102将获得用户使用输入装置160输入的输入信息或通过HMD200的传感器部210等检测的追踪信息(用户的位置、方向或视线的信息等)的处理、从存储部170读出在读出命令中指定的信息的处理、从外部装置(服务器等)经由网络接收信息的处理作为输入处理进行。在此，接收处理是指示通信部196接收信息、或者获得通信部196接收到的信息并写入存储部170的处理等。

运算处理部110进行各种运算处理。例如，进行游戏处理、游戏成绩运算处理、显示处理或者声音处理等的运算处理。

游戏处理部111(游戏处理的程序模块)进行用于用户玩游戏的各种游戏处理。游戏处理部111包括游戏进行处理部112、评价处理部113、角色处理部114、参数处理部115、对象空间设定部116、虚拟照相机控制部117。

游戏进行处理部112进行当满足游戏开始条件时开始游戏的处理、使游戏进行的处理、或者满足游戏结束条件时结束游戏的处理等。评价处理部113进行用户的玩游戏的评价处理。例如，进行用户在音乐游戏中的演奏或游戏操作的评价处理。音乐游戏中使用的乐曲信息存储在乐曲信息存储部174中。

角色处理部114进行与角色相关的各种处理。例如，在对象空间(虚拟空间、游戏空间)中进行使角色移动的处理、使角色动作的处理。例如，使角色动作的处理能够通过使用运动数据的运动处理(动作再生等)实现。参数处理部115进行游戏中使用的各种参数(游戏参数)的运算处理。例如，进行使参数值增减的处理。参数的信息存储在参数存储部176中。

对象空间设定部116进行配置有多个对象的对象空间(广义上为虚拟空间)的设定处理。例如，进行在对象空间配置设定表示角色(人、动物、机器人等)、地图(地形)、建筑物、观众席、路线(道路)、树木、壁、水面等的显示物的各种对象(三角形、自由曲面或细分割曲面等的原始面构成的对象)的处理。即，在世界坐标系下确定对象的位置或旋转角度(与朝向、方向同义)，在该位置(X、Y、Z)以该旋转角度(在X、Y、Z轴旋转的旋转角度)配置对象。具体而言，在存储部170的空间信息存储部172中，将在对象空间中的多个对象(部分对象)的位置、旋转角度(方向)等的信息作为空间信息存储。对象空间设定部116进行例如在每个各框架内更新该空间数据的处理等。

虚拟照相机控制部117进行用于生成在从对象空间内的所给(任意)的视点观察的图像的虚拟照相机(视点、标准虚拟照相机)的控制处理。具体而言，进行控制虚拟照相机的位置(X、Y、Z)或旋转角度(X、Y、Z轴旋转的旋转角度)的处理(控制视点位置、视线方向或像角的处理)。该虚拟照相机相当于用户的视点。在立体视显示的情况下，设定左眼用的第一视点(左眼用的第一虚拟照相机)和右眼用的第二视点(右眼用的第二虚拟照相机)。

游戏成绩运算部118进行运算用户的游戏成绩的处理。例如，进行用户通过玩游戏获得的得分、积分等的游戏成绩的运算处理。

显示处理部120(显示处理的程序模块)进行游戏图像的显示处理。例如，根据在处理部100进行的各种处理(游戏处理、模拟处理)的结果进行绘图处理，由此生成图像，在HMD200的显示部220显示。具体而言，进行坐标转换(世界坐标转换、照相机坐标转换)、裁剪处理、透视转换或者光源处理等的几何处理，根据该处理结果，制作绘图数据(基本函数面的顶点的位置坐标、结构坐标、色数据、法线矢量或α值等)。然后，根据该绘图数据(原函数面数据)，将透视转换后(几何处理后)的对象(一个或多个原函数面)绘制在绘图缓冲区178(能够以帧缓冲区、工作缓冲区等的像素单位存储图像信息的缓冲区)。由此，在对象空间内，生成从虚拟照相机(所给的视点。左眼用、右眼用的第一、第二视点)看到的图像。此外，在显示处理部120进行的绘图处理能够通过顶点着色处理或像素着色处理等实现。

声音处理部130(声音处理的程序模块)根据在处理部100进行的各种处理的结果进行声音处理。具体而言，生成乐曲(音乐、BGM)、效果音或声音等的游戏音，在声音输出部192输出游戏音。游戏中输出(再生)的声音的数据存储于声音数据存储部175。此外，可以通过HMD200的处理部240实现声音处理部130的声音处理的一部分(例如三维音响处理)。

输出处理部140进行各种信息的输出处理。例如，输出处理部140将向存储部170写入信息的处理或经由通信部196发送信息的处理作为输出处理进行。例如，输出处理部140进行将写入命令中指定的信息写入存储部170的处理、或对外部的装置(服务器等)经由网络发送信息的处理。发送处理是指示通信部196发送信息、或者将发送的信息指示到通信部196的处理等。

例如，在本实施方式中，游戏处理部111在配置有多个对象的虚拟空间(游戏空间)中，进行用户所玩的游戏的处理。例如，在作为对象空间的虚拟空间中，配置有角色等的多个对象，游戏处理部111执行用于在该虚拟空间中实现游戏的各种游戏处理(游戏进行处理、角色处理、对象空间设定处理或虚拟照相机控制处理等)。而且，显示处理部120进行将在虚拟空间中从所给的视点(左眼用、右眼用的第一、第二视点)看到的游戏图像在HMD200的显示部220(第一、第二显示器)显示的处理。即，在作为虚拟空间的对象空间中，进行显示从虚拟用户(用户)的视点(虚拟照相机)看到的游戏图像的处理。

例如，现实世界中佩戴HMD200的用户若在后述的图4、图5的房间的游戏区域中移动、改变移动方向、摇头或者下蹲，其位置、方向变化，则与用户对应的虚拟空间的虚拟用户的位置、方向也变化。用户在现实世界中的位置、方向能够通过HMD200的追踪处理指定，所以也能够指定虚拟用户在虚拟空间中的位置、方向。用户、虚拟用户的位置、方向可以是例如用户、虚拟用户的视点位置、视线方向。虚拟用户没有作为角色显示的情况下，HMD200的显示图像成为一人称视点的图像，虚拟用户作为角色显示的情况下，显示图像成为三人称视点的图像。

此外，游戏区域(行动区域)例如是作为用户可移动的范围设定的区域，例如是用户作为进行玩游戏等的行动的区域(领域、空间)预先规定的区域。该游戏区域(广义上为可移动的范围)例如是内包能够追踪用户的位置信息等的范围的区域。游戏区域例如可以是周围被壁围着的区域，也可以是敞开空间的区域。

而且，在本实施方式中，输入处理部102获得在实际空间中移动的用户的位置、方向的信息。例如，获得通过HMD200的追踪处理等指定的用户的位置(视点位置)或方向(视线方向、移动方向)的信息。在实际空间(用户可移动的范围)中配置有第一～第M(M是大于等于3的整数)的扬声器(实际扬声器)。例如，以围着用户的周围的方式配置有三个以上的扬声器。这些扬声器可以是设置在作为游戏区域的房间的壁面或天花板上的扬声器，也可以是在作为敞开区域的游戏区域中通过台支承设置的扬声器。

而且，声音处理部130进行虚拟扬声器的设定处理，使用设定的虚拟扬声器在虚拟空间中进行声场形成处理。虚拟扬声器的设定处理由虚拟扬声器设定部132进行，声场形成处理由声场形成处理部134进行。具体而言，即便在随着用户在实际空间(游戏区域、行动区域)中的位置、方向(视点位置、视线方向)的变化，与用户对应的虚拟用户的虚拟空间(对象空间)的位置、方向(视点位置、视线方向)变化的情况下，声音处理部130(虚拟扬声器设定部)相对于对虚拟用户保持规定的相对位置关系而追随的第一～第N(N是大于等于2的整数)的位置，进行设定第一～第N虚拟扬声器的处理。例如，通过进行配置在实际空间的第一～第M扬声器的音量平衡调整等，设定第一～第N虚拟扬声器。而且，声音处理部130(声场形成处理部)使用这些第一～第N虚拟扬声器进行虚拟空间内的虚拟声源的声场形成处理。例如，进行设定的第一～第N虚拟扬声器的音量平衡调整，通过从这些第一～第N虚拟扬声器输出虚拟的声音，进行设定在虚拟空间的任意位置的虚拟声源的声场的形成处理。例如，进行在虚拟声源的位置通过虚拟声源定位声音的声场形成处理。

虚拟扬声器不是现实中存在的扬声器，是通过计算机运算处理，设定在虚拟空间的虚拟扬声器。虚拟扬声器通过实际空间(现实世界)的多个扬声器的音量平衡调整等实现。在本实施方式中，例如预先确定虚拟扬声器和虚拟用户的相对位置关系。该相对位置关系是虚拟用户的位置以及方向(视线位置以及视线方向)的至少一个和虚拟扬声器的位置等的相对位置关系。例如，在立体声的情况下，在连接虚拟用户的左耳和右耳的线上设定有两个虚拟扬声器。在环绕声的情况下，在虚拟用户的周围的多个规定位置配置有规定数的虚拟扬声器的各虚拟扬声器。例如在虚拟用户的左斜前方向、右斜前方向、左斜后方向、右斜后方向等设定有虚拟扬声器。或者，除去这些，在虚拟用户的正面方向或正后面的方向设定虚拟扬声器。由于虚拟扬声器通过计算机运算处理实现，该设定个数是2以上的任意个数，其设定位置也是任意的。

虚拟声源是例如作为虚拟空间中的声音的产生源通过计算机运算处理实现的虚拟声源。虚拟声源的声音例如是在虚拟空间中将登场的对象作为产生源的声音等。例如，虚拟声源的声音是在虚拟空间(游戏空间、对象空间)中登场的角色的声音(声援、喝彩声、歌声)或演奏声(吉他、鼓或钢琴等的乐器的演奏音)等。另外，虚拟声源的声音可以是从在虚拟空间中登场的车、飞机或机器人等的移动体听到的动作声等，也可以是在虚拟空间中***物的***声等的效果音。在本实施方式中，这些虚拟声源通过计算机运算处理被模拟。而且，虚拟声源的声场通过虚拟扬声器形成。例如通过进行多个虚拟扬声器的音量平衡调整等，形成虚拟声源的声场。此外，虚拟声源的位置或方向的信息存储在空间信息存储部172中。

另外，声音处理部130通过根据第一～第M扬声器中第一扬声器群的位置的信息和第一～第N位置中的第一位置的信息，进行该第一扬声器群的音量平衡调整，设定(构成)第一～第N虚拟扬声器中的第一虚拟扬声器。另外，通过根据第一～第M扬声器中的第二扬声器群的位置的信息和第一～第N位置中的第二位置的信息，进行该第二扬声器群的音量平衡调整，设定(构成)第一～第N虚拟扬声器中的第二虚拟扬声器。

在此，第一扬声器群、第二扬声器群分别通过第一～第M扬声器中的多个扬声器构成。在构成第一扬声器群的多个扬声器和构成第二扬声器群的多个扬声器之间可以具有重复的扬声器。

而且，第一虚拟扬声器通过第一扬声器群的音量平衡调整实现。例如，若增大第一扬声器群中的第m扬声器的音量，则第一虚拟扬声器接近与第m扬声器对应的位置，若增大第n扬声器的音量，则第一虚拟扬声器接近与第n扬声器对应的位置。而且，如何调整第一扬声器群的各扬声器的音量平衡基于第一扬声器群的各扬声器的位置的信息和设定第一虚拟扬声器的第一位置的信息确定。

同样地，第二虚拟扬声器通过第二扬声器群的音量平衡调整实现。而且，如何调整第二扬声器群的各扬声器的音量平衡，基于第二扬声器群的各扬声器的位置的信息和设定第二虚拟扬声器的第二位置的信息来确定。

另外，声音处理部130向至少包括三个扬声器的第一扬声器群输出第一声道的声音，向至少包括三个扬声器的第二扬声器群输出第二声道的声音。第一声道的声音例如是左声道的声音，第二声道的声音例如是右声道的声音。通过这样，从通过第一扬声器群的音量平衡调整设定的第一虚拟扬声器虚拟地输出第一声道的声音，从通过第二扬声器群的音量平衡调整所设定的第二虚拟扬声器虚拟地输出第二声道的声音。而且，通过使用各个至少包括三个扬声器的第一、第二扬声器群，能够在任意位置设定第一、第二虚拟扬声器。例如在第一声道是左声道，第二声道是右声道的情况下，在连接与虚拟用户的左耳对应的位置和与右耳对应的位置连接的线上的任意的位置能够设定第一、第二虚拟扬声器。此外，第一、第二声道可以是例如环绕声中的任意声道。

声音处理部130可以以在与虚拟用户的左耳对应的位置设定第一虚拟扬声器的方式进行第一扬声器群的音量平衡调整，以在与虚拟用户的右耳对应的位置设定第二虚拟扬声器的方式，进行第二扬声器群的音量平衡调整。通过这样，能够使用户听到宛如佩戴头戴耳机那样的声音。

另外，声音处理部130可以向所述第一、第二扬声器群输出双声道声源的声音。通过这样，传递到耳的鼓膜的状态下的声音虚拟地从左右的第一、第二虚拟扬声器输出，所以能够听到宛如在其现场的那种具有临场感的声音。双声道声源的声音可以是通过计算机运算处理虚拟地模拟双声道声源的声音的声音，也可以是包含双声道录音的声音的声音。例如，进行从虚拟声源直接传递到左耳、右耳的声波，叠加通过耳垂或身体的各部分复杂地绕射、反射的声波的声音的模拟处理，使其从虚拟扬声器输出。

另外，声音处理部130可以通过根据上述第一扬声器群的位置信息和第一位置信息，进行第一扬声器群的音量平衡调整，设定第一虚拟扬声器，通过根据第二扬声器群的位置的信息和第二位置的信息，进行第二扬声器群的音量平衡调整，从而设定第二虚拟扬声器，并且通过根据第一～第M扬声器中的第三扬声器群的位置信息和第一～第N位置中的第三位置的信息，通过进行第三扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第三虚拟扬声器。通过这样，在虚拟空间内能够设定第一、第二、第三虚拟扬声器这样的至少三个虚拟扬声器，能够实现环绕声效果。

此外，虚拟扬声器的设定数可以为大于等于四个。例如，在设定五个虚拟扬声器时，在虚拟用户的左斜前、右斜前设定第一、第二虚拟扬声器，在虚拟用户的正面设定第三虚拟扬声器，在虚拟用户的左斜后、右斜后设定第四、第五虚拟扬声器即可。此时，在实际空间中用户的位置、方向变化，虚拟空间中虚拟用户的位置、方向变化的情况下，能够原样维持对于虚拟用户的第一～第五虚拟扬声器的相对位置关系。因此，能够实现追随用户(虚拟用户)的位置或方向的变化的环绕声扬声器(虚拟环绕声扬声器)。

另外，声音处理部130根据第一～第N虚拟扬声器的第一～第N位置信息和虚拟声源的位置信息，通过进行第一～第N虚拟扬声器的音量平衡调整，从而进行虚拟声源的声场的形成处理。

例如，通过根据第一～第N虚拟扬声器中的第一虚拟扬声器群的位置信息和第一虚拟声源的位置信息，进行第一虚拟扬声器群的音量平衡调整，从而进行第一虚拟声源的声场的形成处理。另外，通过根据第一～第N虚拟扬声器中的第二虚拟扬声器群的位置信息和第二虚拟声源的位置信息，进行第二虚拟扬声器群的音量平衡调整，从而进行第二虚拟声源的声场的形成处理。第一、第二虚拟扬声器群分别至少包括三个虚拟扬声器。根据这三个虚拟扬声器的位置和虚拟声源的相对的位置关系，通过进行这三个虚拟扬声器的音量平衡调整，从而能够形成听到宛如从虚拟声源的位置产生声音的声场。

另外，在本实施方式中，对实际空间的用户设定可移动范围，在与可移动范围对应的位置配置第一～第M扬声器。例如，在可移动范围内的周围配置第一～第M扬声器，将其一部分配置在可移动范围内。用户的可移动范围是例如用户的游戏区域，游戏区域可以是周围被壁面围着的区域，也可以是敞开空间的区域。

另外，显示处理部120进行从与用户的对应的虚拟用户的视点看得到的图像的显示处理。例如，在作为虚拟空间的对象空间中，进行从该视点看得到的图像的显示处理。该图像是在虚拟用户的视点位置，在其视线方向看得到的图像。该图像优选是所谓的立体视图像。

另外，显示处理部120进行在没有显示虚拟用户的一人称视点下的图像的显示处理。即，使与虚拟用户对应的角色不在虚拟空间中登场，在虚拟用户的视点位置、视线方向显示图像。

另外，显示处理部120进行用于在用户佩戴的HMD200(头部佩戴型显示装置)显示图像的处理。这样，佩戴HMD200覆盖其视野后，用户不再能把握配置在自身周围的多个扬声器的位置。此时，在本实施方式中，在这多个扬声器的音量平衡调整中实现的多个虚拟扬声器相对于与用户对应的虚拟用户设定为保持规定的相对位置关系。即，即便在用户的位置或方向变化，虚拟用户的位置、方向变化的情况下，维持该相对位置关系。因此，即便在佩戴HMD200的用户的位置、方向变化的情况下，能够形成适当(正确)的声场。

另外，在用户佩戴HMD200移动的情况下，输入处理部102根据来自设置于HMD200的传感器部210的信息，获得用户的位置、方向的信息。例如，通过如后所述的图2的(A)～图3的(B)这样的跟踪方法，获得用户的位置、方向的信息。而且，根据获得到的用户的位置、方向的信息，确定与用户对应的虚拟用户的位置、方向，设定追随该虚拟用户的多个虚拟扬声器，形成虚拟声源的声场。

另外，显示处理部120进行在虚拟空间中再现虚拟声源的声音的产生状况的图像的显示处理。例如，当在虚拟空间中登场的观众是虚拟声源时，显示该观众通过进行欢呼声、喝彩声、鼓掌而产生声音的情况的再现图像。当在虚拟空间中登场的吉他演奏者等的演奏者是虚拟声源时，显示演奏者例如移动并演奏而产生演奏声(吉他的声音等)的情况的再现图像。另外，当***物为虚拟声源时，显示再现投下***物的爆发产生爆发音的情况的图像。通过这样，使用虚拟扬声器的虚拟声源的声场和虚拟声源的声音的发生状况的图像产生连接，能够进一步提高用户的虚拟现实感。

另外，当检测到用户接近实际空间的第一～第M扬声器中的第i扬声器(1≦i＜M)时，声音处理部130可以进行调整从第i扬声器输出的声音的音量、高频率成分以及余音的至少一个的处理。例如，通过降低第i扬声器的声音的音量、减少第i扬声器的声音的高频率成分、或者增大第i扬声器的声音的余音(回响)，从而进行用于隐去第i扬声器的存在的处理。通过这样，当用户接近第i扬声器的情况下，能够使用户不能识别到第i扬声器的存在。由此，使用户不容易感觉到通过这些实际空间的扬声器形成虚拟扬声器。

另外，在判断产生规定状况的情况下，声音处理部130可以无效第一～第N虚拟扬声器的设定。例如，在判断紧急状况的产生等的规定状况发生的情况下，无效第一～第N虚拟扬声器的设定，无效虚拟扬声器的虚拟音的输出。无效第一～第N虚拟扬声器的设定的处理通过实际空间中的第一～第M扬声器不进行用于设定虚拟扬声器的设定的音量平衡调整来实现。例如第一～第N虚拟扬声器的各虚拟扬声器通过与各虚拟扬声器对应的各扬声器群的音量平衡调整设定的情况下，通过不进行该各扬声器群的音量平衡调整，能够无效各虚拟扬声器的设定。

2.本实施方式的方法

接着，具体说明本实施方式的方法。此外，在下文中适用本实施方式的方法的游戏以主要作为进行歌曲的演奏的音乐游戏(现场舞台的游戏、唱歌游戏等)的情况为例进行说明。但是，适用本实施方式的方法的游戏不限定于此，也可以是例如演奏弦乐器(吉他等)、打击乐器(鼓、太鼓等)或者键盘乐器(键盘、钢琴)等的乐器的音乐游戏(竞技旋律或演奏的擅长度的游戏)等。另外，本实施方式的方法能够适用于与异性角色等的交流游戏(人际关系模拟游戏)、进行辩论(talk battle)等的会话游戏(法庭斗争游戏、对口相声游戏)、战斗游戏、RPG游戏、机器人游戏、卡片游戏、运动游戏、或者动作游戏等各种游戏、或者影像内容或音乐内容的再生。

2.1 HMD、游戏区域

图2的(A)示出本实施方式的用于模拟***的HMD200的一例。如图2的(A)所示，在HMD200中设置有多个受光元件201、202、203(光电二极管)。受光元件201、202设置在HMD200的前面侧，受光元件203设置在HMD200的右侧面。另外，在HMD的左侧面、上表面等也设置有未图示的受光元件。

另外，用户PL通过左手、右手持有输入装置160-1、160-2。在输入装置160-1、160-2中设置有与HMD200同样的多个受光元件(未图示)。另外，在输入装置160-1中设置有麦克风162(广义上为声音输入装置)，用户PL在歌曲演奏游戏中嘴朝麦克风162歌唱。另外，输入装置160-1、160-2作为游戏控制器发挥功能，设置有未图示的操作按钮，方向指示键等。此外，用户手持的输入装置160的个数可以为一个。

另外，在HMD200中设置有头戴耳机260等，用户PL能够以更好的佩戴感稳定地将HMD200佩戴在头部。而且，用户PL通过操作作为游戏控制器发挥功能的输入装置160-1、160-2、或者进行头部的颔首动作或摇头动作，输入操作信息，享受游戏。颔首动作或摇头动作能够通过HMD200的传感器部210等检测。

如图2的(B)所示，在用户PL的游戏区域设置有基站280、284。在基站280设置有发光元件281、282，在基站284设置有发光元件285、286。发光元件281、282、285、286例如通过射出激光(红外线激光等)的LED实现。基站280、284使用这些发光元件281、282、285、286，例如呈放射状射出激光。然后，设置在图2的(A)的HMD200的受光元件201～203等通过接收来自基站280、284的激光，实现HMD200的追踪，而能够检测用户PL的头的位置或朝向的方向(广义上为用户的位置或方向)。另外，设置在输入装置160-1、160-2的未图示的受光元件通过接收来自基站280、284的激光，实现输入装置160-1、160-2的追踪，能够检测输入装置160-1、160-2的位置或方向。由此，例如游戏图像中能够显示与输入装置160-1对应的麦克风的图像等。

图3的(A)示出HMD200的另一例。在图3的(A)中，对于HMD200，设置有多个发光元件231～236。这些发光元件231～236例如通过LED等实现。发光元件231～234设置在HMD200的前面侧，发光元件235、未图示的发光元件236设置在背面侧。这些发光元件231～236例如射出(发光)可见光的范围的光。具体而言，发光元件231～236射出彼此不同的色的光。然后，在用户PL的前方侧设置图3的(B)所示的摄像部150，通过该摄像部150，对这些发光元件231～236的光进行摄像。即，摄像部150的摄像图像映出这些发光元件231～236的点光。在此，通过进行该摄像图像的图像处理，实现用户PL的头部(HMD)的追踪。即，检测用户PL的头部的三维位置或朝向的方向(用户的位置、方向)。

例如，如图3的(B)所示，在摄像部150设置有第一照相机151、第二照相机152，通过使用该第一照相机151、第二照相机152的第一摄像图像、第二摄像图像，从而能够检测用户PL的头部在纵深方向的位置等。另外，基于设置在HMD200的运动传感器的运动检测信息，能够检测用户PL的头部的旋转角度(视线)。因此，通过使用这种HMD200，从而用户PL即便朝向周围的360度的全方位中的任何方向，都能够在HMD200的显示部220显示在与其对应的虚拟空间(虚拟三维空间)的图像(从与用户的视点对应的虚拟照相机看到的图像)。此外，作为发光元件231～236，可以使用红外线的LED而不是可见光。另外，例如在使用深度照相机等的其他方法中，可以检测用户的头部的位置或动作等。

此外，检测用户的视点位置、视线方向(用户的位置、方向)的追踪处理的方法不限定于在图2的(A)～图3的(B)中说明的方法。例如，使用设置于HMD200的运动传感器等，可以在HMD200的单体中实现追踪处理。即，没有设置图2的(B)的基站280、284、图3的(B)的摄像部150等的外部装置，实现追踪处理。或者，可以通过已知的眼部追踪、人脸追踪或头部追踪等的各种视点追踪方法，检测用户的视点位置、视线方向等的视点信息等。

图4、图5中示出实现本实施方式的游戏的游戏区域的一例。该游戏区域通过盒状的隔音房间实现。如图4、图5所示的盒子的房间具有壁301、302、303、304、天花板305、门306。在壁301、302、303、304、天花板305的内侧设置有作为缓冲材料发挥功能的隔音材料311、312、313、314、315。另外，在天花板305上设置有所述基站280、284或照明器具290、292。

在用户PL的前侧设置有前部扬声器330、331，中部扬声器332，在后侧设置有后部扬声器333、334、低音扬声器335。通过这些扬声器实现环绕声音响。而且，在容纳低音扬声器335的容纳盒内容纳有卷绕装置50。该卷绕装置50具有回转卷轴62，电缆20通过设置在容纳盒(棚)的电缆通过口52，通过回转卷轴62卷绕。

用户PL打开图5的门306，进入房间内，开始游戏。该房间内的空间成为用户PL的游戏区域(游戏空间、实际空间)。而且，如图5所示，在盒子的房间的游戏区域中设定作为用户PL的移动范围(可移动范围)而假定的区域AR。在该区域AR内，能够使用基站280、284等进行用户PL的位置、方向(视点位置、视线方向)的追踪。另一方面，在超越区域AR的边界BD的位置，不能实现可靠的追踪。另外，如果用户PL超越区域AR的边界BD，则可能撞上壁301、302、303、304，在安全方面不优选。区域AR的设定通过例如游戏装置的初始化设定等，能够设定其范围。

而且，如图4、图5所示，用户PL佩戴腰带30。在腰带30上安装容纳部32，在该容纳部32内设置有电缆20的中继点RP。电缆20从HMD200经由中继点RP被卷绕装置50卷绕。电缆部分21和电缆部分22之间的点成为中继点RP。此外，在电缆20上设置有当用户PL站在基准位置时用于使电缆20松弛的限制器26。

2.2游戏的概要

接着，说明由本实施方式的方法实现的游戏的概要。通过本实施方式实现的游戏是在专门的舞台现场的临场感中完全成为乐队的主唱且进行声乐演奏的音乐游戏。用户感受到在许多观众面前唱歌的那种、从未有过的兴奋感，并且能够得到全身沐浴来自自己的粉丝的欢呼声的强烈的快感。通过HMD和大输出的环绕声扬声器，能够得到宛如在专门的现场舞台演出，被自己的粉丝围着唱歌的那种临场感。

舞台周围的观众反应于用户的声乐演奏或舞台动作，交互地返回强烈的声援或各种动作。在通过HMD的、宛如站在现场的那种临场感的现场舞台的基础上，以甚至看得到表情的最前列的歌迷为代表，在满会场的观众前，和着乐队成员的演奏进行自己的歌曲和现场表演，回应观众的期待。

用户在设置于公共空间中的服务空间，进行入室时间的预约或游戏设定，在如图4、图5所示那种贴付缓冲材料(隔音材料)的安全房间内，享受现场演出体验。

用户在舞台出演前的游戏设定中，选择音乐会演出模式。其后，进行演唱歌曲的选择，选择出演舞台。然后，佩戴在图2的(A)、图2的(B)等中说明的HMD200、输入装置160-1、160-2等的器件或腰带30。店铺的操作人员说明注意事项等，辅助用户的器件等的佩戴或调整。操作员预先进行作为游戏区域的房间空间的校准(初始化)。

图2的(A)的输入装置160-1成为麦克风、游戏控制器。在VR(虚拟现实)空间内，虽然没有绘制用户(虚拟用户)的手腕或手，但感测用户手持的输入装置160-1等的位置，在相同位置描绘麦克风图像，对应于用户的动作，麦克风图像也移动。

用户在VR空间的准备室进行声音键的调整。准备室是舞台下的待机空间。在VR空间中，用户站立的空间成为大的升降机，在正式演出时在舞台上逐渐上升。

配合升降机上升而接近舞台，听得到的由远及近的大厅的欢声或喝彩声逐渐增大，更加动人心弦，且生动地变化。用户出现在舞台上时，从前方朝向用户照射逆光的聚光灯，在用户的登场时，引起到达最高潮的大欢呼。

在现场演出中，用户尽情地享受在舞台上的热情歌唱。图6、图7是在舞台上的用户的HMD200中显示的游戏图像(VR空间中的图像)的例子。如图6、图7所示，在用户的眼前映出满场的观众。图6是用户朝向正面的情况的游戏图像，图7是用户朝向右方向的情况的游戏图像。

如图6、图7所示，在使用HMD200的本实施方式的游戏装置中，作为虚拟空间的VR空间的世界扩展到跨用户的全周围的方向。例如，若佩戴HMD200的用户朝向前方，则在HMD200显示图6的游戏图像，朝向右方向，则显示图7的游戏图像。若朝向后方向，则显示演奏乐曲等的图像。因此，在多数观众提高呼声的巨大的音乐厅中，能够给予用户正在声乐演奏的那种虚拟现实感，能够特别提高对游戏的投入程度等。

另外，在本实施方式中，配合乐曲的抑扬，观众的动作(活动)或呼声变化。并且，与用户的动作对应，观众的动作或呼声变化。例如，在图6中，用户站着的舞台附近的观众AD1～AD7例如通过由多个多角形构成的多角形模型的对象表现。图7的观众AD8～AD11也相同。另一方面，位于离舞台较远的位置的观众通过绘制在与用户的视线正对的多角形显示屏(ビルボードポリゴン)的图像表现。

多角形显示屏的观众(AD1～AD11)例如通过动作数据的动作再生来表现其动作。这些观众合着曲子的旋律进行基本动作(基本动作)。观众也对应于用户的声音或动作，交互地反应。用户例如通过进行“朝向指定方向唱歌”、“挥手”这样的动作，该方向的观众的情绪高涨，基本动作在1阶段变得华丽、或者进行与乐曲的旋律无关的突发性的气氛高涨动作。

图8是示出从上方俯瞰在VR空间中用户PL(虚拟用户)站立的舞台SG的情况的图。舞台SG通过边界BDS划分，在舞台SG的周围的观众席SE1、SE2、SE3配置有如图6、图7所示的动作的观众。该舞台SG的边界BDS与例如图5的现实世界的游戏区域的区域AR的边界BD对应。作为一例，在从图5的现实世界的区域AR的边界BD例如与规定距离的内侧对应的位置设定有在VR空间的舞台SG的边界BDS。

在本实施方式中，用户能够进行用于调动观众的表演。朝向用户进行一些吸引动作的观众成为该表演的目标。例如，在图6中，观众AD4高抬右手对用户进行吸引动作，该观众AD4成为目标。另外，在图7中，进行吸引动作的观众AD10成为目标。

对于这些吸引到的观众，用户通过进行动作，从而提高这些观众的狂热度参数(狂热度表)的值。而且，狂热度参数成为最大值时，这些观众进行表现非常欢喜的狂热动作。

用户对吸引到的观众进行的第一动作是将视线朝向该目标观众而唱歌的动作。进行该第一动作处于乐曲的歌唱部分和间奏部分中的歌唱部分。

用户对吸引到的观众进行的第二动作是对观众进行呼唤等的发声的动作。对于用户的呼唤的发声，观众通过声援、呼唤、拍手等进行应答。用户配合来自观众的声援、呼唤、拍手进行抬高手臂的动作等。

成为该第一、第二动作的目标的观众例如随机地在音乐厅内产生。在用户的一曲的演奏中的目标的个数确定为规定数。关于成为目标的规定数的全部观众，成功使狂热度参数上升到最大值后，全部清除。例如当作为目标的观众的个数为10人的情况下，这10人的全部观众的狂热度参数到达最大值时，目标全部清除。此时，与对象的清除数对应，最后的舞台效果的种类变化。例如，在清除了10人的目标整体的情况下，在最后的舞台中产生最华丽的效果。另外，例如在清除8人的目标的情况下，与清除5人的目标的情况相比，产生更加华丽的效果。

另外，在本实施方式中，评价用户的歌唱力。即，检测并评价用户的歌曲的音高和旋律。具体而言，评价是否成功地配合旋律发声。例如，若用户能够配合贝司或鼓的演奏的指定定时发声，则加分(point)。另外也评价长音的擅长度或休止符的正确性等。另外，还评价音高的正确性。即，进行用户的歌曲的音高判断，通过表格显示以正确的音高歌唱的音高。此外，用户的音量成为0状态持续一定时间时，观众多数转为待机动作，在这期间用户不能得到加分。

在用户的演奏结束通过现场舞台的用户的评价结果满足一定标准时，观众要求再唱一曲。通过回应该要求，用户能够进一步追加演奏一曲。然后，当现场舞台结束时，在逐渐变弱的欢声中，照明进一步变暗，灯光熄灭而结束。其后，播放“您辛苦了，请摘下HMD”这样的显示以及引导音。然后，用户摘下装备从房间出去，结束游戏。

2.3虚拟扬声器

在图9的(A)中，用户PL能够在可移动范围的游戏区域中移动，在游戏区域(可移动范围)的周围配置五个扬声器FL、FR、FC、RL、RR。FL、FR是前置扬声器，FC是中部扬声器，RL、RR是后置扬声器。通过这样配置扬声器FL、FR、FC、RL、RR，能够实现所谓的环绕声音响，能够向用户PL提供具有表现深入感或开阔感的临场感的音响。

但是，这些扬声器FL、FR、FC、RL、RR的环绕声形成虚拟空间的声场，以使当如图9的(A)所示用户PL位于游戏区域的中央(标准位置)，朝向正面方向(标准方向)的情况下最优选。因此，如图9的(B)所示，用户PL移动，用户PL的位置PPL变化为从游戏区域的中央离开的位置、或者如图10所示用户PL的朝向的方向DPL变化的情况下，成为不恰当(不正确)的声场。在此，用户PL的位置PPL例如是用户的视点位置，用户PL的方向DPL例如是用户PL的视线方向。此外，可以将用户PL的移动方向设定为与用户的视线方向一致。

例如，导致用户PL感觉到在图9的(A)中在正后方的虚拟空间的虚拟声源(例如乐曲的演奏者)的位置存在于在图9的(B)中向右倾斜的位置。另外，用户PL感觉到在图9的(A)中在正前方的虚拟声源(例如观众)的位置在图10中存在于左斜后方。因此，损害用户PL的虚拟现实感，可能产生失去方向感等的问题。尤其是在用户PL佩戴HMD200的情况下，其视野通过HMD200覆盖，不能看到实际世界的状况，所以很可能失去方向感等。

在此，在本实施方式中，采用了即便用户PL的位置PPL、方向DPL变化，也能够维持正确的声场环境(例如环绕声环境)的方法。具体而言，通过实际空间的多个扬声器的音量平衡调整，在虚拟空间内设定多个虚拟扬声器，使用这多个虚拟扬声器，表现虚拟空间内的虚拟声源。

首先，使用图11的(A)、图11的(B)说明立体声用的虚拟扬声器的设定方法。例如，在图11的(A)、图11的(B)中，通过调整扬声器SP1、SP2的音量平衡，设定(构成)左声道用的虚拟扬声器VS1。另外，通过调整扬声器SP3、SP4的音量平衡，设定(构成)右声道用的虚拟扬声器VS2。然后，从虚拟扬声器VS1输出立体声重放的左声道的声音。然后，从虚拟扬声器VS2输出立体声再生的右声道的声音。由此，能够对于用户给予正确的朝向的立体声效果。

在此，图11的(A)、图11的(B)的扬声器SP1、SP2、SP3、SP4是配置在实际空间的扬声器，如图9的(A)所示，相当于与用户PL的可移动的范围对应设置的扬声器FL、FR、FC、RL、RR。而且，P1、P2、P3、P4是扬声器SP1、SP2、SP3、SP4的位置。PS1、PS2是虚拟扬声器VS1、VS2(第一、第二虚拟扬声器)的位置(第一、第二位置)。

另外，图11的(A)、图11的(B)的虚拟用户PV(虚拟游戏者)相当于图9的(A)的用户PL(游戏者)，若实际空间中的用户PL的位置PPL、DPL变化，则相应于此，虚拟空间的虚拟用户PV的位置PP、方向DP也变化。位置PP是虚拟用户PV的例如视点位置，方向DP是虚拟用户PV的例如视线方向。

例如，在用户PL佩戴了HMD200的情况下，通过检测HMD200的位置、方向，确定用户PL的位置、方向(视点位置、视线方向)，由此确定虚拟用户PV的位置、方向(视点位置、视线方向)。因此，如图9的(A)～图10所示，在用户PL的位置PPL、方向DPL变化了的情况下，相应于此，也能够使虚拟空间的虚拟用户PV的位置PP、方向DP变化。此外，在用户PL没有佩戴HMD200的***中，通过使用各种传感器指定用户PL的位置PPL、方向DPL，相应于此，能够使虚拟用户PV的位置PP、方向DP变化。例如，可以使用图像传感器(RGB传感器)或深度传感器等的传感器，获得用户PL的骨架信息或位置信息，确定用户PL的位置PPL、方向DPL。

而且，在本实施方式中，即便在伴随用户PL的位置PPL、方向DPL的变化，虚拟用户PV的位置PP、方向DP变化了的情况下，虚拟扬声器VS1、VS2对虚拟用户PV保持规定的相对位置关系而追随。具体而言，在图11的(A)、图11的(B)中，在相对于虚拟用户PV保持相对的位置关系而追随的位置PS1、PS2(第一、第二位置)设置有虚拟扬声器VS1、VS2(第一、第二虚拟扬声器)。例如，在连接虚拟用户PV的左耳EL的位置和右耳ER的位置的线上，保持设定有虚拟扬声器VS1、VS2的位置PS1、PS2的相对位置关系。例如，在图11的(A)和图11的(B)中，虚拟用户PV的位置PP、方向DP不同，但保持相对于虚拟用户PV的虚拟扬声器VS1、VS2的相对位置关系。即，虚拟扬声器VS1、VS2追随虚拟用户PV，以使在连接虚拟用户PV的左耳EL和右耳ER的线上设定位置PS1、PS2。

而且，使用这些虚拟扬声器VS1、VS2进行虚拟空间内的虚拟声源(例如后述的观众、演奏者等)的声场形成。例如，进行虚拟扬声器VS1、VS2的音量平衡调整，以使在该虚拟声源的位置定位该虚拟声源的声音。通过这样的方式，即便在用户PL的位置PPL、方向DPL变化，虚拟用户PV的位置PP、方向DP变化的情况下，也能够形成不依存于这些变化的适当的声场。

另外，在图11的(A)、图11的(B)中，通过进行扬声器SP1、SP2的音量平衡调整，在位置PS1设定虚拟扬声器VS1，通过进行扬声器SP3、SP4的音量平衡调整，在位置PS2设定虚拟扬声器VS2。

图12是通过扬声器SP1～SP4的音量平衡调整设定图11的(A)、图11的(B)的虚拟扬声器VS1、VS2的方法的说明图。

在图12中，根据扬声器SP1～SP4(广义上为第一～第M扬声器)中作为第一扬声器群的扬声器SP1、SP2的位置P1、P2的信息和位置PS1(第一位置)的信息，通过进行扬声器SP1、SP2的音量平衡调整，设定虚拟扬声器VS1(第一虚拟扬声器)。另外，根据扬声器SP1～SP4中作为第二扬声器群的扬声器SP3、SP4的位置P3、P4信息和位置PS2(第二位置)的信息，通过进行扬声器SP3、SP4的音量平衡调整，设定虚拟扬声器VS2(第二虚拟扬声器)。

例如，如在图11的(A)、图11的(B)中的说明，位置PS1、PS2设定在相对于虚拟用户PV的位置PP、方向DP保持相对位置关系的位置，例如如图12所示，设定在连接左耳EL和右耳ER的线LLR上的位置。具体而言，位置PS1成为线LLR和连接位置P1、P2的线L12的交点的位置。位置PS2成为线LLR和连接位置P3、P4的线L34的交点的位置。

然后，调整位置P1、P2的扬声器SP1、SP2(第一扬声器群)的音量平衡，以使在位置PS1设定虚拟扬声器VS1。例如，将位置P1和PS1的距离作为D1，将位置P2和PS1的距离作为D2。此时，D1越长，D2越短，越减小扬声器SP1的音量，越增大扬声器SP2的音量。另一方面，D1越短，D2越长，越增大扬声器SP1的音量，越减小扬声器SP2的音量。

另外，调整位置P3、P4的扬声器SP1、SP2(第二扬声器群)的音量平衡，以使在位置PS2设定虚拟扬声器VS2。例如，将位置P3和PS2的距离作为D3，将位置P4和PS2的距离作为D4。此时，D3越长，D4越短，越减小扬声器SP3的音量，越增大扬声器SP4的音量。另一方面，D3越短，D4越长，越增大扬声器SP3的音量，越减小扬声器SP4的音量。通过这样的方式，能够使虚拟扬声器VS1、VS2定位在位置PS1、PS2。

2.4三个以上的扬声器的虚拟扬声器的设定

但是，在图11的(A)～图12的方法中，没有使用仅有两个的扬声器作为设定各虚拟扬声器的扬声器群，所以不能在任意位置设定虚拟扬声器。因此，存在难以缜密正确地实现立体声效果的问题点。例如，在图11的(A)中，若虚拟用户PV的位置PP向左侧移动，则虚拟扬声器VS1和左耳EL的距离变短，虚拟扬声器VS2和右耳ER的距离变长。另外，若虚拟用户PV的位置PP向右侧移动，则虚拟扬声器VS1和左耳EL的距离变长，虚拟扬声器VS2和右耳ER的距离变短。因此，难以实现正确的立体声效果。

这点，在本实施方式中，如在图13的(A)～图14中的说明，使用三个以上的扬声器作为设定各虚拟扬声器的扬声器群，由此，能够在任意位置设定虚拟扬声器。

例如，在图13的(A)、图13的(B)中，通过包含至少三个扬声器SP1、SP2、SP3的第一扬声器群，设定虚拟扬声器VS1。另外，通过包含至少三个扬声器SP2、SP3、SP4的第二扬声器群，设定虚拟扬声器VS2。

通过这样的方式，在图13的(A)、图13的(B)中，能够在与虚拟用户PV的左耳EL对应的位置设定虚拟扬声器VS1，在与右耳ER对应的位置设定虚拟扬声器VS2。在此，与左耳EL对应的位置是例如虚拟用户PV佩戴的虚拟的头戴耳机的左扬声器的位置，与右耳ER对应的位置是例如虚拟的头戴耳机的右扬声器的位置。通过这样，由于能够作出与佩戴头戴耳机的状态相近的效果，所以有例如能够双声道声源重放的优点。另外，由于能够自由地设定虚拟扬声器VS1、VS2的位置PS1、PS2，存在不依存于用户PL(虚拟用户PV)的位置而能够实现正确的立体声效果的优点。

图14是通过扬声器SP1～SP4的音量平衡调整设定图13的(A)、图13的(B)的虚拟扬声器VS1、VS2的方法的说明图。

在图14中，根据扬声器SP1～SP4(第一～第M扬声器)中作为第一扬声器群的扬声器SP1、SP2、SP3的位置P1、P2、P3的信息和位置PS1的信息，通过进行扬声器SP1、SP2、SP3的音量平衡调整，从而设定虚拟扬声器VS1。另外，根据扬声器SP1～SP4中的作为第二扬声器群的扬声器SP2、SP3、SP4的位置P2、P3、P4的信息和位置PS2的信息，通过进行扬声器SP2、SP3、SP4的音量平衡调整，设定虚拟扬声器VS2。换言之，通过进行至少包含三个以上的扬声器的扬声器群的音量平衡调整，设定各虚拟扬声器。

例如，如图13的(A)、图13的(B)所示，位置PS1、PS2设定在相对于虚拟用户PV的位置PP、方向DP保持相对位置关系的位置。具体而言，如图14所示，在连接左耳EL和右耳ER的线LLR上的位置中，在从位置PP相同距离DE的位置设定有PS1、PS2。线LLR例如与虚拟用户PV的方向DP正交。

然后，在本实施方式中，调整位置P1、P2、P3的扬声器SP1、SP2、SP3(第一扬声器群)的音量平衡，以使在位置PS1设定虚拟扬声器VS1。

例如，在图14中，将连接扬声器SP1、SP2的位置P1、P2的线作为L12，将从虚拟扬声器VS1的位置PS1在线L12作垂线的交点作为PS1Y。而且，将位置P1与交点PS1Y的距离作为Y1，将位置P2与交点PS1Y的距离作为Y2。另外，将连接扬声器SP2、SP3的位置P2、P3的线作为L23，将从虚拟扬声器VS1的位置PS1在线L23作垂线的交点作为PS1X。而且，将位置P2与交点PS1X的距离作为X2，将位置P3和交点PS1X的距离作为X3。

此时，基于距离Y1、Y2调整扬声器SP1、SP2的音量平衡，基于距离X2、X3调整扬声器SP2、SP3的音量平衡。例如，Y1越长，Y2越短，越减小扬声器SP1的音量，越增大扬声器SP2的音量。另一方面，Y1越短，Y2越长，越增大扬声器SP1的音量，越减小扬声器SP2的音量。另外，X2越长，X3越短，越减小扬声器SP2的音量，越增大扬声器SP3的音量。另一方面，X2越短，X3越长，越增大扬声器SP2的音量，越减小扬声器SP3的音量。

另外，在本实施方式中，调整位置P2、P3、P4的扬声器SP2、SP3、SP4(第二扬声器群)的音量平衡，以使在位置PS2设定虚拟扬声器VS2。

例如，在图14中，将连接扬声器SP3、SP4的位置P3、P4的线作为L34，将从虚拟扬声器VS2的位置PS2在线L34作垂线的交点作为PS2Y。而且，将位置P3和交点PS2Y的距离作为Y3，将位置P4和交点PS2Y的距离作为Y4。另外，将连接扬声器SP4、SP1的位置P4、P1的线作为L41，将从虚拟扬声器VS2的位置PS2在线L41作垂线的交点作为PS2X。而且，将位置P4和交点PS2X的距离作为X4，将位置P1和交点PS2X的距离作为X1。

此时，基于距离Y3、Y4调整扬声器SP3、SP4的音量平衡，基于距离X4、X1调整扬声器SP4、SP1的音量平衡。例如，Y3越长，Y4越短，越减小扬声器SP3的音量，越增大扬声器SP4的音量。另一方面，Y3越短，Y4越长，越增大扬声器SP3的音量，越减小扬声器SP4的音量。另外，X4越长，X1越短，越减小扬声器SP4的音量，越增大扬声器SP1的音量。另一方面，X4越短，X1越长，越增大扬声器SP4的音量，越减小扬声器SP1的音量。据此，能够使虚拟扬声器VS1、VS2定位在位置PS1、PS2。

图15的(A)、图15的(B)是双声道录音的说明图。如图15的(A)所示，准备再现例如人的头部的音响效果的模拟头DMH，在模拟头DMH的周围配置多个声源。另外，在模拟头DMH的左耳、右耳的位置设置麦克风MCL、MCR。而且，使用麦克风MCL、MCR对来自多个声源的声音进行录音。从图15的(B)示出的头戴耳机HDP的左扬声器HDL、右扬声器HDR输出这样录音的声音，能够再现那种在现场的临场感的声音。通过计算机运算处理模仿与这种双声道录音对应的声音。例如，准备与模拟头DMH对应的模型(模型对象)。然后，从虚拟空间内的虚拟声源传递到该模型的左耳、右耳的声波，进行叠加通过该模型的耳垂或身体的各部分衍射、反射的声波的声音的模拟处理，生成双声道声源的声音。并且，从图13的(A)的虚拟扬声器VS1输出双声道声源的左声道的声音，从虚拟扬声器VS2输出双声道声源的右声道的声音。具体而言，通过进行上述那种音量平衡调整，从与虚拟扬声器VS1对应的第一扬声器群输出双声道声源的左声道的声音，从与虚拟扬声器VS2对应的第二扬声器群输出双声道声源的右声道的声音。通过这样的方式，能够生成与现实世界非常接近的显示的具有临场感的声场。

2.5环绕声

图16的(A)、图16的(B)是增加虚拟扬声器的个数并实现追随虚拟用户PV(用户)的移动的环绕声音响的方法的说明图。

在图16的(A)、图16的(B)中，以围着虚拟用户PV的周围的方式例如设定四个虚拟扬声器VS1、VS2、VS3、VS4。而且，如图16的(A)、图16的(B)所示，即便虚拟用户PV的位置PP、方向DP变化，相对于对虚拟用户PV保持规定的相对位置关系而追随的位置PS1、PS2、PS3、PS4(第一～第N位置)，设定虚拟扬声器VS1、VS2、VS3、VS4(第一～第N虚拟扬声器)。例如，通过第一扬声器群(SP4、SP1、SP2)的音量平衡调整设定虚拟扬声器VS1，虚拟扬声器VS2通过第二扬声器群(SP1、SP2、SP3)的音量平衡调整设定。通过第三扬声器群(SP2、SP3、SP4)的音量平衡调整设定虚拟扬声器VS3，虚拟扬声器VS4通过第四扬声器群(SP3、SP4、SP1)的音量平衡调整设定。

此外，设定各虚拟扬声器的各扬声器群能够根据虚拟用户PV的位置PP等而变化。另外，在图16的(A)、图16的(B)中，为了实现环绕声音响，设定四个虚拟扬声器，但本实施方式不限定于此。在环绕声音响的实现中，设定至少三个以上虚拟扬声器即可，虚拟扬声器的个数是任意的。例如，可以通过两个前置虚拟扬声器和一个中部虚拟扬声器那种，合计三个虚拟扬声器实现，也可以对这三个虚拟扬声器，加上两个后置虚拟扬声器的、合计五个虚拟扬声器实现。另外，对于虚拟用户PV能够在任意位置设定虚拟扬声器这一点可以从图14中明确，所以省略图16的(A)、图16的(B)的虚拟扬声器VS1～VS4的设定的详细说明。

根据图16的(A)、图16的(B)的方法，例如如图9的(A)～图10所示，用户PL的位置PPL、方向DPL变化，对应于此，虚拟用户PV的位置PP、方向DP变化，则以追随该变化的方式设定环绕声用的虚拟扬声器VS1～VS4。即，环绕声用的虚拟扬声器VS1～VS4在虚拟用户PV的位置PP、方向DP变化的情况下，对于虚拟用户PV保持规定的相对位置关系而追随。例如，在图16的(A)、图16的(B)中，对于虚拟用户PV，将虚拟扬声器VS1、VS2、VS3、VS4分别固定于左斜前、左斜后、右斜后、右斜前的位置。因此，能够实现通常正确朝向的适当的声场的环绕声音响。

2.6虚拟声源的声场形成

在本实施方式中，根据虚拟扬声器的位置信息和虚拟声源的位置信息，通过进行虚拟扬声器的音量平衡调整，从而进行虚拟声源的声场的形成处理。图17、图18是说明这种虚拟扬声器的虚拟声源的声场形成方法的图。

在图17中，在虚拟空间内的位置PR1、PR2设定虚拟声源SR1、SR2。这些虚拟声源SR1、R2例如是后述的虚拟空间内的观众、演奏者等的声音产生源。在本实施方式中，使用虚拟扬声器VS1～VS4形成这虚拟声源SR1、SR2的声场。如图16的(A)、图16的(B)所示，在这些虚拟扬声器VS1～VS4在虚拟用户PV的位置PP、方向DP变化了的情况下，对于虚拟用户PV保持规定的相对位置关系而追随。

例如，在本实施方式中，通过虚拟扬声器VS1、VS2、VS3的音量平衡调整实现虚拟声源SR1的声场形成。

例如，在图18中，将连接虚拟扬声器VS1、VS2的位置PS1、PS2的线作为LS12，将从虚拟声源SR1的位置PR1在线LS12作垂线的交点作为PR1Y。而且，将位置PS1和交点PR1Y的距离作为Y1R，将位置PS2和交点PR1Y的距离作为Y2R。另外，将连接虚拟扬声器VS2、VS3的位置PS2、PS3的线作为LS23，将从虚拟声源SR1的位置PR1在线LS23作垂线的交点作为PR1X。而且，将位置PS2和交点PR1X的距离作为X2R，将位置PS3和交点PR1X的距离作为X3R。

此时，在本实施方式中，根据距离Y1R、Y2R调整虚拟扬声器VS1、VS2的音量平衡，通过根据距离X2R、X3R调整虚拟扬声器VS2、VS3的音量平衡，从而使虚拟声源SR1定位于位置PR1。例如，Y1R越长，Y2R越短，越减小虚拟扬声器VS1的音量，越增大虚拟扬声器VS2的音量。另一方面，Y1R越短，Y2R越长，越增大虚拟扬声器VS1的音量，越减小虚拟扬声器VS2的音量。另外，X2R越长，X3R越短，越减小虚拟扬声器VS2的音量，越增大虚拟扬声器VS3的音量。或者，X2R越短，X3R越长，越增大虚拟扬声器VS2的音量，越减小虚拟扬声器VS3的音量。通过这样，能够形成将虚拟声源SR1定位于位置PR1的声场。

另外，能够通过虚拟扬声器VS3、VS4、VS1的音量平衡调整实现虚拟声源SR2的声场形成。此时，将虚拟声源SR2定位于位置PR2的声场形成能够通过与虚拟声源SR1的情况相同的方法实现，所以省略详细的说明。此外，设定各虚拟声源的各虚拟扬声器群能够基于各虚拟声源的位置等变化。

如以上，在本实施方式中，获得在配置有扬声器SP1～SP4(第一～第M扬声器)的实际空间中移动的用户PL的位置PPL、方向DPL的信息。而且，设定在伴随如图9的(A)～图10那种实际空间中的用户PL的位置PPL、方向DPL的变化，与用户PL对应的虚拟用户PV的虚拟空间中的位置PP、方向DP变化。此时，例如如在图16的(A)、图16的(B)或图13的(A)～图14等中的说明，在相对于对虚拟用户PV保持规定的相对位置关系而追随的位置PS1～PS4(第一～第N位置)设定虚拟扬声器VS1～VS4(第一～第N虚拟扬声器)。这些虚拟扬声器VS1～VS4通过进行扬声器SP1～SP4的音量平衡调整来设定。而且，使用虚拟扬声器VS1～VS4进行图17所示的虚拟空间内的虚拟声源SR1、SR2的声场的形成处理。具体而言，如在图18中的说明，根据虚拟扬声器VS1～VS4的位置PS1～PS4的信息和虚拟声源SR1、SR2的位置PR1、PR2的信息，通过进行虚拟扬声器VS1～VS4的音量平衡调整，从而进行虚拟声源SR1、SR2的声场的形成处理。

这样在本实施方式中，不是单纯地在虚拟空间内定位虚拟扬声器，而是在对于虚拟用户保持规定的相对位置关系而追随的位置(PS1～PS4)设定虚拟扬声器(VS1～VS4)。即，即便用户的位置、方向变化，虚拟用户的位置、方向变化，以维持该相对位置关系的方式，追随虚拟扬声器。而且，使用这种针对虚拟用户而追随的多个虚拟扬声器，形成在虚拟空间中登场的虚拟声源的声场。通过这样，不依赖于用户的位置或方向的变化，而能正确地形成例如游戏等中在各种位置以各种方式出现的虚拟声源(观众、演奏者、爆发等)的声场。即，即便在用户的位置或方向变化的情况下，关于虚拟声源能够形成适当(正确)的声场，能够实现迄今为止没有过的模拟***。

另外，在本实施方式中，如在图13的(A)～图14中的说明，向至少包含三个扬声器(SP1、SP2、SP3)的第一扬声器群输出左声道(广义上为第一声道)的声音，向至少包含三个扬声器(SP2、SP3、SP4)的第二扬声器群输出右声道(广义上为第二声道)的声音。而且，以在虚拟用户PV的左耳EL的位置设定虚拟扬声器VS1的方式，进行第一扬声器群的音量平衡调整。另外，以在虚拟用户PV的右耳ER的位置设定虚拟扬声器VS2的方式，进行第二扬声器群的音量平衡调整。通过这样的方式，能够实现从虚拟头戴耳机的左扬声器输出左声道的声音，从虚拟头戴耳机的右扬声器输出右声道的声音的立体声效果。而且，通过向这第一、第二扬声器群输出双声道声源的声音，能够实现更具有实际临场感的立体音响。

另外，在本实施方式中，如图19所示，对实际空间的用户PL设定可移动范围ARM。用户PL在该可移动范围ARM中自由地移动，并且能够看着由模拟***生成的声音或图像进行。而且，在与该可移动范围ARM对应的位置配置有用于实现虚拟扬声器的扬声器SP1～SP4(第一～第M扬声器)。例如，在图19中，在可移动范围ARM的周围配置扬声器SP1～SP4。即，以围着用户PL的周围的方式配置扬声器SP1～SP4。此外，能够在可移动范围ARM中配置这些扬声器的一部分。

在本实施方式中，用户PL在这样设定的可移动范围ARM中自由移动，即便在其位置或方向变化的情况下，也能够不依赖于其位置或方向的变化而形成适当(正确)的声场。例如，能够在实际中正确地实现与用户PL对应的虚拟用户移动的虚拟空间中产生的各种虚拟声源的声场，能够实现迄今为止没有过的模拟***。

另外，在本实施方式中，进行从与用户的对应的虚拟用户的视点看到的图像的显示处理。具体而言，如图6、图7所示，在没有显示该虚拟用户的一人称视点进行图像的显示处理。通过显示这种一人称视点的图像，从而用户能够在感受到宛如进入虚拟空间中的那种虚拟现实的同时玩游戏等。例如，在本实施方式中，在实际世界中用户移动等，其位置、方向变化，则由于虚拟空间的虚拟用户的位置、方向变化，所以该虚拟用户感觉到宛如是自己的那种感受。而且，此时在本实施方式中，对于该虚拟用户的位置、方向的变化保持规定的相对位置关系，虚拟扬声器追随该虚拟用户，通过该虚拟扬声器，进行虚拟空间内的虚拟声源的声场形成的处理。因此，用户不会感受到在图19的那种实际空间中扬声器SP1～SP4的存在，而能在正确形成的声场中投入VR的世界。

另外，在本实施方式中，如图19所示，进行用于在用户PL佩戴的HMD中显示图像的处理。本实施方式的方法是在用户PL佩戴这种覆盖视野的HMD的模拟***中，消去实际世界的扬声器SP1～SP4的存在感，能够形成虚拟扬声器的正确的声场，这种方法是特别有效的。而且，在用户PL佩戴HMD移动的情况下，根据来自设置在HMD的传感器部的信息，能够获得用户的位置、方向的信息。而且，根据获得的用户的位置、方向，指定虚拟用户的位置、方向，设定追随该虚拟用户的虚拟扬声器，能够形成实际的声场。

另外，在本实施方式中，进行在虚拟空间中再现虚拟声源的声音的产生状况的图像的显示处理。

例如，在图20中，虚拟用户PV(用户)对虚拟空间内的观众ADA、ADB、ADC进行呼唤。例如，将其视线VLP朝向观众ADA、ADB、ADC进行呼唤。这是通过例如用户将视线VLP朝向观众ADA、ADB、ADC，向图2的(A)的麦克风162输入呼唤的声音来实现。输入这种呼唤的声音后，对应于此，观众ADA、ADB、ADC进行欢呼或拍手等。即，产生应答声音或应答音。此时，观众ADA、ADB、ADC相当于虚拟空间中的虚拟声源，欢声或拍手等的应答声或应答音成为从虚拟声源产生的声音。在这样的本实施方式中，能够显示再现从作为观众的虚拟声源产生声音的状态的图像。

而且，在例如图21的(A)中，虚拟用户PV(用户)将视线VLP朝向正面的观众ADA～ADC的方向进行呼唤，对应于此，正面的观众ADA～ADC进行欢声或拍手等。另一方面，在图21的(B)中，虚拟用户PV将视线VLP朝向右侧的观众ADD～ADF进行呼唤，对应于此，右侧的观众ADD～ADF进行欢声或拍手等。这样，在本实施方式中，从与虚拟用户PV的视线VLP的朝向对应的位置的虚拟声源产生声音，虚拟声源的声音的发生状况实时变化。

另外，在图22的(A)中，虚拟用户PV站在舞台SG上，进行歌曲的演奏。在观众席SE1配置如在图21的(A)中说明的那种观众ADA～ADC，在观众席SE2配置有在图21的(B)中说明的那种观众ADD～ADF。而且，在虚拟用户PV的后面，设定有乐曲演奏用的舞台SGB，吉他手GT、鼓手DR进行吉他演奏、鼓演奏。此时，除观众ADA～ADC、ADD～ADF之外，吉他手GT或鼓手DR成为虚拟空间内的虚拟声源，在本实施方式中，生成再现这种虚拟声源的声音的产生状况的图像。具体而言，例如在图22的(A)、图22的(B)中，吉他手GT在演奏用的舞台SGB上移动，则显示表示该移动的状态的图像。另外，伴随吉他手GT的移动，对应的吉他演奏的虚拟声源也移动。

此时，在本实施方式中，在如图22的(A)所示虚拟用户PV朝向正面的观众席SE1的情况下，能够形成从其左后方向听得到吉他演奏的那种正确的声场。另外，如图22的(B)所示，虚拟用户PV朝向右侧的观众席SE2的方向，在吉他手GT已移动的情况下，能够形成从其右侧方向听得到吉他演奏的那种正确的声场。因此，能够构筑虚拟现实感更强的VR世界，能够提高用户投入VR世界的程度。

此外，如图23所示，在用户PL佩戴HMD的情况下，由于HMD覆盖其视野，所以产生用户PL接近扬声器SP1的情况。若产生这种情况，则通过从扬声器SP1听得到大音量的声音，使用户PL可知扬声器SP1的存在。即，在本实施方式中，通过设定虚拟扬声器，从而存在能够消除现实世界的扬声器SP1～SP4的存在感的效果，但若如图23所示用户PL接近特定的扬声器SP1，则减弱该效果。

在此，在本实施方式中，当这种例如检测到用户PL接近扬声器SP1(第一～第M扬声器中的第i扬声器)时，可以进行调整从扬声器SP1输出的声音的音量、高频率成分以及余音中的至少一个的处理。例如降低扬声器SP1的声音的音量或者降低该声音的高频率成分(低通滤波器处理)、或者进行增大该声音的余音(回响成分)的处理，并进行去掉扬声器SP1的存在感的处理。通过这样，在用户PL接近扬声器SP1(或者SP2、SP3、SP4)的情况下，能够强力去掉该存在感。因此，能够防止由于用户PL感到扬声器SP1的存在而损害虚拟现实感的情况的产生。此外，用户接近扬声器的判断处理可以是例如40cm的接近、60cm的接近，分成多阶段进行。

另外，在本实施方式中，在判断出产生了规定状况的情况下，例如可以无效图16的(A)、图16的(B)的虚拟扬声器VS1～VS4(第一～第N虚拟扬声器)的设定。例如，在判断出产生了紧急状况的产生等的规定状况的情况下，无效虚拟扬声器VS1～VS4的设定，停止从虚拟扬声器输出虚拟音。以图16的(A)、图16的(B)作为例子，通过不进行第一扬声器群(SP4、SP1、SP2)的音量平衡调整，从而能够无效虚拟扬声器VS1的设定。另外，通过不进行第二扬声器群(SP1、SP2、SP3)的音量平衡调整，从而能够无效虚拟扬声器VS2的设定。同样地，通过不进行第三扬声器群(SP2、SP3、SP4)、第四扬声器群(SP3、SP4、SP1)的音量平衡调整，能够无效虚拟扬声器VS3、VS4的设定。

在本实施方式中，如前所述，通过设定虚拟扬声器，从而能够消除实际空间的扬声器的存在感。而且，若设定虚拟扬声器，则用户难以识别现实世界的扬声器的位置。

然而，因情况也有可能不进行这种虚拟扬声器的设定的较好的案例。在此，在本实施方式中，例如在产生了紧急情况等的规定状况的情况下，无效虚拟扬声器的设定。通过这样，当例如紧急情况的产生时，无效虚拟扬声器的设定，例如使用接近门的扬声器，能够进行紧急避难时的引导。即，无效虚拟扬声器的设定，位于门附近的扬声器的声音从门那边听得到。因此，即便在用户保持佩戴HMD的状态下，能够以来自该扬声器的紧急避难用的引导声音为线索，向门移动而退避。此外，无效虚拟扬声器的规定状况不限定于这种紧急情况。例如在游戏的进行中，即便当产生优选无效虚拟扬声器的状况时，能够进行无效虚拟扬声器的设定的处理。

3.详细的处理

接着，使用图24的流程图说明本实施方式的详细的处理例。

首先，获得用户的位置、方向(步骤S1)。例如，通过检测用户佩戴的HMD的位置、方向等，获得用户的位置、方向。接着，执行用于设定与用户的位置、方向对应的各虚拟扬声器的扬声器的音量平衡调整(步骤S2)。例如，进行如在图13的(A)、图13的(B)、图14、图16的(A)、图16的(B)等的说明那样的音量平衡调整。然后，使用设定的虚拟扬声器，执行虚拟空间内的虚拟声源的声场的形成处理(步骤S3)。例如，进行在图17、图18中说明的那种声场的形成处理，模拟在图20～图22的(B)中说明的虚拟声源的声音的产生。

接着，进行用户是否已接近扬声器的判断(步骤S4)。然后，在判断已接近的情况下(判断为近于规定距离的情况)，执行该扬声器的音量、高频率成分、或者余音的调整处理(步骤S5)。即，如在图23中的说明，执行用于消除该扬声器的存在感的调整处理。

此外，如上所述虽然对本实施方式进行了详细的说明，但在实质上不脱离本发明的新技术方案以及效果的前提下进行的多种变形，对本领域技术人员而言是容易理解的。因此，这种变形例都包含在本发明的范围内。例如，说明书或附图中至少一次，和更广义或同义的不同术语(声音输入装置、可移动范围、第一声道、第二声道等)一起记载的术语(麦克风、游戏区域、左声道、右声道等)，无论在说明书或附图的任何位置都可以替换成该不同的术语。另外，虚拟扬声器的设定方法、虚拟声源的声场形成方法、音量平衡的调整方法、图像的显示方法、模拟***的构成等也不限定于在本实施方式中说明的，与其均等的方法/处理/构成都包含在本发明的范围内。另外，本发明能够适用于各种游戏。另外，本发明能够适用于商业用游戏装置、家庭用游戏装置，或者多用户参加的大型娱乐***等各种模拟***。

符号说明

PL用户；PV虚拟用户；PPL、PP位置；DPL、DP方向；SP1～SP4扬声器(第一～第M扬声器)；P1～P4位置；VS1～VS4虚拟扬声器(第一～第N虚拟扬声器)；PS1～PS4位置(第一～第N位置)；RP中继点；AR区域；BD边界；100处理部；102输入处理部；110运算处理部；111游戏处理部；112游戏进行处理部；113评价处理部；114角色处理部；115参数处理部；116对象空间设定部；117虚拟照相机控制部；118游戏成绩运算部；120显示处理部；130声音处理部；132虚拟扬声器设定部；134声场形成处理部；140输出处理部；150摄像部；151、152照相机；160(160-1、160-2)输入装置；161声音输入装置；162麦克风；170存储部；172空间信息存储部；174乐曲信息存储部；175声音数据存储部；176参数存储部；178绘图缓冲器；180信息存储介质；192声音输出部；194I/F部；195便携型信息存储介质；196通信部；200HMD(头部佩戴型显示装置)；201～203受光元件；210传感器部；220显示部；231～236发光元件；240处理部；260头戴耳机；280、284基站；281、282、285、286发光元件；290、292照明器具；301～304壁；305天花板；306门；311～315隔音材料；330、331前置扬声器；332中部扬声器；333、334后置扬声器；335低音扬声器。

Claims (17)

1.一种模拟***，其特征在于，包括：

输入处理部，获得在配置有第一～第M的扬声器的实际空间中移动的用户的位置、方向的信息，其中，M是大于等于3的整数；以及

声音处理部，即便在随着在所述实际空间中的所述用户的位置、方向的变化，与所述用户对应的虚拟用户在虚拟空间中的位置、方向变化了的情况下，相对于对所述虚拟用户保持规定的相对位置关系而追随的第一～第N位置，进行所述第一～第M扬声器的音量平衡调整，从而设定第一～第N虚拟扬声器，使用所述第一～第N虚拟扬声器，进行所述虚拟空间内的基于虚拟声源的声场的形成处理，其中，N是大于等于2的整数。

2.根据权利要求1所述的模拟***，其特征在于，

所述声音处理部

根据所述第一～第M扬声器中的第一扬声器群的位置的信息和所述第一～第N位置中的第一位置的信息，进行所述第一扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第一虚拟扬声器，

根据所述第一～第M扬声器中的第二扬声器群的位置的信息和所述第一～第N位置中的第二位置的信息，进行所述第二扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第二虚拟扬声器。

3.根据权利要求2所述的模拟***，其特征在于，

所述声音处理部向至少包括三个扬声器的所述第一扬声器群输出第一声道的声音，向至少包括三个扬声器的所述第二扬声器群输出第二声道的声音。

4.根据权利要求3所述的模拟***，其特征在于，

所述声音处理部以在与所述虚拟用户的左耳对应的位置设定所述第一虚拟扬声器的方式进行所述第一扬声器群的音量平衡调整，以在与所述虚拟用户的右耳对应的位置设定所述第二虚拟扬声器的方式进行所述第二扬声器群的音量平衡调整。

5.根据权利要求3所述的模拟***，其特征在于，

所述声音处理部向所述第一扬声器群、所述第二扬声器群输出双声道声源的声音。

6.根据权利要求1所述的模拟***，其特征在于，

所述声音处理部

根据所述第一～第M扬声器中的第一扬声器群的位置的信息和所述第一～第N位置中的第一位置的信息，进行所述第一扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第一虚拟扬声器，

根据所述第一～第M扬声器中的第二扬声器群的位置的信息和所述第一～第N位置中的第二位置的信息，进行所述第二扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第二虚拟扬声器，

根据所述第一～第M扬声器中的第三扬声器群的位置的信息和所述第一～第N位置中的第三位置的信息，进行所述第三扬声器群的音量平衡调整，从而设定所述第一～第N虚拟扬声器中的第三虚拟扬声器。

7.根据权利要求1至6中任一项所述的模拟***，其特征在于，

所述声音处理部根据所述第一～第N虚拟扬声器的所述第一～第N位置的信息和所述虚拟声源的位置的信息，进行所述第一～第N虚拟扬声器的音量平衡调整，从而进行基于所述虚拟声源的所述声场的形成处理。

8.根据权利要求1至6中任一项所述的模拟***，其特征在于，

对所述实际空间的所述用户设定可移动范围，在与所述可移动范围对应的位置配置所述第一～第M扬声器。

9.根据权利要求1至6中任一项所述的模拟***，其特征在于，

所述模拟***包括显示处理部，所述显示处理部进行从与所述用户对应的所述虚拟用户的视点看得到的图像的显示处理。

10.根据权利要求9所述的模拟***，其特征在于，

所述显示处理部进行在没有显示所述虚拟用户的一人称视点下的图像的显示处理。

11.根据权利要求9所述的模拟***，其特征在于，

所述显示处理部进行用于在所述用户佩戴的头部佩戴型显示装置显示图像的处理。

12.根据权利要求11所述的模拟***，其特征在于，

在所述用户佩戴头部佩戴型显示装置并移动的情况下，所述输入处理部根据来自设置于所述头部佩戴型显示装置的传感器部的信息，获得所述用户的位置、方向的信息。

13.根据权利要求9所述的模拟***，其特征在于，

所述显示处理部进行再现所述虚拟空间中的基于所述虚拟声源的声音的产生状况的图像的显示处理。

14.根据权利要求1至6中任一项所述的模拟***，其特征在于，

在检测出所述用户接近所述实际空间的所述第一～第M扬声器中的第i扬声器的情况下，所述声音处理部进行调整从所述第i扬声器输出的声音的音量、高频率成分以及余音中的至少一个的处理，其中，1≦i＜M。

15.根据权利要求1至6中任一项所述的模拟***，其特征在于，

在判断出产生了规定状况的情况下，所述声音处理部无效所述第一～第N虚拟扬声器的设定。

16.一种声音处理方法，其特征在于，包括：

输入处理，获得在配置有第一～第M的扬声器的实际空间中移动的用户的位置、方向的信息，其中，M是大于等于3的整数；以及

声音处理，即便在随着在所述实际空间中的所述用户的位置、方向的变化，与所述用户对应的虚拟用户在虚拟空间中的位置、方向变化了的情况下，相对于对所述虚拟用户保持规定的相对位置关系而追随的第一～第N位置，进行所述第一～第M扬声器的音量平衡调整，从而设定第一～第N虚拟扬声器，使用所述第一～第N虚拟扬声器，进行所述虚拟空间内的基于虚拟声源的声场的形成处理，其中，N是大于等于2的整数。

17.一种信息存储介质，所述信息存储介质是计算机可读取的信息存储介质，所述信息存储介质存储了使计算机作为输入处理部和声音处理部发挥功能的程序，其特征在于，

所述输入处理部获得在配置有第一～第M的扬声器的实际空间中移动的用户的位置、方向的信息，其中，M是大于等于3的整数，

所述声音处理部即便在随着在所述实际空间中的所述用户的位置、方向的变化，与所述用户对应的虚拟用户在虚拟空间中的位置、方向变化了的情况下，相对于对所述虚拟用户保持规定的相对位置关系而追随的第一～第N位置，进行所述第一～第M扬声器的音量平衡调整，从而设定第一～第N虚拟扬声器，使用所述第一～第N虚拟扬声器，进行所述虚拟空间内的基于虚拟声源的声场的形成处理，其中，N是大于等于2的整数。