CN112292872A - 声音信号处理装置、移动设备、方法和程序 - Google Patents

声音信号处理装置、移动设备、方法和程序 Download PDF

Info

Publication number
CN112292872A
CN112292872A CN201980041171.XA CN201980041171A CN112292872A CN 112292872 A CN112292872 A CN 112292872A CN 201980041171 A CN201980041171 A CN 201980041171A CN 112292872 A CN112292872 A CN 112292872A
Authority
CN
China
Prior art keywords
sound
sound source
unit
signal
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980041171.XA
Other languages
English (en)
Inventor
田中壮彦
吉田大祐
白石吾朗
市川希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112292872A publication Critical patent/CN112292872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K26/00—Arrangements or mounting of propulsion unit control devices in vehicles
    • B60K26/02—Arrangements or mounting of propulsion unit control devices in vehicles of initiating means or elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明根据汽车的速度或行进方向的变化，通过控制作为从输入声源获取的分离音频信号的环境声源和主声源的各个虚拟声源位置来执行对声场的控制。该音频信号处理装置具有：获取移动设备的速度信息的速度信息获取单元；获取移动设备的转向信息的转向信息获取单元；以及控制来自被布置在移动设备中的多个不同位置处的扬声器的输出声音的音频控制单元。音频控制单元根据由速度信息获取单元获取的速度信息和由转向信息获取单元获取的转向信息，通过控制作为从输入声源获取的分离音频信号的环境声源和主声源的虚拟声源位置来执行对声场的控制。

Description

声音信号处理装置、移动设备、方法和程序
技术领域
本公开涉及声音信号处理装置、移动设备、方法和程序。更具体地，例如，本公开涉及声音信号处理装置、移动设备、方法和程序，其用于通过控制汽车内设置的多个扬声器的输出来进行适合于汽车的移动速度等的声场控制。
背景技术
大多数汽车中安装有多个扬声器，使得可以进行用于提供临场感的声音再现处理。
例如，诸如驾驶员之类的用户可以调整左右扬声器之间的平衡以及前后扬声器之间的平衡，以形成所期望的声场。然而，在许多常规***中，在根据一个调整结果生成的固定声场中进行声音再现，除非用户改变调整。
另一方面，汽车在驾驶员的驾驶控制下，进行诸如加速、减速、左转以及右转之类的各种移动。在存在汽车的这种移动的情况下，在固定声场中进行声音再现时，倾听者可能感到不自然。
注意，专利文献1(WO2006/006553A)公开了一种如下的构成：例如根据诸如车辆的加速之类的车辆的行为控制来自扬声器的输出声音(通知声音)，由此将车辆加速通知给用户。但是，该文献中公开的构成仅仅是用于控制用于将车辆行为告知用户的通知声音的构成，而不使用户感到与车辆的行为相应的声场的自然变化。另外，所公开的构成不进行与随着车辆行为而变化的用户视野的变化相关联的声场控制。
引文列表
专利文献
专利文献1:WO 2006/006553 A
专利文献2:US 9,749,769
发明内容
本发明要解决的问题
本公开是要提供一种声音信号处理装置、移动设备、方法以及程序，其用于根据车辆的速度和行进方向的变化等来控制来自车辆内的多个扬声器的声音输出，以使用户能够感觉到与车辆行为相应的声场的自然变化。
另外，根据本公开的一个实施例的构成是要提供一种声音信号处理装置、移动设备、方法及程序，其用于根据诸如车辆的速度和行进方向的变化之类的车辆行为控制来自车辆内的多个扬声器的声音输出，以进行与诸如驾驶员之类的乘员(用户)的视点和视野的变化连动的声场控制。
对问题的解决方案
本公开的第一方面是
一种声音信号处理装置，包括：
行为信息获取单元，所述行为信息获取单元获取关于移动设备的行为信息；以及
声音控制单元，所述声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制单元根据由行为信息获取单元获取的信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
此外，本公开的第二方面是
一种移动设备，包括：
改变移动设备的行为的操作单元；
获取关于移动设备的行为信息的行为信息获取单元；以及
控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音的声音控制单元，
其中，声音控制单元根据由行为信息获取单元获取的信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
另外，本公开第三方面是
一种在声音信号处理装置中执行的声音信号处理方法，所述声音信号处理方法包括：
行为信息获取步骤，其中行为信息获取单元获取关于移动设备的行为信息；以及
声音控制步骤，其中声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括根据在行为信息获取步骤中获取的行为信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
另外，本公开的第四方面是
一种在移动设备中执行的声音信号处理方法，所述声音信号处理方法包括：
传感器检测接近移动设备的对象的存在的步骤；以及
声音控制步骤，其中声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括根据由传感器获取的接近对象存在信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
另外，本公开的第五方面是
一种用于使声音信号处理装置进行声音信号处理的程序，所述声音信号处理包括：
行为信息获取步骤，其中使行为信息获取单元获取关于移动设备的行为信息；以及
声音控制步骤，其中使声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括使声音控制单元根据在行为信息获取步骤中获取的行为信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
另外，本公开的程序是例如能够以计算机可读的格式从存储介质或通信介质提供给能够执行各种程序代码的信息处理装置或计算机***的程序。由于以计算机可读的格式提供这样的程序，在信息处理装置或计算机***中进行与程序相应的处理。
本公开的其他目的、特征和优点将通过以下描述的本公开的实施例和参考附图的详细描述而变得显见。注意，在本说明书中，***是多个装置的逻辑组件，不一定是指具有不同结构的各装置被并入一个壳体中。
发明的效果
根据本公开的一个实施例的构成根据汽车的速度和行进方向的变化，通过控制作为从输入声源获得的分离声音信号的主声源和环境声源的每个虚拟声源位置，进行声场控制。
具体来说，例如，所述构成包括获取移动设备的速度信息的速度信息获取单元；获取移动设备的转向信息的转向信息获取单元；以及控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音的声音控制单元。声音控制单元根据由速度信息获取单元获取的速度信息和由转向信息获取单元获取的转向信息，通过控制作为从输入声源获得的分离声音信号的主声源和环境声源的各个虚拟声源位置，来进行声场控制。
根据该构成，变得可以根据汽车的速度和行进方向的变化，通过控制作为从输入声源获得的分离声音信号的主声源和环境声源的各个虚拟声源位置来进行声场控制。
注意，本说明书中描述的有益效果仅是示例，并且本技术的有益效果不限于这些效果，可以包括另外的效果。
附图说明
图1是用于说明常规声场控制，以及要在根据本公开的处理中使用的使用声场控制处理(单极合成(Monopole Synthesis))的声场控制的图。
图2是用于说明要在根据本公开的处理中使用的声场控制处理(单极合成)的图。
图3是用于说明虚拟声源位置的设定和声场的设定的示例的图。
图4是用于说明要从声音分离单元输出给输出信号生成单元的声音信号的类型的表。
图5是用于说明虚拟声源位置的设定和声场的设定的示例的图。
图6是用于说明虚拟声源位置的设定和声场的设定的示例的图。
图7是用于说明用于为一个分离声音信号在多个不同地点处设定虚拟声源的构成示例的图。
图8是示出根据本公开的移动设备的示例构成的图。
图9是用于说明声音信号处理装置的控制单元的构成的具体示例和处理的图。
图10是用于说明根据车辆的移动速度的虚拟声源位置和声场控制的具体示例的图。
图11是用于说明根据车辆的移动速度的虚拟声源位置和声场控制的具体示例的图。
图12是用于说明根据车辆的移动速度的虚拟声源位置和声场控制的具体示例的图。
图13是用于说明根据车辆的移动速度的虚拟声源位置和声场控制的具体示例的图。
图14是用于说明根据车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例的图。
图15是用于说明根据车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例的图。
图16是用于说明根据车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例的图。
图17是用于说明根据车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例的图。
图18是用于说明用于警告车辆驾驶员的虚拟声源位置和声场控制的具体示例的图。
图19是用于说明用于警告车辆驾驶员的虚拟声源位置和声场控制的具体示例的图。
图20是用于说明用于警告车辆驾驶员的虚拟声源位置和进行声场控制的控制单元的构成及其处理的图。
图21是用于说明要由根据本公开的声音信号处理装置进行的处理序列的流程图。
具体实施方式
以下，将参照附图对本公开的声音信号处理装置、移动设备、方法和程序进行详细说明。注意，说明按照以下顺序进行。
1.要用于根据本公开的处理的声场控制处理
2.本公开的移动设备和声音信号处理装置的示例构成以及其中的示例处理
3.根据车辆移动速度的虚拟声源位置和声场控制的具体示例
4.根据车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例
5.用于发出警告的虚拟声源位置和声场控制的具体示例
6.要由声音信号处理装置进行的处理序列
7.本公开的构成的总结
[1.要用于根据本公开的处理的声场控制处理]
首先，将参照图1以及随后的附图描述要用于根据本公开的处理的声场控制处理(单极合成)。
图1是示出如下所述的通过控制来自车辆中设置的多个扬声器的输出来进行声场控制的两个示例的图。
(a)常规声场控制
(b)要用于根据本公开的处理的声场控制处理(使用单极合成的控制)
在两种构成(a)和(b)中，车辆配备有5个扬声器(S1～S5)。
在常规声场控制构成(a)中，用户调整5个扬声器(S1～S5)的音量和延迟量，从而进行形成一个声场的再现处理。
在该情况下，用户可以调整声场。在常规汽车音频***中，然而，只能利用各个扬声器之间的时间对准来控制各扬声器的内侧的区域中的甜点(sweet spot)，在这种情况下，甜点是窄区域。
注意，声场是指声音存在的空间。通过控制声场，可以形成更临场感的声音再现空间。如果声源是在音乐厅中记录的，那么形成一个仿佛在用户前面存在音乐厅一样让用户感觉到声音的扩展(spread)的声场是理想的。另外，如果声源是在带有现场音乐的小俱乐部中记录的，那么形成一个仿佛在小俱乐部中听音乐一样的声场是理想的。此外，如果声源例如由诸如鸟的声音和自然环境中的流水的汩汩声之类的声音形成，那么需要形成仿佛在广阔的自然中一样具有广阔区域的声场。
注意，甜点是能够感受到预定理想声场的空间。在图1(a)所示的常规声场控制构成中，甜点较窄。
这是因为需要逐个扬声器地调整5个扬声器(S1～S5)的音量和延迟量。
另一方面，在要在根据本公开的处理中使用的声场控制处理(单极合成应用控制)中，不以扬声器为单位调整5个扬声器(S1～S5)的音量和延迟量，而是针对扬声器输出中包含的每个种类的声音调整5个扬声器(S1～S5)的音量和延迟量。
针对扬声器输出中包含的每个种类(类别)的声音调整音量和延迟量的控制构成被称为单极合成。在US9,749,769中公开了单极合成，US9,749,769是本申请人之前提交的美国专利申请并且在美国已被授权。
以下说明的根据本公开的处理利用该单极合成进行声场控制。
如图1(b)所示，在利用单极合成的声场控制中，可以自由地移动虚拟声源位置。此外，可以针对从扬声器输出的每个类型(类别)的声音进行虚拟声源位置的移动。
由于针对每个扬声器并且针对从每个扬声器输出的每个种类(类别)的声音调整音量和延迟量，因此可以针对从扬声器输出的每个种类(类别)的声音自由地布置虚拟声源位置。由于进行这样的控制，因此相应地可以使甜点变大。
现在参照图2，描述使得能够例如利用单极合成来进行输出信号控制或使得能够如图1(b)所示那样移动虚拟声源位置的声音信号处理装置的示例构成。
图2是示出利用单极合成进行声音信号控制的声音信号处理装置的示例构成的图。
如图2所示，声音信号处理装置包括输入声源1的声源分离单元10和输出信号生成单元20，输出信号生成单元20接收由声源分离单元10生成的多种声音(分离声音信号)的输入并生成各扬声器的输出信号。
这里，描述使用L和R两个声道的立体声信号作为声源1的示例。然而，这仅仅是一个示例，声源1不一定是L和R两个声道的信号。相反，也可以使用单声道信号和三个或更多个声道的多声道声音信号。
声源1的L和R信号被输入到声源分离单元10。基于声源1的L和R信号，声源分离单元10生成以下列出的5种声音信号，并将这些声音信号输出到输出信号生成单元20。
(1)L信号
(2)R信号
(3)主信号
(4)环境L信号
(5)环境R信号
L信号和R信号是声源1的L和R声音信号。
主信号、环境L信号以及环境R信号是由声源分离单元10基于声源1的L和R信号生成的声音信号。
声源1的L和R信号被输入到时间-频率变换单元(STFT：短时间傅立叶变换)11。时间-频率变换单元(STFT)11将声源1的L和R声音信号(时域声音信号)变换成时间频率域信号。根据作为变换结果数据的时间频率域声音信号，能够分析各时间的各频率的声音信号的分布状况。
由时间-频率变换单元(STFT)11生成的时间频率域声音信号被输出到主声源概率估计单元(神经网络)12和乘法器13。
主声源概率估计单元(神经网络)12使用预先生成的学习数据，对于声源1的各个L和R信号中包含的每个时间以及每个频率的每个声音信号，估计作为主声源的概率。主声源是包含在声源1的L和R信号中的主要声源。具体而言，例如，在诸如由声乐(vocal)和各种乐器的声音形成的乐曲之类的声源的情况下，声乐声音是主声源。另外，在由鸟的声音、流水的汩汩声等形成的环境声音的情况下，鸟的声音是主声源。
注意，要在主声源概率估计单元(神经网络)12进行的主声源提取处理是基于预先执行的学习处理的结果数据进行的。使用预先生成的学习数据(该学习数据是使用各种声源进行的主声源提取处理的结果数据)，主声源概率估计单元(神经网络)12对于输入声源1的L和R信号中包含的每个时间和每个频率的每个声音信号估计信号是主源的概率。
主声源概率估计单元(神经网络)12基于所述估计产生主概率掩码，并将主概率掩码输出到乘法器13。
主概率掩码是例如针对各个时间并且各个频率的声音信号设定了从作为主声源的概率高的声音信号到作为主声源的概率低的声音信号的概率估计值(诸如从1～0的值)的掩码。
在乘法器13处，将由时间-频率变换单元(STFT)11生成的时间频率域声音信号乘以由主声源概率估计单元(神经网络)12生成的主概率掩码，并且将乘法结果输入到频率时间逆变换单元(ISTFT：逆短时间傅立叶变换)14。
频率-时间逆变换单元(ISTFT)14接收由时间频率变换单元(STFT)11生成的时间频率域声音信号与由主声源概率估计单元(神经网络)12生成的主概率掩码相乘的结果的输入，并进行频率-时间逆变换处理(ISTFT)。即，进行将时间频率域信号恢复到原始时域声音信号的处理。
注意，作为由频率-时间逆变换单元(ISTFT)14生成的时域声音信号与主概率掩码的乘法结果的声音信号，作为与主声源关联的声音信号(主声音信号)的概率较高的声音信号具有较大的输出，并且作为与主声源关联的声音信号(主声音信号)的概率较低的声音信号具有较小的输出。
频率-时间逆变换单元(ISTFT)14的输出作为主声音信号被输出到输出信号生成单元20。
频率-时间逆变换单元(ISTFT)14的输出还被输出到减法单元15和减法单元16。
减法单元15进行从声源1的L信号减去作为频率-时间逆变换单元(ISTFT)14的输出的主声音信号的处理。该减法处理是从L信号中包含的声音信号中减去主声音信号的处理，是获得并提取L信号中包含的除主声音信号以外的信号的处理。即，该减法处理是计算不是主声源的环境声音等的声音信号的处理。
由减法单元15计算出的信号是环境L信号。环境L信号是以除声源1的L信号中包含的主声音以外的环境声音为主要组成部分的声音信号。
此外，减法单元16进行从声源1的R信号减去作为频率-时间逆变换单元(ISTFT)14的输出的主声音信号的处理。该减法处理是从R信号中包含的声音信号减去主声音信号的处理，是获得并提取R信号中包含的除主声音信号以外的信号的处理。即，该减法处理是计算不是主声源的环境声音等的声音信号的处理。
由减法单元15计算出的信号是环境R信号。环境R信号是以声源1的R信号中包含的除主声音以外的环境声音为主要组成部分的声音信号。
以这种方式，声源分离单元10基于声源1的L和R信号将以下列出的5种类型的声音信号输出到输出信号生成单元20。
(1)L信号
(2)R信号
(3)主信号
(4)环境L信号
(5)环境R信号
接着，说明输出信号生成单元20处的处理。
输出信号生成单元20基于从声源分离单元10输入的多种声音信号，生成要从多个扬声器中的每一个输出的声音信号。
输出信号生成单元20包括以下列出的5个信号处理单元，作为针对从声源分离单元10输入的5种声音信号的信号处理单元。
(1)L信号处理单元21L；
(2)R信号处理单元21R；
(3)主信号处理单元(P信号处理单元)21P；
(4)环境L信号处理单元(AL信号处理单元)21AL；以及
(5)环境R信号处理单元(AR信号处理单元)21AR。
L信号处理单元21L从声源分离单元10接收L信号的输入，并且生成作为输出目的地的多个(n个)扬声器的L信号的输出信号。L信号处理单元21L包括与作为输出目的地的相应扬声器关联的延迟单元和放大单元。
从声源分离单元10输入的L信号在与相应扬声器关联的延迟单元处经受延迟处理，之后在放大单元处经受放大处理，被输出到与相应扬声器关联的加法单元22-1～22-n，在加法单元22-1～22-n处被加入来自其他信号处理单元的输出，然后被输出到所述n个扬声器。
在L信号处理单元21L中，并联地形成有与扬声器数量相同数量的延迟/放大处理单元。图中的L信号处理单元21L中所示的S1进行要输出到作为输出目的地的扬声器(S1)的L信号的延迟处理和放大处理。S2对要输出到作为输出目的地的扬声器(S2)的L信号进行延迟处理和放大处理。随后的处理单元进行类似的处理。即，Sn还对要输出到作为输出目的地的扬声器(Sn)的L信号进行延迟处理和放大处理。
R信号处理单元21R从声源分离单元10接收R信号的输入，并生成作为输出目的地的多个(n)扬声器的R信号的输出信号。R信号处理单元21R还包括与作为输出目的地的相应的扬声器相关联的延迟单元和放大单元。
从声源分离单元10输入的R信号在与相应的扬声器相关联的延迟单元处经受延迟处理，然后在放大单元处经受放大处理，被输出到与相应扬声器相关联的加法单元22-1到22-n，在加法单元22-1到22-n处被加入来自其他信号处理单元的输出，然后被输出到n个扬声器。
主信号处理单元(P信号处理单元)21P从声源分离单元10接收主信号的输入，并为作为输出目的地的多个(n)扬声器生成主信号的输出信号。主信号处理单元21P还包括与作为输出目的地的各个扬声器相关联的延迟单元和放大单元。
从声源分离单元10输入的主信号在与各个扬声器相关联的延迟单元处经受延迟处理，然后在放大单元处经受放大处理，被输出到与各个扬声器相关联的加法单元22-1到22-n，在加法单元22-1到22-n处被加入来自其他信号处理单元的输出，然后被输出到n个扬声器。
环境L信号处理单元(AL信号处理单元)21AL从声源分离单元10接收环境L信号的输入，并为作为输出目的地的多个(n)扬声器生成环境L信号的输出信号。环境L信号处理单元21AL还包括与作为输出目的地的各个扬声器相关联的延迟单元和放大单元。
从声源分离单元10输入的环境L信号在与相应扬声器相关联的延迟单元处经受延迟处理，然后在放大单元处经受放大处理，被输出到与相应扬声器相关联的加法单元22-1到22-n，在加法单元22-1到22-n处被加入来自其他信号处理单元的输出，然后被输出到n个扬声器。
环境R信号处理单元(AR信号处理单元)21AR从声源分离单元10接收环境R信号的输入，并为作为输出目的地的多个(n)扬声器生成环境R信号的输出信号。环境R信号处理单元21AR还包括与作为输出目的地的相应扬声器相关联的延迟单元和放大单元。
从声源分离单元10输入的环境R信号在与相应扬声器相关联的延迟单元处经受延迟处理，然后在放大单元处经受放大处理，被输出到与相应扬声器相关联的加法单元22-1到22-n，在加法单元22-1到22-n处被加入来自其他信号处理单元的输出，然后被输出到n个扬声器。
加法单元22-1是与作为其输出目的地的扬声器(S1)相关联的加法单元，并且通过将在以下5个信号处理单元处对各个信号进行的延迟处理和放大处理而产生的信号相加，生成要输出到扬声器(S1)的声音信号：
(1)L信号处理单元21L；
(2)R信号处理单元21R；
(3)主信号处理单元(P信号处理单元)21P；
(4)环境L信号处理单元(AL信号处理单元)21AL；以及
(5)环境R信号处理单元(AR信号处理单元)21AR。
扬声器(S1)输出由对L信号、R信号、主信号、环境L信号和环境R信号进行的特定延迟处理和特定放大处理而产生的信号的相加结果形成的声音信号。
加法单元22-2到22-n中的每一个也是与作为其输出目的地的扬声器(S2到Sn)相关联的加法单元，并且通过将在以下5个信号处理单元处对各个信号进行的延迟处理和放大处理而产生的信号相加，生成要输出到扬声器(S2到Sn)的声音信号：
(1)L信号处理单元21L；
(2)R信号处理单元21R；
(3)主信号处理单元(P信号处理单元)21P；
(4)环境L信号处理单元(AL信号处理单元)21AL；以及
(5)环境R信号处理单元(AR信号处理单元)21AR。
以这种方式，作为输出目的地的n个扬声器(S1到Sn)每个输出声音信号，所述声音信号是由对L信号、R信号、主信号、环境L信号和环境R信号进行的特定延迟处理和特定放大处理而产生的信号的相加结果形成的。
可以动态改变在输出信号生成单元20的各个信号处理单元中形成的与各个扬声器相关联的延迟单元处的延迟量和放大单元处的放大量，这些信号处理单元是
(1)L信号处理单元21L，
(2)R信号处理单元21R，
(3)主信号处理单元(P信号处理单元)21P，
(4)环境L信号处理单元(AL信号处理单元)21AL，以及
(5)环境R信号处理单元(AR信号处理单元)21AR。
当改变在各个信号处理单元中形成的与各扬声器相关联的延迟单元处的延迟量和放大单元处的放大量时，可以改变各个信号的虚拟声源位置。即，可以将由声源分离单元10输出的5种声音信号的虚拟声源位置改变到各种位置，这些声音信号是
(1)L信号，
(2)R信号，
(3)主信号，
(4)环境L信号，以及
(5)环境R信号。
换言之，可以改变和控制与上述信号(1)到(5)的各自声源对应的虚拟声源位置，从而，可以通过该控制形成各种声场。
现在参考图3，描述与5种声源相对应的虚拟声源位置的设定和声场的设定的示例。
图3示出了虚拟声源位置和声场的两个不同的设定示例。
在虚拟声源位置和声场的设定的示例1(a)中，在车辆前部的中心位置处设定虚拟主声源位置，在车辆前部的左右两侧设定虚拟L信号声源位置和虚拟R信号声源位置，以及在车辆后部的左右两侧设定虚拟环境L信号声源位置和虚拟环境R信号声源位置。声场由连接这5个虚拟声源位置的椭圆形(用虚线表示的椭圆)表示。注意，图3(a)是从上方观察到的平面图，并且示出了具有平面且基本上圆形的声场。然而，实际声场是在垂直方向上凸起的平坦且基本上球形的声场。
同时，在虚拟声源位置和声场的设定的示例2(b)中，虚拟主声源位置、虚拟L信号声源位置和虚拟R信号声源位置被设定在比设定示例1中的位置更靠近前方的位置处，并且虚拟环境L信号声源位置和虚拟环境R信号声源位置被设定在比设定示例1中的位置更靠近后方的位置处。声场由连接这5个虚拟声源位置的椭圆形(用虚线表示的椭圆)表示。注意，与图3(a)类似，图3(b)是从上方观察到的平面图，示出了具有平面且椭圆形的声场。然而，实际的声场是平坦的且基本上呈在垂直方向上凸起的椭圆形球体的外形。
图3所示的虚拟声源位置和声场的设定的两种类型(a)和(b)可以通过调整在图2中所示的输出信号生成单元20中形成的各个信号处理单元的延迟单元和放大单元处的处理量(延迟量和放大量)来实现。除图3所示的设定外，可以采用虚拟声源的各种设定和声场的各种设定。
注意，在上面参考图2和3描述的示例中，要设定虚拟声源位置的声音信号的类型是以下5种声音信号：
(1)L信号，
(2)R信号，
(3)主信号，
(4)环境L信号，以及
(5)环境R信号。
这些是图2所示的要从声音分离单元10输出到输出信号生成单元20的5种信号。
图2所示的要从声音分离单元10输出到输出信号生成单元20的声音信号(分离声音信号)的类型不限于这5种类型。例如，声音分离单元10可以如图4所示生成大量不同的信号，并将这些信号输出到输出信号生成单元20。
图4示出以下声音信号中的每一个：
(1)原始L信号(L)，
(2)原始R信号(R)，
(3)原始信号(C)，
(4)主L信号(PL)，
(5)主R信号(PR)，
(6)主信号(P)，
(7)环境L信号(AL)，
(8)环境R信号(AR)，以及
(9)环境信号(A)。
原始L信号(L)和原始R信号(R)分别是输入声源的L和R信号。原始信号(C)是输入声源的L和R信号的相加信号(L+R)。在输入声源是单声道信号的情况下，原始信号(C)是其输入信号。
主L信号(PL)是主声音信号，其主要组成部分是从原始L信号提取的主要声音信号。
主R信号(PR)是主声音信号，其主要组成部分是从原始R信号提取的主要声音信号。
主信号(P)是主声音信号，其主要组成部分是从原始C信号(L+R，或输入单声道(monaural)信号)提取的主要声音信号。
环境L信号(AL)是环境声音信号，其主要组成部分是从原始L信号提取的除主要声音信号以外的声音信号。
环境R信号(AR)是环境声音信号，其主要组成部分是从原始R信号提取的除主要声音信号以外的声音信号。
环境信号(A)是环境声音信号，其主要组成部分是从原始C信号(L+R，或输入单声道信号)提取的除主要声音信号以外的声音信号。
注意，参照图2描述的声音信号处理装置构成的声源分离单元10中的时间-频率变换单元(STFT)11被设计成彼此分开地处理输入声源1的L信号和R信号，并且频率-时间逆变换单元(ISTFT)13也被设计为彼此分开地处理L信号和R信号，从而可以生成主L信号(PL)和主R信号(PR)。图4中所示的其他信号也可以通过与其他信号的加法处理和减法处理来生成。
由于以这种方式使用图2所示的构成，可以将图4所示的各种声音信号的虚拟声源位置设定在各种位置处，并且可以形成取决于声场位置的各种声场。
现在参考图5和6描述使用图4所示的九种声音信号中的一些的虚拟声源位置的设定和声场的设定的示例。
图5和6示出了以下5个不同的虚拟声源位置和声场的设定示例。
(1)其中L和R虚拟声源位置中的每一个被设定在一个地点处，并且AL和AR虚拟声源位置中的每一个被设定在两个地点处的示例声场构成
(2)其中PL和PR虚拟声源位置中的每一个被设定在一个地点处，并且AL和AR虚拟声源位置中的每一个被设定在两个地点处的示例声场构成
(3)其中L、R、PL和PR虚拟声源位置中的每一个被设定在一个地点处，并且AL和AR虚拟声源位置中的每一个被设定在两个地点处的示例声场构成
(4)其中C、L和R虚拟声源位置中的每一个被设定在一个地点处，并且AL和AR虚拟声源位置中的每一个被设定在两个地点处的示例声场构成
(5)其中P、L和R虚拟声源位置中的每一个被设定在一个地点处，并且AL和AR虚拟声源位置中的每一个被设定在两个地点处的示例声场构成
声场是在每个图中用虚线表示的椭圆，并且呈连接多个虚拟声源位置的椭圆形。注意，如上参考图3所述，图5和6是从上方观察到的平面图，将声场示出为平面椭圆。然而，实际中的声场是平坦的，并呈在垂直方向上凸起的椭圆形球体的外形。
注意，在图5和6所示的设定(1)到(5)中，将AL和AR虚拟声源位置中的每一个设定在两个不同的位置处。这样，对于在声源分离单元10处生成的一个分离的声音信号，可以将虚拟声源设定在多个不同的地点。
现在参照图7描述用于按以上方式对于一个分离的声音信号将虚拟声源设定在多个不同地点处的示例构成。图7示出了包括以上参照图2描述的声源分离单元10和输出信号生成单元20的声音信号处理装置的构成。图7中所示的构成是用于在两个不同位置处设定环境L信号的虚拟声源的示例构成。因此，从声源分离单元10输出的环境L信号被并行地输入到在输出信号生成单元20中形成的环境L1信号(AL1)处理单元21AL1和环境L2信号(AL2)处理单元21AL2的两个信号处理单元。
环境L1信号(AL1)处理单元21AL1和环境L2信号(AL2)处理单元21AL2每个包括与相应扬声器(S1到Sn)相关联的延迟单元和放大单元。
环境L1信号(AL1)处理单元21AL1和环境L2信号(AL2)处理单元21AL2生成要输出到各个扬声器的输出信号，而在与相应扬声器(S1到Sn)相关联的延迟单元和放大单元处的处理量(它们是延迟量和放大量)被改变。当进行这样的处理时，对于在声源分离单元10处生成的一个分离的声音信号，可以将虚拟声源设定在多个不同的地点。
由于如上所述使用图2或图7所示的信号处理构成，因此可以在各种位置处设定与从输入声源分离的不同种类的声音信号中的每一种对应的一个或多个虚拟声源位置。由于声场是由各个分离的声音信号及其输出的虚拟声源位置来定义的，所以可以通过调整各个分离的音频信号及其输出的虚拟声源位置来进行控制，以设定各种区域中的以及各种形状的声场。
在图2和7中所示的构成中，可以动态地改变输出信号生成单元20中的各个信号处理单元21的延迟单元和放大单元处的处理量，它们是延迟单元处的延迟量和放大单元处的放大量。
本公开利用这些特性来提供一种构成，其中，根据车辆的速度和行进方向的变化控制输出信号生成单元20中的每个信号处理单元21的延迟单元处的延迟量和放大单元处的放大量，并动态地改变各个分离声音信号的虚拟声源位置和声场。在下面的章节中，描述根据本公开的构成和处理的具体示例。
[2.本公开的移动设备和声音信号处理装置的示例构成，以及其中的示例处理]
本公开的移动设备和声音信号处理装置进行声场控制处理，包括声音分离单元10中的声音分离处理和输出信号生成单元20中的针对每个扬声器的输出信号生成处理，如上文参考图2和7描述的。换言之，移动设备和声音信号处理装置使用单极合成来进行控制，以根据车辆的行为动态地改变各个声源(L、R、P、AL、AR等)的虚拟声源位置和声场。通过这种控制，变得可以进行这样的声场控制，例如，可以跟随驾驶车辆的驾驶员(用户)的视角和视野。
图8是示出根据本公开的移动设备100的示例构成的图。声音信号处理装置120安装在移动设备100中。
移动设备100包括声音信号处理装置120、操作单元131、驱动单元132、声源输入单元141、用户输入单元142和传感器143。声音信号处理装置120包括控制单元121、存储单元122、输入单元123和输出单元124。注意，这些相应的组件通过车内通信网络或符合适当标准的总线连接，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。
例如，操作单元131是诸如移动设备(车辆)100的加速器、制动器和转向盘(盘)之类的操作单元。驱动单元132包括要用于驱动车辆的部件，例如发动机和轮胎。
声音信号处理设备120的控制单元121进行以上参考图2描述的声源分离处理和声音信号生成处理。即，进行使用单极合成的声源控制和声场控制。注意，控制单元121使用硬件或软件中的任一个或两个来进行以上参照图2描述的信号处理。
在进行使用软件的处理的情况下，存储在存储单元122中的程序由诸如控制单元121中的CPU之类的程序执行单元执行以进行信号处理。
存储单元122是存储要由控制单元121执行的程序以及要在信号处理中使用的参数等的存储单元。存储单元122还用作再现声音数据等的存储区域。
如图所示，输入单元123是使得能够从声源输入单元141、用户输入单元142、传感器143等输入各种数据的输入单元。声源输入单元141例如包括用于CD、闪存等的媒体再现单元和用于因特网传送数据的输入单元等。用户输入单元142是可以由用户操作的开关，例如，诸如输入音乐再现开始/停止指令的输入单元。传感器143是例如诸如距离传感器之类的传感器，并且检测接近移动设备100的对象。输出单元124包括用于图像输出的显示单元等，以及输出声音的扬声器。
接下来，参考图9和随后的图，描述声音信号处理装置120的控制单元121的构成和要由控制单元121进行的处理的具体示例。如上所述，控制单元121进行以上参照图2描述的声源分离处理和声音信号生成处理。即，进行利用单极合成的声源控制和声场控制。
如图9所示，控制单元121包括速度信息获取单元201、转向信息获取单元202和声音控制单元203。声音控制单元203包括声源分离单元203a和输出信号生成单元203b。
速度信息获取单元201从操作单元131和驱动单元132获取关于作为车辆的移动设备100的速度的信息。
转向信息获取单元202从操作单元131和驱动单元132获取关于作为车辆的移动设备100的转向(盘)设定信息的信息。
注意，这些信息可以例如经由诸如如上所述的控制器局域网(CAN)之类的车内通信网络来获取。
声音控制单元203不仅经由输入单元123接收声源信息251的输入，而且还从速度信息获取单元201接收关于移动设备100的速度信息的输入，以及从转向信息获取单元202接收关于移动设备100的转向(盘)设定信息的输入。
声源信息251是L和R的两个声道的立体声声源，例如如上面参考图2描述的声源1。例如，声源信息251是诸如CD或闪存之类的媒体再现声音数据、因特网传送声音数据等。
声音控制单元203根据从速度信息获取单元201输入的关于移动设备100的速度信息、从转向信息获取单元202输入的关于移动设备100的转向(盘)设定信息或者这些信息中的至少一个，进行控制虚拟声源位置和声场的处理。即，声音控制单元203生成要输出到形成输出单元124的多个扬声器的输出声音信号，并且输出输出声音信号。
具体地，进行以上参照图2描述的声源分离处理和声音信号生成处理。换言之，进行使用单极合成的声源控制和声场控制。
作为类似于上面参照图2描述的声源分离单元10的声源分离处理和声音信号生成单元20的声音信号生成处理的处理，进行生成要输出到形成输出单元124的扬声器的输出声音信号的处理。
声音控制单元203的声源分离单元203a经由输入单元123接收声源信息251的输入，并将输入的声源分离成多个不同种类的声音信号。具体地说，例如，输入声源被分离成下面列出的5个声音信号。
(1)L信号
(2)R信号
(3)主信号
(4)环境L信号
(5)环境R信号
然后，声音控制单元203的输出信号生成单元203b进行用于将上述5个分离的声音信号中的每一个输出到每个扬声器的输出信号生成处理。如以上参考图2所述，作为针对要输入到各个扬声器的各个分离的声音信号的特定延迟处理和特定放大处理，进行该输出信号生成处理。换句话说，进行使用单极合成的控制。
通过该处理，进行控制以在各种位置处设定各个分离的声音信号的虚拟声源位置，并进一步设定可以在不同区域中并且具有各种形状的声场。
声音控制单元203例如根据从速度信息获取单元201输入的关于移动设备100的速度信息来进行控制虚拟声源位置和声场的处理。
声音控制单元203还根据从转向信息获取单元202输入的关于移动设备100的转向(盘)设定信息，进行控制虚拟声源位置和声场的处理。
具体来说，声音控制单元203的输出信号生成单元203b进行控制，以根据从速度信息获取单元201输入的关于移动设备100的速度信息，以及从转向信息获取单元202输入的关于移动设备100的转向(盘)设定信息，改变以上参照图2描述的输出信号生成单元中的与各个分离的声音信号相关联的信号处理单元中形成的与各个扬声器相关联的延迟单元处的延迟量和放大单元处的放大量。
通过该控制，虚拟声源位置和声场根据移动设备100的速度和行进方向的变化而改变。利用这些控制处理，变得可以进行声场控制，使得例如声场的形状随着驾驶车辆的驾驶员(用户)的视点或视野的变化而变化。
图9的右侧示出了根据从速度信息获取单元201输入的关于移动设备100的速度信息来控制虚拟声源位置和声场的变化的示例。
例如，中央几乎圆形的虚线表示车辆不移动时(@t1)的声场。此圆虚线中的L、R、P、AL和AR表示当车辆低速移动时(@t1)各声音信号的虚拟声源位置，这些声音信号是L信号、R信号、主信号、环境L信号和环境R信号。
此外，由中央几乎圆形虚线之外的垂直长虚线表示的椭圆表示车辆移动时(@t2)的声场。此垂直长椭圆虚线中的L、R、P、AL和AR表示当车辆移动时(@t2)各声音信号的虚拟声源位置，这些声音信号是L信号、R信号、主信号、环境L信号和环境R信号。
这样，声音控制单元203根据车辆的移动速度和关于车辆的转向(盘)设定信息，进行控制以改变各个分离的声音信号的虚拟声源位置和声场。
[3.取决于车辆的移动速度的虚拟声源位置和声场控制的具体示例]
接着，参照图10和随后的附图，描述取决于车辆的移动速度的虚拟声源位置和声场控制的具体示例。
图10示出了以下两个虚拟声源和声场的设定示例：
(a1)当车辆以30km/h行进时，虚拟声源和声场的设定示例；以及
(b1)当车辆以100km/h行进时，虚拟声源和声场的设定示例。
在车辆以30km/h行进时的虚拟声源和声场的设定示例(a1)中，设定直径大致等于车辆长度的几乎圆形声场，并且将虚拟主声源位置(P)设定在圆周上的车辆前部位置处。另外，将虚拟L声源位置(L)和虚拟R声源位置(R)设定在虚拟主声源位置(P)的稍微后侧的两侧位置处。此外，将虚拟环境L声源位置(AL)和虚拟环境R声源位置(AR)设定在车辆后部的两侧位置处。
注意，图10(a1)是从上方观察到的平面图，并且示出了具有平面且基本圆形的声场。然而，实际声场是在垂直方向上凸起的平坦且基本上球形的声场。
另一方面，在车辆以100km/h行进时的虚拟声源和声场的设定示例(b1)中，设定其中心稍微较靠近车辆前部的椭圆声场。该椭圆声场呈椭圆形，其长轴略长于车辆长度，其短轴基本上等于车辆宽度。该椭圆形状在车辆的纵向上较长。在这种情况下，虚拟主声源位置(P)被设定在该椭圆的圆周上的车辆前方位置处。另外，虚拟L声源位置(L)和虚拟R声源位置(R)被设定在虚拟主声源位置(P)的稍后侧的两侧位置处。此外，虚拟环境L声源位置(AL)和虚拟环境R声源位置(AR)被设定在靠近车辆中心的两侧位置处。
注意，与图10(a1)一样，图10(b1)也是从上方观察到的平面图，并且示出了作为平面椭圆的声场。然而，实际的声场是平坦的，并且基本上呈在垂直方向上凸起的椭圆形球体的外形。
当将车辆以30km/h行进时的虚拟声源和声场的设定示例(a1)与车辆以100km/h行进时的虚拟声源和声场的设定示例(b1)进行比较时，与车辆以30km/h行进时的声场相比，车辆以100km/h行进时的声场在向前方向上较长。也就是说，随着速度变高，长轴方向(纵向)上的长度变大。而且，随着速度变高，短轴方向(宽度方向)上的长度变小。
取决于图10中所示的速度的声场设定是随着驾驶车辆的驾驶员(用户)的视野而改变的设定。
图11是示出驾驶车辆的驾驶员(用户)的视野的示例的图。图11示出了驾驶员的视野的以下两个示例：
(a2)车辆低速(30km/h)行进时驾驶员的视野；以及
(b2)车辆高速(100km/h)行进时驾驶员的视野。
当车辆低速(30km/h)行进时驾驶员的视野(a2)是驾驶员前方的宽视野。也就是说，当车辆缓慢行进时，驾驶员可以一边驾驶，一边观察周围的情况。
另一方面，当车辆高速(100km/h)行进时驾驶员的视野(b2)是驾驶员前方的窄视野。也就是说，由于车辆高速行进，驾驶员在驾驶时只注意车辆行进方向上的窄区域。
现在参考图12和13描述取决于上面参考图10描述的速度的声场设定的示例与取决于上面参考图11描述的速度的驾驶员的视野之间的对应关系。
图12是并排示出了以上参照图10描述的车辆以30km/h行进时的虚拟声源和声场的设定示例(a1)，以及以上参考图11描述的车辆以低速(30km/h)行进时驾驶员的视野(a2)的图。
当车辆以30km/h行进时虚拟声源和声场的设定示例(a1)中所示的基本圆形声场的前部的横截面形状(其为具有水平方向上的长轴的椭圆形状)基本上与车辆以低速(30km/h)行进时驾驶员的视野(a2)一致。
也就是说，驾驶员感觉(听到)具有基本上与自己的视野一致的扩展的声场的再现声音。
另一方面，图13是并排示出了以上参照图10描述的车辆以100km/h行进时的虚拟声源和声场的设定示例(b1)，以及以上参考图11描述的车辆以高速(100km/h)行进时驾驶员的视野(b2)的图。
当车辆以100km/h行进时虚拟声源和声场的设定示例(b1)中所示的椭圆形声场的前部的横截面形状(其为具有水平方向上的长轴的小椭圆形状)基本上与车辆以高速(100km/h)行进时驾驶员的视野(b2)一致。
也就是说，驾驶员感觉(听到)具有基本上与自己的视野一致的扩展的声场的再现声音。
如上所述，当结合车辆的移动速度控制声场时，本公开的声音信号处理装置进行控制，以形成具有与驾驶员的视野基本一致的扩展的声场。通过执行这种声场控制，驾驶员可以听到声场与取决于车辆的移动速度的视野基本一致的再现声音。因此，驾驶员可以听到没有任何不适感的再现声音。
[4.取决于关于车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例]
接着，参照图14和随后的附图描述取决于关于车辆的转向(盘)设定信息的虚拟声源位置和声场控制的具体示例。
图14示出了虚拟声源和声场的以下两个设定示例：
(c1)当车辆在左手曲线上行进时虚拟声源和声场的设定示例；和
(d1)当车辆在右手曲线上行进时虚拟声源和声场的设定示例。
在车辆在左手曲线上行进时的虚拟声源和声场的设定示例(c1)中，设定具有从车辆的左前到右后延伸的长轴(其对应于车辆的行进方向)的椭圆声场，并且虚拟主声源位置(P)被设定在车辆前方的椭圆上的左上位置处。另外，虚拟L声源位置(L)和虚拟R声源位置(R)被设定在虚拟主声源位置(P)的稍后侧的两侧位置处。此外，虚拟环境L声源位置(AL)和虚拟环境R声源位置(AR)被设定在车辆后部的两侧位置处。
注意，图14(c1)是从上方观察到的平面图，并且示出了作为平面椭圆的声场。然而，实际的声场是呈在垂直方向上凸起的平坦椭圆形球体的外形的声场。
另一方面，在车辆在右手曲线上行进时的虚拟声源和声场的设定示例(d1)中，设定具有从车辆的右前到左后延伸的长轴(其对应于车辆的行进方向)的椭圆声场，并且虚拟主声源位置(P)被设定在车辆前方的椭圆上的右上位置处。另外，虚拟L声源位置(L)和虚拟R声源位置(R)被设定在虚拟主声源位置(P)的稍后侧的两侧位置处。此外，虚拟环境L声源位置(AL)和虚拟环境R声源位置(AR)被设定在车辆中央附近的两侧位置处。
注意，与图14(c1)一样，图14(d1)也是从上方观察到的平面图，并且示出了作为平面椭圆的声场。然而，实际的声场是平坦的并且大致呈在垂直方向上凸起的椭圆形球体的外形。
车辆在左手曲线上行进时的声场(c1)和车辆在右手曲线上行进时的声场(d1)都是具有沿行进方向设定的长轴的椭圆声场。
图14所示的取决于关于车辆的转向(盘)设定信息的声场设定是随着驾驶车辆的驾驶员(用户)的视野而改变的设定。
图15是示出驾驶车辆的驾驶员(用户)的视野的示例的图。图15示出了驾驶员的视野的以下两个示例：
(c2)当车辆在左手曲线上行进时驾驶员的视野；以及
(d2)当车辆在右手曲线上行进时驾驶员的视野。
当车辆在左手曲线上行进时驾驶员的视野(c2)被设定为朝向左前的方向，其为车辆的行进方向。也就是说，车辆在左手曲线上行进，驾驶员驾驶车辆，同时注意作为行进方向的左方。
另一方面，当车辆在右手曲线上行进时驾驶员的视野(d2)被设定在朝向右前的方向，其为车辆的行进方向。也就是说，车辆在右手曲线上行进，驾驶员驾驶车辆，同时注意作为行进方向的右方。
现在参考图16和17描述取决于上面参考图14描述的转向(盘)设定信息的声场设定的示例与取决于上面参考图15描述的转向(盘)设定信息的驾驶员视野之间的对应关系。
图16是并排示出如上参考图14描述的当车辆在左手曲线上行进时的虚拟声源和声场的设定示例(c1)以及如上参考图15所述当车辆在左手曲线上行进时驾驶员的视野(c2)的图。
当车辆在左手曲线上行进时虚拟声源和声场的设定示例(c1)中所示的具有从车辆的左前到右后延伸的长轴的椭圆声场的左前部分的横截面形状基本上与当车辆在左手曲线上行进时驾驶员的视野(c2)一致。
也就是说，驾驶员感觉(听到)具有带有与他/她的视野基本一致的扩展的声场的再现声音。
另一方面，图17是并排示出如上参考图14描述的当车辆在右手曲线上行进时的虚拟声源和声场的设定示例(d1)以及如上参考图15所述当车辆在右手曲线上行进时驾驶员的视野(d2)的图。
当车辆在右手曲线上行进时虚拟声源和声场的设定示例(d1)中所示的具有从车辆的右前到左后延伸的长轴的椭圆声场的右前部分的横截面形状基本上与当车辆在右手曲线上行进时驾驶员的视野(d2)一致。
也就是说，驾驶员感觉(听到)具有带有与他/她的视野基本一致的扩展的声场的再现声音。
如上所述，当结合关于车辆的转向(盘)设定信息控制声场时，本公开的声音信号处理装置进行控制，以形成具有与驾驶员的视野基本一致的扩展的声场。通过执行这种声场控制，驾驶员可以听到声场与取决于关于车辆的转向(盘)设定信息的视野基本一致的再现声音。因此，驾驶员可以听到没有任何不适感的再现声音。
[5.发出警告的虚拟声源位置和声场控制的具体示例]
接着，参照图18和随后的附图描述用于发出警告(警报)的虚拟声源位置和声场控制的具体示例。
此示例是对用于向驾驶车辆的驾驶员发出警告(警报)的虚拟声源位置和声场的控制的示例。具体而言，在车辆在曲线上行进的情况下，例如，在曲线的方向上设定虚拟声源位置和声场。此外，在诸如另一车辆之类的对象正在接近车辆的情况下，进行诸如在接近位置处设定虚拟声源位置和声场之类的处理。
通过执行这些控制处理，车辆驾驶员可以根据声音确定他/她应该注意的方向。
图18示出了虚拟声源和声场的以下两个设定示例：
(e)当车辆在左手曲线上行进时虚拟声源和声场的设定示例(设定报警输出的情况)；以及
(f)当车辆在右手曲线上行进时虚拟声源和声场的设定示例(设定报警输出的情况)。
在当车辆在左手曲线上行进时虚拟声源和声场的设定示例(e)(设定报警输出的情况)中，仅在车辆的左前方(其对应于车辆的行进方向)设定各个分离的声音信号(L、R、P、AL和AR)和声场。
另一方面，在当车辆在右手曲线上行进时虚拟声源和声场的设定示例(f)(设定报警输出的情况)中，仅在车辆的右前方(其对应于车辆的行进方向)设定各个分离的声音信号(L、R、P、AL和AR)和声场。
车辆驾驶员听到主要来自车辆的行进方向的声音，并且自然地关注于该方向，以便驾驶员能够进行安全驾驶。
注意，对于这种报警输出设定，用户可以进行开/关设定。在报警输出关闭的情况下，首先进行如图14到17所示的声场设定。
图19示出了在诸如另一车辆的对象正在接近车辆的情况下，将虚拟声源位置和声场设定在该另一车辆正在接近的位置处的示例处理。
如图19所示，另一车辆(对象)正从车辆的左后方接近。在这种情况下，将各个分离的声音信号(L、R、P、AL和AR)和声场仅设定在车辆的左后方，其对应于另一车辆(对象)正在接近的位置。
车辆驾驶员听到主要来自车辆的左后方的声音，并且自然地关注于该方向。因此，驾驶员可以感觉到车辆接近，并进行安全驾驶。
为了实现图19所示的这种构成，需要使用来自传感器的检测信息来进行声音控制。现在参照图20描述使用该传感器的示例声音控制构成。
与上面参照图9描述的控制单元121一样，图20所示的控制单元121包括速度信息获取单元201、转向信息获取单元202和声音控制单元203。控制单元121还包括传感器信息获取单元204。声音控制单元203包括声源分离单元203a和输出信号生成单元203b。
速度信息获取单元201从操作单元131和驱动单元132获取关于作为车辆的移动设备100的速度的信息。
转向信息获取单元202从操作单元131和驱动单元132获取关于作为车辆的移动设备100的转向(盘)设定信息的信息。
此外，传感器信息获取单元204例如经由输入单元123从诸如距离传感器之类的传感器127获取作为检测信息的传感器检测信息252。
注意，这些信息例如可以经由诸如如上所述的控制器局域网(CAN)之类的车内通信网络来获取。
声音控制单元203经由输入单元123接收声源信息251的输入，并且还从传感器信息获取单元204接收传感器检测信息252的输入。
声源信息251是具有L和R的两个声道的立体声声源，例如与上面参考图2描述的声源1一样。例如，声源信息251是诸如CD或闪存之类的媒体再现声音数据、因特网传送声音数据等。
根据从传感器信息获取单元204输入的传感器检测信息252，声音控制单元203进行控制虚拟声源位置和声场的处理。即，声音控制单元203生成要输出到形成输出单元124的多个扬声器的输出声音信号，并且输出输出声音信号。简言之，进行以上参照图2描述的声源分离处理和声音信号生成处理。换言之，进行使用单极合成的声源控制和声场控制。
作为与上面参照图2描述的声源分离单元10的声源分离处理和声音信号生成单元20的声音信号生成处理类似的处理，进行生成要输出到形成输出单元124的扬声器的输出声音信号的处理。
声音控制单元203的声源分离单元203a经由输入单元123接收声源信息251的输入，并将输入声源分离成多个不同种类的声音信号。具体地说，例如，输入声源被分离成下面列出的5个声音信号。
(1)L信号
(2)R信号
(3)主信号
(4)环境L信号
(5)环境R信号
然后，声音控制单元203的输出信号生成单元203b进行用于将上述5个分离的声音信号中的每一个输出到扬声器中的每一个的输出信号生成处理。如上文参考图2所述，作为用于对要输入到各个扬声器的各个分离的声音信号的特定延迟处理和特定放大处理，进行该输出信号生成处理。换句话说，进行使用单极合成的控制。
通过该处理，进行控制以在各种位置处设定各个分离的声音信号的虚拟声源位置，并进一步设定可以在各种区域中并且具有各种形状的声场。
根据从传感器信息获取单元204输入的传感器检测信息252，声音控制单元203的输出信号生成单元203b进行控制虚拟声源位置和声场的处理。通过该控制，变得可以进行声场控制，使得例如驾驶车辆的驾驶员(用户)可以听到来自他/她应该注意的方向的声音。
图20的右侧示出了根据从传感器信息获取单元204输入的传感器检测信息252控制虚拟声源位置和声场的变化的示例。
在时间t1，没有接近的车辆，相应地，声场设定用于正常驾驶。设定由仿佛环绕着车辆的大致圆形的虚线表示的声场。在表示该圆形声场的虚线上设定各个声音信号(它们是L信号、R信号、主信号、环境L信号和环境R信号)的虚拟声源位置。
在时间t2的状态下，另一车辆正从左后方接近。在这种状态下，所有分离的声音信号的虚拟声源位置设定在左后方，即另一车辆正在接近的位置，声场也设定在左后方。
通过虚拟声源位置和声场的设定，驾驶员听到主要来自左后方的声音，并注意左后方。结果，驾驶员可以感觉到车辆从左后方接近，并进行安全驾驶以避免碰撞。
[6.要由声音信号处理装置进行的处理序列]
接着，参照图21所示的流程图，描述根据本公开的声音信号处理装置要进行的处理序列。
注意，例如，在诸如CPU之类的具有程序执行功能的控制单元的控制下，可以根据存储在例如声音信号处理装置的存储单元中的程序来进行图21所示的流程中的处理。在下面的描述中，顺序地说明图21所示的流程的各个步骤中的处理。
(步骤S101)
首先，在步骤S101中，声音信号处理装置的控制单元接收包括关于诸如车辆之类的移动设备的速度信息、转向信息和传感器检测信息的至少一条信息的输入。
并行进行步骤S102和S103中的处理、步骤S104和S105中的处理以及步骤S106和S107中的处理。
(步骤S102)
接下来，在步骤S102中，控制单元确定速度是否发生变化。如果检测到移动设备的速度变化，则处理进入步骤S103。如果没有检测到任何速度变化，则处理返回到步骤S101。
(步骤S103)
步骤S103是在步骤S102中检测到移动设备的速度变化的情况下要进行的处理。
在步骤S103中，控制单元根据速度的变化对各个分离的声音信号的虚拟声源位置和声场进行控制。
该处理对应于上面参考图9到13所述的处理。图9所示的控制单元121中的声音控制单元203进行控制，以根据从速度信息获取单元201输入的移动设备100的速度信息，改变在以上参考图2描述的输出信号生成单元中的与各个分离的声音信号相关联的信号处理单元中形成的与各个扬声器相关联的延迟单元处的延迟量和放大单元处的放大量。也就是说，根据移动设备100的速度的变化，进行控制以改变虚拟声源位置和声场。
作为这些控制处理的结果，可以进行声场控制，以便可以跟随驾驶车辆的驾驶员(用户)的视点和视野，如上面参考图10到13所述。
(步骤S104)
在步骤S104中，控制单元确定是否存在移动设备100的转向(手柄)设定的变化。如果检测到移动设备的转向(手柄)设定的变化，则处理进入步骤S105。如果没有检测到任何变化，则处理返回到步骤S101。
(步骤S105)
步骤S105是在步骤S104中检测到移动设备100的转向(手柄)设定的变化的情况下要进行的处理。
在步骤S105中，控制单元根据移动设备的转向(盘)设定的变化，对各个分离的声音信号的虚拟声源位置和声场进行控制。
该处理对应于上面参考图9和图14到17描述的处理。图9所示的控制单元121中的声音控制单元203进行控制，以根据从转向信息获取单元202输入的关于移动设备100的转向设定信息，改变在以上参考图2描述的输出信号生成单元中的与各个分离的声音信号相关联的信号处理单元中形成的与各个扬声器相关联的延迟单元处的延迟量和放大单元处的放大量。也就是说，根据移动设备100的行进方向的变化，进行控制以改变虚拟声源位置和声场。
作为这些控制处理的结果，可以进行声场控制，以便可以跟随驾驶车辆的驾驶员(用户)的视点和视野，如上面参考图14到17所述。
(步骤S106)
在步骤S106中，控制单元基于来自移动设备100中设置的诸如距离传感器之类的传感器的检测信息来确定是否存在接近的对象。如果检测到接近的对象，则处理进入步骤S107。如果没有检测到任何接近的对象，则处理返回到步骤S101。
(步骤S107)
步骤S107是在步骤S106中检测到接近移动设备100的对象的情况下要进行的处理。
在步骤S107中，控制单元进行控制以仅在接近对象的方向上设定各个分离的声音信号的虚拟声源位置和声场。
该处理对应于上面参考图18到20所述的处理。图20所示的控制单元121中的声音控制单元203进行控制，以根据从传感器信息获取单元204输入的传感器检测信息，改变在以上参考图2描述的输出信号生成单元中的与各个分离的声音信号相关联的信号处理单元中形成的与各个扬声器相关联的延迟单元处的延迟量和放大单元处的放大量。也就是说，进行控制以仅在接近移动设备100的对象的位置或方向处设定虚拟声源位置和声场。
作为这些控制处理的结果，驾驶车辆的驾驶员(用户)可以感觉到接近的对象，并进行驾驶控制以避免与对象碰撞，如上文参考图18到20所述。
[7.本公开的构成概要]
到目前为止，已经通过具体示例描述了本公开的实施例。然而，显而易见，本领域技术人员可以在不脱离本公开的范围的情况下对实施例进行修改和替换。也就是说，本发明以示例的形式被公开，并且不应以限制性的方式解释上述描述。在理解本公开的主题时，应当考虑权利要求。
注意，本说明书中公开的技术也可以体现在下面描述的构成中。
(1)一种声音信号处理装置，包括：
行为信息获取单元，所述行为信息获取单元获取关于移动设备的行为信息；以及
声音控制单元，所述声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制单元根据由行为信息获取单元获取的信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
(2)根据(1)所述的声音信号处理装置，其中
行为信息获取单元是获取关于移动设备的速度信息的速度信息获取单元，以及
声音控制单元根据由速度信息获取单元获取的速度信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
(3)根据(1)或(2)所述的声音信号处理装置，其中
行为信息获取单元是获取关于移动设备的转向信息的转向信息获取单元，以及
声音控制单元根据由转向信息获取单元获取的转向信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
(4)根据(1)至(3)中的任一项所述的声音信号处理装置，还包括
传感器信息获取单元，所述传感器信息获取单元获取关于移动设备的接近对象信息，
其中，声音控制单元根据由传感器信息获取单元获取的接近对象信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
(5)根据(1)至(4)中的任一项所述的声音信号处理装置，其中
声音控制单元包括：
声源分离单元，所述声源分离单元接收声源的输入，并从输入声源获取多个分离的声音信号；以及
输出信号生成单元，所述输出信号生成单元包括延迟单元和放大单元，所述延迟单元和放大单元接收由所述声源分离单元生成的分离声音信号的输入，并对各个扬声器和各个分离声音信号进行延迟处理和放大处理。
(6)根据(5)所述的声音信号处理装置，其中
声源分离单元生成与作为声源中包含的主要声源的主声源相关联的声音信号，以及与不是主声源的环境声源相关联的声音信号，以及
输出信号生成单元对与主声源相关联的声音信号和与环境声源相关联的声音信号中的每一个进行延迟处理和放大处理，每个声音信号已经由声源分离单元生成。
(7)根据(6)所述的声音信号处理装置，其中
声音控制单元根据移动设备的行为，通过相互独立地控制主声源和环境声源的各个虚拟声源位置来进行声场控制，所述主声源和环境声源已经从所述输入声源获得。
(8)根据(5)所述的声音信号处理装置，其中
所述声源是具有L和R两个声道的声源的立体声声音信号，
声源分离单元生成作为声源的组成部分的L声音信号和R声音信号、与作为声源中包含的主要声源的主声源相关联的声音信号以及与不是主声源的环境声源相关联的声音信号，以及
输出信号生成单元对L声音信号、R声音信号、与主声源相关联的声音信号以及与环境声源相关联的声音信号中的每一个进行延迟处理和放大处理，每个声音信号已经由声源分离单元生成。
(9)根据(8)所述的声音信号处理装置，其中
声音控制单元根据移动设备的行为，通过彼此独立地控制作为声源的组成部分的L声源和R声源以及从输入声源获得的主声源和环境声源的各个虚拟声源位置来进行声场控制。
(10)根据(5)所述的声音信号处理装置，其中
所述声源是具有L和R两个声道的声源的立体声声音信号，
声源分离单元生成作为声源的组成部分的L声音信号和R声音信号、与作为声源中包含的主要声源的主声源相关联的声音信号、通过从L声音信号减去与主声源相关联的声音信号而获得的与环境L声源相关联的声音信号、以及通过从R声音信号减去与主声源相关联的声音信号而获得的与环境R声源相关联的声音信号，以及
输出信号生成单元对L声音信号、R声音信号、与主声源相关联的声音信号、与环境L声源相关联的声音信号以及与环境R声源相关联的声音信号中的每一个进行延迟处理和放大处理，每个声音信号已经由声源分离单元生成。
(11)根据(10)所述的声音信号处理装置，其中
声音控制单元根据移动设备的行为，通过彼此独立地控制作为声源的组成部分的L声源和R声源以及从输入声源获得的主声源、环境L声源和环境R声源的各个虚拟声源位置来进行声场控制。
(12)根据(1)至(11)中的任一项所述的声音信号处理装置，其中
声音控制单元进行声场控制以设定跟随移动设备的驾驶员的视野的声场，所述驾驶员的视野随着移动设备的行为而改变。
(13)一种移动设备，包括：
改变移动设备的行为的操作单元；
获取关于移动设备的行为信息的行为信息获取单元；以及
控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音的声音控制单元，
其中，声音控制单元根据由行为信息获取单元获取的信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
(14)根据(13)所述的移动设备，其中
操作单元是改变移动设备的速度的加速器，
行为信息获取单元是获取关于移动设备的速度信息的速度信息获取单元，以及
声音控制单元根据由速度信息获取单元获取的速度信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
(15)根据(13)或(14)所述的移动设备，其中
操作单元是改变移动设备的行进方向的转向盘，
行为信息获取单元是获取关于移动设备的转向信息的转向信息获取单元，以及
声音控制单元根据由转向信息获取单元获取的转向信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
(16)根据(13)至(15)中的任一项所述的移动设备，进一步包括
获取关于移动设备的接近对象信息的传感器，
其中，声音控制单元根据由传感器获取的接近对象信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
(17)一种在声音信号处理装置中实现的声音信号处理方法，所述声音信号处理方法包括：
行为信息获取步骤，其中行为信息获取单元获取关于移动设备的行为信息；以及
声音控制步骤，其中声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括根据在行为信息获取步骤中获取的行为信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
(18)一种在移动设备中实现的声音信号处理方法，所述声音信号处理方法包括：
传感器检测接近移动设备的对象的存在的步骤；以及
声音控制步骤，其中声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括根据由传感器获取的接近对象存在信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
(19)一种用于使声音信号处理装置进行声音信号处理的程序，所述声音信号处理包括：
行为信息获取步骤，其中使行为信息获取单元获取关于移动设备的行为信息；以及
声音控制步骤，其中使声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括使声音控制单元根据在行为信息获取步骤中获取的行为信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
此外，本说明书中描述的一系列处理可以通过硬件、软件或硬件和软件的组合来进行。在通过软件执行处理的情况下，其中记录了处理序列的程序可以被安装到执行该程序的计算机中的专用硬件中并入的存储器中，或者可以安装到可以执行各种处理并执行该程序的通用计算机中。例如，程序可以预先记录到记录介质中。该程序可以从记录介质安装到计算机中，或者可以通过诸如LAN(局域网)或因特网之类的网络接收并安装到诸如内部硬盘之类的记录介质中。
注意，根据描述，本说明书中描述的各个处理可以不按与描述相应的时间顺序执行，而是可以根据执行处理的设备的处理能力或者根据需要并行地或彼此独立地执行。此外，在本说明书中，***是多个设备的逻辑组件，并不一定意味着具有不同构成的设备并入一个外壳中。
工业适用性
如上所述，本公开的一个实施例的构成根据汽车速度和行进方向的变化，通过控制作为从输入声源获得的分离声音信号的主声源和环境声源的各个虚拟声源位置来执行声场控制。
具体地说，该构成例如包括：速度信息获取单元，其获取关于移动设备的速度信息；转向信息获取单元，其获取关于移动设备的转向信息；以及声音控制单元，其控制来自配置在移动设备中的多个不同位置处的扬声器的输出声音。声音控制单元根据由速度信息获取单元获取的速度信息和由转向信息获取单元获取的转向信息，通过控制作为从输入声源获得的分离声音信号的主声源和环境声源的各个虚拟声源位置，来进行声场控制。
利用该构成，变得可以根据汽车的速度和行进方向的变化，通过控制作为从输入声源获得的分离声音信号的主声源和环境声源的各个虚拟声源位置来进行声场控制。
标符列表
1 声源
10 声源分离单元
11 时间-频率变换单元(STFT)
12 主声源概率估计单元
13 乘法单元
14 频率时间逆变换单元(ISTFT)
15，16 减法单元
20 输出信号生成单元
21 信号处理单元
22 加法单元
100 移动设备
120 声信号处理装置
121 控制单元
122 存储单元
123 输入单元
124 输出单元
131 操作单元
132 驱动装置
141 声源输入单元
142 用户输入单元
143 传感器
201 速度信息获取单元
202 转向信息获取单元
203 声音控制单元
204 传感器信息获取单元

Claims (19)

1.一种声音信号处理装置，包括：
行为信息获取单元，所述行为信息获取单元获取关于移动设备的行为信息；以及
声音控制单元，所述声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制单元根据由行为信息获取单元获取的信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
2.根据权利要求1所述的声音信号处理装置，其中
行为信息获取单元是获取关于移动设备的速度信息的速度信息获取单元，以及
声音控制单元根据由速度信息获取单元获取的速度信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
3.根据权利要求1所述的声音信号处理装置，其中
行为信息获取单元是获取关于移动设备的转向信息的转向信息获取单元，以及
声音控制单元根据由转向信息获取单元获取的转向信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
4.根据权利要求1所述的声音信号处理装置，还包括
传感器信息获取单元，所述传感器信息获取单元获取关于移动设备的接近对象信息，
其中，声音控制单元根据由传感器信息获取单元获取的接近对象信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
5.根据权利要求1所述的声音信号处理装置，其中
声音控制单元包括：
声源分离单元，所述声源分离单元接收声源的输入，并从输入声源获取多个分离的声音信号；以及
输出信号生成单元，所述输出信号生成单元包括延迟单元和放大单元，所述延迟单元和放大单元接收由所述声源分离单元生成的分离声音信号的输入，并对各个扬声器和各个分离声音信号进行延迟处理和放大处理。
6.根据权利要求5所述的声音信号处理装置，其中
声源分离单元生成与作为声源中包含的主要声源的主声源相关联的声音信号，以及与不是主声源的环境声源相关联的声音信号，以及
输出信号生成单元对与主声源相关联的声音信号和与环境声源相关联的声音信号中的每一个进行延迟处理和放大处理，每个声音信号已经由声源分离单元生成。
7.根据权利要求6所述的声音信号处理装置，其中
声音控制单元根据移动设备的行为，通过相互独立地控制从所述输入声源获得的主声源和环境声源的各个虚拟声源位置来进行声场控制。
8.根据权利要求5所述的声音信号处理装置，其中
所述声源是具有L和R两个声道的声源的立体声声音信号，
声源分离单元生成作为声源的组成部分的L声音信号和R声音信号、与作为声源中包含的主要声源的主声源相关联的声音信号以及与不是主声源的环境声源相关联的声音信号，以及
输出信号生成单元对L声音信号、R声音信号、与主声源相关联的声音信号以及与环境声源相关联的声音信号中的每一个进行延迟处理和放大处理，每个声音信号已经由声源分离单元生成。
9.根据权利要求8所述的声音信号处理装置，其中
声音控制单元根据移动设备的行为，通过彼此独立地控制作为声源的组成部分的L声源和R声源以及从输入声源获得的主声源和环境声源的各个虚拟声源位置来进行声场控制。
10.根据权利要求5所述的声音信号处理装置，其中
所述声源是具有L和R两个声道的声源的立体声声音信号，
声源分离单元生成作为声源的组成部分的L声音信号和R声音信号、与作为声源中包含的主要声源的主声源相关联的声音信号、通过从L声音信号减去与主声源相关联的声音信号而获得的与环境L声源相关联的声音信号、以及通过从R声音信号减去与主声源相关联的声音信号而获得的与环境R声源相关联的声音信号，以及
输出信号生成单元对L声音信号、R声音信号、与主声源相关联的声音信号、与环境L声源相关联的声音信号以及与环境R声源相关联的声音信号中的每一个进行延迟处理和放大处理，每个声音信号已经由声源分离单元生成。
11.根据权利要求10所述的声音信号处理装置，其中
声音控制单元根据移动设备的行为，通过彼此独立地控制作为声源的组成部分的L声源和R声源以及从输入声源获得的主声源、环境L声源和环境R声源的各个虚拟声源位置来进行声场控制。
12.根据权利要求1所述的声音信号处理装置，其中
声音控制单元进行声场控制以设定跟随移动设备的驾驶员的视野的声场，所述驾驶员的视野随着移动设备的行为而改变。
13.一种移动设备，包括：
改变移动设备的行为的操作单元；
获取关于移动设备的行为信息的行为信息获取单元；以及
控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音的声音控制单元，
其中，声音控制单元根据由行为信息获取单元获取的信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
14.根据权利要求13所述的移动设备，其中
操作单元是改变移动设备的速度的加速器，
行为信息获取单元是获取关于移动设备的速度信息的速度信息获取单元，以及
声音控制单元根据由速度信息获取单元获取的速度信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
15.根据权利要求13所述的移动设备，其中
操作单元是改变移动设备的行进方向的转向盘，
行为信息获取单元是获取关于移动设备的转向信息的转向信息获取单元，以及
声音控制单元根据由转向信息获取单元获取的转向信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
16.根据权利要求13所述的移动设备，进一步包括
获取关于移动设备的接近对象信息的传感器，
其中，声音控制单元根据由传感器获取的接近对象信息，通过控制从输入声源获得的各个分离的声音信号的虚拟声源位置来进行声场控制。
17.一种在声音信号处理装置中执行的声音信号处理方法，所述声音信号处理方法包括：
行为信息获取步骤，其中行为信息获取单元获取关于移动设备的行为信息；以及
声音控制步骤，其中声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括根据在行为信息获取步骤中获取的行为信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
18.一种在移动设备中执行的声音信号处理方法，所述声音信号处理方法包括：
传感器检测接近移动设备的对象的存在的步骤；以及
声音控制步骤，其中声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括根据由传感器获取的接近对象存在信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
19.一种用于使声音信号处理装置进行声音信号处理的程序，所述声音信号处理包括：
行为信息获取步骤，其中使行为信息获取单元获取关于移动设备的行为信息；以及
声音控制步骤，其中使声音控制单元控制来自被配置在移动设备中的多个不同位置处的扬声器的输出声音，
其中，声音控制步骤包括使声音控制单元根据在行为信息获取步骤中获取的行为信息，通过控制从输入声源获得的每个分离的声音信号的虚拟声源位置来进行声场控制。
CN201980041171.XA 2018-06-26 2019-05-22 声音信号处理装置、移动设备、方法和程序 Pending CN112292872A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-121048 2018-06-26
JP2018121048 2018-06-26
PCT/JP2019/020275 WO2020003819A1 (ja) 2018-06-26 2019-05-22 音声信号処理装置、移動装置、および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112292872A true CN112292872A (zh) 2021-01-29

Family

ID=68986400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041171.XA Pending CN112292872A (zh) 2018-06-26 2019-05-22 声音信号处理装置、移动设备、方法和程序

Country Status (6)

Country Link
US (1) US20210274303A1 (zh)
EP (1) EP3817405A4 (zh)
JP (1) JPWO2020003819A1 (zh)
KR (1) KR20210022567A (zh)
CN (1) CN112292872A (zh)
WO (1) WO2020003819A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025287A (zh) * 2021-10-29 2022-02-08 歌尔光学科技有限公司 一种音频输出控制方法、***及相关组件

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022155833A (ja) * 2021-03-31 2022-10-14 マツダ株式会社 車両用音生成装置
CN117944704A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 控制方法、装置和运载工具

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036998A (ja) * 1999-07-16 2001-02-09 Matsushita Electric Ind Co Ltd ステージの音像定位システム
JP2004186895A (ja) * 2002-12-02 2004-07-02 Sony Corp スピーカ装置
JP2006304068A (ja) * 2005-04-22 2006-11-02 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法およびプログラム並びに音響信号再生方式
EP1787866A1 (en) * 2004-07-14 2007-05-23 Matsushita Electric Industries Co. Ltd. Informing device
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
JP2009251799A (ja) * 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車外情報提供装置及び車外情報提供方法
JP2009301123A (ja) * 2008-06-10 2009-12-24 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2014127934A (ja) * 2012-12-27 2014-07-07 Denso Corp 音像定位装置、及び、プログラム
JP2016066912A (ja) * 2014-09-25 2016-04-28 本田技研工業株式会社 車両用音楽生成装置、車両用音楽生成方法、および車両用音楽生成プログラム
US20160205491A1 (en) * 2013-08-20 2016-07-14 Harman Becker Automotive Systems Manufacturing Kft A system for and a method of generating sound
US20160345115A1 (en) * 2015-05-18 2016-11-24 Hyundai Motor Company Vehicle and control method for the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235684A (ja) * 1999-02-12 2000-08-29 Toyota Central Res & Dev Lab Inc 音像位置制御装置
JP3916087B2 (ja) * 2004-06-29 2007-05-16 ソニー株式会社 疑似ステレオ化装置
JP4840421B2 (ja) * 2008-09-01 2011-12-21 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
JP5248718B1 (ja) * 2011-12-19 2013-07-31 パナソニック株式会社 音分離装置、および音分離方法
JP2014127935A (ja) * 2012-12-27 2014-07-07 Denso Corp 音像定位装置、及び、プログラム
US9749769B2 (en) 2014-07-30 2017-08-29 Sony Corporation Method, device and system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036998A (ja) * 1999-07-16 2001-02-09 Matsushita Electric Ind Co Ltd ステージの音像定位システム
JP2004186895A (ja) * 2002-12-02 2004-07-02 Sony Corp スピーカ装置
EP1787866A1 (en) * 2004-07-14 2007-05-23 Matsushita Electric Industries Co. Ltd. Informing device
JP2006304068A (ja) * 2005-04-22 2006-11-02 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法およびプログラム並びに音響信号再生方式
JP2008035472A (ja) * 2006-06-28 2008-02-14 National Univ Corp Shizuoka Univ 車内外音響伝送システム
JP2009251799A (ja) * 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車外情報提供装置及び車外情報提供方法
JP2009301123A (ja) * 2008-06-10 2009-12-24 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2014127934A (ja) * 2012-12-27 2014-07-07 Denso Corp 音像定位装置、及び、プログラム
US20160205491A1 (en) * 2013-08-20 2016-07-14 Harman Becker Automotive Systems Manufacturing Kft A system for and a method of generating sound
JP2016066912A (ja) * 2014-09-25 2016-04-28 本田技研工業株式会社 車両用音楽生成装置、車両用音楽生成方法、および車両用音楽生成プログラム
US20160345115A1 (en) * 2015-05-18 2016-11-24 Hyundai Motor Company Vehicle and control method for the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025287A (zh) * 2021-10-29 2022-02-08 歌尔光学科技有限公司 一种音频输出控制方法、***及相关组件
CN114025287B (zh) * 2021-10-29 2023-02-17 歌尔科技有限公司 一种音频输出控制方法、***及相关组件

Also Published As

Publication number Publication date
KR20210022567A (ko) 2021-03-03
EP3817405A1 (en) 2021-05-05
EP3817405A4 (en) 2021-08-04
JPWO2020003819A1 (ja) 2021-08-05
WO2020003819A1 (ja) 2020-01-02
US20210274303A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US5979586A (en) Vehicle collision warning system
EP2550813B1 (en) Multichannel sound reproduction method and device
US10070242B2 (en) Devices and methods for conveying audio information in vehicles
CN112292872A (zh) 声音信号处理装置、移动设备、方法和程序
JP2006019908A (ja) 車両用報知音出力装置及びプログラム
JP2017153083A (ja) 自動車でオーディオ信号を再生する装置及び方法
JP2007116365A (ja) マルチチャンネル音響システム及びバーチャルスピーカ音声生成方法
CN112954581B (zh) 一种音频播放方法、***及装置
EP3392619B1 (en) Audible prompts in a vehicle navigation system
JP6791110B2 (ja) 車両用オーディオシステム
JP2018514134A (ja) 前面ラウドスピーカによって個別の三次元音響を達成する、車内再生のためのステレオ信号を処理する装置および方法
JP2023126870A (ja) 車両向けの空間インフォテインメントレンダリングシステム
CN116074728A (zh) 用于音频处理的方法
EP3358862A1 (en) Method and device for stereophonic depiction of virtual noise sources in a vehicle
JP2010272911A (ja) 音情報提供装置及び音情報提供方法
JP2009222993A (ja) 車両用音声案内装置
US20220014865A1 (en) Apparatus And Method To Provide Situational Awareness Using Positional Sensors And Virtual Acoustic Modeling
JP2012206655A (ja) 車載用音響再生装置
JP2007312081A (ja) オーディオシステム
EP4202370A1 (en) Sound output device
US20230012320A1 (en) Signal generating apparatus, vehicle, and computer-implemented method of generating signals
CN117719532A (zh) 多通道车载座椅振动反馈***、方法与相关设备
CN115426585A (zh) 汽车座舱声音报警控制方法及***
CN116913270A (zh) 一种语音交互方法、***及车辆
CN117812527A (zh) 一种多声道环绕声生成方法、装置和可存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129