WO2022113289A1 - ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 - Google Patents
ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 Download PDFInfo
- Publication number
- WO2022113289A1 WO2022113289A1 PCT/JP2020/044294 JP2020044294W WO2022113289A1 WO 2022113289 A1 WO2022113289 A1 WO 2022113289A1 JP 2020044294 W JP2020044294 W JP 2020044294W WO 2022113289 A1 WO2022113289 A1 WO 2022113289A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- venue
- sound source
- information
- live data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000002716 delivery method Methods 0.000 title abstract 2
- 238000012545 processing Methods 0.000 claims abstract description 69
- 230000004807 localization Effects 0.000 claims abstract description 20
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 230000007613 environmental effect Effects 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000005236 sound signal Effects 0.000 description 40
- 230000004044 response Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 238000004091 panning Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 241001342895 Chorus Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Definitions
- One embodiment of the present invention relates to a live data distribution method, a live data distribution system, a live data distribution device, a live data reproduction device, and a live data reproduction method.
- Patent Document 1 discloses a game watching method that enables a user to effectively enjoy the enthusiasm of a game as if he / she is in a stadium on a terminal for watching a sports game.
- the game watching method of Patent Document 1 transmits reaction information indicating a user's reaction from each user's terminal.
- the terminal of each user displays the icon information based on the reaction information.
- Patent Document 1 only displays icon information, and does not provide the presence of the live venue to the venue of the distribution destination when the live data is distributed.
- One embodiment of the present invention is a live data distribution method, a live data distribution system, a live data distribution device, and live data that can provide the presence of a live venue to the venue of the distribution destination when the live data is distributed. It is an object of the present invention to provide a reproduction device and a method of reproducing live data.
- the live data distribution method is generated at the sound of the first sound source generated at the first place of the first venue, the first sound source information related to the position information of the first sound source, and the second place of the first venue.
- the second sound source information related to the second sound source is distributed as distribution data, the distribution data is rendered, and localization processing is performed based on the position information of the first sound source, and the sound of the first sound source and the second sound source. The sound of the sound source and the sound of the sound source will be provided to the second venue.
- the live data distribution method can provide the presence of the live venue to the venue of the distribution destination when the live data is distributed.
- FIG. 3 is a schematic plan view of the second venue 20 in the live data distribution system 1A according to the first modification.
- FIG. It is a block diagram which shows the structure of the live data distribution system 1B which concerns on modification 2.
- FIG. It is a block diagram which shows the structure of the AV receiver 32. It is a block diagram which shows the structure of the live data distribution system 1C which concerns on modification 3. It is a block diagram which shows the structure of a terminal 42. It is a block diagram which shows the structure of the live data distribution system 1D which concerns on modification 4. It is a figure which shows an example of the live image 700 displayed by the reproduction apparatus of each venue.
- FIG. 1 is a block diagram showing the configuration of the live data distribution system 1.
- the live data distribution system 1 includes a plurality of audio devices and information processing devices installed in the first venue 10 and the second venue 20, respectively.
- FIG. 2 is a schematic plan view of the first venue 10
- FIG. 3 is a schematic plan view of the second venue 20.
- the first venue 10 is a live venue where the performer performs.
- the second venue 20 is a public viewing venue where listeners in remote areas watch the performers' performances.
- a mixer 11 In the first venue 10, a mixer 11, a distribution device 12, a plurality of microphones 13A to 13F, a plurality of speakers 14A to 14G, a plurality of trackers 15A to 15C, and a camera 16 are installed.
- a mixer 21, a reproduction device 22, a display 23, and a plurality of speakers 24A to 24F are installed in the second venue 20.
- the distribution device 12 and the playback device 22 are connected via the Internet 5.
- the number of microphones, the number of speakers, the number of trackers, and the like are not limited to the numbers shown in the present embodiment. Further, the installation mode of the microphone and the speaker is not limited to the example shown in this embodiment.
- the mixer 11 is connected to a distribution device 12, a plurality of microphones 13A to 13F, a plurality of speakers 14A to 14G, and a plurality of trackers 15A to 15C.
- the mixer 11, the plurality of microphones 13A to 13F, and the plurality of speakers 14A to 14G are connected via a network cable or an audio cable.
- the plurality of trackers 15A to 15C are connected to the mixer 11 via wireless communication.
- the mixer 11 and the distribution device 12 are connected via a network cable.
- the distribution device 12 is connected to the camera 16 via a video cable. The camera 16 captures a live image including the performer.
- a plurality of speakers 14A to 14G are installed along the wall surface of the first venue 10.
- the first venue 10 in this example has a rectangular shape in a plan view.
- a stage is arranged in front of the first venue 10. On the stage, the performers perform performances such as singing or playing.
- the speaker 14A is installed on the left side of the stage
- the speaker 14B is installed in the center of the stage
- the speaker 14C is installed on the right side of the stage.
- the speaker 14D is installed on the left side of the front-rear center of the first venue 10
- the speaker 14E is installed on the right side of the front-rear center of the first venue 10.
- the speaker 14F is installed on the rear left side of the first venue 10, and the speaker 14G is installed on the rear right side of the first venue 10.
- the microphone 13A is installed on the left side of the stage, the microphone 13B is installed in the center of the stage, and the microphone 13C is installed on the right side of the stage.
- the microphone 13D is installed on the left side of the front and rear center of the first venue 10, and the microphone 13E is installed on the rear center of the first venue 10.
- the microphone 13F is installed on the right side of the center of the front and rear of the first venue 10.
- the mixer 11 receives a sound signal from the microphones 13A to 13F. Further, the mixer 11 outputs a sound signal to the speakers 14A to 14G.
- a speaker and a microphone are shown as an example of the audio equipment connected to the mixer 11, but in reality, a large number of audio equipments are connected to the mixer 11.
- the mixer 11 receives a sound signal from a plurality of audio devices such as a microphone, performs signal processing such as mixing, and outputs the sound signal to the plurality of audio devices such as a speaker.
- the microphones 13A to 13F acquire the singing sound or the playing sound of the performer as the sounds generated in the first venue 10.
- the microphones 13A to 13F acquire the environmental sound of the first venue 10.
- the microphones 13A to 13C acquire the sound of the performer
- the microphones 13D to 13F acquire the environmental sound.
- Environmental sounds include sounds such as listener cheers, applause, calls, cheers, choruses, or buzzes.
- the sound of the performer may be input in a line.
- the line input is not to pick up the sound output from a sound source such as a musical instrument with a microphone and input it, but to input a sound signal from an audio cable or the like connected to the sound source. It is preferable that the sound of the performer is acquired with a sound having a high SN ratio and does not include other sounds.
- Speakers 14A to 14G output the sound of the performer to the first venue 10. Further, the speakers 14A to 14G may output the initial reflected sound or the rear reverberation sound for controlling the sound field of the first venue 10.
- the mixer 21 of the second venue 20 is connected to the reproduction device 22 and a plurality of speakers 24A to 24F. These audio devices are connected via a network cable or an audio cable. Further, the reproduction device 22 is connected to the display 23 via a video cable.
- a plurality of speakers 24A to 24F are installed along the wall surface of the second venue 20.
- the second venue 20 in this example has a rectangular shape in a plan view.
- a display 23 is arranged in front of the second venue 20.
- the display 23 displays a live image taken at the first venue 10.
- the speaker 24A is installed on the left side of the display 23, and the speaker 24B is installed on the right side of the display 23.
- the speaker 24C is installed on the left side of the front-rear center of the second venue 20, and the speaker 24D is installed on the right side of the front-rear center of the second venue 20.
- the speaker 24E is installed on the rear left side of the second venue 20, and the speaker 24F is installed on the rear right side of the second venue 20.
- the mixer 21 outputs a sound signal to the speakers 24A to 24F.
- the mixer 21 receives a sound signal from the reproduction device 22, performs signal processing such as mixing, and outputs the sound signal to a plurality of audio devices such as a speaker.
- Speakers 24A to 24F output the sound of the performer to the second venue 20. Further, the speakers 24A to 24F output the initial reflected sound or the rear reverberation sound for reproducing the sound field of the first venue 10. Further, the speakers 24A to 24F output environmental sounds such as the cheers of the listeners of the first venue 10 to the second venue 20.
- FIG. 4 is a block diagram showing the configuration of the mixer 11. Since the mixer 21 has the same configuration and function as the mixer 11, FIG. 4 shows the configuration of the mixer 11 as a representative.
- the mixer 11 includes a display 101, a user I / F 102, an audio I / O (Input / Output) 103, a signal processing unit (DSP) 104, a network I / F 105, a CPU 106, a flash memory 107, and a RAM 108.
- DSP signal processing unit
- the CPU 106 is a control unit that controls the operation of the mixer 11.
- the CPU 106 performs various operations by reading a predetermined program stored in the flash memory 107, which is a storage medium, into the RAM 108 and executing the program.
- the program read by the CPU 106 does not need to be stored in the flash memory 107 in the own device.
- the program may be stored in a storage medium of an external device such as a server.
- the CPU 106 may read the program from the server into the RAM 108 and execute the program each time.
- the signal processing unit 104 is composed of a DSP for performing various signal processing.
- the signal processing unit 104 performs signal processing such as mixing processing and filtering processing on a sound signal input from an audio device such as a microphone via an audio I / O 103 or a network I / F 105.
- the signal processing unit 104 outputs the audio signal after signal processing to an audio device such as a speaker via the audio I / O 103 or the network I / F 105.
- the signal processing unit 104 may perform panning processing, initial reflected sound generation processing, and rear reverberation sound generation processing.
- the panning process is a process of controlling the volume of a sound signal distributed to a plurality of speakers 14A to 14G so that the sound image is localized at the position of the performer.
- the CPU 106 acquires the position information of the performer via the trackers 15A to 15C.
- the position information is information indicating two-dimensional or three-dimensional coordinates with respect to a certain position of the first venue 10.
- the trackers 15A to 15C are tags for transmitting and receiving radio waves such as Bluetooth (registered trademark).
- the performer or instrument is fitted with trackers 15A-15C.
- At least three beacons are installed in advance in the first venue 10. Each beacon measures the distance from the trackers 15A to 15C based on the time difference between transmitting and receiving radio waves.
- the CPU 106 can uniquely obtain the positions of the trackers 15A to 15C by acquiring the position information of the beacon in advance and measuring the distances from at least three beacons to the tag.
- the CPU 106 acquires the position information of each performer, that is, the position information of the sound generated in the first venue 10 via the trackers 15A to 15C. Based on the acquired position information and the positions of the speakers 14A to 14G, the CPU 106 determines the volume of each sound signal output to the speakers 14A to 14G so that the sound image is localized at the position of the performer.
- the signal processing unit 104 controls the volume of each sound signal output to the speaker 14A to the speaker 14G according to the control of the CPU 106. For example, the signal processing unit 104 increases the volume of the sound signal output to the speaker near the performer's position and decreases the volume of the sound signal output to the speaker far from the performer's position. As a result, the signal processing unit 104 can localize the sound image of the performer's performance sound or singing sound at a predetermined position.
- the initial reflected sound generation process and the rear reverberation sound generation process are processes in which the impulse response is convoluted into the performer's sound by the FIR filter.
- the signal processing unit 104 for example, convolves the impulse response acquired in advance at a predetermined venue (a venue other than the first venue 10) into the sound of the performer. As a result, the signal processing unit 104 controls the sound field of the first venue 10. Alternatively, the signal processing unit 104 may control the sound field of the first venue 10 by further feeding back the sound acquired by the microphone installed near the ceiling or wall surface of the first venue 10 to the speakers 14A to 14G. good.
- the signal processing unit 104 outputs the sound of the performer and the position information of the performer to the distribution device 12.
- the distribution device 12 acquires the sound of the performer and the position information of the performer from the mixer 11.
- the distribution device 12 acquires a video signal from the camera 16.
- the camera 16 photographs each performer or the entire first venue 10, and outputs a video signal related to the live video to the distribution device 12.
- the distribution device 12 acquires the sound information of the space of the first venue 10.
- the sound information of the space is the information for generating the indirect sound.
- the indirect sound is the sound that the sound of the sound source is reflected in the hall and reaches the listener, and includes at least the early reflection sound and the rear reverberation sound.
- the spatial reverberation information includes, for example, information indicating the size and shape of the space of the first venue 10, the material of the wall surface, and the impulse response related to the rear reverberation sound.
- the information indicating the size, shape, and material of the wall surface of the space is information for generating the initial reflected sound.
- the information for generating the initial reflected sound may be an impulse response.
- the impulse response is measured in advance at, for example, the first venue 10.
- the sound information of the space may be information that changes according to the position of the performer.
- the information that changes according to the position of the performer is, for example, an impulse response measured in advance for each position of the performer in the first venue 10.
- the distribution device 12 has, for example, a first impulse response when the performer's sound is generated in front of the stage in the first venue 10, a second impulse response when the performer's sound is generated on the left side of the stage, and a performer on the right side of the stage.
- the third impulse response when the sound of is generated is acquired.
- the impulse response is not limited to three.
- the impulse response does not need to be actually measured in the first venue 10, and may be obtained by simulation from, for example, the size and shape of the space of the first venue 10, the material of the wall surface, and the like.
- the initial reflected sound is a reflected sound in which the direction of arrival of the sound is determined
- the rear reverberation sound is a reflected sound in which the direction of arrival of the sound is not determined.
- the change in the rear reverberation sound due to the change in the position of the performer's sound is smaller than that in the initial reflection sound. Therefore, the spatial reverberation information may be in the form of an impulse response of the initial reflected sound that changes according to the position of the performer and an impulse response of the rear reverberation sound that is constant regardless of the position of the performer.
- the signal processing unit 104 may acquire the ambience information related to the environmental sound and output it to the distribution device 12.
- the environmental sound is a sound acquired by the microphones 13D to 13F as described above, and includes background noise, listener's cheering, applause, calling, cheering, chorus, or noise. However, the environmental sound may be acquired by the microphones 13A to 13C on the stage.
- the signal processing unit 104 outputs a sound signal related to the environmental sound to the distribution device 12 as ambience information.
- the ambience information may include the position information of the environmental sound.
- the cheers of each listener such as "Ganbare", the call for the performer's personal name, or the exclamation words such as "Bravo” are sounds that can be recognized as individual listener voices without being buried in the audience.
- the signal processing unit 104 may acquire the position information of these individual sounds.
- the position information of the environmental sound can be obtained from, for example, the sound acquired by the microphones 13D to 13F.
- the signal processing unit 104 obtains the correlation of the sound signals of the microphones 13D to 13F, and the difference in timing at which the individual sounds are picked up by the microphones 13D to 13F. Ask for.
- the signal processing unit 104 can uniquely determine the position in the first venue 10 where the sound is generated, based on the difference in the timing at which the sounds are picked up by the microphones 13D to 13F.
- the distribution device 12 encodes and distributes the sound source information related to the sound generated in the first venue 10 and the sound information of the space as distribution data.
- the sound source information includes at least the sound of the performer, but may include the position information of the sound of the performer. Further, the distribution device 12 may include the ambience information related to the environmental sound in the distribution data and distribute it.
- the distribution device 12 may include the video signal related to the video of the performer in the distribution data and distribute it.
- the distribution device 12 may distribute at least the sound source information related to the performer's sound and the performer's position information and the ambience information related to the environmental sound as distribution data.
- FIG. 5 is a block diagram showing the configuration of the distribution device 12.
- FIG. 6 is a flowchart showing the operation of the distribution device 12.
- the distribution device 12 is an information processing device such as a general personal computer.
- the distribution device 12 includes a display 201, a user I / F202, a CPU203, a RAM204, a network I / F205, a flash memory 206, and a general-purpose communication I / F207.
- the CPU 203 reads a program stored in the flash memory 206, which is a storage medium, into the RAM 204 to realize a predetermined function.
- the program read by the CPU 203 does not need to be stored in the flash memory 206 in the own device.
- the program may be stored in a storage medium of an external device such as a server.
- the CPU 203 may read the program from the server into the RAM 204 and execute the program each time.
- the CPU 203 acquires the performer's sound and the performer's position information (sound source information) from the mixer 11 via the network I / F 205 (S11). Further, the CPU 203 acquires the sound information of the space of the first venue 10 (S12). Further, the CPU 203 acquires the ambience information related to the environmental sound (S13). Further, the CPU 203 may acquire a video signal from the camera 16 via the general-purpose communication I / F 207.
- the CPU 203 encodes and distributes data related to the performer's sound and sound position information (sound source information), data related to spatial resonance information, data related to ambience information, and data related to video signals as distribution data ( S14).
- the reproduction device 22 receives distribution data from the distribution device 12 via the Internet 5.
- the reproduction device 22 renders the distribution data and provides the sound of the performer and the sound related to the resonance of the space to the second venue 20.
- the reproduction device 22 provides the sound of the performer and the environmental sound included in the ambience information to the second venue 20.
- FIG. 7 is a block diagram showing the configuration of the reproduction device 22.
- FIG. 8 is a flowchart showing the operation of the reproduction device 22.
- the playback device 22 is an information processing device such as a general personal computer.
- the reproduction device 22 includes a display 301, a user I / F 302, a CPU 303, a RAM 304, a network I / F 305, a flash memory 306, and a video I / F 307.
- the CPU 303 reads a program stored in the flash memory 306, which is a storage medium, into the RAM 304 to realize a predetermined function.
- the program read by the CPU 303 does not need to be stored in the flash memory 306 in the own device.
- the program may be stored in a storage medium of an external device such as a server.
- the CPU 303 may read the program from the server into the RAM 304 and execute the program each time.
- the CPU 303 receives distribution data from the distribution device 12 via the network I / F 305 (S21).
- the CPU 303 decodes the distribution data into sound source information, spatial resonance information, ambience information, video signals, etc. (S22), and renders sound source information, spatial resonance information, ambience information, video signals, and the like.
- the CPU 303 causes the mixer 21 to perform a panning process of the performer's sound as an example of rendering the sound source information (S23).
- the panning process is a process of localizing the performer's sound to the performer's position as described above.
- the CPU 303 determines the volume of the sound signal to be distributed to the speakers 24A to 24F so that the sound of the performer is localized at the position indicated by the position information included in the sound source information.
- the CPU 303 causes the mixer 21 to perform a panning process by outputting to the mixer 21 information indicating the sound signal related to the sound of the performer and the output amount of the sound signal related to the sound of the performer to the speakers 24A to 24F. ..
- the listener in the second venue 20 can perceive that the sound is emitted from the position of the performer.
- the listener in the second venue 20 can hear the sound of the performer on the right side of the stage in the first venue 10 from the front right side in the second venue 20 as well.
- the CPU 303 may render a video signal and display a live video on the display 23 via the video I / F 307.
- the listener in the second venue 20 listens to the sound of the performer who has been panned while watching the image of the performer displayed on the display 23.
- the listener in the second venue 20 can get a more immersive feeling for the live performance because the visual information and the auditory information match.
- the CPU 303 causes the mixer 21 to perform indirect sound generation processing as an example of rendering spatial resonance information (S24).
- the indirect sound generation process includes an initial reflected sound generation process and a rear reverberation sound generation process.
- the initial reflected sound is generated based on the sound of the performer included in the sound source information and the information indicating the size, shape, wall material, etc. of the space of the first venue 10 included in the sound information of the space.
- the CPU 303 determines the arrival timing of the initial reflected sound based on the size and shape of the space, and determines the level of the initial reflected sound based on the material of the wall surface.
- the CPU 303 causes the mixer 11 to execute a process of convolving the impulse response into the performer's sound by the FIR filter.
- the CPU 303 outputs the spatial resonance information (impulse response) included in the distribution data to the mixer 21.
- the mixer 21 convolves the spatial resonance information (impulse response) received from the reproduction device 22 into the sound of the performer. As a result, the mixer 21 reproduces the sound of the space of the first venue 10 in the second venue 20.
- the playback device 22 outputs the spatial resonance information corresponding to the performer's position to the mixer 21 based on the position information included in the sound source information. For example, when the performer who was in front of the stage in the first venue 10 moves to the left side of the stage, the impulse response convoluted in the performer's sound is changed from the first impulse response to the second impulse response. As a result, the sound of the appropriate space according to the position of the performer is reproduced in the second venue 20 as well.
- the rear reverberation sound is a reflected sound in which the direction of arrival of the sound is uncertain.
- the change in the rear reverberation sound due to the change in the position of the sound is smaller than that in the initial reflection sound. Therefore, the reproduction device 22 may change only the impulse response of the initial reflected sound that changes according to the position of the performer, and may fix the impulse response of the rear reverberation sound.
- the reproduction device 22 may omit the indirect sound generation process and use the sound of the second venue 20 as it is. Further, the indirect sound generation process may be limited to the initial reflected sound generation process. As the rear reverberation sound, the sound of the second venue 20 may be used as it is. Alternatively, the mixer 21 may reinforce the control of the second venue 20 by further feeding back the sound acquired by the microphone (not shown) installed near the ceiling or wall surface of the second venue 20 to the speakers 24A to 24F. good.
- the CPU 303 of the reproduction device 22 performs the reproduction processing of the environmental sound based on the ambience information (S25).
- Ambience information includes sound signals of sounds such as background noise, listener cheers, applause, calls, cheers, choruses, or buzzes.
- the CPU 303 outputs these sound signals to the mixer 21.
- the mixer 21 outputs the sound signal received from the reproduction device 22 to the speakers 24A to 24F.
- the CPU 303 causes the mixer 21 to perform the localization processing of the environmental sound by the panning process.
- the CPU 303 determines the volume of the sound signal to be distributed to the speakers 24A to 24F so that the environmental sound is localized at the position of the position information included in the ambience information.
- the CPU 303 causes the mixer 21 to perform the panning process by outputting the sound signal of the environmental sound and the information indicating the output amount of the sound signal related to the environmental sound to the speakers 24A to 24F to the mixer 21.
- the CPU 303 may perform a process of perceiving spatial expanse by causing the mixer 21 to perform an effect process such as reverb for the sound emitted by many listeners at the same time, which cannot be recognized as the voice of an individual listener. good. For example, background noise, applause, chorus, cheers such as "Wow", noise, etc. are sounds that reverberate throughout the live venue.
- the CPU 303 causes the mixer 21 to perform effect processing for perceiving the spatial spread of these sounds.
- the reproduction device 22 may provide the environmental sound based on the ambience information as described above to the second venue 20. As a result, the listener of the second venue 20 can watch the live performance with a more realistic feeling as if he / she is watching the live performance at the first venue 10.
- the live data distribution system 1 of the present embodiment distributes the sound source information related to the sound generated in the first venue 10 and the sound information of the space as distribution data, renders the distribution data, and then renders the distribution data.
- the sound related to the sound source information and the sound related to the resonance of the space are provided to the second venue 20.
- the presence of the live venue can be provided to the venue of the delivery destination.
- the live data distribution system 1 includes the sound of the first sound source (for example, the sound of the performer) generated at the first place (for example, the stage) where the first venue 10 is located, and the first sound source related to the position information of the first sound source.
- Information and the second sound source information related to the second sound source (for example, environmental sound) generated at the second place (for example, the place where the listener is) of the first venue 10 are distributed as distribution data, and the distribution data is rendered.
- the sound of the first sound source subjected to the localization processing based on the position information of the first sound source and the sound of the second sound source are provided to the second venue.
- the presence of the live venue can be provided to the venue of the delivery destination.
- FIG. 9 is a block diagram showing the configuration of the live data distribution system 1A according to the first modification.
- FIG. 10 is a schematic plan view of the second venue 20 in the live data distribution system 1A according to the modified example 1.
- the configurations common to those in FIGS. 1 and 3 are designated by the same reference numerals, and the description thereof will be omitted.
- a plurality of microphones 25A to 25C are installed in the second venue 20 of the live data distribution system 1A.
- the microphone 25A is installed on the left side of the front and rear center toward the stage 23 of the second venue 20, and the microphone 25B is installed on the rear center of the second venue 20.
- the microphone 25C is installed on the right side of the center of the front and rear of the second venue 20.
- the microphones 25A to 25C acquire the environmental sound of the second venue 20.
- the mixer 21 outputs the sound signal of the environmental sound to the reproduction device 22 as ambience information.
- the ambience information may include the position information of the environmental sound. As described above, the position information of the environmental sound can be obtained from the sound acquired by, for example, the microphones 25A to 25C.
- the reproduction device 22 transmits the ambience information related to the environmental sound generated in the second venue 20 to another venue as the third sound source. For example, the reproduction device 22 feeds back the environmental sound generated in the second venue 20 to the first venue 10.
- the performers on the stage of the first venue 10 can hear voices, applause, cheers, etc. other than the listeners of the first venue 10, and can perform the live performance in an environment full of presence.
- the listeners in the first venue 10 can also hear the voices, applause, cheers, etc. of the listeners in other venues, and can watch the live performance in an environment full of realism.
- the playback device of another venue renders the distribution data and provides the sound of the first venue to the other venue, and also provides the environmental sound generated in the second venue 20 to the other venue.
- the listeners at the other venues can also hear the voices, applause, cheers, etc. of many listeners, and can watch live performances in a realistic environment.
- FIG. 11 is a block diagram showing the configuration of the live data distribution system 1B according to the second modification.
- the configurations common to those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the distribution device 12 is connected to the AV receiver 32 of the third venue 20A via the Internet 5.
- the AV receiver 32 is connected to the display 33, the plurality of speakers 34A to 34F, and the microphone 35.
- the third venue 20A is, for example, the home of a certain listener.
- the AV receiver 32 is an example of a playback device. The user of the AV receiver 32 becomes a listener who remotely watches the live performance of the first venue 10.
- FIG. 12 is a block diagram showing the configuration of the AV receiver 32.
- the AV receiver 32 includes a display 401, a user I / F 402, an audio I / O (Input / Output) 403, a signal processing unit (DSP) 404, a network I / F 405, a CPU 406, a flash memory 407, a RAM 408, and a video I /. It is equipped with F409.
- DSP signal processing unit
- the CPU 406 is a control unit that controls the operation of the AV receiver 32.
- the CPU 406 performs various operations by reading a predetermined program stored in the flash memory 407, which is a storage medium, into the RAM 408 and executing the program.
- the program read by the CPU 406 does not need to be stored in the flash memory 407 in the own device.
- the program may be stored in a storage medium of an external device such as a server.
- the CPU 406 may read the program from the server into the RAM 408 and execute the program each time.
- the signal processing unit 404 is composed of a DSP for performing various signal processing.
- the signal processing unit 404 performs signal processing on the sound signal input via the audio I / O 403 or the network I / F 405.
- the signal processing unit 404 outputs the audio signal after signal processing to an audio device such as a speaker via the audio I / O 403 or the network I / F 405.
- the AV receiver 32 performs the same processing as that performed by the mixer 21 and the reproduction device 22.
- the CPU 406 receives distribution data from the distribution device 12 via the network I / F 405.
- the CPU 406 renders the distribution data and provides the sound of the performer and the sound related to the sound of the space to the third venue 20A.
- the CPU 406 renders the distribution data and provides the environmental sound generated in the first venue 10 to the third venue 20A.
- the CPU 406 may render the distribution data and display the live video on the display 33 via the video I / F 307.
- the signal processing unit 404 performs panning processing for the performer's sound. Further, the signal processing unit 404 performs indirect sound generation processing. Alternatively, the signal processing unit 404 may perform panning processing of the environmental sound.
- the AV receiver 32 can provide the presence of the first venue 10 to the third venue 20A.
- the AV receiver 32 acquires the environmental sound (sound of the listener's cheering, applause, calling, etc.) of the third venue 20A via the microphone 35.
- the AV receiver 32 transmits the environmental sound of the third venue 20A to another device. For example, the AV receiver 32 feeds back the environmental sound of the third venue 20A to the first venue 10.
- the performers on the stage of the first venue 10 can cheer, applaud, cheer, etc. of many listeners other than the listeners of the first venue 10. You can listen to it and perform live performances in a realistic environment.
- the listeners in the first venue 10 can also hear the cheers, applause, cheers, etc. of many listeners in remote areas, and can watch the live performance in an environment full of realism.
- the AV receiver 32 displays icon images such as “cheering”, “applause”, “calling”, and “buzzing” on the display 401, and a selection operation for these icon images from the listener via the user I / F 402. You may accept the reaction of the listener by accepting. When the AV receiver 32 receives these reaction selection operations, it may generate a sound signal corresponding to each reaction and transmit it to another device as ambience information.
- the AV receiver 32 may transmit information indicating the type of environmental sound such as cheering, applause, or calling of the listener as ambience information.
- the receiving device for example, the distribution device 12 and the mixer 11
- the ambience information is not the sound signal of the environmental sound but the information indicating the sound to be generated, and may be a process in which the distribution device 12 and the mixer 11 reproduce the environmental sound or the like recorded in advance.
- the ambience information of the first venue 10 may not be the environmental sound generated in the first venue 10, but may be a pre-recorded environmental sound.
- the distribution device 12 distributes information indicating the sound to be generated as ambience information.
- the reproduction device 22 or the AV receiver 32 reproduces the corresponding environmental sound based on the ambience information.
- background noise, noise and the like may be recorded sounds, and other environmental sounds (for example, listener's cheering, applause, calling, etc.) may be sounds generated in the first venue 10.
- the AV receiver 32 may receive the position information of the listener via the user I / F 402.
- the AV receiver 32 displays an image imitating a plan view or a perspective view of the first venue 10 on the display 401 or the display 33, and receives position information from the listener via the user I / F 402 (for example, FIG. 16). See).
- the position information is information that specifies an arbitrary position in the first venue 10.
- the AV receiver 32 transmits the received position information of the listener to the first venue 10.
- the distribution device 12 and the mixer 11 in the first venue localize the environmental sound of the third venue 20A at a designated position based on the environmental sound of the third venue 20A received from the AV receiver 32 and the position information of the listener. To do.
- the AV receiver 32 may change the content of the panning process based on the position information received from the user. For example, if the listener specifies a position immediately in front of the stage of the first venue 10, the AV receiver 32 sets the localization position of the performer's sound to the position immediately in front of the listener and performs the panning process. As a result, the listener in the third venue 20A can get a sense of reality as if he / she is right in front of the stage in the first venue 10.
- the listener sound of the third venue 20A may be transmitted to the second venue 20 instead of the first venue 10, or may be transmitted to another venue.
- the sound of the listener in the third venue 20A may be transmitted only to a friend's home (fourth venue).
- the listener in the 4th venue can watch the live performance of the 10th venue 10 while listening to the sound of the listener in the 3rd venue 20A.
- the playback device (not shown) in the fourth venue may transmit the sound of the listener in the fourth venue to the third venue 20A.
- the listener in the third venue 20A can watch the live performance of the first venue 10 while listening to the sound of the listener in the fourth venue.
- the listener in the third venue 20A and the listener in the fourth venue can watch the live performance of the first venue 10 while talking with each other.
- FIG. 13 is a block diagram showing the configuration of the live data distribution system 1C according to the modified example 3.
- the configurations common to those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the distribution device 12 is connected to the terminal 42 of the fifth venue 20B via the Internet 5.
- the terminal 42 is connected to the headphones 43.
- the fifth venue 20B is, for example, the home of a certain listener. However, when the terminal 42 is a portable type, the fifth venue 20B may be in any place such as in a cafe, in a car, or in public transportation. In this case, any place can be the 5th venue 20B.
- the terminal 42 is an example of a playback device.
- the user of the terminal 42 becomes a listener who remotely watches the live performance of the first venue 10.
- the terminal 42 renders the distribution data and provides the sound related to the sound source information and the sound related to the resonance of the space to the second venue (in this example, the fifth venue 20B) via the headphone 43.
- FIG. 14 is a block diagram showing the configuration of the terminal 42.
- the terminal 42 is an information processing device such as a personal computer, a smartphone, or a tablet computer.
- the terminal 42 includes a display 501, a user I / F 502, a CPU 503, a RAM 504, a network I / F 505, a flash memory 506, an audio I / O (Input / Output) 507, and a microphone 508.
- the CPU 503 is a control unit that controls the operation of the terminal 42.
- the CPU 503 performs various operations by reading a predetermined program stored in the flash memory 506, which is a storage medium, into the RAM 504 and executing the program.
- the program read by the CPU 503 does not need to be stored in the flash memory 506 in the own device.
- the program may be stored in a storage medium of an external device such as a server.
- the CPU 503 may read the program from the server into the RAM 504 and execute the program each time.
- the CPU 503 performs signal processing on the sound signal input via the network I / F 505.
- the CPU 503 outputs the signal-processed audio signal to the headphone 43 via the audio I / O 507.
- the CPU 503 receives distribution data from the distribution device 12 via the network I / F 505.
- the CPU 503 renders the distribution data and provides the sound of the performer and the sound related to the sound of the space to the listener of the fifth venue 20B.
- the CPU 503 convolves a head-related transfer function (hereinafter referred to as HRTF) in the sound signal related to the sound of the performer, and performs sound image localization processing so that the sound of the performer is localized at the position of the performer.
- HRTF head-related transfer function
- the HRTF corresponds to the transfer function between the predetermined position and the listener's ear.
- the HRTF is a transfer function that expresses the loudness, arrival time, frequency characteristics, etc. of the sound from the sound source at a certain position to the left and right ears, respectively.
- the CPU 503 convolves the HRTF into the sound signal of the performer's sound based on the position of the performer. As a result, the performer's sound is localized at a position according to the position information.
- the CPU 503 performs indirect sound generation processing by convolving the HRTF corresponding to the sound information of the space into the sound signal of the performer's sound.
- the CPU 503 localizes the initial reflected sound and the rear reverberation sound by convolving the HRTFs from the positions of the virtual sound sources corresponding to the respective initial reflected sounds included in the reverberation information of the space to the left and right ears, respectively.
- the rear reverberation sound is a reflected sound in which the direction of arrival of the sound is not determined. Therefore, the CPU 503 may perform effect processing such as reverb without performing localization processing on the rear reverberation sound.
- the CPU 503 renders the ambience information in the distribution data and provides the environmental sound generated in the first venue 10 to the listener in the fifth venue 20B.
- the ambience information includes the position information of the environmental sound
- the CPU 503 performs localization processing by HRTF, and performs effect processing on the sound whose arrival direction of the sound is uncertain.
- the CPU 503 may render a video signal among the distribution data and display the live video on the display 501.
- the terminal 42 can provide the presence of the first venue 10 to the listener of the fifth venue 20B.
- the terminal 42 acquires the sound of the listener of the fifth venue 20B via the microphone 508.
- the terminal 42 transmits the sound of the listener to another device.
- the terminal 42 feeds back the sound of the listener to the first venue 10.
- the terminal 42 displays icon images such as "cheer”, “applause”, “call”, and “buzz” on the display 501, and the listener selects an icon image from the listener via the user I / F 502. You may accept and accept reactions.
- the terminal 42 generates a sound corresponding to the received reaction, and transmits the generated sound as ambience information to another device.
- the terminal 42 may transmit information indicating the type of environmental sound such as cheering, applause, or calling of the listener as ambience information.
- the receiving device for example, the distribution device 12 and the mixer 11
- the receiving device generates a corresponding sound signal based on the ambience information, and provides a sound such as a listener's cheering, applause, or calling to the venue.
- the terminal 42 may also accept the position information of the listener via the user I / F 502.
- the terminal 42 transmits the received position information of the listener to the first venue 10.
- the distribution device 12 and the mixer 11 in the first venue perform a process of localizing the listener sound at a designated position based on the listener sound and the position information of the third venue 20A received from the AV receiver 32.
- the terminal 42 may change the HRTF based on the position information received from the user. For example, if the listener specifies a position immediately in front of the stage of the first venue 10, the terminal 42 sets the localization position of the performer's sound to the position immediately in front of the listener, and the performer's sound is localized at that position. Fold the HRTF like you do. As a result, the listener in the 5th venue 20B can get a sense of reality as if he / she is right in front of the stage in the 1st venue 10.
- the sound of the listener in the 5th venue 20B may be transmitted to the 2nd venue 20 instead of the 1st venue 10, or may be transmitted to another venue. Similar to the above, the sound of the listener in the 5th venue 20B may be transmitted only to the friend's home (4th venue). As a result, the listener in the 5th venue 20B and the listener in the 4th venue can watch the live performance of the 1st venue 10 while talking with each other.
- a plurality of users can specify the same position.
- a plurality of users may each specify a position immediately in front of the stage of the first venue 10.
- each listener can feel as if he / she is in front of the stage.
- a plurality of listeners can watch the performer's performance with the same sense of presence at one position (seat in the venue).
- the live operator can provide services that exceed the number of spectators that can be accommodated in the actual space.
- FIG. 15 is a block diagram showing the configuration of the live data distribution system 1D according to the modified example 4.
- the configurations common to those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
- the live data distribution system 1D further includes a server 50 and a terminal 55.
- the terminal 55 is installed in the 6th venue 10A.
- the server 50 is an example of a distribution device, and the hardware configuration of the server 50 is the same as that of the distribution device 12.
- the hardware configuration of the terminal 55 is the same as the configuration of the terminal 42 shown in FIG.
- the 6th venue 10A is the home of a performer who performs a performance or the like remotely.
- the performer in the 6th venue 10A performs a performance such as a performance or a singing along with the performance or the singing in the 1st venue.
- the terminal 55 transmits the sound of the performer in the sixth venue 10A to the server 50. Further, the terminal 55 may take a picture of the performer in the sixth venue 10A by a camera (not shown) and transmit a video signal to the server 50.
- the server 50 includes the sound of the performer in the first venue 10, the sound of the performer in the sixth venue 10A, the sound information of the space in the first venue 10, the ambience information of the first venue 10, and the live performance of the first venue 10. Distribution data including the video and the video of the performer at the 6th venue 10A will be distributed.
- the playback device 22 renders the distribution data, the sound of the performer in the first venue 10, the sound of the performer in the sixth venue 10A, the sound of the space in the first venue 10, and the environment of the first venue 10.
- the sound, the live image of the first venue 10, and the image of the performer of the sixth venue 10A are provided to the second venue 20.
- the reproduction device 22 superimposes and displays the image of the performer of the sixth venue 10A on the live image of the first venue 10.
- the sound of the performer at Room 6 10A does not have to be localized, but it may be localized at a position that matches the image displayed on the display. For example, when the performer of the 6th venue 10A is displayed on the right side in the live image, the sound of the performer of the 6th venue 10A is localized on the right side.
- the performer of the 6th venue 10A or the distributor of the distribution data may specify the position of the performer.
- the distribution data includes the position information of the performer in the sixth venue 10A.
- the reproduction device 22 localizes the sound of the performer in the 6th venue 10A based on the position information of the performer in the 6th venue 10A.
- the video of the performer at Room 6 10A is not limited to the video taken by the camera.
- a character image composed of a two-dimensional image or 3D modeling may be distributed as an image of a performer in the sixth venue 10A.
- the distribution data may include recorded data.
- the distribution data may include recorded data.
- the distribution device records the sound of the performer in the first venue 10, the recorded data, the sound information of the space in the first venue 10, the ambience information in the first venue 10, and the live image of the first venue 10.
- the data and the distribution data including the data may be distributed.
- the playback device renders the distribution data, and the sound of the performer in the first venue 10, the sound related to the recorded data, the sound of the space in the first venue 10, the environmental sound of the first venue 10, and the first. Live video of 10 venues and video related to recorded data are provided to other venues.
- the playback device 22 superimposes and displays the video of the performer corresponding to the recorded data on the live video of the first venue 10.
- the distribution device may determine the type of musical instrument when recording the sound related to the recorded data.
- the distribution device distributes the distribution data including information indicating the type of the musical instrument determined to be the recording data.
- the playback device generates an image of the corresponding musical instrument based on the information indicating the type of the musical instrument.
- the playback device may superimpose the image of the musical instrument on the live image of the first venue 10 and display it.
- the distribution data does not need to superimpose the video of the performer in the 6th venue 10A on the live video of the 1st venue 10.
- the images of the individual performers in the first venue 10 and the sixth venue 10A and the background images may be distributed as individual data.
- the distribution data includes information indicating the display position of each video.
- the playback device renders the video of each performer based on the information indicating the display position.
- the background image is not limited to the image of the venue where the live performance is actually performed, such as the first venue 10.
- the background image may be an image of a venue different from the venue where the live performance is performed.
- the spatial resonance information included in the distribution data does not need to correspond to the spatial resonance of the first venue 10.
- the sound information of the space is virtual space information for virtually reproducing the sound of the space of the venue corresponding to the background image (information indicating the size, shape, material of the wall surface, etc. of the space of each venue, or each. It may be an impulse response indicating the transfer function of the venue).
- the impulse response of each venue may be measured in advance, or may be obtained by simulation from the size and shape of the space of each venue, the material of the wall surface, and the like.
- the ambience information may be changed to match the background image.
- the ambience information includes sounds such as cheers, applause, and cheers of a large number of listeners.
- the outdoor venue contains background noise that is different from the indoor venue.
- the sound of the environmental sound may also change according to the sound information of the space.
- the ambience information may include information indicating the number of spectators and information indicating the degree of congestion (congestion of people).
- the playback device increases or decreases the number of sounds such as cheers, applause, and cheers of the listener based on the information indicating the number of spectators.
- the playback device increases / decreases the volume of the listener's cheers, applause, cheers, etc. based on the information indicating the degree of congestion.
- the ambience information may be changed according to the performer. For example, when a performer with many female fans performs a live performance, the sounds of the listener's cheers, calls, cheers, etc. included in the ambience information are changed to female voices.
- the ambience information may include the sound signals of the voices of these listeners, but may also include information indicating the attributes of the audience such as the gender ratio or the age ratio.
- the playback device changes the voice quality of the listener's cheers, applause, cheers, etc. based on the information indicating the attribute.
- the listener at each venue may specify the background image and the sound information of the space.
- the listener at each venue uses the user I / F of the playback device to specify the background image and the sound information of the space.
- FIG. 16 is a diagram showing an example of a live image 700 displayed by a playback device at each venue.
- the live image 700 includes images taken at the first venue 10 or another venue, virtual images (computer graphics) corresponding to each venue, and the like.
- the live image 700 is displayed on the display of the playback device.
- the background of the venue, the stage, the performer including the musical instrument, the image of the listener in the venue, and the like are displayed.
- the images of the background of the venue, the stage, the performers including the musical instruments, and the listeners in the venue may all be images actually taken or virtual images. Further, only the background image may be an image actually taken, and the other images may be virtual images.
- the live image 700 displays an icon image 751 and an icon image 752 for designating a space.
- the icon image 751 is an image for designating the space of a certain venue, Stage A (for example, the first venue 10), and the icon image 752 is an image of another venue, Stage B (for example, another concert hall, etc.). It is an image for designating a space.
- the live image 700 displays a listener image 753 for designating the position of the listener.
- the listener who uses the playback device specifies a desired space by designating either the icon image 751 or the icon image 752 using the user I / F of the playback device.
- the distribution device includes the background image corresponding to the designated space and the sound information of the space in the distribution data and distributes the data.
- the distribution device may include a plurality of background images and spatial resonance information in the distribution data and distribute the data.
- the playback device renders the background image and the sound information of the space corresponding to the space specified by the listener among the received distribution data.
- the icon image 751 is specified.
- the playback device displays a background image corresponding to Stage A of the icon image 751 (for example, an image of the first venue 10), and reproduces a sound related to the sound of the space corresponding to the designated Stage A.
- the playback device switches to the background image of Stage B, which is another space corresponding to the icon image 752, and displays the background image. Reproduce the sound related to the sound of the space.
- the listener of each playback device can get a sense of reality as if watching a live performance in a desired space.
- the listener of each playback device can specify a desired position in the venue by moving the listener image 753 in the live image 700.
- the playback device performs localization processing based on the position specified by the user. For example, if the listener moves the listener image 753 to a position immediately in front of the stage, the playback device sets the localization position of the performer's sound to the position immediately in front of the listener, and the performer's sound is localized at that position. Perform localization processing like this. As a result, the listener of each playback device can feel as if he / she is in front of the stage.
- the mixer 11 may function as a distribution device, and the mixer 21 may function as a reproduction device.
- the reproduction device does not have to be installed at each venue.
- the server 50 shown in FIG. 15 may render the distribution data and distribute the sound signal after signal processing to the terminals and the like at each venue. In this case, the server 50 functions as a reproduction device.
- the sound source information may include information indicating the posture of the performer (for example, the left / right orientation of the performer).
- the playback device may adjust the volume or frequency characteristics based on the posture information of the performer. For example, the playback device performs a process of lowering the volume as the left-right direction becomes larger, based on the case where the performer's direction is directly in front. Further, the reproduction device may perform a process in which the high frequency band is attenuated more than the low frequency band as the left-right direction becomes larger. As a result, the sound changes according to the posture of the performer, so that the listener can watch the live performance with a more realistic feeling.
- Audio I / O 104 Signal processing unit 105 ... Network I / F 106 ... CPU 107 ... Flash memory 108 ... RAM 201 ... Display 202 ... User I / F 203 ... CPU 204 ... RAM 205 ... Network I / F 206 ... Flash memory 207 ... General-purpose communication I / F 301 ... Display 302 ... User I / F 303 ... CPU 304 ... RAM 305 ... Network I / F 306 ... Flash memory 307 ... Video I / F 401 ... Display 402 ... User I / F 403 ... Audio I / O 404 ... Signal processing unit 405 ... Network I / F 406 ... CPU 407 ... Flash memory 408 ... RAM 409 ... Video I / F 501 ... Display 503 ... CPU 504 ... RAM 505 ... Network I / F 506 ... Flash memory 507 ... Audio I / O 508 ... Mike 700 ... Live video
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
ライブデータ配信方法は、第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信し、前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供する。
Description
この発明の一実施形態は、ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法に関する。
特許文献1には、スポーツの試合を観戦するための端末において、スタジアムにいるかのような試合の熱狂をユーザが効果的に味わうことを可能とする試合観戦方法が開示されている。
特許文献1の試合観戦方法は、各ユーザの端末からユーザのリアクションを示す反応情報を送信する。各ユーザの端末は、反応情報に基づくアイコン情報を表示する。
特許文献1のシステムは、アイコン情報を表示するだけであり、ライブデータを配信する場合に、ライブ会場の臨場感を配信先の会場にも提供するものではない。
この発明の一実施形態は、ライブデータを配信する場合に、ライブ会場の臨場感を配信先の会場にも提供することができるライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法を提供することを目的とする。
ライブデータ配信方法は、第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信し、前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供する。
ライブデータ配信方法は、ライブデータを配信する場合に、ライブ会場の臨場感を配信先の会場にも提供することができる。
図1は、ライブデータ配信システム1の構成を示すブロック図である。ライブデータ配信システム1は、第1会場10および第2会場20にそれぞれ設置された複数の音響機器および情報処理装置からなる。
図2は、第1会場10の平面模式図であり、図3は、第2会場20の平面模式図である。この例では、第1会場10は、演者がパフォーマンスを行うライブ会場である。第2会場20は、遠隔地のリスナが演者のパフォーマンスを視聴するパブリックビューイング会場である。
第1会場10には、ミキサ11、配信装置12、複数のマイク13A~13F、複数のスピーカ14A~14G、複数のトラッカー15A~15C、およびカメラ16が設置されている。第2会場20には、ミキサ21、再生装置22、表示器23、および複数のスピーカ24A~24Fが設置されている。配信装置12および再生装置22は、インターネット5を介して接続されている。なお、マイクの数、スピーカの数、およびトラッカーの数等は、本実施形態で示す数に限るものではない。また、マイクおよびスピーカの設置態様も、本実施形態で示す例に限らない。
ミキサ11は、配信装置12、複数のマイク13A~13F、複数のスピーカ14A~14G、および複数のトラッカー15A~15Cに接続されている。ミキサ11、複数のマイク13A~13F、および複数のスピーカ14A~14Gは、ネットワークケーブルまたはオーディオケーブルを介して接続されている。複数のトラッカー15A~15Cは、無線通信を介してミキサ11に接続されている。ミキサ11および配信装置12は、ネットワークケーブルを介して接続されている。また、配信装置12は、映像ケーブルを介してカメラ16に接続されている。カメラ16は、演者を含むライブ映像を撮影する。
複数のスピーカ14A~スピーカ14Gは、第1会場10の壁面に沿って設置されている。この例の第1会場10は、平面視して矩形状である。第1会場10の前方にはステージが配置されている。ステージでは、演者が歌唱あるいは演奏等のパフォーマンスを行なう。スピーカ14Aは、ステージの左側に設置され、スピーカ14Bは、ステージの中央に設置され、スピーカ14Cは、ステージの右側に設置されている。スピーカ14Dは、第1会場10の前後中央の左側、スピーカ14Eは、第1会場10の前後中央の右側に設置されている。スピーカ14Fは第1会場10の後方左側に設置され、スピーカ14Gは、第1会場10の後方の右側に設置されている。
マイク13Aは、ステージの左側に設置され、マイク13Bはステージの中央に設置され、マイク13Cは、ステージの右側に設置されている。マイク13Dは、第1会場10の前後中央の左側、マイク13Eは、第1会場10の後方中央に設置されている。マイク13Fは、第1会場10の前後中央の右側に設置されている。
ミキサ11は、マイク13A~13Fから音信号を受信する。また、ミキサ11は、スピーカ14A~14Gに音信号を出力する。本実施形態ではミキサ11に接続される音響機器の一例としてスピーカおよびマイクを示すが、実際にはミキサ11には多数の音響機器が接続される。ミキサ11は、マイク等の複数の音響機器から音信号を受信し、ミキシング等の信号処理を施して、スピーカ等の複数の音響機器に音信号を出力する。
マイク13A~13Fは、第1会場10で発生する音として、それぞれ演者の歌唱音または演奏音を取得する。あるいは、マイク13A~13Fは、第1会場10の環境音を取得する。図2の例では、マイク13A~13Cが演者の音を取得し、マイク13D~13Fが環境音を取得する。環境音は、リスナの声援、拍手、呼びかけ、歓声、合唱、またはざわめき等の音を含む。ただし、演者の音は、ライン入力してもよい。ライン入力とは、楽器等の音源から出力される音をマイクで収音して入力するのではなく、音源に接続されたオーディオケーブル等から音信号を入力することである。演者の音は、SN比の高い音で取得し、他の音は含まれていないことが好ましい。
スピーカ14A~スピーカ14Gは、演者の音を第1会場10に出力する。また、スピーカ14A~スピーカ14Gは、第1会場10の音場を制御するための初期反射音または後部残響音を出力してもよい。
第2会場20のミキサ21は、再生装置22、および複数のスピーカ24A~24Fに接続されている。これらの音響機器は、ネットワークケーブルまたはオーディオケーブルを介して接続されている。また、再生装置22は、映像ケーブルを介して表示器23に接続されている。
複数のスピーカ24A~スピーカ24Fは、第2会場20の壁面に沿って設置されている。この例の第2会場20は、平面視して矩形状である。第2会場20の前方には表示器23が配置されている。表示器23には、第1会場10で撮影されたライブ映像が表示される。スピーカ24Aは、表示器23の左側に設置され、スピーカ24Bは、表示器23の右側に設置されている。スピーカ24Cは、第2会場20の前後中央の左側、スピーカ24Dは、第2会場20の前後中央の右側に設置されている。スピーカ24Eは第2会場20の後方左側に設置され、スピーカ24Fは、第2会場20の後方の右側に設置されている。
ミキサ21は、スピーカ24A~24Fに音信号を出力する。ミキサ21は、再生装置22から音信号を受信し、ミキシング等の信号処理を施して、スピーカ等の複数の音響機器に音信号を出力する。
スピーカ24A~スピーカ24Fは、演者の音を第2会場20に出力する。また、スピーカ24A~スピーカ24Fは、第1会場10の音場を再現するための初期反射音または後部残響音を出力する。また、スピーカ24A~スピーカ24Fは、第1会場10のリスナの歓声等の環境音を第2会場20に出力する。
図4は、ミキサ11の構成を示すブロック図である。なお、ミキサ21は、ミキサ11と同様の構成および機能を有するため、図4では代表してミキサ11の構成を示す。ミキサ11は、表示器101、ユーザI/F102、オーディオI/O(Input/Output)103、信号処理部(DSP)104、ネットワークI/F105、CPU106、フラッシュメモリ107、およびRAM108を備えている。
CPU106は、ミキサ11の動作を制御する制御部である。CPU106は、記憶媒体であるフラッシュメモリ107に記憶された所定のプログラムをRAM108に読み出して実行することにより各種の動作を行なう。
なお、CPU106が読み出すプログラムは、自装置内のフラッシュメモリ107に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、CPU106は、該サーバから都度プログラムをRAM108に読み出して実行すればよい。
信号処理部104は、各種信号処理を行なうためのDSPから構成される。信号処理部104は、オーディオI/O103またはネットワークI/F105を介してマイク等の音響機器から入力される音信号に、ミキシング処理およびフィルタ処理等の信号処理を施す。信号処理部104は、信号処理後のオーディオ信号を、オーディオI/O103またはネットワークI/F105を介して、スピーカ等の音響機器に出力する。
また、信号処理部104は、パニング処理、初期反射音生成処理、および後部残響音生成処理を行ってもよい。パニング処理は、演者の位置に音像が定位する様に、複数のスピーカ14A~14Gに分配する音信号の音量を制御する処理である。パニング処理を行うために、CPU106は、トラッカー15A~15Cを介して演者の位置情報を取得する。位置情報は、第1会場10のある位置を基準とした2次元または3次元の座標を示す情報である。トラッカー15A~15Cは、例えばBluetooth(登録商標)等の電波を送受信するタグである。演者または楽器は、トラッカー15A~15Cを取り付けている。第1会場10には、予め少なくとも3つのビーコンが設置されている。それぞれのビーコンは、電波を送信してから受信するまでの時間差に基づいて、トラッカー15A~15Cとの距離を計測する。CPU106は、ビーコンの位置情報を予め取得しておき、少なくとも3つのビーコンからタグまでの距離をそれぞれ測定することで、トラッカー15A~15Cの位置を一意に求めることができる。
CPU106は、この様にしてトラッカー15A~15Cを介して各演者の位置情報、つまり第1会場10で発生する音の位置情報を取得する。CPU106は、取得した位置情報と、スピーカ14A~スピーカ14Gの位置に基づいて、演者の位置に音像が定位する様にスピーカ14A~スピーカ14Gに出力するそれぞれの音信号の音量を決定する。信号処理部104は、CPU106の制御にしたがって、スピーカ14A~スピーカ14Gに出力するそれぞれの音信号の音量を制御する。例えば、信号処理部104は、演者の位置に近いスピーカに出力する音信号の音量を大きくし、演者の位置から遠いスピーカに出力する音信号の音量を小さくする。これにより、信号処理部104は、演者の演奏音や歌唱音の音像を所定の位置に定位させることができる。
初期反射音生成処理および後部残響音生成処理は、FIRフィルタにより演者の音にインパルス応答を畳み込む処理である。信号処理部104は、例えば予め所定の会場(第1会場10以外の会場)で取得したインパルス応答を演者の音に畳み込む。これにより、信号処理部104は、第1会場10の音場を制御する。あるいは、信号処理部104は、第1会場10の天井や壁面近くに設置したマイクで取得した音をさらにスピーカ14A~スピーカ14Gにフィードバックすることで、第1会場10の音場を制御してもよい。
信号処理部104は、演者の音および演者の位置情報を配信装置12に出力する。配信装置12は、ミキサ11から演者の音および演者の位置情報を取得する。
また、配信装置12は、カメラ16から映像信号を取得する。カメラ16は、各演者または第1会場10の全体等を撮影し、ライブ映像に係る映像信号を配信装置12に出力する。
さらに、配信装置12は、第1会場10の空間の響き情報を取得する。空間の響き情報は、間接音を生成するための情報である。間接音は、音源の音が会場内で反射してリスナに到達する音であり、少なくとも初期反射音および後部残響音を含む。空間の響き情報は、例えば第1会場10の空間の大きさ、形状、壁面の材質を示す情報、および後部残響音に係るインパルス応答を含む。空間の大きさ、形状、壁面の材質を示す情報は、初期反射音を生成するための情報である。初期反射音を生成するための情報は、インパルス応答であってもよい。インパルス応答は、例えば第1会場10において、予め測定する。また、空間の響き情報は、演者の位置に応じて変化する情報であってもよい。演者の位置に応じて変化する情報は、例えば第1会場10において演者の位置毎に予め測定したインパルス応答である。配信装置12は、例えば、第1会場10のステージ正面で演者の音が発生した場合の第1インパルス応答、ステージ左側で演者の音が発生した場合の第2インパルス応答、およびステージの右側で演者の音が発生した場合の第3インパルス応答を取得する。ただし、インパルス応答は、3つに限らない。また、インパルス応答は、第1会場10で実際に測定する必要はなく、例えば、第1会場10の空間の大きさ、形状、および壁面の材質等からシミュレーションにより求めてもよい。
なお、初期反射音は音の到来方向の定まる反射音であり、後部残響音は、音の到来方向の定まらない反射音である。後部残響音は、初期反射音に比べると演者の音の位置の変化による変化は小さい。したがって、空間の響き情報は、演者の位置に応じて変化する初期反射音のインパルス応答と、演者の位置に依らずに一定の後部残響音のインパルス応答と、からなる態様であってもよい。
また、信号処理部104は、環境音に係るアンビエンス情報を取得して、配信装置12に出力してもよい。環境音は、上述の様にマイク13D~13Fで取得した音であり、暗騒音、リスナの声援、拍手、呼びかけ、歓声、合唱、またはざわめき等の音を含む。ただし、環境音は、ステージのマイク13A~13Cで取得してもよい。信号処理部104は、環境音に係る音信号をアンビエンス情報として配信装置12に出力する。なお、アンビエンス情報は、環境音の位置情報を含んでいてもよい。環境音のうちリスナ各自の「がんばれー」等の声援、演者の個人名の呼びかけ、または「ブラボー」等の感嘆詞等は、聴衆に埋もれずに個別のリスナの声として認識できる音である。信号処理部104は、これらの個別の音の位置情報を取得してもよい。環境音の位置情報は、例えばマイク13D~13Fで取得した音から求めることができる。信号処理部104は、上記の個別の音を音声認識等の処理で認識した場合、マイク13D~13Fの音信号の相関を求め、マイク13D~13Fでそれぞれ個別の音を収音したタイミングの差を求める。信号処理部104は、マイク13D~13Fで収音したタイミングの差に基づいて、音の発生した第1会場10内の位置を一意に求めることができる。
配信装置12は、第1会場10で発生する音に係る音源情報、および空間の響き情報、を配信データとしてエンコードして配信する。音源情報は、少なくとも演者の音を含むが、演者の音の位置情報を含んでいてもよい。また、配信装置12は、環境音に係るアンビエンス情報を配信データに含めて配信してもよい。配信装置12は、演者の映像に係る映像信号を配信データに含めて配信してもよい。
あるいは、配信装置12は、少なくとも、演者の音および演者の位置情報に係る音源情報と、環境音に係るアンビエンス情報を配信データとして配信してもよい。
図5は、配信装置12の構成を示すブロック図である。図6は、配信装置12の動作を示すフローチャートである。
配信装置12は、一般的なパーソナルコンピュータ等の情報処理装置からなる。配信装置12は、表示器201、ユーザI/F202、CPU203、RAM204、ネットワークI/F205、フラッシュメモリ206、および汎用通信I/F207を備えている。
CPU203は、記憶媒体であるフラッシュメモリ206に記憶されているプログラムをRAM204に読み出して、所定の機能を実現する。なお、CPU203が読み出すプログラムも、自装置内のフラッシュメモリ206に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、CPU203は、該サーバから都度プログラムをRAM204に読み出して実行すればよい。
CPU203は、ネットワークI/F205を介してミキサ11から演者の音および演者の位置情報(音源情報)を取得する(S11)。また、CPU203は、第1会場10の空間の響き情報を取得する(S12)。さらに、CPU203は、環境音に係るアンビエンス情報を取得する(S13)。また、CPU203は、汎用通信I/F207を介してカメラ16から映像信号を取得してもよい。
CPU203は、演者の音および音の位置情報(音源情報)に係るデータ、空間の響き情報に係るデータ、アンビエンス情報に係るデータ、および映像信号に係るデータを、配信データとしてエンコードして配信する(S14)。
再生装置22は、インターネット5を介して配信装置12から配信データを受信する。再生装置22は、配信データをレンダリングして、演者の音および空間の響きに係る音を第2会場20に提供する。あるいは、再生装置22は、演者の音およびアンビエンス情報に含まれる環境音を第2会場20に提供する。
図7は、再生装置22の構成を示すブロック図である。図8は、再生装置22の動作を示すフローチャートである。
再生装置22は、一般的なパーソナルコンピュータ等の情報処理装置からなる。再生装置22は、表示器301、ユーザI/F302、CPU303、RAM304、ネットワークI/F305、フラッシュメモリ306、および映像I/F307を備えている。
CPU303は、記憶媒体であるフラッシュメモリ306に記憶されているプログラムをRAM304に読み出して、所定の機能を実現する。なお、CPU303が読み出すプログラムも、自装置内のフラッシュメモリ306に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、CPU303は、該サーバから都度プログラムをRAM304に読み出して実行すればよい。
CPU303は、ネットワークI/F305を介して配信装置12から配信データを受信する(S21)。CPU303は、配信データを音源情報、空間の響き情報、アンビエンス情報、および映像信号等にデコードし(S22)、音源情報、空間の響き情報、アンビエンス情報、および映像信号等をレンダリングする。
CPU303は、音源情報のレンダリングの一例として、ミキサ21に対して演者の音のパニング処理を行わせる(S23)。パニング処理は、上述した様に演者の音を演者の位置に定位させる処理である。CPU303は、音源情報に含まれる位置情報で示す位置に演者の音が定位する様に、スピーカ24A~24Fに分配する音信号の音量を決定する。CPU303は、演者の音に係る音信号、および当該演者の音に係る音信号のスピーカ24A~24Fへの出力量を示す情報を、ミキサ21に出力することで、ミキサ21にパニング処理を行なわせる。
これにより、第2会場20のリスナは、演者の位置から音が発している様に知覚することができる。第2会場20のリスナは、例えば第1会場10のステージ右側にいる演者の音を第2会場20においても前方右側から聴くことができる。また、CPU303は、映像信号をレンダリングして、映像I/F307を介して表示器23にライブ映像を表示してもよい。これにより、第2会場20のリスナは、表示器23に表示された演者の映像を見ながらパニング処理された演者の音を聴く。これにより、第2会場20のリスナは、視覚情報と聴覚情報が一致するため、よりライブパフォーマンスに対する没入感を得ることができる。
さらに、CPU303は、空間の響き情報のレンダリングの一例として、ミキサ21に対して間接音の生成処理を行なわせる(S24)。間接音の生成処理は、初期反射音生成処理および後部残響音生成処理を含む。初期反射音は、音源情報に含まれる演者の音と、空間の響き情報に含まれる第1会場10の空間の大きさ、形状、壁面の材質等を示す情報と、に基づいて生成する。CPU303は、空間の大きさおよび形状に基づいて初期反射音の到来タイミングを決定し、壁面の材質に基づいて初期反射音のレベルを決定する。また、空間の響き情報に初期反射音のインパルス応答が含まれている場合には、CPU303は、ミキサ11にFIRフィルタにより演者の音にインパルス応答を畳み込む処理を実行させる。CPU303は、配信データに含まれる空間の響き情報(インパルス応答)をミキサ21に出力する。ミキサ21は、再生装置22から受信した空間の響き情報(インパルス応答)を演者の音に畳み込む。これにより、ミキサ21は、第1会場10の空間の響きを第2会場20に再現する。
さらに、空間の響き情報が演者の位置に応じて変化する場合、再生装置22は、音源情報に含まれる位置情報に基づいて、演者の位置に対応する空間の響き情報をミキサ21に出力する。例えば、第1会場10のステージ正面にいた演者がステージ左側に移動した場合、演者の音に畳み込むインパルス応答は、第1インパルス応答から第2インパルス応答に変更する。これにより、演者の位置に応じた適切な空間の響きが第2会場20においても再現される。
また、後部残響音は、音の到来方向の定まらない反射音である。後部残響音は、初期反射音に比べると音の位置の変化による変化は小さい。したがって、再生装置22は、演者の位置に応じて変化する初期反射音のインパルス応答のみを変更し、後部残響音のインパルス応答を固定としてもよい。
なお、再生装置22は、間接音の生成処理は省略し、第2会場20の響きをそのまま利用してもよい。また、間接音の生成処理は、初期反射音生成処理だけでもよい。後部残響音は、第2会場20の響きをそのまま利用してもよい。あるいは、ミキサ21は、第2会場20の天井や壁面近くに設置した不図示のマイクで取得した音をさらにスピーカ24A~スピーカ24Fにフィードバックすることで、第2会場20の制御を補強してもよい。
そして、再生装置22のCPU303は、アンビエンス情報に基づいて環境音の再生処理を行なう(S25)。アンビエンス情報は、暗騒音、リスナの声援、拍手、呼びかけ、歓声、合唱、またはざわめき等の音の音信号を含む。CPU303は、これらの音信号をミキサ21に出力する。ミキサ21は、再生装置22から受信した音信号をスピーカ24A~24Fへ出力する。
CPU303は、アンビエンス情報に環境音の位置情報が含まれている場合、ミキサ21にパニング処理による環境音の定位処理を行わせる。この場合、CPU303は、アンビエンス情報に含まれる位置情報の位置に環境音が定位する様に、スピーカ24A~24Fに分配する音信号の音量を決定する。CPU303は、環境音の音信号、および当該環境音に係る音信号のスピーカ24A~24Fへの出力量を示す情報を、ミキサ21に出力することで、ミキサ21にパニング処理を行なわせる。
なお、CPU303は、個別のリスナの声として認識できない、多くのリスナが同時に発する音には、ミキサ21にリバーブ等のエフェクト処理を行なわせることで、空間的な拡がりを知覚させる処理を行ってもよい。例えば、暗騒音、拍手、合唱、または「わー」等の歓声、ざわめき等は、ライブ会場の全体で響く音である。CPU303は、ミキサ21にこれらの音に空間的な拡がりを知覚させるエフェクト処理を行なわせる。
再生装置22は、以上の様なアンビエンス情報に基づく環境音を第2会場20に提供してもよい。これにより、第2会場20のリスナは、第1会場10でライブパフォーマンスを視聴している様な、より臨場感のあるライブパフォーマンスを視聴することができる。
以上の様にして、本実施形態のライブデータ配信システム1は、第1会場10で発生する音に係る音源情報、および空間の響き情報、を配信データとして配信し、配信データをレンダリングして、音源情報に係る音、および空間の響きに係る音を第2会場20に提供する。これにより、ライブ会場の臨場感を配信先の会場にも提供することができる。
また、ライブデータ配信システム1は、第1会場10のある第1の場所(例えばステージ)で発生する第1音源の音(例えば演者の音)および該第1音源の位置情報に係る第1音源情報、および第1会場10の第2の場所(例えばリスナの居る場所)で発生する第2音源(例えば環境音)に係る第2音源情報、を配信データとして配信し、配信データをレンダリングして、第1音源の位置情報に基づく定位処理を施した第1音源の音と、第2音源の音と、を第2会場に提供する。これにより、ライブ会場の臨場感を配信先の会場にも提供することができる。
次に、図9は、変形例1に係るライブデータ配信システム1Aの構成を示すブロック図である。図10は、変形例1に係るライブデータ配信システム1Aにおける第2会場20の平面概略図である。図1および図3と共通する構成は同一の符号を付し、説明を省略する。
ライブデータ配信システム1Aの第2会場20には、複数のマイク25A~25Cが設置されている。マイク25Aは、第2会場20のステージ23に向かって、前後中央の左側、マイク25Bは、第2会場20の後方中央に設置されている。マイク25Cは、第2会場20の前後中央の右側に設置されている。
マイク25A~25Cは、第2会場20の環境音を取得する。ミキサ21は、環境音の音信号をアンビエンス情報として再生装置22に出力する。なお、アンビエンス情報は、環境音の位置情報を含んでいてもよい。環境音の位置情報は、上述の様に、例えばマイク25A~25Cで取得した音から求めることができる。
再生装置22は、第2会場20で発生する環境音に係るアンビエンス情報を第3音源として、他の会場に送信する。例えば、再生装置22は、第2会場20で発生する環境音を第1会場10にフィードバックする。これにより、第1会場10のステージの演者は、第1会場10のリスナ以外の声や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを行うことができる。また、第1会場10に居るリスナも、他の会場のリスナの声や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを視聴することができる。
また、さらに他の会場の再生装置が配信データをレンダリングして、第1会場の音を当該他の会場に提供し、かつ第2会場20で発生する環境音を当該他の会場に提供すれば、当該他の会場のリスナも多数のリスナの声や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを視聴することができる。
次に、図11は、変形例2に係るライブデータ配信システム1Bの構成を示すブロック図である。図1と共通する構成は同一の符号を付し、説明を省略する。
ライブデータ配信システム1Bでは、配信装置12は、インターネット5を介して第3会場20AのAVレシーバ32に接続されている。AVレシーバ32は、表示器33、複数のスピーカ34A~34F、およびマイク35に接続されている。第3会場20Aは、例えばあるリスナ個人の自宅である。AVレシーバ32は、再生装置の一例である。AVレシーバ32の利用者は、第1会場10のライブパフォーマンスを遠隔で視聴するリスナとなる。
図12は、AVレシーバ32の構成を示すブロック図である。AVレシーバ32は、表示器401、ユーザI/F402、オーディオI/O(Input/Output)403、信号処理部(DSP)404、ネットワークI/F405、CPU406、フラッシュメモリ407、RAM408、および映像I/F409を備えている。
CPU406は、AVレシーバ32の動作を制御する制御部である。CPU406は、記憶媒体であるフラッシュメモリ407に記憶された所定のプログラムをRAM408に読み出して実行することにより各種の動作を行なう。
なお、CPU406が読み出すプログラムも、自装置内のフラッシュメモリ407に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、CPU406は、該サーバから都度プログラムをRAM408に読み出して実行すればよい。
信号処理部404は、各種信号処理を行なうためのDSPから構成される。信号処理部404は、オーディオI/O403またはネットワークI/F405を介して入力される音信号に信号処理を施す。信号処理部404は、信号処理後のオーディオ信号を、オーディオI/O403またはネットワークI/F405を介して、スピーカ等の音響機器に出力する。
AVレシーバ32は、ミキサ21および再生装置22で行なわれた処理と同様の処理を行なう。CPU406は、ネットワークI/F405を介して配信装置12から配信データを受信する。CPU406は、配信データをレンダリングして、演者の音および空間の響きに係る音を第3会場20Aに提供する。あるいは、CPU406は、配信データをレンダリングして、第1会場10で発生した環境音を第3会場20Aに提供する。あるいは、CPU406は、配信データをレンダリングして、映像I/F307を介して表示器33にライブ映像を表示してもよい。
信号処理部404は、演者の音のパニング処理を行なう。また、信号処理部404は、間接音の生成処理を行なう。あるいは、信号処理部404は、環境音のパニング処理を行なってもよい。
これにより、AVレシーバ32は、第1会場10の臨場感を第3会場20Aにも提供することができる。
また、AVレシーバ32は、マイク35を介して、第3会場20Aの環境音(リスナの声援、拍手、または呼びかけ等の音)を取得する。AVレシーバ32は、第3会場20Aの環境音を他装置に送信する。例えば、AVレシーバ32は、第3会場20Aの環境音を第1会場10にフィードバックする。
この様にして、複数のリスナからの音を第1会場10にフィードバックすれば、第1会場10のステージの演者は、第1会場10のリスナ以外の多数のリスナの声援や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを行うことができる。また、第1会場10に居るリスナも、遠隔地の多数のリスナの声援や拍手、歓声等を聴くことができ、臨場感溢れた環境下でライブパフォーマンスを視聴することができる。
あるいは、AVレシーバ32は、表示器401に「声援」、「拍手」、「呼びかけ」、および「ざわめき」等のアイコン画像を表示し、ユーザI/F402を介してリスナからこれらアイコン画像に対する選択操作を受け付けることで、リスナのリアクションを受け付けてもよい。AVレシーバ32は、これらリアクションの選択操作を受け付けると、それぞれのリアクションに対応する音信号を生成し、アンビエンス情報として他装置に送信してもよい。
あるいは、AVレシーバ32は、リスナの声援、拍手、または呼びかけ等の環境音の種類を示す情報をアンビエンス情報として送信してもよい。この場合、受信側の装置(例えば配信装置12およびミキサ11)がアンビエンス情報に基づいて対応する音信号を生成し、リスナの声援、拍手、または呼びかけ等の音を会場内に提供する。この様に、アンビエンス情報は、環境音の音信号ではなく、生成すべき音を示す情報であり、予め録音した環境音等を配信装置12およびミキサ11が再生する処理であってもよい。
また、第1会場10のアンビエンス情報も、第1会場10で発生する環境音ではなく、予め録音した環境音であってもよい。この場合、配信装置12は、アンビエンス情報として、生成すべき音を示す情報を配信する。再生装置22またはAVレシーバ32は、アンビエンス情報に基づいて対応する環境音を再生する。また、アンビエンス情報のうち、暗騒音およびざわめき等は録音した音であり、他の環境音(例えばリスナの声援、拍手、呼びかけ等)は、第1会場10で発生する音であってもよい。
また、AVレシーバ32は、ユーザI/F402を介して、リスナの位置情報を受け付けてもよい。AVレシーバ32は、表示器401または表示器33に第1会場10の平面図または斜視図等を模した画像を表示し、ユーザI/F402を介して、リスナから位置情報を受け付ける(例えば図16を参照)。位置情報は、第1会場10内のうち任意の位置を指定した情報である。AVレシーバ32は、受け付けたリスナの位置情報を第1会場10に送信する。第1会場の配信装置12およびミキサ11は、AVレシーバ32から受信した第3会場20Aの環境音およびリスナの位置情報に基づいて、指定された位置に第3会場20Aの環境音を定位させる処理を行なう。
また、AVレシーバ32は、利用者から受け付けた位置情報に基づいて、パニング処理の内容を変更してもよい。例えば、リスナが第1会場10のステージのすぐ前の位置を指定すれば、AVレシーバ32は、演者の音の定位位置をリスナのすぐ前の位置に設定して、パニング処理を行なう。これにより、第3会場20Aのリスナは、第1会場10のステージのすぐ前に居るような臨場感を得ることができる。
第3会場20Aのリスナの音は、第1会場10ではなく、第2会場20に送信してもよいし、さらに他の会場に送信してもよい。例えば、第3会場20Aのリスナの音は、友人の自宅(第4会場)にのみ送信してもよい。第4会場のリスナは、第3会場20Aのリスナの音を聞きながら、第1会場10のライブパフォーマンスを視聴することができる。また、第4会場の不図示の再生装置は、第4会場のリスナの音を第3会場20Aに送信してもよい。この場合、第3会場20Aのリスナは、第4会場のリスナの音を聞きながら、第1会場10のライブパフォーマンスを視聴することができる。これにより、第3会場20Aのリスナと、第4会場のリスナは、互いに会話しながら第1会場10のライブパフォーマンスを視聴することができる。
図13は、変形例3に係るライブデータ配信システム1Cの構成を示すブロック図である。図1と共通する構成は同一の符号を付し、説明を省略する。
ライブデータ配信システム1Cでは、配信装置12は、インターネット5を介して第5会場20Bの端末42に接続されている。端末42は、ヘッドフォン43に接続されている。第5会場20Bは、例えばあるリスナ個人の自宅である。ただし、端末42が携帯型である場合、第5会場20Bは、カフェ店内、自動車の中、あるいは公共交通機関の中等、どの様な場所であってもよい。この場合、あらゆる場所が第5会場20Bになり得る。端末42は、再生装置の一例である。端末42の利用者は、第1会場10のライブパフォーマンスを遠隔で視聴するリスナとなる。この場合も、端末42は、配信データをレンダリングして、ヘッドフォン43を介して音源情報に係る音、および空間の響きに係る音を第2会場(この例では第5会場20B)に提供する。
図14は、端末42の構成を示すブロック図である。端末42は、パーソナルコンピュータ、スマートフォンまたはタブレット型コンピュータ等の情報処理装置である。端末42は、表示器501、ユーザI/F502、CPU503、RAM504、ネットワークI/F505、フラッシュメモリ506、オーディオI/O(Input/Output)507、およびマイク508を備えている。
CPU503は、端末42の動作を制御する制御部である。CPU503は、記憶媒体であるフラッシュメモリ506に記憶された所定のプログラムをRAM504に読み出して実行することにより各種の動作を行なう。
なお、CPU503が読み出すプログラムも、自装置内のフラッシュメモリ506に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、CPU503は、該サーバから都度プログラムをRAM504に読み出して実行すればよい。
CPU503は、ネットワークI/F505を介して入力される音信号に信号処理を施す。CPU503は、信号処理後のオーディオ信号を、オーディオI/O507を介してヘッドフォン43に出力する。
CPU503は、ネットワークI/F505を介して配信装置12から配信データを受信する。CPU503は、配信データをレンダリングして、演者の音および空間の響きに係る音を第5会場20Bのリスナに提供する。
具体的には、CPU503は、演者の音に係る音信号に頭部伝達関数(以下、HRTFと称する。)を畳み込んで、演者の位置に当該演者の音が定位する様に、音像定位処理を行なう。HRTFは、所定位置とリスナの耳との間の伝達関数に対応する。HRTFは、ある位置の音源からそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性等を表現した伝達関数である。CPU503は、演者の位置に基づいて演者の音の音信号にHRTFを畳み込む。これにより、演者の音は、位置情報に応じた位置に定位する。
また、CPU503は、演者の音の音信号に、空間の響き情報に対応するHRTFを畳み込むことで、間接音の生成処理を行なう。CPU503は、空間の響き情報に含まれるそれぞれの初期反射音に対応する仮想音源の位置からそれぞれ左右の耳に至るHRTFを畳み込むことにより、初期反射音および後部残響音を定位させる。ただし、後部残響音は、音の到来方向の定まらない反射音である。したがって、CPU503は、後部残響音には定位処理をせず、リバーブ等のエフェクト処理を行なってもよい。
また、CPU503は、配信データのうちアンビエンス情報をレンダリングして、第1会場10で発生した環境音を第5会場20Bのリスナに提供する。CPU503は、アンビエンス情報に環境音の位置情報が含まれている場合には、HRTFによる定位処理を行ない、音の到来方向の定まらない音にはエフェクト処理を行なう。
また、CPU503は、配信データのうち映像信号をレンダリングして、表示器501にライブ映像を表示してもよい。
これにより、端末42は、第1会場10の臨場感を第5会場20Bのリスナにも提供することができる。
また、端末42は、マイク508を介して、第5会場20Bのリスナの音を取得する。端末42は、リスナの音を他装置に送信する。例えば、端末42は、リスナの音を第1会場10にフィードバックする。あるいは、端末42は、表示器501に「声援」、「拍手」、「呼びかけ」、および「ざわめき」等のアイコン画像を表示し、ユーザI/F502を介してリスナからこれらアイコン画像に対する選択操作を受け付けて、リアクションを受け付けてもよい。端末42は、受け付けたリアクションに対応する音を生成し、生成した音をアンビエンス情報として他の装置に送信する。あるいは、端末42は、リスナの声援、拍手、または呼びかけ等の環境音の種類を示す情報をアンビエンス情報として送信してもよい。この場合、受信側の装置(例えば配信装置12およびミキサ11)がアンビエンス情報に基づいて対応する音信号を生成し、リスナの声援、拍手、または呼びかけ等の音を会場内に提供する。
また、端末42も、ユーザI/F502を介して、リスナの位置情報を受け付けてもよい。端末42は、受け付けたリスナの位置情報を第1会場10に送信する。第1会場の配信装置12およびミキサ11は、AVレシーバ32から受信した第3会場20Aのリスナの音および位置情報に基づいて、指定された位置にリスナの音を定位させる処理を行なう。
また、端末42は、利用者から受け付けた位置情報に基づいてHRTFを変更してもよい。例えば、リスナが第1会場10のステージのすぐ前の位置を指定すれば、端末42は、演者の音の定位位置をリスナのすぐ前の位置に設定して、当該位置に演者の音が定位する様なHRTFを畳み込む。これにより、第5会場20Bのリスナは、第1会場10のステージのすぐ前に居るような臨場感を得ることができる。
第5会場20Bのリスナの音は、第1会場10ではなく、第2会場20に送信してもよいし、さらに他の会場に送信してもよい。上述と同様に、第5会場20Bのリスナの音は、友人の自宅(第4会場)にのみ送信してもよい。これにより、第5会場20Bのリスナと、第4会場のリスナは、互いに会話しながら第1会場10のライブパフォーマンスを視聴することができる。
また、本実施形態のライブデータ配信システムでは、複数のユーザが同じ位置を指定することもできる。例えば、複数のユーザがそれぞれ第1会場10のステージのすぐ前の位置を指定してもよい。この場合、それぞれのリスナが、ステージのすぐ前の位置に居るような臨場感を得ることができる。これにより、1つの位置(会場の座席)に対して、複数のリスナが同じ臨場感で演者のパフォーマンスを視聴することができる。この場合、ライブ運営者は、実在の空間の観客収容可能数を超えたサービスを提供することができる。
図15は、変形例4に係るライブデータ配信システム1Dの構成を示すブロック図である。図1と共通する構成は同一の符号を付し、説明を省略する。
ライブデータ配信システム1Dは、サーバ50および端末55をさらに備えている。端末55は第6会場10Aに設置されている。サーバ50は配信装置の一例であり、サーバ50のハードウェア構成は、配信装置12と同様である。端末55のハードウェア構成は、図14に示した端末42の構成と同様である。
第6会場10Aは、遠隔で演奏等のパフォーマンスを行なう演者の自宅等である。第6会場10Aにいる演者は、第1会場の演奏または歌唱に合わせて、演奏または歌唱等のパフォーマンスを行なう。端末55は、第6会場10Aの演者の音をサーバ50に送信する。また、端末55は、不図示のカメラにより、第6会場10Aの演者を撮影し、映像信号をサーバ50に送信してもよい。
サーバ50は、第1会場10の演者の音と、第6会場10Aの演者の音と、第1会場10の空間の響き情報と、第1会場10のアンビエンス情報と、第1会場10のライブ映像と、第6会場10Aの演者の映像と、を含む配信データを配信する。
この場合、再生装置22は、配信データをレンダリングし、第1会場10の演者の音と、第6会場10Aの演者の音と、第1会場10の空間の響きと、第1会場10の環境音と、第1会場10のライブ映像と、第6会場10Aの演者の映像と、を第2会場20に提供する。例えば、再生装置22は、第1会場10のライブ映像に第6会場10Aの演者の映像を重畳して表示する。
第6会場10Aの演者の音は、定位処理を行なわなくてもよいが、表示器に表示される映像に合わせた位置に定位させてもよい。例えば、ライブ映像内の右側に第6会場10Aの演者を表示する場合には、第6会場10Aの演者の音は、右側に定位させる。
また、第6会場10Aの演者、または配信データの配信者が、演者の位置を指定してもよい。この場合、配信データには、第6会場10Aの演者の位置情報が含まれる。再生装置22は、第6会場10Aの演者の位置情報に基づいて、第6会場10Aの演者の音を定位させる。
第6会場10Aの演者の映像は、カメラにより撮影した映像に限らない。例えば、2次元画像や3Dモデリングからなるキャラクター画像(仮想映像)を第6会場10Aの演者の映像として配信してもよい。
なお、配信データには、録音データが含まれていてもよい。また、配信データには、録画データが含まれていてもよい。例えば、配信装置は、第1会場10の演者の音と、録音データと、第1会場10の空間の響き情報と、第1会場10のアンビエンス情報と、第1会場10のライブ映像と、録画データと、を含む配信データを配信してもよい。この場合、再生装置は、配信データをレンダリングし、第1会場10の演者の音と、録音データに係る音と、第1会場10の空間の響きと、第1会場10の環境音と、第1会場10のライブ映像と、録画データに係る映像と、を他の会場に提供する。再生装置22は、第1会場10のライブ映像に録画データに対応する演者の映像を重畳して表示する。
また、配信装置は、録音データに係る音を録音する時に、楽器の種別を判断してもよい。この場合、配信装置は、配信データに、録音データと判別した楽器の種別を示す情報を含めて配信する。再生装置は、楽器の種別を示す情報に基づいて、対応する楽器の映像を生成する。再生装置は、第1会場10のライブ映像に当該楽器の映像を重畳して表示してもよい。
また、配信データは、第1会場10のライブ映像に第6会場10Aの演者の映像を重畳する必要はない。例えば、配信データは、第1会場10および第6会場10Aの個々の演者の映像と、背景映像と、を個別のデータとして配信してもよい。この場合、配信データは、各映像の表示位置を示す情報を含む。再生装置は、表示位置を示す情報に基づいて、各演者の映像をレンダリングする。
また、背景映像は、第1会場10等の実際にライブパフォーマンスが行なわれている会場の映像に限らない。背景映像は、ライブパフォーマンスが行なわれている会場とは異なる会場の映像であってもよい。
さらに、配信データに含まれる空間の響き情報も、第1会場10の空間の響きに対応する必要はない。例えば、空間の響き情報は、背景映像に対応する会場の空間の響きを仮想的に再現するための仮想空間情報(各会場の空間の大きさ、形状、壁面の材質等を示す情報、あるいは各会場の伝達関数を示すインパルス応答)であってもよい。各会場のインパルス応答は、予め測定してもよいし、各会場の空間の大きさ、形状、および壁面の材質等からシミュレーションにより求めてもよい。
さらに、アンビエンス情報も、背景映像に応じた内容に変更してもよい。例えば、大きな会場の背景映像の場合には、アンビエンス情報は、多数のリスナの声援、拍手、歓声等の音を含む。また、野外会場は屋内会場と異なる暗騒音を含む。また、環境音の響きも、上記空間の響き情報に応じて変化してもよい。また、アンビエンス情報は、観客の数を示す情報、混み具合(人の密集度)を示す情報を含んでいてもよい。再生装置は、観客の数を示す情報に基づいてリスナの声援、拍手、歓声等の音の数を増減させる。また、再生装置は、混み具合を示す情報に基づいてリスナの声援、拍手、歓声等の音量を増減させる。
あるいは、アンビエンス情報は、演者に応じて変更してもよい。例えば、女性ファンの多い演者がライブパフォーマンスを行なう場合、アンビエンス情報に含まれるリスナの声援、呼びかけ、歓声等の音は、女性の声に変更する。アンビエンス情報は、これらのリスナの声の音信号を含んでいてもよいが、男女比あるいは年齢比等の観客の属性を示す情報を含んでいてもよい。再生装置は、当該属性を示す情報に基づいてリスナの声援、拍手、歓声等の声質を変更する。
また、各会場のリスナは、背景映像および空間の響き情報を指定してもよい。各会場のリスナは、再生装置のユーザI/Fを用いて、背景映像および空間の響き情報を指定する。
図16は、各会場の再生装置で表示されるライブ映像700の一例を示す図である。ライブ映像700は、第1会場10あるいは他の会場を撮影した映像、あるいは各会場に対応する仮想映像(コンピュータグラフィック)等からなる。ライブ映像700は、再生装置の表示器に表示される。ライブ映像700には、会場の背景、ステージ、楽器を含む演者、および会場内のリスナの映像等が表示される。会場の背景、ステージ、楽器を含む演者、および会場内のリスナの映像は、全て実際に撮影した映像であってもよいし、仮想映像であってもよい。また、背景映像のみ実際に撮影した映像で、他の映像は仮想映像であってもよい。また、ライブ映像700には、空間を指定するためのアイコン画像751およびアイコン画像752が表示されている。アイコン画像751は、ある会場であるStage A(例えば第1会場10)の空間を指定するための画像であり、アイコン画像752は、他の会場であるStage B(例えば別のコンサートホール等)の空間を指定するための画像である。さらに、ライブ映像700には、リスナの位置を指定するためのリスナ画像753が表示されている。
再生装置を利用するリスナは、再生装置のユーザI/Fを用いて、アイコン画像751またはアイコン画像752のいずれかを指定することで所望の空間を指定する。配信装置は、指定された空間に対応する背景映像および空間の響き情報を配信データに含めて配信する。あるいは、配信装置は、複数の背景映像および空間の響き情報を配信データに含めて配信してもよい。この場合、再生装置は、受信した配信データのうちリスナから指定された空間に対応する背景映像および空間の響き情報をレンダリングする。
図16の例では、アイコン画像751が指定されている。再生装置は、アイコン画像751のStage Aに対応する背景映像(例えば第1会場10の映像)を表示し、指定されたStage Aに対応する空間の響きに係る音を再生する。リスナがアイコン画像752を指定すると、再生装置は、アイコン画像752に対応する別の空間であるStage Bの背景映像に切り替えて表示し、Stage Bに対応する仮想空間情報に基づいて、対応する別の空間の響きに係る音を再生する。
これにより、各再生装置のリスナは、所望の空間でライブパフォーマンスを視聴している様な臨場感を得ることができる。
また、各再生装置のリスナは、ライブ映像700内のリスナ画像753を移動させることで、会場内の所望の位置を指定することができる。再生装置は、利用者から指定された位置に基づく定位処理を行う。例えば、リスナがステージのすぐ前の位置にリスナ画像753を移動させれば、再生装置は、演者の音の定位位置をリスナのすぐ前の位置に設定して、当該位置に演者の音が定位する様な定位処理を行う。これにより、各再生装置のリスナは、ステージのすぐ前に居るような臨場感を得ることができる。
本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
例えば、ミキサ11は、配信装置として機能してもよいし、ミキサ21は、再生装置として機能してもよい。また、再生装置は、各会場に設置されている必要はない。例えば、図15に示すサーバ50が、配信データをレンダリングして、信号処理後の音信号を各会場の端末等に配信してもよい。この場合、サーバ50は再生装置として機能する。
音源情報は、演者の姿勢(例えば演者の左右の向き)を示す情報を含んでいてもよい。再生装置は、演者の姿勢情報に基づいて音量または周波数特性の調整処理を行ってもよい。例えば、再生装置は、演者の向きが真正面である場合を基準として、左右の向きが大きくなるほど音量を低下させる処理を行う。また、再生装置は、左右の向きが大きくなるほど高域が低域に比べてより減衰する処理を行ってもよい。これにより、演者の姿勢に応じて音が変化するため、リスナはより臨場感のあるライブパフォーマンスを視聴することができる。
1,1A,1B,1C,1D…ライブデータ配信システム
5…インターネット
10…第1会場
10A…第6会場
11…ミキサ
12…配信装置
13A~13F…マイク
14A~14G…スピーカ
15A~15C…トラッカー
16…カメラ
20…第2会場
20A…第3会場
20B…第5会場
21…ミキサ
22…再生装置
23…表示器
24A~24F…スピーカ
25A~25C…マイク
32…AVレシーバ
33…表示器
34A…スピーカ
35…マイク
42…端末
43…ヘッドフォン
50…サーバ
55…端末
101…表示器
102…ユーザI/F
103…オーディオI/O
104…信号処理部
105…ネットワークI/F
106…CPU
107…フラッシュメモリ
108…RAM
201…表示器
202…ユーザI/F
203…CPU
204…RAM
205…ネットワークI/F
206…フラッシュメモリ
207…汎用通信I/F
301…表示器
302…ユーザI/F
303…CPU
304…RAM
305…ネットワークI/F
306…フラッシュメモリ
307…映像I/F
401…表示器
402…ユーザI/F
403…オーディオI/O
404…信号処理部
405…ネットワークI/F
406…CPU
407…フラッシュメモリ
408…RAM
409…映像I/F
501…表示器
503…CPU
504…RAM
505…ネットワークI/F
506…フラッシュメモリ
507…オーディオI/O
508…マイク
700…ライブ映像
5…インターネット
10…第1会場
10A…第6会場
11…ミキサ
12…配信装置
13A~13F…マイク
14A~14G…スピーカ
15A~15C…トラッカー
16…カメラ
20…第2会場
20A…第3会場
20B…第5会場
21…ミキサ
22…再生装置
23…表示器
24A~24F…スピーカ
25A~25C…マイク
32…AVレシーバ
33…表示器
34A…スピーカ
35…マイク
42…端末
43…ヘッドフォン
50…サーバ
55…端末
101…表示器
102…ユーザI/F
103…オーディオI/O
104…信号処理部
105…ネットワークI/F
106…CPU
107…フラッシュメモリ
108…RAM
201…表示器
202…ユーザI/F
203…CPU
204…RAM
205…ネットワークI/F
206…フラッシュメモリ
207…汎用通信I/F
301…表示器
302…ユーザI/F
303…CPU
304…RAM
305…ネットワークI/F
306…フラッシュメモリ
307…映像I/F
401…表示器
402…ユーザI/F
403…オーディオI/O
404…信号処理部
405…ネットワークI/F
406…CPU
407…フラッシュメモリ
408…RAM
409…映像I/F
501…表示器
503…CPU
504…RAM
505…ネットワークI/F
506…フラッシュメモリ
507…オーディオI/O
508…マイク
700…ライブ映像
Claims (24)
- 第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信し、
前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供する、
ライブデータ配信方法。 - 前記第2会場の環境音に係るアンビエンス情報を、該第2会場以外に送信する、
請求項1に記載のライブデータ配信方法。 - 前記アンビエンス情報を前記第1会場にフィードバックし、
前記第1会場の利用者に前記アンビエンス情報に係る音を提供する、
請求項2に記載のライブデータ配信方法。 - 前記アンビエンス情報は、利用者のリアクションに対応する情報を含み、
前記第1会場の利用者に前記リアクションに対応する音を提供する、
請求項3に記載のライブデータ配信方法。 - 前記アンビエンス情報は、前記第2会場に設置されたマイクで収音した音を含む、
請求項2乃至請求項4のいずれか1項に記載のライブデータ配信方法。 - 前記アンビエンス情報は、予め作成された音を含む、
請求項2乃至請求項5のいずれか1項に記載のライブデータ配信方法。 - 前記予め作成された音は、会場毎に異なる、
請求項6に記載のライブデータ配信方法。 - 前記第2音源情報は、前記第2音源の位置情報を含み、
前記レンダリングは、前記第2音源の位置情報に基づく定位処理を施した前記第2音源の音を提供する処理を含む、
請求項1乃至請求項7のいずれか1項に記載のライブデータ配信方法。 - 前記配信データは、前記第1会場の空間の響き情報を含み、
前記レンダリングは、前記空間の響きに係る音を第2会場に提供する処理を含む、
請求項1乃至請求項8のいずれか1項に記載のライブデータ配信方法。 - 前記アンビエンス情報は、前記第2音源に対応する利用者の属性に係る情報を含み、
前記レンダリングは、前記属性に基づく音を提供する処理を含む、
請求項1乃至請求項9のいずれか1項に記載のライブデータ配信方法。 - 第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信するライブデータ配信装置と、
前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供するライブデータ再生装置と、
を備えたライブデータ配信システム。 - 前記ライブデータ再生装置は、前記第2会場の環境音に係るアンビエンス情報を、該第2会場以外に送信する、
請求項11に記載のライブデータ配信システム。 - 前記ライブデータ再生装置は、前記アンビエンス情報を前記第1会場にフィードバックし、
前記ライブデータ配信装置は、前記第1会場の利用者に前記アンビエンス情報に係る音を提供する、
請求項12に記載のライブデータ配信システム。 - 前記アンビエンス情報は、利用者のリアクションに対応する情報を含み、
前記ライブデータ配信装置は、前記第1会場の利用者に前記リアクションに対応する音を提供する、
請求項13に記載のライブデータ配信システム。 - 前記アンビエンス情報は、前記第2会場に設置されたマイクで収音した音を含む、
請求項12乃至請求項14のいずれか1項に記載のライブデータ配信システム。 - 前記アンビエンス情報は、予め作成された音を含む、
請求項12乃至請求項15のいずれか1項に記載のライブデータ配信システム。 - 前記予め作成された音は、会場毎に異なる、
請求項16に記載のライブデータ配信システム。 - 前記第2音源情報は、前記第2音源の位置情報を含み、
前記レンダリングは、前記第2音源の位置情報に基づく定位処理を施した前記第2音源の音を提供する処理を含む、
請求項11乃至請求項17のいずれか1項に記載のライブデータ配信システム。 - 前記配信データは、前記第1会場の空間の響き情報を含み、
前記レンダリングは、前記空間の響きに係る音を第2会場に提供する処理を含む、
請求項11乃至請求項18のいずれか1項に記載のライブデータ配信システム。 - 前記アンビエンス情報は、前記第2音源に対応する利用者の属性に係る情報を含み、
前記レンダリングは、前記属性に基づく音を提供する処理を含む、
請求項11乃至請求項19のいずれか1項に記載のライブデータ配信システム。 - 第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信し、
ライブデータ再生装置に、前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供させる、
ライブデータ配信装置。 - 第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信するライブデータ配信装置から前記配信データを受信し、
前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供する、
ライブデータ再生装置。 - 第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信し、
ライブデータ再生装置に、前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供させる、
ライブデータ配信方法。 - 第1会場の第1の場所で発生する第1音源の音および該第1音源の位置情報に係る第1音源情報、および前記第1会場の第2の場所で発生する第2音源に係る第2音源情報、を配信データとして配信するライブデータ配信装置から前記配信データを受信し、
前記配信データをレンダリングして、前記第1音源の位置情報に基づく定位処理を施した前記第1音源の音と、前記第2音源の音と、を第2会場に提供する、
ライブデータ再生方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/044294 WO2022113289A1 (ja) | 2020-11-27 | 2020-11-27 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
EP21897374.1A EP4254983A1 (en) | 2020-11-27 | 2021-03-19 | Live data delivering method, live data delivering system, live data delivering device, live data reproducing device, and live data reproducing method |
JP2022565036A JPWO2022113394A1 (ja) | 2020-11-27 | 2021-03-19 | |
CN202180009062.7A CN114945977A (zh) | 2020-11-27 | 2021-03-19 | 现场数据传送方法、现场数据传送***、其传送装置、现场数据播放装置及其播放方法 |
PCT/JP2021/011381 WO2022113394A1 (ja) | 2020-11-27 | 2021-03-19 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
US17/942,732 US20230007421A1 (en) | 2020-11-27 | 2022-09-12 | Live data distribution method, live data distribution system, and live data distribution apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/044294 WO2022113289A1 (ja) | 2020-11-27 | 2020-11-27 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022113289A1 true WO2022113289A1 (ja) | 2022-06-02 |
Family
ID=81754182
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/044294 WO2022113289A1 (ja) | 2020-11-27 | 2020-11-27 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
PCT/JP2021/011381 WO2022113394A1 (ja) | 2020-11-27 | 2021-03-19 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/011381 WO2022113394A1 (ja) | 2020-11-27 | 2021-03-19 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230007421A1 (ja) |
EP (1) | EP4254983A1 (ja) |
JP (1) | JPWO2022113394A1 (ja) |
CN (1) | CN114945977A (ja) |
WO (2) | WO2022113289A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339479A (ja) * | 2004-05-24 | 2005-12-08 | Nakamoto Akiyoshi | 会場と視聴者が一体となるためのビジネスモデル |
JP2016051675A (ja) * | 2014-09-02 | 2016-04-11 | カシオ計算機株式会社 | 演出制御システム、通信端末および演出制御装置 |
WO2017094326A1 (ja) * | 2015-11-30 | 2017-06-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2018096954A1 (ja) * | 2016-11-25 | 2018-05-31 | ソニー株式会社 | 再生装置、再生方法、情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102387269B (zh) * | 2010-08-27 | 2013-12-04 | 华为终端有限公司 | 一种单讲状态下回声抵消的方法、装置及*** |
BR112014011832A2 (pt) * | 2011-11-16 | 2017-05-09 | Murugan Chandrasagaran | sistema de contato remoto para um evento ao vivo e método de contato remoto para um evento ao vivo |
JP6202003B2 (ja) * | 2012-11-02 | 2017-09-27 | ソニー株式会社 | 信号処理装置、信号処理方法 |
US20170127035A1 (en) * | 2014-04-22 | 2017-05-04 | Sony Corporation | Information reproducing apparatus and information reproducing method, and information recording apparatus and information recording method |
CN107211230A (zh) * | 2014-12-03 | 2017-09-26 | 株式会社索思未来 | 声音再现*** |
WO2017010145A1 (ja) * | 2015-07-13 | 2017-01-19 | ソニー株式会社 | 音声配信装置、音声再生端末、認証デバイス、音声配信システム、および音声配信方法 |
US9881647B2 (en) * | 2016-06-28 | 2018-01-30 | VideoStitch Inc. | Method to align an immersive video and an immersive sound field |
JP2018191127A (ja) * | 2017-05-02 | 2018-11-29 | キヤノン株式会社 | 信号生成装置、信号生成方法およびプログラム |
JP6899724B2 (ja) | 2017-07-21 | 2021-07-07 | 株式会社ookami | 試合観戦装置、試合観戦端末、試合観戦方法及びそのためのプログラム |
US11179635B2 (en) * | 2017-10-11 | 2021-11-23 | Sony Interactive Entertainment LLC | Sound localization in an augmented reality view of a live event held in a real-world venue |
US20210112287A1 (en) * | 2018-04-11 | 2021-04-15 | Lg Electronics Inc. | Method and apparatus for transmitting or receiving metadata of audio in wireless communication system |
JP2020170939A (ja) * | 2019-04-03 | 2020-10-15 | ヤマハ株式会社 | 音信号処理装置、及び音信号処理方法 |
-
2020
- 2020-11-27 WO PCT/JP2020/044294 patent/WO2022113289A1/ja active Application Filing
-
2021
- 2021-03-19 EP EP21897374.1A patent/EP4254983A1/en active Pending
- 2021-03-19 JP JP2022565036A patent/JPWO2022113394A1/ja active Pending
- 2021-03-19 CN CN202180009062.7A patent/CN114945977A/zh active Pending
- 2021-03-19 WO PCT/JP2021/011381 patent/WO2022113394A1/ja unknown
-
2022
- 2022-09-12 US US17/942,732 patent/US20230007421A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339479A (ja) * | 2004-05-24 | 2005-12-08 | Nakamoto Akiyoshi | 会場と視聴者が一体となるためのビジネスモデル |
JP2016051675A (ja) * | 2014-09-02 | 2016-04-11 | カシオ計算機株式会社 | 演出制御システム、通信端末および演出制御装置 |
WO2017094326A1 (ja) * | 2015-11-30 | 2017-06-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2018096954A1 (ja) * | 2016-11-25 | 2018-05-31 | ソニー株式会社 | 再生装置、再生方法、情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN114945977A (zh) | 2022-08-26 |
EP4254983A1 (en) | 2023-10-04 |
WO2022113394A1 (ja) | 2022-06-02 |
JPWO2022113394A1 (ja) | 2022-06-02 |
US20230007421A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105210387B (zh) | 用于提供三维增强音频的***和方法 | |
EP2922313B1 (en) | Audio signal processing device and audio signal processing system | |
US9788134B2 (en) | Method for processing of sound signals | |
KR101381396B1 (ko) | 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 | |
JP2022083443A (ja) | オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法 | |
Malham | Toward reality equivalence in spatial sound diffusion | |
JP2001186599A (ja) | 音場創出装置 | |
WO2022113289A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
WO2022113288A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
JP7472091B2 (ja) | オンライン通話管理装置及びオンライン通話管理プログラム | |
JP6951610B1 (ja) | 音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム | |
WO2022054576A1 (ja) | 音信号処理方法および音信号処理装置 | |
WO2023042671A1 (ja) | 音信号処理方法、端末、音信号処理システム、管理装置 | |
JP2005086537A (ja) | 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 | |
WO2024080001A1 (ja) | 音処理方法、音処理装置、および音処理プログラム | |
US11711652B2 (en) | Reproduction device, reproduction system and reproduction method | |
KR102559015B1 (ko) | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 | |
US20240259751A1 (en) | Audio Signal Processing Method, Apparatus, and Audio Signal Processing System | |
JP2022128177A (ja) | 音声生成装置、音声再生装置、音声再生方法、及び音声信号処理プログラム | |
Gutiérrez A et al. | Audition | |
CN115103293A (zh) | 一种面向目标的声重放方法及装置 | |
CN104604253B (zh) | 用于处理音频信号的***和方法 | |
CN114745655A (zh) | 交互式空间音效的构建方法、***及计算机可读存储介质 | |
JP2005122023A (ja) | 高臨場感音響信号出力装置、高臨場感音響信号出力プログラムおよび高臨場感音響信号出力方法 | |
Sousa | The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20963553 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20963553 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |