WO2016135921A1 - 車載用音楽再生装置、音楽再生方法、及び、プログラム - Google Patents

車載用音楽再生装置、音楽再生方法、及び、プログラム Download PDF

Info

Publication number
WO2016135921A1
WO2016135921A1 PCT/JP2015/055611 JP2015055611W WO2016135921A1 WO 2016135921 A1 WO2016135921 A1 WO 2016135921A1 JP 2015055611 W JP2015055611 W JP 2015055611W WO 2016135921 A1 WO2016135921 A1 WO 2016135921A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
speech
speaker
vehicle
lyrics
Prior art date
Application number
PCT/JP2015/055611
Other languages
English (en)
French (fr)
Inventor
克仁 石岡
知道 木村
啓太郎 菅原
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2015/055611 priority Critical patent/WO2016135921A1/ja
Publication of WO2016135921A1 publication Critical patent/WO2016135921A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Definitions

  • the present invention relates to a method of outputting lyrics information as music is played.
  • a karaoke apparatus that synthesizes and outputs lyrics data prior to a karaoke performance is known (for example, Patent Documents 1 and 2).
  • lyrics are not included in the music to be played back, so that the lyric sound output by the prior art does not become difficult to hear.
  • the output lyrics will overlap with the lyrics included in the original music. It may be difficult to hear.
  • the lyrics voice output by the prior art method may overlap with the voice message of the route guidance by the in-vehicle navigation device, and it may be difficult to hear.
  • An object of the present invention is to provide an easy-to-listen lyric sound for a user to sing a song while playing music including lyrics.
  • the invention described in claim is an on-vehicle music playback device that outputs a left channel audio signal and a right channel audio signal of a music to a left channel speaker and a right channel speaker arranged on the left and right sides of the vehicle, respectively.
  • Music signal output means phase difference giving means for giving a phase difference to the lyric sound signal that is the sound signal of the lyrics of the music, a first speaker disposed near both ears of the seat of the vehicle, and Lyric audio signal output means for outputting the lyric audio signal before applying the phase difference to one of the second speakers and outputting the lyric audio signal after applying the phase difference to the other speaker. It is characterized by.
  • the invention described in another claim is a music playback method executed by an on-vehicle music playback device, wherein a left channel audio signal and a right channel audio signal of a song are arranged on the left and right sides of the vehicle.
  • a music signal output step for outputting to each of the channel speaker and the right channel speaker, a phase difference providing step for giving a phase difference to the lyric audio signal which is an audio signal of the lyrics of the music, and near both ears of the seat of the vehicle.
  • the lyric that outputs the lyric audio signal before the phase difference is applied to one of the first speaker and the second speaker disposed on the, and the lyric audio signal after the phase difference is output to the other An audio signal output step.
  • the invention described in another claim is a program executed by an on-vehicle music playback device including a computer, wherein the audio signal of the left channel and the audio signal of the right channel of the music are arranged on the left and right sides of the vehicle Music signal output means for outputting to each of the left channel speaker and the right channel speaker, phase difference giving means for giving a phase difference to the lyric sound signal that is the sound signal of the lyrics of the music, and near both ears of the seat of the vehicle Lyric sound that outputs the lyric sound signal before the phase difference is added to one of the first speaker and the second speaker that are arranged, and the lyric sound signal after the phase difference is added to the other
  • the computer is caused to function as signal output means.
  • the in-vehicle music playback device outputs the left channel audio signal and the right channel audio signal of the music to the left channel speaker and the right channel speaker arranged on the left and right sides of the vehicle, respectively.
  • a music signal output means ; a phase difference giving means for giving a phase difference to the lyrics voice signal which is a voice signal of the lyrics of the music; a first speaker disposed near both ears of the vehicle seat; Lyric audio signal output means for outputting a lyric audio signal before applying the phase difference to one of the two speakers and outputting a lyric audio signal after applying the phase difference to the other speaker.
  • the on-vehicle music playback device is connected to the left channel speaker and the right channel speaker arranged on the left and right of the vehicle, and outputs the left channel audio signal and the right channel audio signal of the music, respectively.
  • a phase difference is given to the lyric audio signal that is an audio signal of the lyrics of the music, and a phase difference is applied to one of the first speaker and the second speaker arranged near both ears of the vehicle seat.
  • the lyrics voice signal before giving is outputted, and the lyrics voice signal after giving the phase difference to the other is outputted.
  • the phase difference giving means gives a phase difference of 180 ° to the lyrics voice signal.
  • the seat is a driver's seat of the vehicle, and in another preferred example, the seat is a passenger seat of the vehicle.
  • the vehicle in another aspect of the in-vehicle music playback device, includes a plurality of seats, and each of the plurality of seats includes the first speaker and the second speaker, and among the plurality of seats And a selection means for selecting a seat for outputting the lyrics music signal, wherein the lyrics audio signal output means is the first speaker of the seat selected by the selection means among the plurality of seats. And the lyrics audio signal is output from the second speaker.
  • the lyric sound signal can be output from a plurality of seats selected by the selection means.
  • a music playback method executed by an in-vehicle music playback device includes a left channel and a right channel that are arranged on the left and right sides of a vehicle.
  • a music signal output step for outputting to each of the speaker and the right channel speaker, a phase difference providing step for giving a phase difference to the lyric audio signal that is an audio signal of the lyrics of the music, and near both ears of the seat of the vehicle Lyric sound that outputs the lyric sound signal before the phase difference is added to one of the first speaker and the second speaker that are arranged, and the lyric sound signal after the phase difference is added to the other
  • a signal output step the sound image position of the lyric sound can be made different from the sound image position of the music, and the user can easily hear the lyric sound.
  • a program executed by an in-vehicle music playback device including a computer is a left channel audio signal and a right channel audio signal arranged on the left and right sides of a vehicle.
  • Music signal output means for outputting to each of the channel speaker and the right channel speaker, phase difference giving means for giving a phase difference to the lyric sound signal which is the lyric sound signal of the music, and arranged near both ears of the seat of the vehicle.
  • the lyric audio signal that outputs the lyric audio signal before applying the phase difference to one of the first speaker and the second speaker that is output and outputs the lyric audio signal after applying the phase difference to the other
  • the computer is caused to function as output means.
  • Assist Vocal [1.1] Concept of Assist Vocal When a user who is driving a vehicle plays and listens to music in the car, he may want to sing the song he is listening to. However, since the lyrics information cannot be seen while driving, the user cannot sing unless the lyrics of the song are stored.
  • the lyrics contained in the song are output as an audio signal to teach the user.
  • the lyrics included in the song are output as audio before the lyrics are played in the song. Tell the user. Thereby, the user can sing the music being reproduced even during driving. Also, users other than the driver can sing songs without looking at the lyrics collection.
  • assistant vocal the function of outputting the contents of the lyrics and transmitting them to the user prior to the timing when the lyrics are reproduced in the music.
  • assistant vocal the function of outputting the contents of the lyrics and transmitting them to the user prior to the timing when the lyrics are reproduced in the music.
  • FIG. 1 shows the concept of assist vocals.
  • FIG. 1 schematically shows one piece of music.
  • the horizontal axis in FIG. 1 indicates time.
  • One piece of music includes a lyrics portion divided into a plurality of blocks.
  • the part of the lyrics included in the music to be played is called “vocal”.
  • the part other than vocals is called “interlude”. Therefore, usually one piece of music is composed of a plurality of interludes and a plurality of vocals.
  • the music is composed of three vocals 1 to 3 and a plurality of interludes. It is assumed that the content (lyrics) of the vocal 1 is “Aiueo”, the content of the vocal 2 is “Kakikukeko”, and the content of the vocal 3 is “Sashisuseso”.
  • the lyrics “Aiueo” corresponding to the vocal 1 are output as audio prior to the timing at which the vocal 1 in the music is played back.
  • the lyric sound output by the assist vocal is called “speech” and is distinguished from “vocal” included in the music.
  • speech 1 corresponding to vocal 1 is output prior to vocal 1.
  • speech 2 is output prior to vocal 2
  • speech 3 is output prior to vocal 3.
  • FIG. 2 is a flowchart of the assist vocal process. This process is executed by a terminal device mounted on the vehicle, typically a mobile terminal such as a smartphone, and the details thereof will be described later. In the following description, it is assumed that the terminal device executes processing.
  • the terminal device determines whether or not the assist vocal is on (step S1).
  • the assist vocal may be turned on / off manually by the user or automatically.
  • the terminal device detects this.
  • the terminal device determines the voice of the user using, for example, a microphone, and automatically turns on the assist vocal when the user is singing or performing an action equivalent to singing Set.
  • the assist vocal automatic setting method will be described later.
  • step S2 If the assist vocal is not set to ON (step S1: No), the process ends.
  • step S1: Yes the terminal device specifies the music being reproduced (step S2).
  • the music played in the car is a music stored in the terminal device by downloading from the server, a music stored in a storage medium such as a CD or a memory of the vehicle-mounted device, a radio Music that is being played from When the music stored in the terminal device is being reproduced, the terminal device can easily specify the music being reproduced.
  • the terminal device collects the music being played from the speaker in the car with a microphone.
  • the music search server stores a large number of pieces of music data as a database, specifies music that matches the audio data received from the terminal device, and indicates the music (for example, music name, artist name, etc. (Referred to as “music identification information”) to the terminal device. In this way, the terminal device acquires the music specifying information of the music currently being played.
  • FIG. 3 is a flowchart of the speech information generation process.
  • FIG. 4 shows an outline of the speech information generation process.
  • the terminal device acquires the lyrics data of the music specified in step S2 from an external server or the like (step S31).
  • the “lyric data” is information that defines what lyrics are reproduced at which timing in the music, specifically, lyrics text data indicating the lyrics included in the music, This is information in which the reproduction time data indicating the reproduction time (the elapsed time from the start time of the song) is associated with the reproduction time data.
  • the terminal device acquires music analysis data (step S32).
  • the music analysis data is information indicating musical features such as beat positions and bar positions in the music, and is generated based on the audio data of the reproduced music.
  • the terminal device has a built-in music analysis application, collects music played from a vehicle speaker with a microphone, acquires audio data, and analyzes the audio data to obtain beat positions. Acquire music analysis data such as. Note that the music analysis data may be acquired using an external music analysis device or server instead of incorporating the music analysis application in the terminal device.
  • Lyrics blocking is a process of blocking lyrics text data included in the lyrics data acquired in step S31, and one block corresponds to one speech. That is, lyric blocking is a process of dividing lyric text data into speech units.
  • the terminal device has acquired “Aiueokiki Kekoshisashisoseso” as the lyric text data, and the terminal device has obtained three blocks “Aiueo”, “Kakikukeko”, and “Sashisetsuso”. To generate block lyrics data.
  • FIG. 5 shows an example of lyrics block.
  • FIG. 5A shows a first method. In this method, the interval between the interludes included in the music is set as one block.
  • the “interlude” is a part other than “vocal” in the music. Specifically, when the length It of a section other than vocal (non-vocal section) is longer than a predetermined length t1, the terminal apparatus determines that the section is an interlude.
  • Fig. 5 (C) shows the second method.
  • the terminal device determines each block based on a break included in the lyrics data. That is, if the lyric text data included in the lyric data includes delimiter information in advance, the terminal device can block the lyric text data according to the delimiter.
  • the terminal device performs lyrics speech (step S34).
  • the block lyric data obtained by lyric blocking is text data indicating lyrics
  • lyric speech is a process of converting block lyric data into audio data.
  • the terminal device incorporates text-to-speech (TTS: TextToSpeech) software, and converts each block lyrics data obtained in step S33 into speech data.
  • TTS TextToSpeech
  • speech data 1 to 3 that are audio data are generated from each block lyrics data.
  • TTS conversion by an external server or the like may be used.
  • the terminal device changes the speech length (step S35).
  • the speech length change is a process for shortening the time length of each speech obtained by lyric speech so that it can be reproduced in a short time.
  • each speech is reproduced in an interlude preceding the corresponding vocal.
  • the speech length is changed.
  • the playback time of each speech is shortened (the playback speed is increased) within a range that can be heard by humans.
  • original speech length the time length of each speech obtained in step S34
  • ⁇ 2 the speech length conversion coefficient
  • the playback time may be further shortened according to the duration of the interlude corresponding to each speech. In this case, even for speech with the same number of characters or words with the same lyrics, the playback time varies depending on the position in the song (the length of the preceding interlude).
  • the terminal device calculates the speech insertion timing (step S36).
  • the terminal device inserts speech corresponding to a certain vocal prior to the playback timing of the vocal.
  • the speech 1 corresponding to the vocal 1 is inserted before the reproduction timing of the vocal.
  • the speech 2 corresponding to the vocal 2 is inserted before the reproduction timing of the vocal 2
  • the speech 3 corresponding to the vocal 3 is inserted before the reproduction timing of the vocal 3.
  • FIG. 6 shows an example of the timing at which the speech 2 corresponding to the vocal 2 is inserted.
  • the speech ends a certain time before the start timing of the corresponding vocal.
  • the speech 2 is inserted so as to end a certain time T2 before the reproduction start timing of the vocal 2. That is, the speech 2 ends a predetermined time T2 before the start of the reproduction of the vocal 2.
  • the reproduction start timing of the speech 2 is determined according to the length of the speech 2.
  • the speech end timing is matched with the beat position of the music.
  • the reproduction start timing of the speech 2 is determined according to the length of the speech 2.
  • the position of the beat of the music is acquired from the music analysis data described above.
  • both the speech playback start timing and playback end timing are matched with the beat position of the music. Specifically, in the example of FIG. 6, the playback start timing and playback end timing of the speech 2 are both made coincident with the third beat of the four beats.
  • both the speech end timing or the start / end timing coincide with the beat position of the music the speech is linked to the music, so that the user can easily sing the music.
  • the terminal device determines the speech insertion timing. Specifically, for each speech, the playback start timing and playback end timing are defined by the elapsed time from the beginning of the music.
  • the playback start timing and playback end timing of each speech is stored as part of the speech information. That is, the speech information includes an audio signal corresponding to each speech (hereinafter also referred to as “speech signal”) and the reproduction start timing / reproduction end timing of each speech.
  • the processing returns to the main routine shown in FIG. 2, and the terminal device acquires the current playback position of the music being played back (step S4). Specifically, the terminal device acquires the current reproduction position by counting the elapsed time from the reproduction start time of the music being reproduced.
  • the terminal device performs speech enhancement processing (step S5).
  • the speech emphasis process is a process for distinguishing vocals included in music from speech and making them easy to hear, details of which will be described later.
  • the terminal device reproduces the speech based on the reproduction start timing / reproduction end timing of each speech included in the speech information and the current reproduction position (step S6). Specifically, the speech reproduction is started at the speech reproduction start timing, and the speech reproduction is terminated at the speech reproduction end timing. As a result, the corresponding speech is reproduced prior to the vocal in the music.
  • the terminal device determines whether or not the speech reproduction should be terminated (step S7).
  • Examples of the case where speech reproduction should be terminated include a case where speech information is lost, a case where music reproduction itself is terminated, a case where assist vocals are turned off by a user operation, and the like. If the speech reproduction should not be terminated (step S7: No), the process returns to step S4 to continue the speech reproduction. On the other hand, if the speech reproduction should be terminated (step S7: Yes), the assist vocal process is terminated.
  • the terminal device collects the voice uttered by the user with a microphone, and the user is singing (singing a song) according to the music or performing an action equivalent to singing.
  • Assist vocal is automatically turned on when it is determined. For example, as a result of analyzing voice data collected by a microphone, if it is determined that a nose is sung, a piece is being sung, a humming, or the like, the assist vocal is turned on. On the other hand, when the voice data is not singing but is a conversation with a passenger, the assist vocal is not turned on. The assist vocal is not turned on even when the voice data includes a part singing a nose song, or when the voice data is mostly conversational.
  • whether or not the user's voice included in the voice data is a song can be determined based on the presence or absence of a rhythm or pitch included in the voice data. For example, if the rhythm is regular or the change in pitch is large, it is judged as singing. If the rhythm is irregular, it is judged as not singing (conversation) if the change in pitch is small. be able to. Further, by using the music analysis application described above, it may be determined that the song is a song when a beat or measure can be extracted from the audio data, and may not be a song when the song cannot be extracted. Further, by using the music search server or the music search function described above, it may be determined that the song is a song when the song can be specified from the audio data, and may not be determined when the song cannot be specified.
  • the terminal device calculates the correlation between the collected audio data and the music being played, and when there is a correlation greater than a certain value, determines that the user is singing and turns on the assist vocal Also good.
  • the terminal device has already acquired the lyrics data of the song being played back, the user is singing when the correlation between the voice data collected by the microphone and the lyrics data is a certain value or more You may judge.
  • the lyric data when the user's voice is output even at the interlude position of the music where the lyric should not exist, it may be determined that it is a conversation.
  • the rhythm information collected by the microphone may be used. For example, if it is determined that the user is hitting the steering wheel with his / her hand or finger in accordance with the rhythm of the music, or if he / she is stepping on the floor with his / her foot, he / she performs an act similar to singing.
  • the assist vocal may be turned on. In this case, the correlation between the rhythm collected by the microphone and the rhythm of the music being played back may be calculated, and the assist vocal may be turned on when the correlation is a certain value or more. In addition, the assist vocal may be turned on when the rhythm collected by the microphone repeats a certain rhythm without calculating the correlation with the rhythm of the music being played. .
  • the assist vocal may be turned on when the state of the user is photographed with a camera that photographs the inside of the vehicle and the user is shaking his / her head along with the music.
  • the assist vocal is turned on when it is determined that the user is singing.
  • the user knows the lyrics and plays the assist vocal. If it is determined that it is not necessary to turn on the assist vocal, it is not necessary to turn on the assist vocal.
  • the correlation between the collected sound data and the music being played is a certain value or more and the correlation with the lyrics data is a certain value or more, the user knows the lyrics. Assist vocals are not turned on even when singing.
  • the speech information may be generated and prepared for output. After that, if the correlation between the collected audio data and the music being played is less than a certain value, or if the correlation with the lyrics data is less than a certain value, it is determined that the user does not know the lyrics. , Output assist vocals.
  • the assist vocal auto-on setting method has been described, but the assist vocal auto-off setting can also be performed.
  • the assist vocal While the assist vocal is turned on, the user does not sing along with the song (does not sing a song) or acts similar to the song (singing a nose song, singing a piece of music, humming Assist Vocal may be automatically turned off when it is determined that the user has not performed the operation).
  • the assist vocal may be automatically turned off, and if it is determined that the rhythm is not taken or the user is not shaking his / her head to the music, Vocals may be turned off automatically.
  • the assist vocal is automatically turned on or off based on whether or not the user is singing or acting in accordance with the singing.
  • automatic on setting or automatic off setting may be performed. For example, for a user who wants to sing only the chorus part of the song, when playing the chorus part of the song, the assist vocal is automatically turned on, and when playing the part other than the chorus part of the song, The assist vocal may be automatically turned off. Conversely, for users who know the rust part and want to practice the part other than rust, when playing the part other than the rust part of the song, the assist vocal is automatically turned on, When playing the part, the assist vocal may be automatically turned off.
  • the speech emphasis process is a method in which the user distinguishes between speech and vocal and makes it easy to hear, and shows the following several methods.
  • step S35 Processing when speech and vocal overlap
  • the speech is basically reproduced during the interlude immediately before the corresponding vocal, and preferably does not overlap with the vocal in time.
  • the above-described speech length changing process (step S35) is performed.
  • the speech may not be completely reproduced during the interlude even if the speech length is shortened. That is, when the length of the speech is longer than the length of the interlude, the speech and vocal are partially overlapped and reproduced.
  • any of the following processing may be performed instead of reproducing speech and vocals in an overlapping manner.
  • FIG. 7A shows a case where the rear portion of the speech and the head portion of the vocal overlap and an overlapping portion X occurs.
  • the volume of the vocal is adjusted in the overlapping portion X.
  • the vocal volume is reduced to a level where speech can be heard, or zero.
  • the reproduction of the speech is prioritized and the speech is easy to hear.
  • FIG. 7 (B) shows a case where the speech head portion and the rear portion of the previous vocal overlap, resulting in an overlap portion X.
  • the vocal volume is adjusted in the overlapping portion X. Specifically, the vocal volume is reduced to a level where speech can be heard, or zero. Further, in the overlapping portion X, the volume level of the vocal may not be suddenly lowered, but the volume level may be gradually lowered by fading out the vocal. Thereby, in the overlapping part X, the reproduction of the speech is prioritized and the speech is easy to hear.
  • the above level adjustment may be performed by lowering the volume level of the vocal component when the vocal component and the performance component such as a musical instrument are separated in the music signal.
  • the volume level of the entire music signal may be reduced, In particular, the volume level may be lowered only for the component in the frequency band corresponding to vocal (human voice).
  • FIG. 7C shows a case where the rear part of the speech and the head part of the vocal overlap and an overlapping part X occurs.
  • the speech volume is adjusted in the overlapping portion X. Specifically, the volume of speech is reduced or zero. Instead of suddenly reducing the speech volume, the speech may be faded out to gradually decrease the volume.
  • speech cannot be heard at the overlapping portion X, but generally when listening to a song that the user knows to some extent, the entire lyrics are not remembered, but if the beginning of the lyrics is known, Often, you can sing with the memory of the lyrics. Therefore, as shown in FIG. 7C, if the head portion of the speech can be heard, the rear portion of the speech may be difficult to hear. This technique is effective in such a case.
  • FIG. 8A shows a configuration in which the phase of speech output from left and right speakers is inverted.
  • the music signal of the left (L) channel is supplied to the adder 32, and the music signal of the right (R) channel is supplied to the adder 33.
  • the speech signal is supplied to the adder 33 as it is, and its phase is inverted by the phase inverter 31 and supplied to the adder 32.
  • the output of the adder 32 is supplied to the left speaker 30L, and the output of the adder 33 is supplied to the right speaker 30R.
  • the sound image of a song including vocals is localized between the left and right speakers, whereas the sound image of a speech is localized around the user's ears, and the user distinguishes between the speech and the vocals in the song. It becomes easy.
  • the phase of the speech signal supplied to the left speaker 30L is inverted by the phase inverter 31, but only the phase of the speech signal supplied to the right speaker 30R is inverted. It may be reversed.
  • the speech signal supplied to one speaker is not necessarily There is no need to reverse (change 180 °). That is, it is only necessary to give a certain phase difference between the speech signal supplied to one speaker and the speech signal supplied to the other speaker.
  • FIG. 8B shows a configuration in which a sound image of speech can be set at an arbitrary position.
  • the music signal of the left (L) channel is supplied to the adder 32, and the music signal of the right (R) channel is supplied to the adder 33.
  • the speech signal is supplied to the adders 32 and 33 via the sound image localization control calculation unit 34 and the crosstalk cancellation unit 35.
  • the sound image localization control calculation unit 34 convolves the transfer function between the target speaker position and the listening position (user's position) with the speech signal, and the crosstalk canceling unit 35 sets the speaker outputting the music and the listening position. A process for canceling the transfer function between them is performed. Accordingly, the sound image of the music can be localized between the left and right speakers 30L and 30R, and the sound image of the speech can be localized at the target speaker position, so that the user can easily distinguish between the speech and the vocal.
  • the music signals of the left and right channels are supplied to the vehicle speakers 30L and 30R, respectively.
  • the speech signal is supplied to the right headrest speaker 35R as it is, and the phase is inverted by the phase inverter 31 and is supplied to the left headrest speaker 35L.
  • the phase difference is given to the speech signals supplied to the two headrest speakers 35L and 35R, the sound image of the speech is localized at a position different from the sound image of the music, and the user can recognize the speech and the vocals in the music. It becomes easy to distinguish.
  • a constant phase difference is given between the speech signal supplied to one headrest speaker and the speech signal supplied to the other headrest speaker. Do it.
  • the speech may be reproduced using the headrest speaker in the passenger seat instead of the headrest speaker in the driver seat. Further, when headrest speakers are mounted on a plurality of seats of the vehicle, it may be possible to select and set the necessity of speech reproduction for each seat. In this way, it is possible to set so that the speech is reproduced only from the headrest speaker in the seat of the passenger who wants to sing the music while listening to the speech.
  • the sound image of the speech can be placed at an arbitrary position by using the sound image localization control calculation unit 34 and the crosstalk cancellation unit 35 in the same manner as the processing described in FIG. 8B. May be localized. This makes it easy for the user to distinguish between speech and vocals.
  • the speakers 30L and 30R are examples of the left channel speaker and the channel speaker of the present invention, respectively, and the headrest speakers 35L and 35R are examples of the first speaker and the second speaker, respectively.
  • the vessel 31 is an example of the phase difference providing means of the present invention.
  • FIG. 10 shows the overall configuration of the music playback system according to the first embodiment.
  • a plurality of vehicles 1, a content provider 2, and a gate server 3 can communicate with each other via a network 4.
  • the plurality of vehicles 1 can communicate with the content server 2 and the gate server 3 via the network 4 by wireless communication.
  • Content provider 2 is a server such as a music distributor and provides music data, music metadata, lyrics data, and the like.
  • the gate server 3 is a server that functions to realize the assist vocal according to the present embodiment, acquires music data, metadata, lyrics data, and the like of necessary music from the content provider 2 and stores them in a database (not shown). ing.
  • the vehicle 1 includes a terminal device 10, a music playback device 20, and a speaker 30.
  • the terminal device 10 is typically a mobile terminal such as a smartphone, and includes a communication unit 11, a control unit 12, a storage unit 13, a microphone 14, and an operation unit 15.
  • the communication unit 11 communicates with the gate server 3 through the network 4.
  • the control unit 12 includes a CPU and the like, and controls the entire terminal device 10.
  • the storage unit 13 is a memory such as a ROM or a RAM, and stores a program for the control unit 12 to execute various processes, and also functions as a work memory.
  • the control unit 12 executes the program stored in the storage unit 13, processing including assist vocal processing is executed.
  • storage part 13 may memorize
  • the microphone 14 collects sounds such as music being played in the car, singing by the user, conversation, etc., and generates sound data.
  • the operation unit 15 is typically a touch panel or the like, and receives an operation and selection input by a user.
  • the music playback device 20 is a car audio, for example, and includes an amplifier.
  • the speaker 30 is a speaker mounted on the vehicle.
  • the music playback device 20 plays back music from the speaker 30 based on the music data supplied from the terminal device 10.
  • the vehicle 1 includes a terminal device 10x.
  • the terminal device 10x is a device having the functions of the terminal device 10 such as a portable terminal shown in FIG. 11A and the music playback device 20 such as car audio.
  • the terminal device 10 x includes a communication unit 11, a control unit 12, a storage unit 13, a microphone 14, and an operation unit 15, and a music playback unit 16 that corresponds to the music playback device 20.
  • the terminal device 10x is connected to the speaker 30 and reproduces music from the speaker 30 based on music data.
  • FIG. 12 is a flowchart of the assist vocal process according to the first embodiment.
  • the assist vocal process is executed mainly by the terminal device 10 or 10x (hereinafter simply referred to as “terminal device 10”).
  • the gate server 3 is connected to the content provider 2 via the network 4, acquires music data and lyrics data for a plurality of music, and stores them in an internal database (step S 101).
  • the terminal device 10 receives designation of the music to be played by the operation of the operation unit 15 by the user (step S102), and transmits music designation information for designating the music to the gate server 3 (step S103).
  • the gate server 3 acquires the song data and lyrics data of the song corresponding to the received song designation information from the database, and transmits it to the terminal device 10 (step S104).
  • the terminal device 10 performs the processing of steps S105 to S109 using the received music data and lyrics data.
  • the processing in steps S105 to S109 is the same as that in steps S3 to S7 in FIG.
  • the terminal device 10 mounted on the vehicle 1 mainly executes the assist vocal process.
  • the gate server 3 acquires the music data from the content provider in step S101. However, when the music data is stored in the terminal device 10, the gate server 3 receives the music data from the terminal device 10. You may get it. Further, when music data is stored in the database in the gate server 3, the music data may be acquired therefrom.
  • Second Embodiment In the second embodiment, a part of the assist vocal process is executed on the gate server 3 side.
  • the overall configuration of the music playback system according to the second embodiment is the same as that of the first embodiment shown in FIG.
  • FIG. 13 is a flowchart of the assist vocal process according to the second embodiment.
  • the gate server 3 generates speech information, further generates music data with speech, and transmits it to the terminal device 10.
  • the terminal device 10 receives and reproduces the music data with speech. This will be described in detail below.
  • the gate server 3 is connected to the content provider 2 via the network 4, acquires music data and lyrics data for a plurality of music, and stores them in an internal database (step S 201). And the gate server 3 produces
  • the gate server 3 adds the speech to the music data and generates the music data with speech (step S203). Specifically, the gate server 3 combines the speech signal corresponding to each speech with the music data at the timing calculated by the process of step S36 in FIG. 3 based on the generated speech information, and generates music data with speech. And store it in the database.
  • the music data with speech is data in which speech is reproduced in addition to the music by reproducing as it is.
  • the terminal device 10 receives designation of the music to be played by the operation of the operation unit 15 by the user (step S204), and transmits music designation information for designating the music to the gate server 3 (step S205).
  • the gate server 3 transmits the song-attached music data corresponding to the received music designation information to the terminal device 10 (step S206).
  • the terminal device 10 reproduces the received music data with speech (step S207). Thereby, the speech is reproduced at an appropriate timing during the reproduction of the music.
  • the terminal device 10 determines whether or not the music reproduction should be terminated (step S208). When the music has been played to the end, or when playback should be terminated, such as when the user has stopped playing (step S208: Yes), the terminal device 10 finishes playing. On the other hand, if the reproduction of the music should not be terminated (step S208: No), the process returns to step S207, and the reproduction of the music data with speech is continued.
  • the music data with speech is generated on the gate server 3 side and provided to the terminal device 10.
  • the terminal device 10 can listen to music including speech by reproducing the received music data with speech.
  • the gate server 3 acquires the music data from the content provider in step S201. However, if the music data is stored in the terminal device 10, the gate server 3 receives the music data from the terminal device 10. You may get it. Further, when music data is stored in the database in the gate server 3, the music data may be acquired therefrom.
  • the music that is being reproduced by the terminal device 10 is reproduced with speech added.
  • speech can be added to music reproduced from a source other than the terminal device 10, such as a radio in a car, a CD (hereinafter referred to as “external source”).
  • the terminal device 10 basically generates the speech information by the above-described method, and only needs to reproduce the speech at a timing corresponding to the reproduction position of the music reproduced from the external source.
  • FIG. 14 shows a flowchart of assist vocal processing in this case.
  • the terminal device 10 collects music reproduced from an external source by the microphone 14 to acquire reproduced music data (step S151), and transmits this to the gate server 3 (step S152).
  • the gate server 153 receives the reproduction music data from the terminal device 10, and specifies the corresponding music and its reproduction position (step S153).
  • the gate server 3 includes a music search unit having the function of the music search server described above, specifies the music based on the reproduced music data, and reproduces the reproduction position corresponding to the reproduced music data portion. Is identified. Then, the gate server 3 transmits the lyrics data and the reproduction position information to the terminal device 10 together with the music name and artist name of the specified music (Step S154).
  • the terminal device 10 generates speech information using the received lyric data (step S155). Note that the speech information is generated by the same method as described with reference to FIG. In addition, the terminal device 10 can acquire music analysis data by analyzing the reproduction music data acquired with the microphone 14 (process of step S32 of FIG. 3).
  • the terminal device 10 calculates the current playback position of the music based on the playback position information acquired from the gate server 3 (step S156). This method will be described later.
  • the terminal device 10 performs speech enhancement processing (step S157), and reproduces speech at an appropriate timing according to the music being reproduced by the external source (step S158). As a result, the speech is reproduced in accordance with the music being reproduced from the external source.
  • the terminal device 10 determines whether or not to end the speech reproduction (step S159), and if not to end, returns to step S156 and continues the process.
  • step S159 determines whether or not to end the speech reproduction.
  • the reproduced music data transmitted from the terminal device 10 to the gate server 3 is actually data of a plurality of audio frames. That is, the terminal device 10 collects the music reproduced by the external source with the microphone 14 and sequentially transmits it to the gate server 3 as a plurality of audio frames.
  • the terminal device 10 has audio frames n, (n + 1), (n + 2),. . . Are sequentially transmitted to the gate server 3 as reproduced music data. At this time, the terminal device 10 stores the time when the reproduced music data is first transmitted, and the time when the audio frame n is transmitted in the example of FIG. 15 (hereinafter referred to as “reference time t0”).
  • the music search unit of the gate server 3 refers to information on a large number of music pieces stored in the database, and specifies music pieces based on the received plurality of audio frames.
  • the music search unit of the gate server 3 can identify the music based on the audio frames n to (n + 4).
  • the gate server 3 uses the playback time information (tn) from the beginning of the audio frame n received from the terminal device 10 as the playback position information as the playback position information in addition to the music title, artist name, etc. Transmit to device 10. That is, the reproduction position information transmitted from the gate server 3 to the terminal device 10 in step S154 of FIG.
  • step S156 the terminal apparatus 10 calculates the elapsed time ⁇ t of the elapsed time from the reference time t0 stored in advance to the present, and adds this to the reproduction time tn. That is, the reproduction time tn transmitted from the gate server 3 is the time from the beginning of the music to the audio frame n, and the elapsed time ⁇ t is the time from the audio frame n to the present. Therefore, the current playback position (playback time) Tc is calculated by the following equation.
  • Tc tn + ⁇ t (2)
  • step S159 the reproduction may be ended when one music is finished. However, when another music is reproduced after one music is finished, the process is continued. Also good. That is, the speech reproduction may be continued while the transmission of the music reproduction data from the terminal device 10 to the gate server 3 is continued. Thereby, even if the music reproduced from the external source changes, it becomes possible to continue the speech reproduction following the song.
  • the present invention can be used for an apparatus for playing music.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

歌詞を含む音楽を再生している際に、ユーザがその曲を歌うための歌詞音声を聞き取り易く提供する。 車載用音楽再生装置は、車両の左右に配置された左チャンネルスピーカと右チャンネルスピーカに接続され、楽曲の左チャンネルの音声信号と右チャンネルの音声信号をそれぞれ出力する。また、楽曲の歌詞の音声信号である歌詞音声信号に対して位相差が付与され、車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に位相差を付与する前の歌詞音声信号を出力し、他方に位相差を付与した後の歌詞音声信号が出力される。

Description

車載用音楽再生装置、音楽再生方法、及び、プログラム
　本発明は、楽曲の再生に伴って歌詞の情報を出力する手法に関する。
　カラオケの演奏曲に先行して歌詞データを音声合成して出力するカラオケ装置が知られている（例えば、特許文献１、２）。
特開４－６７４６７号公報 特開１０－６３２７４号公報
　カラオケ装置の場合、再生される楽曲に歌詞が含まれないため、先行技術により出力される歌詞音声が聞き取りにくくなることはない。しかし、カラオケではなく通常の音楽を再生して聞いているような場合には、先行技術の手法により歌詞を音声出力すると、出力された歌詞音声が元の音楽に含まれる歌詞の部分と重なって聞き取りにくくなってしまうことがある。また、例えば車両の運転中に音楽を聞いている場合には、先行技術の手法により出力される歌詞音声が車載用ナビゲーション装置による道案内の音声メッセージなどと重なって聞き取りにくくなってしまうこともある。
　本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、歌詞を含む音楽を再生している際に、ユーザがその曲を歌うための歌詞音声を聞き取り易く提供することを目的とする。
　請求項に記載の発明は、車載用音楽再生装置であって、楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力手段と、前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与手段と、前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力手段と、を備えることを特徴とする。
　他の請求項に記載の発明は、車載用音楽再生装置によって実行される音楽再生方法であって、楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力工程と、前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与工程と、前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力工程と、を備えることを特徴とする。
　他の請求項に記載の発明は、コンピュータを備える車載用音楽再生装置によって実行されるプログラムであって、楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力手段、前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与手段、前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力手段、として前記コンピュータを機能させることを特徴とする。
アシストボーカルの概念を示す図である。 アシストボーカル処理のフローチャートである。 スピーチ情報生成処理のフローチャートである。 スピーチ情報生成処理の概要を示す。 歌詞ブロック化の例を示す。 スピーチ挿入方法の例を示す。 スピーチ強調処理の例を示す。 スピーチ強調処理の他の例に係る構成を示す。 スピーチ強調処理の他の例に係る構成を示す。 楽曲再生システムの全体構成を示すブロック図である。 端末装置の内部構成例を示すブロック図である。 第１実施例の楽曲再生システムによるアシストボーカル処理のフローチャートである。 第２実施例の楽曲再生システムによるアシストボーカル処理のフローチャートである。 スピーチのみを再生するアシストボーカル処理のフローチャートである。 外部ソースにより再生されている楽曲の特定方法を説明する図である。
　本発明の好適な実施形態では、車載用音楽再生装置は、楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力手段と、前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与手段と、前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力手段と、を備える。
　上記の車載用音楽再生装置は、車両の左右に配置された左チャンネルスピーカと右チャンネルスピーカに接続され、楽曲の左チャンネルの音声信号と右チャンネルの音声信号をそれぞれ出力する。また、楽曲の歌詞の音声信号である歌詞音声信号に対して位相差が付与され、車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に位相差を付与する前の歌詞音声信号を出力し、他方に位相差を付与した後の歌詞音声信号が出力される。これにより、歌詞音声の音像位置と楽曲の音像位置とを異ならせることができ、ユーザが歌詞音声を聞き取り易くなる。
　好適な一態様では、前記位相差付与手段は、前記歌詞音声信号に１８０°の位相差を与える。好適な例では前記座席は前記車両の運転席であり、他の好適な例では前記座席は前記車両の助手席である。
　上記の車載用音楽再生装置の他の一態様では、前記車両は複数の座席を備え、前記複数の座席の各々は前記第１のスピーカ及び前記第２のスピーカを備え、前記複数の座席のうち、前記歌詞音楽信号を出力させるべき座席を選択するための選択手段をさらに備え、前記歌詞音声信号出力手段は、前記複数の座席のうち、前記選択手段により選択された座席の前記第１のスピーカ及び第２のスピーカから前記歌詞音声信号を出力する。この態様では、複数の座席のうち、選択手段により選択された座席において歌詞音声信号を出力させることができる。
　本発明の他の好適な実施形態では、車載用音楽再生装置によって実行される音楽再生方法は、楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力工程と、前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与工程と、前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力工程と、を備える。この方法により、歌詞音声の音像位置と楽曲の音像位置とを異ならせることができ、ユーザが歌詞音声を聞き取り易くなる。
　本発明の他の好適な実施形態では、コンピュータを備える車載用音楽再生装置によって実行されるプログラムは、楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力手段、前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与手段、前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力手段、として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記の車載用音楽再生装置を実現することができる。このプログラムは記憶媒体に記憶された状態で取り扱うことができる。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［１］アシストボーカル
　［１．１］アシストボーカルの概念
　車両を運転しているユーザが車内で音楽を再生して聞いている際、聞いている曲を歌いたくなることがある。しかし、運転中は歌詞の情報を見ることができないため、ユーザはその曲の歌詞を記憶していないと歌うことはできない。
　本実施例では、歌詞を含む楽曲を再生している際に、その楽曲に含まれる歌詞を音声信号として出力し、ユーザに教える。具体的には、端末装置のメモリなどに記憶されている楽曲を再生している際に、その楽曲に含まれる歌詞を、その歌詞がその楽曲中で再生される前に、音声として出力してユーザに伝える。これにより、ユーザは、運転中であっても、再生中の曲を歌うことができる。また、運転手以外のユーザも、歌詞集などを見ることなく曲を歌うことができる。
　このように、楽曲中で歌詞が再生されるタイミングに先行して、その歌詞の内容を音声出力してユーザに伝える機能を「アシストボーカル」と呼ぶ。なお、本実施例では、再生される楽曲はカラオケではなく、歌詞を含む通常の曲であるものとする。
　図１は、アシストボーカルの概念を示す。図１は、１つの楽曲を模式的に示したものである。図１の横軸は時間を示す。１つの楽曲中には、複数のブロックに分けて歌詞の部分が含まれている。再生される楽曲に含まれる歌詞の部分を「ボーカル」と呼ぶ。また、楽曲中において、ボーカル以外の部分を「間奏」と呼ぶ。よって、通常１つの楽曲は、複数の間奏と複数のボーカルとにより構成される。
　図１の例では、楽曲は、３つのボーカル１～３と、複数の間奏とにより構成されている。ボーカル１の内容（歌詞）は「あいうえお」であり、ボーカル２の内容は「かきくけこ」であり、ボーカル３の内容は「さしすせそ」であるものとする。
　このような楽曲が再生されている状況において、本実施例では、楽曲中のボーカル１が再生されるタイミングに先行して、ボーカル１に対応する歌詞「あいうえお」が音声出力される。なお、本明細書では、アシストボーカルにより音声出力される歌詞音声を「スピーチ」と呼んで、楽曲中に含まれる「ボーカル」と区別する。
　図１の例では、ボーカル１に先行して、ボーカル１に対応するスピーチ１が出力される。同様に、ボーカル２に先行してスピーチ２が出力され、ボーカル３に先行してスピーチ３が出力される。
　スピーチは、曲に含まれるボーカルの歌詞のみを音声信号として出力するものであり、基本的に音程やリズムなどの要素を含まない。また、後述するように、スピーチは基本的に対応するボーカルの前の間奏に挿入されるので、必要に応じてその長さが調整され、通常は楽曲の再生中にボーカルとして再生される場合よりも短い時間とされる。典型的な例では、スピーチは対応するボーカルの歌詞を早口で話した音声となる。
　［１．２］アシストボーカル処理
　次に、スピーチを出力するためのアシストボーカル処理について説明する。図２は、アシストボーカル処理のフローチャートである。なお、この処理は、車両に搭載された端末装置、典型的にはスマートフォンなどの携帯端末などにより実行されるが、その詳細については後述する。以下の説明では、端末装置が処理を実行するものとして説明する。
　まず、端末装置は、アシストボーカルがオンになっているか否かを判定する（ステップＳ１）。ここで、アシストボーカルのオン／オフは、ユーザが手動で行う場合と、自動で行う場合とがある。手動で行う場合、ユーザはアシストボーカルによりスピーチの再生を行いたいときに所定のボタンなどを操作してアシストボーカルをオンに設定し、端末装置はこれを検出する。一方、自動で行う場合、端末装置は例えばマイクなどを利用してユーザの声を判定し、ユーザが歌唱している又は歌唱に準ずる行為を行っている場合に、自動的にアシストボーカルをオンに設定する。なお、アシストボーカルの自動設定方法についてはさらに後述する。
　アシストボーカルがオンに設定されていない場合（ステップＳ１：Ｎｏ）、処理は終了する。一方、アシストボーカルがオンに設定されている場合（ステップＳ１：Ｙｅｓ）、端末装置は、再生中の楽曲を特定する（ステップＳ２）。この場合に、車内で再生されている楽曲は、サーバからダウンロードされるなどして端末装置の内部に記憶されている楽曲、ＣＤや車載器のメモリなどの記憶媒体に記憶されている楽曲、ラジオなどから再生されている楽曲などを含む。端末装置の内部に記憶されている楽曲を再生している場合、端末装置はその再生中の楽曲を容易に特定することができる。一方、ＣＤなどの記憶媒体に記憶されている楽曲が再生されている場合やラジオから楽曲が再生されている場合には、端末装置は、車内のスピーカから再生されている楽曲をマイクで集音し、そのオーディオデータを外部の音楽検索サーバに送信する。音楽検索サーバは、多数の楽曲のデータをデータベース化して記憶しており、端末装置から受信したオーディオデータと一致する楽曲を特定してその楽曲を示す情報（例えば、曲名、アーティスト名など、以下、「楽曲特定情報」と呼ぶ。）を端末装置に送信する。こうして、端末装置は、現在再生されている楽曲の楽曲特定情報を取得する。
　こうして、再生中の楽曲が特定されると、端末装置は、スピーチ情報生成処理を実行する（ステップＳ３）。図３は、スピーチ情報生成処理のフローチャートである。また、図４は、スピーチ情報生成処理の概要を示す。
　図３において、端末装置は、ステップＳ２で特定された楽曲の歌詞データを外部サーバなどから取得する（ステップＳ３１）。ここで、「歌詞データ」とは、その楽曲において、どのタイミングにどのような歌詞が再生されるかを規定する情報であり、具体的には、楽曲に含まれる歌詞を示す歌詞テキストデータと、その歌詞が再生される再生時刻（曲の開始時刻からの経過時間）を示す再生時刻データとを対応付けた情報である。
　次に、端末装置は、楽曲解析データを取得する（ステップＳ３２）。楽曲解析データとは、その楽曲における拍位置、小節位置などの音楽的特徴を示す情報であり、再生された楽曲のオーディオデータに基づいて生成される。具体的には、端末装置は内部に楽曲解析アプリケーションを内蔵しておき、車両のスピーカから再生された楽曲をマイクで集音してオーディオデータを取得し、そのオーディオデータを解析することにより拍位置などの楽曲解析データを取得する。なお、端末装置に楽曲解析アプリケーションを内蔵する代わりに、外部の楽曲解析装置やサーバなどを利用して楽曲解析データを取得してもよい。
　次に、端末装置は、歌詞ブロック化を行う（ステップＳ３３）。歌詞ブロック化とは、ステップＳ３１で取得した歌詞データに含まれる歌詞テキストデータをブロック化する処理であり、１つのブロックは、１つのスピーチに対応する。即ち、歌詞ブロック化は、歌詞テキストデータを、スピーチの単位に分割する処理である。
　図４の例では、端末装置は、歌詞テキストデータとして「あいうえおかきくけこさしすせそ」を取得しており、端末装置は、これを「あいうえお」、「かきくけこ」、「さしすせそ」の３つのブロックに分割してブロック歌詞データを生成する。
　図５は、歌詞ブロック化の例を示す。図５（Ａ）に第１の方法を示す。この方法では、楽曲に含まれる間奏と間奏との間を１つのブロックとする。なお、「間奏」は、楽曲のうち「ボーカル」以外の部分である。具体的には、端末装置は、ボーカル以外の区間（非ボーカル区間）の長さＩｔが所定長さｔ１よりも長い場合に、その区間を間奏と判定する。
　但し、例外的に、間奏の長さとの関係で複数のブロックを１つのブロックにまとめる場合がある。図５（Ｂ）に示す例のように、ボーカル３の長さＶｔ３に対して、その直前の間奏２の長さＩｔ２が非常に短い（Ｉｔ２＜α１・Ｖｔ３；α１は任意の係数）場合、間奏２の間にボーカル３のスピーチを出力することは難しい。このような場合に、その１つの前の間奏１の長さＩｔ１が所定長より長ければ、端末装置は、ボーカル２とボーカル３を１つのブロックとする。これにより、ボーカル２とボーカル３に対応するスピーチは間奏１においてされる。
　図５（Ｃ）に第２の方法を示す。この方法では、端末装置は、歌詞データに含まれる区切りに基づいて各ブロックを決定する。即ち、歌詞データに含まれる歌詞テキストデータに予め区切りの情報が含まれている場合には、端末装置はその区切りに従って歌詞テキストデータをブロック化することができる。
　次に、端末装置は、歌詞スピーチ化を行う（ステップＳ３４）。歌詞ブロック化により得られたブロック歌詞データはあくまで歌詞を示すテキストデータであり、歌詞スピーチ化はブロック歌詞データを音声データに変換する処理である。具体的には、端末装置は、テキスト－音声変換（ＴＴＳ：ＴｅｘｔＴｏＳｐｅｅｃｈ）ソフトウェアを内蔵し、ステップＳ３３で得られた各ブロック歌詞データを音声データに変換する。これにより、図４に示すように、各ブロック歌詞データから、音声データであるスピーチ１～３が生成される。なお、端末装置にＴＴＳソフトウェアを内蔵する代わりに、外部サーバなどによるＴＴＳ変換を利用してもよい。
　次に、端末装置は、スピーチ長変更を行う（ステップＳ３５）。スピーチ長変更とは、歌詞スピーチ化により得られた各スピーチの時間的な長さを短縮して、短い時間で再生できるようにする処理である。既に述べたように、各スピーチは対応するボーカルに先行する間奏において再生されるが、間奏の時間的な長さには制限があるので、スピーチを短くして再生する必要がある。このため、スピーチ長変更が行われる。
　基本的には、人間により聞き取り可能な範囲で、各スピーチの再生時間を短く（再生速度を速く）する。例えば、ステップＳ３４で得られた各スピーチの時間的な長さ（「オリジナルスピーチ長」と呼ぶ。）を「Ｓｔ」とし、スピーチ長変換係数を「α２」とすると、スピーチ長変更による変更後の長さ「Ｓｔｖ」は、
　　　　Ｓｔｖ＝Ｓｔ・α２　（α２＜１．０）　　　　　　　　　　（１）
で与えられる。例えば、α２＝０．７とすれば、スピーチ長変更により各スピーチは元の３割増しの速さで再生されることになる。
　また、上記のような一括変更に加えて、各スピーチ毎に対応する間奏の時間に応じてさらに再生時間を短くしてもよい。なお、この場合、同じ文字数のスピーチ、又は、同じ歌詞の言葉であっても、曲中の位置（先行する間奏の長さ）に応じて、再生時間が異なることになる。
　次に、端末装置は、スピーチ挿入タイミングを算出する（ステップＳ３６）。端末装置は、あるボーカルに対応するスピーチを、そのボーカルの再生タイミングに先行して挿入する。図４に示す例では、ボーカル１に対応するスピーチ１はボーカルの再生タイミングより前に挿入される。同様に、ボーカル２に対応するスピーチ２はボーカル２の再生タイミングより前に挿入され、ボーカル３に対応するスピーチ３はボーカル３の再生タイミングより前に挿入される。
　スピーチを挿入する方法の具体例を図６に示す。図６は、ボーカル２に対応するスピーチ２を挿入するタイミングの例を示す。
　方法１では、スピーチは、対応するボーカルの開始タイミングよりも一定時間前に終了する。具体的に、図６に示すように、スピーチ２は、ボーカル２の再生開始タイミングより一定時間Ｔ２前に終了するように挿入される。即ち、スピーチ２はボーカル２の再生開始より一定時間Ｔ２前に終了する。この場合、スピーチ２の再生開始タイミングはスピーチ２の長さに応じて決まる。方法１では、スピーチの再生が終了してから、対応するボーカルが再生されるまでに一定時間が確保されるので、ユーザは余裕を持ってボーカル部分を歌うことができる。
　方法２では、スピーチの終了タイミングを楽曲の拍位置と一致させる。具体的に、図６の例では、スピーチ２は、ボーカル２の再生開始タイミングよりＮ拍前（Ｎは任意の整数；本例ではＮ＝１）に終了するように挿入される。この場合、スピーチ２の再生開始タイミングはスピーチ２の長さに応じて決まる。なお、楽曲の拍の位置は、前述の楽曲解析データから取得される。
　方法３では、スピーチの再生開始タイミングと再生終了タイミングの両方を楽曲の拍位置と一致させる。具体的に、図６の例では、スピーチ２の再生開始タイミング及び再生終了タイミングをともに４拍子の３拍目に一致させている。
　方法２、３のように、スピーチの終了タイミング、又は、開始／終了タイミングの両方を楽曲の拍位置と一致させると、スピーチが楽曲と連動するのでユーザが楽曲を歌いやすくなる。
　以上のようにして、端末装置は、スピーチの挿入タイミングを決定する。具体的には、各スピーチについて、その再生開始タイミングと再生終了タイミングとを、楽曲の先頭からの経過時間により規定する。各スピーチの再生開始タイミングと再生終了タイミングは、スピーチ情報の一部として記憶される。即ち、スピーチ情報は、各スピーチに対応する音声信号（以下、「スピーチ信号」とも呼ぶ。）と、各スピーチの再生開始タイミング／再生終了タイミングとを含む。
　次に、処理は図２に示すメインルーチンに戻り、端末装置は、再生中の楽曲の現在の再生位置を取得する（ステップＳ４）。具体的には、端末装置は、再生中の楽曲の再生開始時刻からの経過時間をカウントすることにより、現在の再生位置を取得する。
　次に、端末装置は、スピーチ強調処理を行う（ステップＳ５）。スピーチ強調処理は、楽曲に含まれるボーカルと、スピーチとを区別して聞き取り易くする処理であるが、その詳細は後述する。
　次に、端末装置は、スピーチ情報に含まれる各スピーチの再生開始タイミング／再生終了タイミングと、現在の再生位置とに基づいて、スピーチを再生する（ステップＳ６）。具体的には、スピーチの再生開始タイミングでスピーチの再生を開始し、スピーチの再生終了タイミングでスピーチの再生を終了する。これにより、楽曲中のボーカルに先行して、対応するスピーチが再生されることになる。
　次に、端末装置は、スピーチの再生を終了すべきか否かを判定する（ステップＳ７）。スピーチの再生を終了すべき場合とは、スピーチ情報が無くなった場合、楽曲の再生自体が終了した場合、ユーザの操作によりアシストボーカルがオフされた場合、などが挙げられる。スピーチの再生を終了すべきでない場合（ステップＳ７：Ｎｏ）、処理はステップＳ４へ戻り、スピーチの再生を継続する。一方、スピーチの再生を終了すべきである場合（ステップＳ７：Ｙｅｓ）、アシストボーカル処理は終了する。
　［１．３］アシストボーカルの自動オン設定方法
　次に、図２に示すアシストボーカル処理のステップＳ１においてアシストボーカルを自動的にオンに設定する方法について説明する。
　基本的な方法としては、端末装置は、ユーザが発している音声をマイクで集音し、ユーザが楽曲に合わせて歌唱している（歌を歌っている）又は歌唱に準ずる行為を行っていると判定される場合にアシストボーカルを自動的にオンにする。例えば、マイクにより集音した音声データを解析した結果、鼻歌を歌っている、断片的に曲を歌っている、ハミングしているなどと判定される場合には、アシストボーカルをオンにする。一方、音声データが歌唱しているのではなく、同乗者との会話である場合にはアシストボーカルをオンにしない。音声データが鼻歌を歌っている部分を含んでいるような場合でも、大部分が会話であるような場合にもアシストボーカルをオンにはしない。
　なお、音声データに含まれるユーザの音声が歌唱であるか否かは、音声データに含まれるリズムや音程の有無に基づいて判断することができる。例えばリズムが規則的である場合や音程の変化が大きい場合には歌唱であると判断し、リズムが不規則である場合は音程の変化が小さい場合に歌唱ではない（会話である）と判断することができる。また、前述の楽曲解析アプリケーションを利用し、音声データから拍や小節が抽出できた場合に歌唱であると判断し、抽出できない場合に歌唱ではないと判断してもよい。また、前述の音楽検索サーバ又は音楽検索機能を利用し、音声データから楽曲が特定できた場合に歌唱であると判断し、楽曲が特定できない場合に歌唱ではないと判断してもよい。
　また、端末装置は、集音した音声データと、再生中の楽曲との相関を算出し、一定値以上の相関がある場合に、ユーザが歌唱していると判断してアシストボーカルをオンにしてもよい。また、端末装置が再生中の曲の歌詞データを既に取得している場合には、マイクにより集音した音声データと歌詞データとの相関が一定値以上である場合に、ユーザが歌っていると判断してもよい。また、歌詞データに基づいて、歌詞が存在しないはずの楽曲の間奏位置においてもユーザの音声が出力されている場合には、それは会話であると判断してもよい。
　また、マイクで集音したリズムの情報を利用してもよい。例えば、ユーザが楽曲のリズムに合わせて手や指でステアリングなどを叩いているとか、足で床を踏んでリズムを取っていると判断される場合には、ユーザが歌唱に準ずる行為を行っていると判定し、アシストボーカルをオンにしてもよい。この場合、マイクで集音したリズムと再生中の楽曲のリズムとの相関を算出し、相関が一定値以上である場合にアシストボーカルをオンにしてもよい。また、再生中の楽曲のリズムとの相関を算出しなくても、マイクで集音されたリズムが、一定のリズムの繰り返しになっているような場合には、アシストボーカルをオンにしてもよい。
　さらには、車内を撮影するカメラでユーザの状態を撮影し、ユーザが楽曲に合わせて首を振っているような場合に、アシストボーカルをオンにしてもよい。また、車内を撮影するカメラにより、助手席や後部座席に同乗者がいるか否かを検出し、同乗者の有無により、ユーザが歌っているのか会話しているのかの判定基準を変化させてもよい。
　また、上記の例では、ユーザが歌唱していると判断した場合に、アシストボーカルをオンにする例を説明したが、ユーザが歌唱していても、ユーザが歌詞を知っていてアシストボーカルを再生する必要がないと判断した場合には、アシストボーカルをオンにしなくてもよい。具体的には、例えば集音した音声データと、再生中の楽曲との相関が一定値以上であり、かつ歌詞データとの相関が一定値以上である場合には、ユーザが歌詞を知っていると判断し、歌唱していてもアシストボーカルをオンにしない。
　ただしこの場合、ユーザが途中から歌詞が分からなくなる可能性があるため、スピーチ情報を生成し、出力する準備をしておいてもよい。そのあとに、集音した音声データと、再生中の楽曲との相関が一定値未満であり、または歌詞データとの相関が一定値未満である場合には、ユーザは歌詞を知らないと判断し、アシストボーカルを出力する。
　また、上記の例では、アシストボーカルの自動オン設定の方法について説明したが、アシストボーカルの自動オフ設定も行うことができる。アシストボーカルをオンしている間に、ユーザが楽曲に合わせて歌唱していない（歌を歌っていない）又は歌唱に準ずる行為（鼻歌を歌っている、断片的に曲を歌っている、ハミングをしている等）を行っていないと判定された場合に、アシストボーカルを自動的にオフにしてもよい。同様に、会話が検出されたら、アシストボーカルを自動的にオフにしてもよいし、リズムをとっていないと判断されたり、ユーザが楽曲に合わせて頭を振っていないと判断された場合、アシストボーカルを自動的にオフにしてもよい。
　また、上記の例では、ユーザが歌唱しているもしくは歌唱に準ずる行為をしているか否かに基づき、アシストボーカルの自動オン設定もしくは自動オフ設定を行うことを説明したが、再生されている楽曲の構成に基づき自動オン設定もしくは自動オフ設定してもよい。
　例えば、楽曲のサビの部分だけ歌唱したいというユーザに対しては、楽曲のサビの部分を再生する際に、アシストボーカルを自動的にオン設定し、楽曲のサビ以外の部分を再生する際に、アシストボーカルを自動的にオフ設定してもよい。逆に、サビの部分は知っていてサビ以外の部分を練習したいというユーザに対しては、楽曲のサビ以外の部分を再生する際に、アシストボーカルを自動的にオン設定し、楽曲のサビの部分を再生する際に、アシストボーカルを自動的にオフ設定してもよい。
　［１．４］スピーチ強調処理
　次に、図２に示すアシストボーカル処理のステップＳ５において実行されるスピーチ強調処理について説明する。スピーチ強調処理は、ユーザがスピーチとボーカルとを区別して聞き取り易くする方法であり、以下のいくつかの方法を示す。
　［１．４．１］スピーチとボーカルが重なる場合の処理
　スピーチは基本的に対応するボーカルの直前の間奏中に再生され、ボーカルとは時間的に重ならないことが好ましい。このために前述のスピーチ長変更処理（ステップＳ３５）を行うのであるが、スピーチの長さと間奏の長さによっては、スピーチ長を短縮してもスピーチを間奏中に再生しきれないこともある。即ち、間奏の長さよりも、スピーチの長さの方が長い場合、スピーチとボーカルとが部分的に重なって再生される。このようにスピーチとボーカルとを重ねて再生することに代えて、以下のいずれかの処理を行ってもよい。
　（１）ボーカルのレベルを調整する。
　スピーチとボーカルとが重なってしまう場合、ボーカルの音量レベルを下げる方法がある。図７（Ａ）は、スピーチの後方部分と、ボーカルの先頭部分とが重なり、重複部分Ｘが生じる場合を示す。この場合、重複部分Ｘにおいてボーカルの音量を調整する。具体的には、ボーカルの音量をスピーチが聞こえる程度まで低下させる、もしくはゼロにする。これにより、重複部分Ｘでは、スピーチの再生が優先され、スピーチが聞き取り易くなる。
　図７（Ｂ）は、逆にスピーチの先頭部分と、１つ前のボーカルの後方部分とが重なり、重複部分Ｘが生じる場合を示す。この場合にも、重複部分Ｘにおいて、ボーカルの音量を調整する。具体的には、ボーカルの音量をスピーチが聞こえる程度まで低下させる、もしくはゼロにする。また、重複部分Ｘにおいて、急にボーカルの音量レベルを下げるのではなく、ボーカルをフェードアウトさせて徐々に音量レベルを下げるようにしてもよい。これにより、重複部分Ｘでは、スピーチの再生が優先され、スピーチが聞き取り易くなる。
　具体的に上記のレベル調整は、楽曲信号においてボーカルの成分と楽器などの演奏の成分とが分離している場合には、ボーカルの成分の音量レベルを低下させればよい。一方、ボーカルの部分が楽器などの演奏の部分と合成されており、ボーカルのみの音量を調整できない場合には、楽曲信号全体の音量レベルを低下させてもよいし、又は、楽曲信号のうち一般的にボーカル（人間の声）に相当する周波数帯域の成分のみ音量レベルを低下させるようにしてもよい。
　（２）スピーチのレベルを調整する。
　スピーチとボーカルとが重なってしまう場合、逆にスピーチの音量レベルを下げる方法もある。図７（Ｃ）は、スピーチの後方部分と、ボーカルの先頭部分とが重なり、重複部分Ｘが生じる場合を示す。この場合、重複部分Ｘにおいて、スピーチの音量を調整する。具体的には、スピーチの音量を低下させる、もしくはゼロにする。急にスピーチの音量を下げるのではなく、スピーチをフェードアウトさせて徐々に音量を下げるようにしてもよい。この場合、重複部分Ｘでは、スピーチが聞き取れなくなるが、一般的にユーザがある程度知っている楽曲を聞く場合には、歌詞の全てを覚えてはいないものの、歌詞の先頭部分がわかれば、その後は歌詞を思い出して歌うことができるということも多い。よって、図７（Ｃ）のように、スピーチの先頭部分が聞き取れれば、スピーチの後方部分が聞き取りにくくなっても構わないということも多い。この手法はそのような場合に有効である。
　［１．４．２］スピーチとボーカルを異なる方向から聞かせる処理
　人間には、同時に異なる方向から到来する音を聞き分ける能力がある（いわゆるカクテルパーティ効果）。これを利用し、ユーザがスピーチとボーカルとを聞き分けることができるようにする手法が考えられる。なお、この手法は、スピーチとボーカルとが時間的に重なるか否かに拘わらず実行される。
　（１）左右のスピーカで位相を調整する方法
　図８（Ａ）は、左右のスピーカから出力されるスピーチの位相を反転させる構成を示す。左（Ｌ）チャンネルの楽曲信号は加算器３２に供給され、右（Ｒ）チャンネルの楽曲信号は加算器３３に供給される。一方、スピーチ信号は、そのまま加算器３３に供給されるとともに、位相反転器３１で位相が反転されて加算器３２に供給される。加算器３２の出力は左スピーカ３０Ｌに供給され、加算器３３の出力は右スピーカ３０Ｒに供給される。
　この構成によれば、ボーカルを含む楽曲の音像は左右スピーカの間に定位するのに対し、スピーチの音像はユーザの耳回りに定位することになり、ユーザはスピーチと楽曲中のボーカルとを聞き分けやすくなる。なお、図８（Ａ）の例では、位相反転器３１により左スピーカ３０Ｌに供給されるスピーチ信号の位相のみを反転しているが、逆に右スピーカ３０Ｒに供給されるスピーチ信号の位相のみを反転させてもよい。また、左右のスピーカに供給されるスピーチ信号の間に一定の位相差があればスピーチの音像位置と楽曲の音像位置とを異ならせることができるので、一方のスピーカに供給されるスピーチ信号を必ずしも反転（１８０°変化）させる必要はない。即ち、一方のスピーカに供給されるスピーチ信号と、他方のスピーカに供給されるスピーチ信号との間に一定の位相差を与えてやればよい。
　（２）音像の定位を制御する方法
　図８（Ｂ）は、スピーチの音像を任意の位置に設定可能な構成を示す。左（Ｌ）チャンネルの楽曲信号は加算器３２に供給され、右（Ｒ）チャンネルの楽曲信号は、加算器３３に供給される。一方、スピーチ信号は、音像定位制御演算部３４、クロストークキャンセル部３５を経由して加算器３２、３３に供給される。音像定位制御演算部３４は、目標のスピーカ位置と聴取位置（ユーザの位置）との間の伝達関数をスピーチ信号に畳み込み、クロストークキャンセル部３５は楽曲を出力しているスピーカと聴取位置との間の伝達関数をキャンセルする処理を行う。これにより、楽曲の音像は左右のスピーカ３０Ｌ、３０Ｒの間に定位させるとともに、スピーチの音像を目標のスピーカ位置に定位させることができるので、ユーザはスピーチとボーカルとを聞き分けやすくなる。
　（３）ヘッドレストスピーカを利用する方法
　車両のスピーカに加えて車両のシートにヘッドレストスピーカが搭載されている場合、車両のスピーカからボーカルを含む楽曲を出力し、ヘッドレストスピーカからスピーチを出力することができる。この場合の構成例を図９に示す。
　左右チャンネルの楽曲信号はそれぞれ車両のスピーカ３０Ｌ、３０Ｒに供給される。また、スピーチ信号は、そのまま右のヘッドレストスピーカ３５Ｒに供給されるとともに、位相反転器３１で位相が反転されて左のヘッドレストスピーカ３５Ｌに供給される。この場合も、２つのヘッドレストスピーカ３５Ｌ、３５Ｒに供給されるスピーチ信号に位相差が与えられているため、スピーチの音像は楽曲の音像と異なる位置に定位し、ユーザはスピーチと楽曲中のボーカルとを聞き分けやすくなる。なお、この例においても、図８（Ａ）の例と同様に、一方のヘッドレストスピーカに供給されるスピーチ信号と、他方のヘッドレストスピーカに供給されるスピーチ信号との間に一定の位相差を与えてやればよい。
　ヘッドレストスピーカを利用する場合には、運転席のヘッドレストスピーカの代わりに、助手席のヘッドレストスピーカを利用してスピーチを再生してもよい。また、車両の複数の座席にヘッドレストスピーカが搭載されている場合には、各座席毎にスピーチの再生の要否を選択して設定できるようにしてもよい。こうすると、スピーチを聞いて楽曲を歌いたい搭乗者の座席のヘッドレストスピーカのみからスピーチが再生されるように設定することができる。
　また、位相差を与えることに代えて、図８（Ｂ）で説明した処理と同様に、音像定位制御演算部３４と、クロストークキャンセル部３５とを用いることで、スピーチの音像を任意の位置に定位させてもよい。これにより、ユーザがスピーチとボーカルとを聞き分けやすくすることができる。
　なお、上記の構成において、スピーカ３０Ｌ、３０Ｒはそれぞれ本発明の左チャンネルスピーカ及びチャンネルスピーカの一例であり、ヘッドレストスピーカ３５Ｌ、３５Ｒはそれぞれ第１のスピーカ及び第２のスピーカの一例であり、位相反転器３１は本発明の位相差付与手段の一例である。
　［２］システム構成
　次に、上述のアシストボーカルを実現する楽曲再生システムの構成例を説明する。
　［２．１］第１実施例
　第１実施例では、アシストボーカル処理を主として端末装置側で実行する。第１実施例による楽曲再生システムの全体構成を図１０に示す。第１実施例の楽曲再生システムでは、複数の車両１と、コンテンツプロバイダ２と、ゲートサーバ３とがネットワーク４を介して通信可能とされる。なお、複数の車両１は、無線通信によりネットワーク４を介してコンテンツサーバ２、ゲートサーバ３と通信可能となっている。
　コンテンツプロバイダ２は、音楽配信業者などのサーバであり、楽曲データ、楽曲のメタデータ、歌詞データなどを提供する。ゲートサーバ３は、本実施例によるアシストボーカルを実現するために機能するサーバであり、コンテンツプロバイダ２から必要な楽曲の楽曲データ、メタデータ、歌詞データなどを取得して、図示しないデータベースに記憶している。
　車両１の内部構成の一例を図１１（Ａ）に示す。車両１は、端末装置１０と、音楽再生装置２０と、スピーカ３０とを備える。
　端末装置１０は、典型的にはスマートフォンなどの携帯端末であり、通信部１１と、制御部１２と、記憶部１３と、マイク１４と、操作部１５とを備える。通信部１１は、ネットワーク４を通じてゲートサーバ３と通信する。制御部１２は、ＣＰＵなどからなり、端末装置１０の全体を制御する。
　記憶部１３は、ＲＯＭ、ＲＡＭなどのメモリであり、制御部１２が各種の処理を実行するためのプログラムを記憶するとともに、ワークメモリとしても機能する。記憶部１３に記憶されたプログラムを制御部１２が実行することにより、アシストボーカル処理を含む処理が実行される。また、記憶部１３は、ユーザが保存した楽曲の楽曲データを記憶していてもよい。
　マイク１４は、車内で再生されている楽曲、ユーザによる歌唱、会話などの音声を集音して音声データを生成する。操作部１５は、典型的にはタッチパネルなどであり、ユーザによる操作、選択の入力を受け付ける。
　音楽再生装置２０は、例えばカーオーディオなどであり、アンプなどを含む。スピーカ３０は、車両に搭載されたスピーカである。音楽再生装置２０は、端末装置１０から供給される楽曲データに基づいて楽曲をスピーカ３０から再生する。
　車両１の内部構成の他の例を図１１（Ｂ）に示す。この例では、車両１は端末装置１０ｘを備える。端末装置１０ｘは、図１１（Ａ）に示す携帯端末などの端末装置１０とカーオーディオなどの音楽再生装置２０の機能を併せ持つ装置である。端末装置１０ｘは、端末装置１０と同様に通信部１１、制御部１２、記憶部１３、マイク１４、操作部１５を備えるとともに、音楽再生装置２０に相当する音楽再生部１６を備える。端末装置１０ｘはスピーカ３０に接続され、楽曲データに基づいて楽曲をスピーカ３０から再生する。
　次に、第１実施例の楽曲再生システムによるアシストボーカル処理について説明する。図１２は、第１実施例に係るアシストボーカル処理のフローチャートである。この処理では、アシストボーカル処理を主として端末装置１０又は１０ｘ（以下、代表して単に「端末装置１０」と記す。）により実行する。
　まず、ゲートサーバ３は、ネットワーク４を介してコンテンツプロバイダ２に接続し、複数の楽曲について、楽曲データ及び歌詞データを取得し、内部のデータベースに保存しておく（ステップＳ１０１）。
　端末装置１０は、ユーザによる操作部１５の操作により、再生すべき楽曲の指定を受け取り（ステップＳ１０２）、その楽曲を指定する楽曲指定情報をゲートサーバ３へ送信する（ステップＳ１０３）。ゲートサーバ３は、受け取った楽曲指定情報に対応する楽曲の楽曲データ及び歌詞データをデータベースから取得し、端末装置１０へ送信する（ステップＳ１０４）。
　次に、端末装置１０は、受信した楽曲データ及び歌詞データを利用して、ステップＳ１０５～Ｓ１０９の処理を行う。ここで、ステップＳ１０５～Ｓ１０９の処理は、図２におけるステップＳ３～Ｓ７と同様であるので、説明を省略する。
　こうして、第１実施例の楽曲再生システムにおいては、車両１に搭載された端末装置１０が主としてアシストボーカル処理を実行する。
　上記の例では、ステップＳ１０１でゲートサーバ３はコンテンツプロバイダから楽曲データを取得しているが、楽曲データが端末装置１０に保存されている場合には、ゲートサーバ３は端末装置１０から楽曲データを取得してもよい。また、ゲートサーバ３内のデータベースに楽曲データが保存されている場合には、そこから楽曲データを取得してもよい。
　［２．２］第２実施例
　第２実施例では、アシストボーカル処理の一部をゲートサーバ３側で実行する。第２実施例による楽曲再生システムの全体構成は、図１０に示す第１実施例と同様であるので、説明を省略する。
　次に、第２実施例の楽曲再生システムによるアシストボーカル処理について説明する。図１３は、第２実施例に係るアシストボーカル処理のフローチャートである。この処理では、ゲートサーバ３がスピーチ情報を生成し、さらにスピーチ付楽曲データを生成して端末装置１０へ送信する。端末装置１０は、スピーチ付楽曲データを受信して再生する。以下、詳しく説明する。
　まず、ゲートサーバ３は、ネットワーク４を介してコンテンツプロバイダ２に接続し、複数の楽曲について、楽曲データ及び歌詞データを取得し、内部のデータベースに保存する（ステップＳ２０１）。そして、ゲートサーバ３は、各楽曲について、取得した楽曲データと歌詞データとに基づいてスピーチ情報を生成する（ステップＳ２０２）。このスピーチ情報生成処理は、図２のステップＳ３と同一であるので、説明を省略する。
　スピーチ情報を生成すると、ゲートサーバ３は、楽曲データにスピーチを付加してスピーチ付楽曲データを生成する（ステップＳ２０３）。具体的に、ゲートサーバ３は、生成したスピーチ情報に基づいて、各スピーチに対応するスピーチ信号を、図３のステップＳ３６の処理により算出したタイミングで楽曲データに合成し、スピーチ付楽曲データを生成してデータベースに記憶する。つまり、スピーチ付楽曲データは、そのまま再生することにより、楽曲に加えてスピーチが再生されるデータである。
　端末装置１０は、ユーザによる操作部１５の操作により、再生すべき楽曲の指定を受け取り（ステップＳ２０４）、その楽曲を指定する楽曲指定情報をゲートサーバ３へ送信する（ステップＳ２０５）。ゲートサーバ３は、受け取った楽曲指定情報に対応する楽曲のスピーチ付楽曲データを端末装置１０へ送信する（ステップＳ２０６）。
　次に、端末装置１０は、受信したスピーチ付楽曲データを再生する（ステップＳ２０７）。これにより、楽曲の再生中の適切なタイミングで、スピーチが再生される。次に、端末装置１０は、楽曲の再生を終了すべきか否かを判定する（ステップＳ２０８）。その楽曲が最後まで再生された場合、又は、ユーザが再生を中止した場合など、再生を終了すべき場合には（ステップＳ２０８：Ｙｅｓ）、端末装置１０は再生を終了する。一方、楽曲の再生を終了すべきではない場合（ステップＳ２０８：Ｎｏ）、処理はステップＳ２０７へ戻り、スピーチ付楽曲データの再生が継続される。
　こうして、第２実施例の楽曲再生システムにおいては、ゲートサーバ３側でスピーチ付楽曲データが生成され、端末装置１０へ提供される。端末装置１０は、受信したスピーチ付楽曲データを再生することにより、スピーチを含む楽曲を聞くことができる。
　上記の例では、ステップＳ２０１でゲートサーバ３はコンテンツプロバイダから楽曲データを取得しているが、楽曲データが端末装置１０に保存されている場合には、ゲートサーバ３は端末装置１０から楽曲データを取得してもよい。また、ゲートサーバ３内のデータベースに楽曲データが保存されている場合には、そこから楽曲データを取得してもよい。
　［３］スピーチのみを再生するアシストボーカル
　上述のアシストボーカル処理では、端末装置１０により再生している楽曲に対して、スピーチを付加して再生している。しかし、端末装置１０以外のソース、例えば車内のラジオ、ＣＤなど(以下、「外部ソース」と呼ぶ。）から再生されている楽曲に対してスピーチを付加することができれば便利である。この場合、端末装置１０は、基本的に上述の方法でスピーチ情報を生成し、外部ソースから再生されている楽曲の再生位置に応じたタイミングでスピーチのみを再生すればよい。
　この場合のアシストボーカル処理のフローチャートを図１４に示す。まず、端末装置１０は、外部ソースから再生されている楽曲をマイク１４により集音して再生楽曲データを取得し（ステップＳ１５１）、これをゲートサーバ３へ送信する（ステップＳ１５２）。
　ゲートサーバ１５３は、端末装置１０から再生楽曲データを受信し、対応する楽曲及びその再生位置を特定する（ステップＳ１５３）。具体的には、ゲートサーバ３は、前述の音楽検索サーバの機能を有する音楽検索部を備え、再生楽曲データに基づいて、その楽曲を特定するとともに、その再生楽曲データの部分に対応する再生位置を特定する。そして、ゲートサーバ３は、特定した楽曲の楽曲名やアーティスト名とともに、歌詞データと、再生位置情報とを端末装置１０へ送信する（ステップＳ１５４）。
　端末装置１０は、受信した歌詞データを利用して、スピーチ情報を生成する（ステップＳ１５５）。なお、スピーチ情報の生成は、図３を参照して説明したのと同様の方法で行われる。なお、端末装置１０は、マイク１４で取得した再生楽曲データを解析することにより、楽曲解析データを取得することができる（図３のステップＳ３２の処理）。
　次に、端末装置１０は、ゲートサーバ３から取得した再生位置情報に基づいて、その楽曲における現在の再生位置を算出する（ステップＳ１５６）。この方法については後述する。次に、端末装置１０は、スピーチ強調処理を行い（ステップＳ１５７）、外部ソースにより再生されている楽曲に合わせて適切なタイミングでスピーチを再生する（ステップＳ１５８）。これにより、外部ソースから再生されている楽曲に合わせて、スピーチが再生される。
　そして、端末装置１０は、スピーチの再生を終了すべきか否かを判定し（ステップＳ１５９）、終了させるべきでない場合には、ステップＳ１５６へ戻って処理を継続する。一方、外部ソースからの楽曲の再生が終了した場合、再生されている楽曲が別の楽曲に変わった場合、再生すべきスピーチが無くなった場合など、スピーチの再生を終了すべき場合には（ステップＳ１５９：Ｙｅｓ）、処理を終了する。
　次に、図１５を参照して、ステップＳ１５６において楽曲の現在の再生位置を特定する方法を説明する。端末装置１０からゲートサーバ３へ送信される再生楽曲データは、実際には複数のオーディオフレームのデータとなる。即ち、端末装置１０は、外部ソースにより再生されている楽曲をマイク１４で集音し、複数のオーディオフレームとして順次ゲートサーバ３へ送信する。
　図１５の例では、端末装置１０は、外部ソースにより再生されている楽曲のオーディオフレームｎ、（ｎ＋１）、（ｎ＋２）、．．．を、再生楽曲データとして順次ゲートサーバ３へ送信する。この際、端末装置１０は、最初に再生楽曲データを送信した時刻、図１５の例ではオーディオフレームｎを送信した時刻（以下、「基準時刻ｔ０」と呼ぶ。）を記憶しておく。
　ゲートサーバ３の音楽検索部は、データベースに記憶された多数の楽曲の情報を参照し、受信した複数のオーディオフレームに基づいて楽曲を特定する。図１５の例では、ゲートサーバ３の音楽検索部は、オーディオフレームｎ～（ｎ＋４）に基づいて楽曲を特定できたものとする。この場合、ゲートサーバ３は、楽曲判定結果として、楽曲名、アーティスト名などに加えて、端末装置１０から最初に受信したオーディオフレームｎの曲先頭からの再生時間（ｔｎ）を再生位置情報として端末装置１０へ送信する。即ち、図１４のステップＳ１５４でゲートサーバ３から端末装置１０へ送信される再生位置情報は、端末装置１０がゲートサーバ３へ最初に送信したオーディオフレームｎの、その楽曲の先頭からの経過時間となっている。そこで、ステップＳ１５６において、端末装置１０は、予め記憶していた基準時刻ｔ０から現在までの経過時間の経過時間Δｔを算出し、これを再生時間ｔｎに加算する。即ち、ゲートサーバ３から送信される再生時間ｔｎは、その楽曲の先頭からオーディオフレームｎまでの時間であり、経過時間Δｔはオーディオフレームｎから現在までの時間である。よって、現在の再生位置（再生時間）Ｔｃは、以下の式で算出される。
　　　　Ｔｃ＝ｔｎ＋Δｔ　　　　　　　　　　　　　　　　（２）
　以上のように、ゲートサーバ３に音楽検索機能を設け、再生楽曲データに基づいて楽曲及びその再生位置を特定することにより、外部ソースから再生されている楽曲に合わせてスピーチを再生することができる。また、ゲートサーバ３に音楽検索機能を設ける代わりに、外部の音楽検索サーバを利用しても良い。
　なお、ステップＳ１５９では、１つの楽曲が終了したときに再生を終了してもよいが、１つの楽曲が終了した後で別の楽曲が再生されているような場合には、処理を継続してもよい。即ち、端末装置１０からゲートサーバ３への楽曲再生データの送信を継続している間は、スピーチの再生を継続することとしてもよい。これにより、外部ソースから再生される曲が変わっても、それに追従してスピーチの再生を継続することが可能となる。
　本発明は、音楽を再生する装置に利用することができる。
　１　車両
　２　コンテンツプロバイダ
　３　ゲートサーバ
　４　ネットワーク
　１０、１０ｘ　端末装置
　１２　制御部
　１３　記憶部
　１４　マイク
　２０　音楽再生装置
　３０　スピーカ

Claims (8)

  1. 　楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力手段と、
    　前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与手段と、
    　前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力手段と、
    　を備えることを特徴とする車載用音楽再生装置。
  2. 　前記位相差付与手段は、前記歌詞音声信号に１８０°の位相差を与えることを特徴とする請求項２に記載の車載用音楽再生装置。
  3. 　前記座席は前記車両の運転席であることを特徴とする請求項１又は２に記載の車載用音楽再生装置。
  4. 　前記座席は前記車両の助手席であることを特徴とする請求項１又は２に記載の車載用音楽再生装置。
  5. 　前記車両は複数の座席を備え、前記複数の座席の各々は前記第１のスピーカ及び前記第２のスピーカを備え、
    　前記複数の座席のうち、前記歌詞音楽信号を出力させるべき座席を選択するための選択手段をさらに備え、
    　前記歌詞音声信号出力手段は、前記複数の座席のうち、前記選択手段により選択された座席の前記第１のスピーカ及び第２のスピーカから前記歌詞音声信号を出力することを特徴とする請求項１乃至４のいずれか一項に記載の車載用音楽再生装置。
  6. 　車載用音楽再生装置によって実行される音楽再生方法であって、
    　楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力工程と、
    　前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与工程と、
    　前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力工程と、
    　を備えることを特徴とする音楽再生方法。
  7. 　コンピュータを備える車載用音楽再生装置によって実行されるプログラムであって、
    　楽曲の左チャンネルの音声信号と右チャンネルの音声信号を、車両の左右側に配置された左チャンネルスピーカと右チャンネルスピーカにそれぞれ出力する音楽信号出力手段、
    　前記楽曲の歌詞の音声信号である歌詞音声信号に対して位相差を付与する位相差付与手段、
    　前記車両の座席の両耳付近に配置された第１のスピーカ及び第２のスピーカのうちの一方に前記位相差を付与する前の歌詞音声信号を出力し、他方に前記位相差を付与した後の歌詞音声信号を出力する歌詞音声信号出力手段、
    　として前記コンピュータを機能させることを特徴とするプログラム。
  8. 　請求項７に記載のプログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2015/055611 2015-02-26 2015-02-26 車載用音楽再生装置、音楽再生方法、及び、プログラム WO2016135921A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/055611 WO2016135921A1 (ja) 2015-02-26 2015-02-26 車載用音楽再生装置、音楽再生方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/055611 WO2016135921A1 (ja) 2015-02-26 2015-02-26 車載用音楽再生装置、音楽再生方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2016135921A1 true WO2016135921A1 (ja) 2016-09-01

Family

ID=56789291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055611 WO2016135921A1 (ja) 2015-02-26 2015-02-26 車載用音楽再生装置、音楽再生方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2016135921A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918175A (zh) * 2020-07-10 2020-11-10 瑞声新能源发展(常州)有限公司科教城分公司 车载沉浸式声场***的控制方法、装置及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946799A (ja) * 1995-08-02 1997-02-14 Toshiba Corp オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法
JP2005037848A (ja) * 2003-07-18 2005-02-10 Crimson Technology Inc 楽音発生装置及びそのプログラム
JP2005242057A (ja) * 2004-02-27 2005-09-08 Daiichikosho Co Ltd カラオケシステム
JP2006222686A (ja) * 2005-02-09 2006-08-24 Fujitsu Ten Ltd オーディオ装置
JP2008216398A (ja) * 2007-02-28 2008-09-18 Daiichikosho Co Ltd 車載用カラオケシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946799A (ja) * 1995-08-02 1997-02-14 Toshiba Corp オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法
JP2005037848A (ja) * 2003-07-18 2005-02-10 Crimson Technology Inc 楽音発生装置及びそのプログラム
JP2005242057A (ja) * 2004-02-27 2005-09-08 Daiichikosho Co Ltd カラオケシステム
JP2006222686A (ja) * 2005-02-09 2006-08-24 Fujitsu Ten Ltd オーディオ装置
JP2008216398A (ja) * 2007-02-28 2008-09-18 Daiichikosho Co Ltd 車載用カラオケシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918175A (zh) * 2020-07-10 2020-11-10 瑞声新能源发展(常州)有限公司科教城分公司 车载沉浸式声场***的控制方法、装置及车辆
CN111918175B (zh) * 2020-07-10 2021-09-24 瑞声新能源发展(常州)有限公司科教城分公司 车载沉浸式声场***的控制方法、装置及车辆

Similar Documents

Publication Publication Date Title
US10142758B2 (en) System for and a method of generating sound
JP2006195385A (ja) 音楽再生装置および音楽再生プログラム
EP3520105A1 (en) Method of editing audio signals using separated objects and associated apparatus
JP6691737B2 (ja) 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム
JP4916005B2 (ja) カラオケシステム
JP2007036610A (ja) 発音装置
WO2016135921A1 (ja) 車載用音楽再生装置、音楽再生方法、及び、プログラム
JP6810773B2 (ja) 再生装置、再生方法、及び、プログラム
JP2016157084A (ja) 再生装置、再生方法、及び、プログラム
JP2016157082A (ja) 再生装置、再生方法、及び、プログラム
JP2016157088A (ja) 楽曲再生システム、端末装置、楽曲データ提供方法、及び、プログラム
JP2016157087A (ja) 楽曲再生システム、サーバ、楽曲データ提供方法、及び、プログラム
JP4829184B2 (ja) 車載装置および音声認識方法
WO2016157377A1 (ja) 通信システム、再生システム、端末装置、サーバ、コンテンツ通信方法及びプログラム
JP2008071058A (ja) 音声再生装置、音声再生方法、プログラム
WO2016135920A1 (ja) 再生装置、再生方法、及び、プログラム
JP6944357B2 (ja) 通信カラオケシステム
JP2021099535A (ja) 再生装置、再生方法、及び、プログラム
JP2019219675A (ja) 音声信号出力装置、音声信号出力方法、及び、プログラム
JP2016157085A (ja) 再生装置、再生方法、及び、プログラム
JP2016157083A (ja) 再生装置、再生方法、及び、プログラム
JP2016158221A (ja) 音声信号出力装置、音声信号出力方法、及び、プログラム
JP2005135519A (ja) 音楽再生装置
JP6798561B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP2005037846A (ja) 音楽再生装置の情報設定装置及び情報設定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP