JP2017181793A - 音響処理装置、及びプログラム - Google Patents
音響処理装置、及びプログラム Download PDFInfo
- Publication number
- JP2017181793A JP2017181793A JP2016069029A JP2016069029A JP2017181793A JP 2017181793 A JP2017181793 A JP 2017181793A JP 2016069029 A JP2016069029 A JP 2016069029A JP 2016069029 A JP2016069029 A JP 2016069029A JP 2017181793 A JP2017181793 A JP 2017181793A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- lyrics
- singing
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【課題】適切な歌唱音声を音響信号から分離する技術の提供。
【解決手段】音響処理装置は、取得部と、抽出部と、合成部と、除去部とを備える。取得部は、指定楽曲の伴奏音と歌唱音声とが混合された音響データを取得する(S120)。抽出部は、その取得した音響データから、歌唱音声の基本周波数の推移を抽出する(S140)。そして、合成部は、指定楽曲における歌唱旋律の楽譜を表す楽譜データと、当該指定楽曲の歌詞を表す歌詞データと、抽出した歌唱音声の基本周波数の推移とに基づいて、歌詞を当該歌唱旋律に割り当てて歌唱し、非調波成分を含む合成音であって、音響データにおいて前記指定楽曲を歌唱した歌手の歌い回しに近づけた合成音を出力する(S170,S180)。さらに、除去部は、取得部で取得した音響データから、合成部から出力された合成音を除去する(S200)。
【選択図】図2
【解決手段】音響処理装置は、取得部と、抽出部と、合成部と、除去部とを備える。取得部は、指定楽曲の伴奏音と歌唱音声とが混合された音響データを取得する(S120)。抽出部は、その取得した音響データから、歌唱音声の基本周波数の推移を抽出する(S140)。そして、合成部は、指定楽曲における歌唱旋律の楽譜を表す楽譜データと、当該指定楽曲の歌詞を表す歌詞データと、抽出した歌唱音声の基本周波数の推移とに基づいて、歌詞を当該歌唱旋律に割り当てて歌唱し、非調波成分を含む合成音であって、音響データにおいて前記指定楽曲を歌唱した歌手の歌い回しに近づけた合成音を出力する(S170,S180)。さらに、除去部は、取得部で取得した音響データから、合成部から出力された合成音を除去する(S200)。
【選択図】図2
Description
本発明は、音響データを処理する音響処理装置、及びプログラムに関する。
特許文献1に記載されているように、音響信号から歌唱音を分離する技術が知られている。
特許文献1に記載された技術では、歌唱音を表す参照音響信号について、有声区間と無声区間とを特定し、歌唱音と伴奏音との混合音である音響信号の有声区間から歌唱音の有声成分が分離され、及び音響信号の無声区間から歌唱音の無声成分が分離される。有声成分には、歌唱音の母音が相当し、無声成分には、歌唱音の子音が相当する。
特許文献1に記載された技術では、歌唱音を表す参照音響信号について、有声区間と無声区間とを特定し、歌唱音と伴奏音との混合音である音響信号の有声区間から歌唱音の有声成分が分離され、及び音響信号の無声区間から歌唱音の無声成分が分離される。有声成分には、歌唱音の母音が相当し、無声成分には、歌唱音の子音が相当する。
音響信号に含まれる歌唱音には、有声成分と無声成分である母音と子音に相当する成分のほか、ノイズ成分が含まれる。このノイズ成分には、例えば、歌唱時の息漏れに起因する成分や歌唱旋律において声帯が振動することにより生じる成分が含まれる。しかしながら、特許文献1に記載された技術では、音響信号の有声区間から歌唱音の有声成分を分離し、音響信号の無声区間から歌唱音の無声成分を分離しているものの、ノイズ成分は考慮されていない。
特許文献1に記載された技術では、音響信号から有声成分と無声成分を分離した残余信号には、ノイズ成分が残る。そのため、残余信号を再生すると、歌唱音声が多く残った音に聞こえてしまうという課題がある。あるいは、仮に音響信号からノイズ成分を十分に除去するために、ノイズ成分として予め想定した成分を含んだ有声成分と無声成分とを、音響信号から除去すると、音響信号から伴奏音を分離しすぎてしまう。
そこで、本発明は、適切な歌唱音声を音響信号から分離する技術を提供することを目的とする。
上記目的を達成するためになされた本発明の一態様は、取得部と、抽出部と、合成部と、除去部とを備える、音響処理装置に関する。
取得部は、指定楽曲の伴奏音と歌唱音声とが混合された音響データを取得する。
取得部は、指定楽曲の伴奏音と歌唱音声とが混合された音響データを取得する。
抽出部は、取得部で取得した音響データから、歌唱音声の基本周波数の推移を抽出する。
合成部は、楽譜データと、歌詞データと、抽出部で抽出した歌唱音声の基本周波数の推移とに基づいて、歌詞を当該歌唱旋律に割り当てて歌唱し、非調波成分を含む合成音であって、音響データにおいて指定楽曲を歌唱した歌手の歌い回しに近づけた合成音を出力する。楽譜データとは、指定楽曲における歌唱旋律の楽譜を表すデータである。歌詞データとは、当該指定楽曲の歌詞を表すデータである。
合成部は、楽譜データと、歌詞データと、抽出部で抽出した歌唱音声の基本周波数の推移とに基づいて、歌詞を当該歌唱旋律に割り当てて歌唱し、非調波成分を含む合成音であって、音響データにおいて指定楽曲を歌唱した歌手の歌い回しに近づけた合成音を出力する。楽譜データとは、指定楽曲における歌唱旋律の楽譜を表すデータである。歌詞データとは、当該指定楽曲の歌詞を表すデータである。
除去部は、取得部で取得した音響データから、合成部から出力された合成音を除去する。
このような音響処理装置によれば、歌唱における非調波成分を含む合成音を、音響データから除去することができる。
このような音響処理装置によれば、歌唱における非調波成分を含む合成音を、音響データから除去することができる。
音響処理装置によって生成される残余信号は、非調波成分が除去されるため、歌唱音声が多く残ることや、逆に伴奏音を分離しすぎることを低減できる。
さらに、音響データから除去される合成音は、指定楽曲を歌唱した歌手の歌い回しに近づけられているため、音響データに含まれる歌唱音声に近いものとすることができる。
さらに、音響データから除去される合成音は、指定楽曲を歌唱した歌手の歌い回しに近づけられているため、音響データに含まれる歌唱音声に近いものとすることができる。
したがって、音響処理装置によって生成される残余信号に、歌唱音声が多く残ることや、逆に伴奏音を分離しすぎることを低減できる。
以上説明したように、音響処理装置によれば、適切な歌唱音声を音響信号から分離することができる。
以上説明したように、音響処理装置によれば、適切な歌唱音声を音響信号から分離することができる。
さらに、合成部は、歌詞の子音を発声することで生じる非調波成分である子音ノイズ成分を、非調波成分の1つとして含む合成音を出力してもよい。
このような音響処理装置によれば、子音ノイズ成分を非調波成分の1つとして含む合成音を生成できる。そして、音響処理装置によれば、音響データから、その音響データの歌唱音声に含まれる子音ノイズ成分を除去できる。
このような音響処理装置によれば、子音ノイズ成分を非調波成分の1つとして含む合成音を生成できる。そして、音響処理装置によれば、音響データから、その音響データの歌唱音声に含まれる子音ノイズ成分を除去できる。
また、合成部は、調波成分以外の周波数成分であって、歌唱旋律における調波成分で声帯が振動することで生じる息漏れノイズ成分を、非調波成分の1つとして含む合成音を出力してもよい。息漏れノイズ成分は、例えば、歌詞の発声時に息が漏れるために生じるノイズ成分や歌唱旋律における調波成分で声帯が振動することで生じるノイズ成分を含む。
このような音響処理装置によれば、息漏れノイズ成分を非調波成分の1つとして含む合成音を生成できる。そして、音響処理装置によれば、音響データから息漏れノイズ成分を除去できる。
合成部は、合成音において、歌詞の発声タイミングを、音響データにおける歌詞の発声タイミングに近づけてもよい。
このような音響処理装置によれば、音響データにおける歌詞の発声タイミングに、合成音における歌詞の発声タイミングを近づけることができる。
このような音響処理装置によれば、音響データにおける歌詞の発声タイミングに、合成音における歌詞の発声タイミングを近づけることができる。
そして、音響処理装置によれば、発声タイミングを近づけた合成音を除去することで、音響データから歌声をより適切に分離できる。
さらに、合成部は、合成音において、基本周波数の振幅を、抽出部で抽出された基本周波数の振幅に近づけてもよい。
さらに、合成部は、合成音において、基本周波数の振幅を、抽出部で抽出された基本周波数の振幅に近づけてもよい。
このような音響処理装置によれば、音響データにおける歌唱音声の基本周波数の振幅に、合成音における基本周波数の振幅を近づけることができる。
そして、音響処理装置によれば、振幅を近づけた合成音を除去することで、音響データから歌声をより適切に分離できる。
そして、音響処理装置によれば、振幅を近づけた合成音を除去することで、音響データから歌声をより適切に分離できる。
本発明の一態様は、コンピュータが実行するプログラムであってもよい。
この場合のプログラムは、取得手順と、抽出手順と、合成手順と、除去手順とをコンピュータに実行させる。
この場合のプログラムは、取得手順と、抽出手順と、合成手順と、除去手順とをコンピュータに実行させる。
取得手順では、音響データを取得する。抽出手順では、取得した音響データから、歌唱音声の基本周波数の推移を抽出する。合成手順では、楽譜データと歌詞データと歌唱音声の基本周波数の推移とに基づいて、合成音を出力する。ここで言う合成音は、歌詞を当該歌唱旋律に割り当てて歌唱し、非調波成分を含む合成音であって、音響データにおいて指定楽曲を歌唱した歌手の歌い回しに近づけた合成音である。
さらに、除去手順では、取得した音響データから合成音を除去する。
このように、プログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。
このように、プログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。
そして、コンピュータに各手順を実行させることで、そのコンピュータを上述した音響処理装置として機能させることができる。
なお、ここで言う記録媒体には、例えば、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
なお、ここで言う記録媒体には、例えば、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
以下に本発明の実施形態を図面と共に説明する。
<1.1 情報処理システム>
図1に示す情報処理システム1は、入力受付部4と、表示部6と、スピーカ8と、情報処理装置10とを備えている。
<1.1 情報処理システム>
図1に示す情報処理システム1は、入力受付部4と、表示部6と、スピーカ8と、情報処理装置10とを備えている。
入力受付部4は、情報の入力を受け付ける装置である。この入力受付部4には、キーボードやポインティングデバイス、タッチパッド、タッチパネル、スイッチなどの各種入力機器を含む。
表示部6は、情報処理装置10からの信号に基づいて情報を表示する装置である。スピーカ8は、情報処理装置10からの音源信号を音に換えて出力する装置である。
情報処理装置10は、通信部12と、記憶部14と、制御部16とを備えている。
情報処理装置10は、通信部12と、記憶部14と、制御部16とを備えている。
通信部12は、通信網を介して、情報処理装置10が外部との間で通信を行う。通信網は、有線による通信網であってもよいし、無線による通信網であってもよい。
記憶部14は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部14には、楽曲ごとの楽曲データMDと、楽曲ごとの音響データSDとが記憶される。
記憶部14は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部14には、楽曲ごとの楽曲データMDと、楽曲ごとの音響データSDとが記憶される。
なお、楽曲とは、時間軸に沿って配置された複数の音符のうち少なくとも一部に歌詞が割り当てられた音楽の曲である。図1に示す符号「n」は、記憶部14に記憶されている楽曲データMDを識別する識別子である。符号「n」は、1以上の自然数である。符号「m」は、記憶部14に記憶されている音響データSDを識別する識別子である。符号「m」は、1以上の自然数である。
制御部16は、ROM18,RAM20,CPU22を備えたマイクロコンピュータを中心に構成された制御装置である。
ROM18は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。RAM20は、データを一時的に格納する。CPU22は、ROM18またはRAM20に記憶されたプログラムに従って処理を実行する。
ROM18は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。RAM20は、データを一時的に格納する。CPU22は、ROM18またはRAM20に記憶されたプログラムに従って処理を実行する。
記憶部14または制御部16のROM18には、伴奏データ生成処理を制御部16が実行するための処理プログラムが格納されている。伴奏データ生成処理とは、楽曲の伴奏音と歌唱音声とが混合された音響データを取得し、その音響データから歌唱音声を除去して伴奏データを生成する処理である。
<1.2 楽曲データ>
楽曲データMDの各々は、楽譜データと、歌詞データと、属性データとを有している。
<1.2 楽曲データ>
楽曲データMDの各々は、楽譜データと、歌詞データと、属性データとを有している。
このうち、楽譜データは、MIDI(Musical Instrument Digital Interface)規格によって、一つの楽曲の楽譜を表したデータである。すなわち、楽譜データには、MIDI音源から出力される個々の演奏音について、少なくとも、音高(いわゆるノートナンバー)と、MIDI音源が演奏音を出力する期間(以下、音価)とが規定されている。楽譜トラックにおける音価は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング(いわゆるノートオンタイミング)と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング(いわゆるノートオフタイミング)とによって規定されている。
歌詞データは、楽曲の歌詞に関するデータである。歌詞データは、歌詞テロップデータと、歌詞割当データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字(以下、歌詞構成文字とする)を表す。歌詞割当データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、楽譜データを構成する各音符の演奏と対応付けるタイミング対応関係が規定されたデータである。
タイミング対応関係では、楽譜データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、楽譜データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音(即ち、音符)と、歌詞構成文字それぞれとが対応付けられる。
属性データは、楽曲の属性を表すデータであり、少なくとも、楽曲IDを含む。楽曲IDは、当該楽曲を識別する識別情報である。
<1.3 音響データ>
音響データSDは、楽曲の伴奏音と歌唱音声とが混合された混合音の音声波形を表すデータである。音響データSDは、楽曲ごとに予め用意されている。
<1.3 音響データ>
音響データSDは、楽曲の伴奏音と歌唱音声とが混合された混合音の音声波形を表すデータである。音響データSDは、楽曲ごとに予め用意されている。
伴奏音とは、楽曲を構成する旋律を演奏した音であり、例えば、鍵盤楽器や電子楽器などの楽器を演奏した音である。歌唱音声とは、楽曲におけるオリジナルな歌手によって歌唱された音声である。また、ここで言うオリジナルな歌手とは、楽曲を持ち歌として歌うプロの歌手である。
本実施形態の音響データSDには、楽曲IDが対応付けられている。
<1.4 伴奏データ生成処理>
情報処理装置10の制御部16が実行する伴奏データ生成処理について説明する。
<1.4 伴奏データ生成処理>
情報処理装置10の制御部16が実行する伴奏データ生成処理について説明する。
図2に示す伴奏データ生成処理が起動されると、制御部16は、まず、指定楽曲の楽曲IDを取得する(S110)。指定楽曲とは、伴奏データを生成する対象としての楽曲であり、情報処理装置10の入力受付部4を介してユーザに指定される楽曲である。
続いて、制御部16は、S110で取得した楽曲IDが対応付けられた音響データSDを取得する(S120)。このS120で取得される音響データSDは、例えば、図3(A)に示すように、歌唱音声の調波成分と、歌唱音声における非調波成分と、伴奏音の調波成分と、伴奏音における非調波成分とが含まれる。
伴奏音における調波成分および非調波成分は、楽器の発音に起因するものである。伴奏音の調波成分は、例えば、ピアノ等に多く含まれる。伴奏音における非調波成分は、例えば、打楽器の音に多く含まれる。伴奏音における非調波成分は、例えば、スネアドラムの打音やバスドラムの打音に多く含まれる。
歌唱音声における非調波成分とは、歌詞を当該歌唱旋律に割り当てて歌唱した場合の音声における非調波成分である。歌唱音声および伴奏音のいずれにおいても、非調波成分とは、周波数成分において、調波成分以外の成分という意味である。
歌唱音声における非調波成分には、子音ノイズ成分と、息漏れノイズ成分とが含まれる。
子音ノイズ成分とは、歌詞の子音を発声することで生じる非調波成分である。また、息漏れノイズ成分とは、調波成分以外の周波数成分であって歌詞の発声時に息が漏れるために生じる成分および歌唱旋律における調波成分で声帯が振動することで生じる成分を含む非調波成分である。
子音ノイズ成分とは、歌詞の子音を発声することで生じる非調波成分である。また、息漏れノイズ成分とは、調波成分以外の周波数成分であって歌詞の発声時に息が漏れるために生じる成分および歌唱旋律における調波成分で声帯が振動することで生じる成分を含む非調波成分である。
歌唱旋律とは、歌唱されるパートの旋律であり、例えば、主旋律やコーラスの旋律である。
さらに、制御部16は、音響データSDに対して前処理を実行する(S130)。前処理には、周知のセンター抽出処理を含む。センター抽出処理とは、優勢な音声(即ち、歌唱音声)をセンター音として抽出する処理である。
さらに、制御部16は、音響データSDに対して前処理を実行する(S130)。前処理には、周知のセンター抽出処理を含む。センター抽出処理とは、優勢な音声(即ち、歌唱音声)をセンター音として抽出する処理である。
そして、伴奏データ生成処理では、制御部16は、S130で抽出したセンター音をf0解析する(S140)。このf0解析は、センター音を周波数解析することで実現される。また、周波数解析の一例として、FFT(Fast Fourier Transform)が考えられる。さらに、f0解析では、周波数解析の結果に基づく周知の処理を実行することで、センター音に含まれる、基本周波数f0と、倍音成分f1〜fnとを特定する。基本周波数f0とは、音声の調波構造において、周波数が最も低い成分である。この基本周波数f0の推移を表した図が、図3(B)である。
さらに、伴奏データ生成処理では、制御部16は、S110で取得した楽曲IDに対応する楽譜データを取得する(S150)。続いて、制御部16は、S110で取得した楽譜IDに対応する歌詞データを取得する(S160)。
そして、伴奏データ生成処理では、制御部16は、詳しくは後述するS180で生成される合成音が、音響データSDにおいて指定楽曲を歌唱した歌手の歌い回しに近づくように、音声合成に用いる各種の指標を調整する(S170)。このS170では、制御部16は、歌詞の発声タイミングを、音響データSDにおける歌詞の発声タイミングに近づけるように調整する。さらに、S170では、制御部16は、合成音における基本周波数f0の振幅を、S140で抽出した基本周波数f0の振幅に近づけるように調整する。
また、S170では、制御部16は、合成音における調波成分の推移の態様を、センター音の基本周波数f0における推移の態様に近づけるように調整する。すなわち、合成音における歌い回しが、音響データSDにおいて指定楽曲を歌唱した歌手の歌い回しに近づくように調整する。歌い回しとは、歌唱の技巧や歌い方の特徴であり、例えば、ビブラートやしゃくり、こぶし、しゃくり上げなどである。
この歌い回しの調整は、図4(A)に示すような合成音における調波成分が、指定楽曲を歌唱した歌手の歌い回しとしてのビブラートやしゃくりなどが反映された合成音の調波成分(図4(B)参照)となるように調整する。
なお、S170における各種の調整は、例えば、特開2010−009034号に記載されているように周知の手法を用いればよい。
続いて、制御部16は、S150で取得した楽譜データと、S160で取得した歌詞データとに基づいて、音声合成を実行し、合成音を生成する(S180)。音声合成は、いわゆる波形接続によって実現されていてもよいし、いわゆるフォルマント合成によって実現されていてもよい。ただし、これらのいずれの手法を用いる場合であっても、音声合成によって生成される合成音は、歌詞を当該歌唱旋律に割り当てて歌唱し、歌唱音声における非調波成分を含むものである。このため、フォルマント合成においても、非調波成分がモデル化されているものとして説明する。なお、ここで言う非調波成分にも、子音ノイズ成分と、息漏れノイズ成分とを含む。
続いて、制御部16は、S150で取得した楽譜データと、S160で取得した歌詞データとに基づいて、音声合成を実行し、合成音を生成する(S180)。音声合成は、いわゆる波形接続によって実現されていてもよいし、いわゆるフォルマント合成によって実現されていてもよい。ただし、これらのいずれの手法を用いる場合であっても、音声合成によって生成される合成音は、歌詞を当該歌唱旋律に割り当てて歌唱し、歌唱音声における非調波成分を含むものである。このため、フォルマント合成においても、非調波成分がモデル化されているものとして説明する。なお、ここで言う非調波成分にも、子音ノイズ成分と、息漏れノイズ成分とを含む。
なお、合成音は、音声合成によって生成される音声である。
さらに、伴奏音データ生成処理では、制御部16は、S180で生成した合成音における声質を、音響データSDにおいて指定楽曲を歌唱した歌手の声質に近づけるように調整する(S190)。この声質の調整は、例えば、指定楽曲を歌唱したオリジナル歌手の声質を表す各種のパラメータを予め用意し、その各種のパラメータに近づくように、合成音におけるパラメータを調整することで実現すればよい。
さらに、伴奏音データ生成処理では、制御部16は、S180で生成した合成音における声質を、音響データSDにおいて指定楽曲を歌唱した歌手の声質に近づけるように調整する(S190)。この声質の調整は、例えば、指定楽曲を歌唱したオリジナル歌手の声質を表す各種のパラメータを予め用意し、その各種のパラメータに近づくように、合成音におけるパラメータを調整することで実現すればよい。
続いて、伴奏音データ生成処理では、制御部16は、音響データSDによって表される音声波形から、S190で声質が調整された合成音を除去する(S200)。このS200により、制御部16は、図5に示すような、音響データSDから、歌唱音声が除去され、伴奏音だけが残った伴奏音データを生成する。
S200では、制御部16は、生成した伴奏音データを記憶する。伴奏音データの記憶先は、記憶部14であってもよいし、外部のサーバであってもよい。
制御部16は、その後、本伴奏音データ生成処理を終了する。
制御部16は、その後、本伴奏音データ生成処理を終了する。
なお、伴奏音データ生成処理を実行する情報処理装置10の制御部16が音響処理装置として機能する。
[2. 実施形態の効果]
(2a) 伴奏音データ生成処理によれば、歌唱における非調波成分を含む合成音を、音響データSDから除去することができる。
[2. 実施形態の効果]
(2a) 伴奏音データ生成処理によれば、歌唱における非調波成分を含む合成音を、音響データSDから除去することができる。
(2b) 伴奏音データ生成処理によれば、子音ノイズ成分を非調波成分の1つとして含む合成音を生成できる。そして、伴奏音データ生成処理によれば、音響データSDから子音ノイズ成分を除去できる。
(2c) 伴奏音データ生成処理によれば、息漏れノイズ成分を非調波成分の1つとして含む合成音を生成できる。そして、伴奏音データ生成処理によれば、音響データSDから息漏れノイズ成分を除去できる。
(2d) したがって、情報処理装置10によれば、伴奏音データにおいて、歌唱音声が多く残ることや、逆に伴奏音を分離しすぎることを低減できる。
(2e) 伴奏音データ生成処理によれば、音響データSDにおける歌詞の発声タイミングに、合成音における歌詞の発声タイミングを近づけることができる。
(2e) 伴奏音データ生成処理によれば、音響データSDにおける歌詞の発声タイミングに、合成音における歌詞の発声タイミングを近づけることができる。
(2f) 伴奏音データ生成処理において、音響データSDから除去される合成音は、指定楽曲を歌唱した歌手の歌い回しに近づけられているため、音響データSDに含まれる歌唱音声に近いものである。
(2f) さらには、伴奏音データ生成処理において、音響データSDから除去される合成音における声質は、指定楽曲を歌唱した歌手の声質に近づけられている。
(2g) したがって、伴奏音データ生成処理によれば、発声タイミングや歌い回し、声質を近づけた合成音を除去することで、音響データSDから歌声をより適切に分離できる。これにより、情報処理装置10によって生成される伴奏音データに、歌唱音声が多く残ることや、逆に伴奏音を分離しすぎることをより低減できる。
(2g) したがって、伴奏音データ生成処理によれば、発声タイミングや歌い回し、声質を近づけた合成音を除去することで、音響データSDから歌声をより適切に分離できる。これにより、情報処理装置10によって生成される伴奏音データに、歌唱音声が多く残ることや、逆に伴奏音を分離しすぎることをより低減できる。
(2h) 以上説明したように、情報処理装置10によれば、適切な歌唱音声を音響信号から分離することができる。
[3. その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
[3. その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
(3a) 上記実施形態の伴奏音データ生成処理におけるS190では、合成音における声質を、音響データSDにおいて指定楽曲を歌唱した歌手の声質に近づけるように調整していたが、このS190は省略されていてもよい。
この場合、伴奏音データ生成処理におけるS200では、S180で生成した合成音を、音響データによって表される音声波形の推移から分離除去してもよい。
(3b) なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
[4. 対応関係の一例]
上記実施形態の伴奏音データ生成処理におけるS120を実行することで得られる機能が取得部の一例に相当する。S140を実行することで得られる機能が抽出部の一例に相当する。S170及びS180を実行することで得られる機能が合成部の一例に相当する。さらに、S200を実行することで得られる機能が除去部の一例に相当する。
(3b) なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
[4. 対応関係の一例]
上記実施形態の伴奏音データ生成処理におけるS120を実行することで得られる機能が取得部の一例に相当する。S140を実行することで得られる機能が抽出部の一例に相当する。S170及びS180を実行することで得られる機能が合成部の一例に相当する。さらに、S200を実行することで得られる機能が除去部の一例に相当する。
1…情報処理システム 4…入力受付部 6…表示部 8…スピーカ 10…情報処理装置 12…通信部 14…記憶部 16…制御部 18…ROM 20…RAM 22…CPU
Claims (6)
- 指定楽曲の伴奏音と歌唱音声とが混合された音響データを取得する取得部と、
前記取得部で取得した音響データから、前記歌唱音声の基本周波数の推移を抽出する抽出部と、
前記指定楽曲における歌唱旋律の楽譜を表す楽譜データと、当該指定楽曲の歌詞を表す歌詞データと、前記抽出部で抽出した前記歌唱音声の基本周波数の推移とに基づいて、前記歌詞を当該歌唱旋律に割り当て、さらに前記歌唱音声の基本周波数の推移を反映して作成した非調波成分を含む合成音を出力する合成部と、
前記取得部で取得した音響データから、前記合成部から出力された合成音を除去する除去部と
を備える、音響処理装置。 - 前記合成部は、
前記歌詞の子音を発声することで生じる非調波成分である子音ノイズ成分を、前記非調波成分の1つとして含む合成音を出力する、請求項1に記載の音響処理装置。 - 前記合成部は、
前記調波成分以外の周波数成分であって、前記歌唱旋律における調波成分で声帯が振動することで生じる息漏れノイズ成分を、前記非調波成分の1つとして含む合成音を出力する、請求項1または請求項2に記載の音響処理装置。 - 前記合成部は、
前記合成音において、歌詞の発声タイミングを、前記音響データにおける歌詞の発声タイミングに近づける、請求項1から請求項3までのいずれか一項に記載の音響処理装置。 - 前記合成部は、
前記合成音において、基本周波数の振幅を、前記抽出部で抽出された基本周波数の振幅に近づける、請求項1から請求項4までのいずれか一項に記載の音響処理装置。 - コンピュータに実行させるプログラムであって、
指定楽曲の伴奏音と歌唱音声とが混合された音響データを取得する取得手順と、
前記取得手順で取得した音響データから、前記歌唱音声の基本周波数の推移を抽出する抽出手順と、
前記指定楽曲における歌唱旋律の楽譜を表す楽譜データと、当該指定楽曲の歌詞を表す歌詞データと、前記抽出手順で抽出した前記歌唱音声の基本周波数の推移とに基づいて、前記歌詞を当該歌唱旋律に割り当てて歌唱し、非調波成分を含む合成音であって、前記音響データにおいて前記指定楽曲を歌唱した歌手の歌い回しに近づけた合成音を出力する合成手順と、
前記取得手順で取得した音響データから、前記合成手順で出力された合成音を除去する除去手順とを、
前記コンピュータに実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016069029A JP2017181793A (ja) | 2016-03-30 | 2016-03-30 | 音響処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016069029A JP2017181793A (ja) | 2016-03-30 | 2016-03-30 | 音響処理装置、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017181793A true JP2017181793A (ja) | 2017-10-05 |
Family
ID=60007042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016069029A Pending JP2017181793A (ja) | 2016-03-30 | 2016-03-30 | 音響処理装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017181793A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570875A (zh) * | 2018-06-05 | 2019-12-13 | 塞舌尔商元鼎音讯股份有限公司 | 检测环境噪音以改变播放语音频率的方法及声音播放装置 |
CN111653263A (zh) * | 2020-06-12 | 2020-09-11 | 百度在线网络技术(北京)有限公司 | 音量调节方法、装置、电子设备以及存储介质 |
US10971125B2 (en) | 2018-06-15 | 2021-04-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Music synthesis method, system, terminal and computer-readable storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259066A (ja) * | 1998-03-09 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 音楽音響信号分離方法、その装置およびそのプログラム記録媒体 |
JP2009244703A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 楽曲編集システムおよびプログラム |
JP2010009034A (ja) * | 2008-05-28 | 2010-01-14 | National Institute Of Advanced Industrial & Technology | 歌声合成パラメータデータ推定システム |
WO2015107941A1 (ja) * | 2014-01-14 | 2015-07-23 | ヤマハ株式会社 | 録音方法 |
-
2016
- 2016-03-30 JP JP2016069029A patent/JP2017181793A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259066A (ja) * | 1998-03-09 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 音楽音響信号分離方法、その装置およびそのプログラム記録媒体 |
JP2009244703A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 楽曲編集システムおよびプログラム |
JP2010009034A (ja) * | 2008-05-28 | 2010-01-14 | National Institute Of Advanced Industrial & Technology | 歌声合成パラメータデータ推定システム |
WO2015107941A1 (ja) * | 2014-01-14 | 2015-07-23 | ヤマハ株式会社 | 録音方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570875A (zh) * | 2018-06-05 | 2019-12-13 | 塞舌尔商元鼎音讯股份有限公司 | 检测环境噪音以改变播放语音频率的方法及声音播放装置 |
US10971125B2 (en) | 2018-06-15 | 2021-04-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Music synthesis method, system, terminal and computer-readable storage medium |
CN111653263A (zh) * | 2020-06-12 | 2020-09-11 | 百度在线网络技术(北京)有限公司 | 音量调节方法、装置、电子设备以及存储介质 |
CN111653263B (zh) * | 2020-06-12 | 2023-03-31 | 百度在线网络技术(北京)有限公司 | 音量调节方法、装置、电子设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7484952B2 (ja) | 電子機器、電子楽器、方法及びプログラム | |
CN113160779A (zh) | 电子乐器、方法及存储介质 | |
WO2016152715A1 (ja) | 音制御装置、音制御方法、および音制御プログラム | |
CN113160780A (zh) | 电子乐器、方法及存储介质 | |
JP2017181793A (ja) | 音響処理装置、及びプログラム | |
JP5292702B2 (ja) | 楽音信号生成装置及びカラオケ装置 | |
JP6406273B2 (ja) | カラオケ装置,及びプログラム | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP2013210501A (ja) | 素片登録装置,音声合成装置,及びプログラム | |
JP5810947B2 (ja) | 発声区間特定装置、音声パラメータ生成装置、及びプログラム | |
JP6075314B2 (ja) | プログラム,情報処理装置,及び評価方法 | |
JP5413380B2 (ja) | 楽曲データ修正装置 | |
JP5418525B2 (ja) | カラオケ装置 | |
JP6582517B2 (ja) | 制御装置およびプログラム | |
JP2015191177A (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP5983670B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP5805474B2 (ja) | 音声評価装置,音声評価方法,及びプログラム | |
JP5953743B2 (ja) | 音声合成装置及びプログラム | |
JP7158331B2 (ja) | カラオケ装置 | |
JP2012118234A (ja) | 信号処理装置,及びプログラム | |
JP5569307B2 (ja) | プログラム、及び編集装置 | |
JP6260499B2 (ja) | 音声合成システム、及び音声合成装置 | |
JP2022145465A (ja) | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム | |
JP6281447B2 (ja) | 音声合成装置,及び音声合成システム | |
JP5034471B2 (ja) | 楽音信号発生装置及びカラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190212 |