JP6358018B2 - カラオケ装置、及びプログラム - Google Patents

Description

本発明は、カラオケ装置、及びプログラムに関する。

従来、カラオケ装置において、利用者が楽曲を歌唱した歌声の声質を、当該楽曲のオリジナル歌手の声質へと変換して出力するカラオケ装置が知られている（特許文献１参照）。具体的に、特許文献１に記載されたカラオケ装置では、利用者が歌唱することで入力された歌唱信号と、オリジナル歌手の歌声を表すオリジナル信号との差分を算出し、その算出した差分をオリジナル信号に加算することで出力信号を生成している。そして、特許文献１に記載されたカラオケ装置では、生成された出力信号に基づく音声を放音する。

特開平０８−２６３０７７号公報

ところで、特許文献１に記載されたカラオケ装置においてオリジナル歌手の歌声の特徴へと変換されるパラメータは、声質だけであり、音高や音量、歌い回しなどの歌声におけるその他のパラメータは変換されない。このため、特許文献１に記載されたカラオケ装置から出力される音声は、オリジナル歌手の声質でありながら、例えば、音高がズレていたり音量が小さかったりする可能性があった。

つまり、従来のカラオケ装置においては、当該カラオケ装置から出力される音声に対する評価は、特定の評価項目については高いものの、特定の評価項目以外のその他の評価項目については低くなる可能性があった。

換言すれば、従来のカラオケ装置では、カラオケ装置から出力される音声がアンバランスなものとなるという課題があった。
そこで、本発明は、カラオケ装置から出力される音声におけるバランスを改善することを目的とする。

上記目的を達成するためになされた本発明は、音声取得手段と、基準取得手段と、特徴算出手段と、一致度算出手段と、補正手段と、出力手段とを備えたカラオケ装置に関する。

本発明における音声取得手段は、指定楽曲の演奏中にマイクを介して入力された音声を表す歌唱音声データを取得する。ここで言う指定楽曲とは、音高と音価との組み合わせからなる複数の音符のうちの少なくとも一部に歌詞が割り当てられた少なくとも１つの楽曲のうち、指定された楽曲である。

基準取得手段は、評価基準データの中から、指定楽曲の評価基準データを取得する。ここで言う評価基準データとは、楽曲の歌唱を評価する項目として規定された複数の評価項目それぞれの評価基準を楽曲ごとに表したデータである。

さらに、本発明における特徴算出手段は、音声取得手段で取得した歌唱音声データに基づいて、歌唱音声データにおける評価項目ごとの評価を表す歌唱特徴量を算出する。一致度算出手段は、特徴算出手段で算出した歌唱特徴量と、基準取得手段で取得した評価基準データによって表された評価基準との一致度である評価一致度を、評価項目ごとに算出する。

そして、補正手段は、一致度算出手段で算出された評価一致度が、規定された特定基準値よりも低い少なくとも１つの評価項目について、評価一致度が特定基準値に近づくように、音声取得手段で取得した歌唱音声データを補正する。さらに、出力手段は、補正手段で補正した歌唱音声データを出力する。

このようなカラオケ装置によれば、指定楽曲の演奏中にマイクを介して入力された音声（即ち、カラオケ装置の利用者の歌唱音声）において、評価一致度が特定基準値よりも低い評価項目（即ち、評価が低い評価項目）について高評価となるように補正することができる。一方、本発明のカラオケ装置では、評価一致度が特定基準値以上である評価項目（即ち、評価が高い評価項目）については、マイクを介して入力された音声を補正していない。

すなわち、本発明のカラオケ装置によれば、歌唱音声の中で、評価が低い評価項目だけを補正して出力することができる。したがって、本発明のカラオケ装置によれば、当該カラオケ装置から出力される音声における各評価項目に対する評価を均一化することができ、歌唱音声全体の評価を向上させることができる。換言すれば、本発明のカラオケ装置によれば、当該カラオケ装置から出力される音声におけるバランスを改善することができる。

以上のことから、本発明のカラオケ装置によれば、楽曲を歌唱している歌唱者の満足度合いを向上させることができる。さらに、本発明のカラオケ装置の聴取者は、バランスの良い音声を聴くことができるため、満足度合いが向上する。したがって、本発明のカラオケ装置によれば、歌唱者と聴取者との双方の満足度合いを向上させることができる。

また、本発明における補正手段は、評価一致度が特定基準値よりも低い全ての評価項目について、評価一致度が特定基準値に近づくように補正しても良い。
このようなカラオケ装置によれば、よりバランスの良い音声を出力できる。

さらに、本発明においては、最も高い評価項目の評価一致度を特定基準値としても良い。この場合、本発明における補正手段は、評価一致度が特定基準値よりも低い評価項目について、評価一致度が特定基準値に近づくように補正しても良い。

このようなカラオケ装置によれば、評価項目の中で最も評価が高い評価項目に近づくように歌唱音声データにおける他の評価項目を補正できる。
この結果、カラオケ装置によれば、出力する音声のバランスをより向上させることができ、歌唱者と聴取者との双方の満足度合いをより向上させることができる。

また、本発明のカラオケ装置においては、表示手段を備えていても良い。この場合の表示手段は、一致度算出手段で算出された評価一致度が特定基準値よりも低い少なくとも１つの評価項目と、評価一致度が特定基準値以上である少なくとも１つの評価項目とを識別可能な態様で表示しても良い。

このようなカラオケ装置では、当該カラオケ装置から出力される歌唱音声において、補正が実施された評価項目と、補正が未実施である評価項目とが識別可能な態様で表示される。

この結果、カラオケ装置の利用者は、補正された評価項目と、補正を未実施である評価項目とを認識できる。
ところで、本発明は、音声取得ステップと、基準取得ステップと、特徴算出ステップと、一致度算出ステップと、補正ステップと、出力ステップとを、コンピュータに実行させるプログラムとしてなされていても良い。

このようなプログラムにおける音声取得ステップでは、指定楽曲の演奏中にマイクを介して入力された音声を表す歌唱音声データを取得する。基準取得ステップでは、指定楽曲の評価基準データを取得する。

特徴算出ステップでは、音声取得ステップで取得した歌唱音声データに基づいて歌唱特徴量を算出する。さらに、一致度算出ステップでは、歌唱特徴量と、評価基準データによって表された評価基準との一致度である評価一致度を、評価項目ごとに算出する。

そして、補正ステップでは、評価一致度が特定基準値よりも低い少なくとも１つの評価項目について、評価一致度が特定基準値に近づくように歌唱音声データを補正する。出力ステップでは、補正ステップで補正した歌唱音声データを出力する。

本発明は、コンピュータが実行するプログラムとしてなされていても良い。
このように、本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載されたカラオケ装置として機能させることができる。

なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。

本発明が適用されたカラオケ装置を備えたカラオケシステムの概略構成を示すブロック図である。 カラオケ演奏処理の処理手順を示すフローチャートである。 カラオケ演奏処理における評価一致度の算出方法を説明する図である。 カラオケ演奏処理において音圧を評価項目とした補正方法の一例を示す図である。 カラオケ演奏処理においてビブラートを評価項目とした補正方法の一例を示す図である。

以下に本発明の実施形態を図面と共に説明する。
＜カラオケシステム＞
図１に示すカラオケシステム１は、ユーザが指定した楽曲（以下、「指定楽曲」と称す）を演奏すると共に、その指定楽曲の演奏中に入力された音声を、予め規定された評価項目である歌唱評価項目ごとに評価する。そして、カラオケシステム１は、その評価結果が特定基準値以下である少なくとも１つの歌唱評価項目について、指定楽曲の演奏中に入力された音声を補正して出力する。なお、以下では、指定楽曲の演奏中に入力された音声を、歌唱音声データと称す。

これを実現するために、カラオケシステム１は、情報処理サーバ１０と、カラオケ装置３０とを備えている。
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、少なくとも、複数のＭＩＤＩ楽曲ＭＤが記憶される。さらに、記憶部１４には、歌唱音声データを評価する評価基準を、歌唱評価項目ごと、かつ楽曲ごとに表す評価基準データＡＳが記憶されている。この評価基準データＡＳは、対応する楽曲ごとにＭＩＤＩ楽曲ＭＤと対応付けて記憶部１４に記憶されている。

なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤ及び評価基準データＡＳを識別する識別子であり、楽曲ごとに割り当てられている。この符号「ｎ」は、１以上の自然数である。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲データと、歌詞データとを有している。

このうち、楽曲データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この楽曲データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを少なくとも有している。

そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。

一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、演奏データの演奏と対応付けるタイミング対応関係が規定されたデータである。

具体的に、本実施形態におけるタイミング対応関係では、演奏データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、演奏データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音（即ち、音符ＮＯ）と、歌詞構成文字それぞれとが対応付けられる。
＜評価基準データ＞
評価基準データＡＳは、歌唱音声データの評価基準を、楽曲それぞれに規定された所定期間ごと、かつ、歌唱評価項目ごとに表したデータである。この評価基準データＡＳは、例えば、楽曲を歌唱した模範的な歌唱音声に基づいて予め規定された採点基準データであっても良いし、楽曲を歌唱した模範的な歌唱音声であるガイドボーカルそのものであっても良い。

本実施形態における歌唱評価項目として、歌唱音声における歌い方の特徴（以下、「歌唱特徴」と称す）と、その歌唱音声を発声した歌唱者の声質（以下、「歌唱声質」と称す）とが含まれる。

本実施形態における歌唱特徴には、歌唱音声における音高の推移を表す音高推移と、歌唱音声における音圧の推移を表す音圧推移と、歌唱音声にて表現された歌唱技巧とを含む。ここで言う歌唱技巧には、少なくとも“ビブラート”を含む。

具体的に、本実施形態の評価基準データＡＳは、楽曲を歌唱した模範的な歌唱音声における歌唱特徴を表す模範特徴情報と、その模範的な歌唱音声における歌唱声質を表す模範声質情報とを備えている。

模範特徴情報は、模範的な歌唱音声における歌唱特徴の特徴量を表すデータである。模範特徴情報は、歌唱音声における音高の推移を表す音高推移情報と、歌唱音声における音圧の推移を表す音圧推移情報と、歌唱音声にて表現された歌唱技巧を表す技巧情報とを含む。その技巧情報は、歌唱音声において用いられた歌唱技巧の種類と、その歌唱技巧が用いられたタイミングと、その用いられた歌唱技巧の特徴量を表す技巧特徴量とを対応付けたものである。

なお、“ビブラート”についての技巧特徴量（以下、「ビブラート特徴量」と称す）ｖｉｂは、以下の手順で算出すれば良い。
ビブラート特徴量ｖｉｂの算出手順では、まず、歌詞が割り当てられた音符ＮＯ（ｉ）に対する歌唱音声（以下、音符ボーカルと称す）Ｖｏ（ａ，ｉ）について周波数解析（ＤＦＴ（ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ））を実施する。そして、下記（１）式に従って、ビブラート特徴量ｖｉｂを算出する。

ｖｉｂ（ａ，ｉ）＝ｖｉｂ＿ｐｅｒ（ａ，ｉ）×ｖｉｐ＿ｄｅｐ（ａ，ｉ） （１）
ただし、上記（１）式におけるｖｉｂ＿ｐｅｒ（ａ，ｉ）は、各音符ボーカルＶｏ（ａ，ｉ）におけるスペクトルピークの突出精度を表す指標である。このｖｉｂ＿ｐｅｒは、周波数解析結果（即ち、振幅スペクトル）のピーク値を、周波数解析結果の平均値で除すことで求めれば良い。また、上記（１）式におけるｖｉｐ＿ｄｅｐは、各音符ボーカルＶｏ（ａ，ｉ）の標準偏差である。

なお、本実施形態において、符号“ａ”は、楽曲を識別する符号であり、符号“ｉ”は、当該楽曲を構成し歌詞が割り当てられた音符を識別する符号である。
模範声質情報は、歌唱音声を発声した歌唱者の声質の特徴量を表すデータである。ここで言う声質の特徴量とは、例えば、メル周波数ケプストラム（ＭＦＣＣ）である。

この模範声質情報は、楽曲を構成する音符ごとに表されていても良いし、楽曲に規定され、複数の音符を含む所定区間ごとに表されていても良いし、楽曲ごとに表されていても良い。
＜カラオケ装置＞
カラオケ装置３０は、情報処理サーバ１０に記憶されたＭＩＤＩ楽曲ＭＤに基づいて、指定楽曲を演奏すると共に、歌唱音声データを歌唱評価項目ごとに評価する。そして、カラオケ装置３０は、その評価結果が特定基準値以下である少なくとも１つの歌唱評価項目について、評価結果が特定基準値に近づくように歌唱音声データを補正して出力する。

これを実現するために、カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。
音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音声の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ５２には、カラオケ演奏処理を制御部５０が実行するための処理プログラムが格納されている。ここで言うカラオケ演奏処理は、ＭＩＤＩ楽曲ＭＤに基づいて指定楽曲を演奏すると共に、その指定楽曲の評価基準データＡＳに基づいて歌唱音声データを評価し、その評価結果が特定基準値以下である少なくとも１つの歌唱評価項目について、評価結果が特定基準値に近づくように歌唱音声データを補正して出力する処理である。
＜カラオケ演奏処理＞
次に、制御部５０が実行するカラオケ演奏処理について説明する。

このカラオケ演奏処理は、予め規定された起動指令が入力受付部３４を介して入力されると起動される。
そして、図２に示すカラオケ演奏処理が起動されると、制御部５０は、まず、入力受付部３４を介して指定された楽曲（即ち、指定楽曲）に対応するＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ１１０）。続いて、制御部５０は、情報処理サーバ１０の記憶部１４に格納されている全ての評価基準データＡＳの中から、Ｓ１１０で取得したＭＩＤＩ楽曲ＭＤに対応する楽曲と対応付けられた評価基準データＡＳを取得する（Ｓ１２０）。

さらに、制御部５０は、Ｓ１１０にて取得したＭＩＤＩ楽曲ＭＤに基づいて指定楽曲の演奏を開始し、歌詞を含む各種情報を表示部６４に表示する（Ｓ１３０）。具体的にＳ１３０における指定楽曲の演奏では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを時間軸に沿って順次出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、楽曲の演奏を行う。そして、楽曲再生部３６によって演奏された楽曲の音源信号が、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、音源信号を音に換えて出力する。

また、Ｓ１３０では、制御部５０は、各種情報を表す画像信号を映像制御部４６に出力する。その画像信号を取得した映像制御部４６は、楽曲再生部３６での指定楽曲の演奏に同期させて、各種情報を表示部６４に表示する。なお、表示部６４に表示される各種情報には、指定楽曲を構成する各音符ＮＯに割り当てられた歌詞の他に、本カラオケ演奏処理による歌唱音声信号の評価結果を含む。

そして、カラオケ演奏処理では、制御部５０は、マイク６２及びマイク入力部４４を介して入力された音声を歌唱音声データとして取得する（Ｓ１４０）。そして、制御部５０は、Ｓ１４０にて取得した歌唱音声データを記憶部３８に記憶する（Ｓ１５０）。

さらに、カラオケ演奏処理では、制御部５０は、演奏中の指定楽曲が、予め規定された所定期間内であるか否かを判定する（Ｓ１６０）。ここで言う所定期間とは、歌唱音声データを評価する期間として、楽曲それぞれに予め規定された少なくとも１つの期間である。本実施形態における所定期間は、楽曲における時間軸に沿って連続するように、複数設定されている。

このＳ１６０での判定の結果、現時点で演奏している指定楽曲におけるタイミング（以下、「現演奏タイミング」と称す）が所定期間外であれば（Ｓ１６０：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ２２０へと移行させる。そのＳ２２０では、制御部５０は、Ｓ１４０にて取得した歌唱音声データを補正することなく、音声制御部４０に出力する。その音声制御部４０は、歌唱音声データによって表される音声を、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、歌唱音声データによって表される音声を出力する。

その後、制御部５０は、詳しくは後述するＳ２３０へとカラオケ演奏処理を移行させる。
一方、Ｓ１６０での判定の結果、現演奏タイミングが所定期間内であれば（Ｓ１６０：ＹＥＳ）、制御部５０は、カラオケ演奏処理をＳ１７０へと移行させる。そのＳ１７０では、制御部５０は、Ｓ１５０にて記憶部３８に記憶された歌唱音声データに基づいて、所定期間での歌唱特徴量を算出する（Ｓ１７０）。

この歌唱特徴量は、歌唱評価項目ごとの特徴量を表したデータである。この歌唱特徴量には、歌唱音声データにおける歌唱特徴を表す歌唱音声特徴情報と、歌唱音声データにおける発声者（即ち、カラオケ装置３０の利用者）の声質を表す歌唱声質情報とを含む。

このうち、歌唱音声特徴情報は、歌唱音声データにおける音高の推移を表す歌唱音高推移と、歌唱音声データにおける音圧の推移を表す歌唱音圧推移と、歌唱音声データにて表現された歌唱技巧を表す歌唱技巧情報とを含む。

本実施形態においては、歌唱音高推移は、以下の手順で算出すれば良い。
歌唱音高推移の算出では、制御部５０は、規定された時間長を有した分析時間窓を、時間軸に沿って連続するように歌唱音声データに設定し、各分析時間窓における歌唱音声データを周波数解析（例えば、ＤＦＴ）する。そして、周波数解析の結果を自己相関した結果、最も強い周波数成分を基本周波数ｆ０、即ち、分析時間窓における音高とし、時間軸に沿って配置することで、歌唱音高推移を算出する。

また、本実施形態においては、歌唱音圧推移は、以下の手順で算出すれば良い。
歌唱音圧推移の算出では、制御部５０は、規定された時間長を有した分析時間窓を、時間軸に沿って連続するように歌唱音声データに設定する。そして、各分析時間窓における歌唱音声データの振幅の二乗平均平方根（ＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ））を、その分析時間窓における音圧とし、時間軸に沿って配置することで、歌唱音圧推移を算出する。

また、本実施形態における歌唱技巧情報の算出手法は、ビブラート特徴量ｖｉｂの算出手順と同様であるため、ここでの詳しい説明は省略する。
さらに、歌唱声質情報の算出では、各分析時間窓における歌唱音声データの周波数解析の結果に基づいて、メル周波数ケプストラム（ＭＦＣＣ）を算出し、そのメル周波数ケプストラムを歌唱声質情報として算出する。

カラオケ演奏処理では、続いて、制御部５０は、Ｓ１７０で算出した歌唱特徴量と、Ｓ２０で取得した評価基準データとの一致度である評価一致度を、歌唱評価項目それぞれについて算出する（Ｓ１８０）。具体的にＳ１８０では、制御部５０は、歌唱特徴量と評価基準データとの歌唱評価項目ごとの相関値それぞれを、評価一致度として算出する。なお、相関値の算出方法は、周知であるため、ここでの詳しい説明は省略する。

そして、カラオケ演奏処理では、制御部５０は、Ｓ１８０にて算出した全ての評価一致度の中で少なくとも１つの評価一致度が、規定された補正実施条件に適合しているか否かを判定する（Ｓ１９０）。このＳ１９０では、制御部５０は、少なくとも１つの歌唱評価項目についての評価一致度が、規定された特定基準値以下であれば、その評価一致度が補正実施条件に適合しているものと判定する。なお、本実施形態においては、Ｓ１８０にて歌唱評価項目ごとに算出された全ての評価一致度、即ち、音高推移の評価一致度、音圧推移の評価一致度、歌唱技巧の評価一致度、声質の評価一致度の中で、最も高い評価一致度を特定基準値とする。

そして、Ｓ１９０での判定の結果、Ｓ１８０にて算出した全ての評価一致度が補正実施条件に適合していなければ（Ｓ１９０：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ２２０へと移行させる。そのＳ２２０では、制御部５０は、Ｓ１４０にて取得した歌唱音声データを補正することなく、音声制御部４０に出力する。その音声制御部４０は、歌唱音声データによって表される音声を、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、歌唱音声データによって表される音声を出力する。

その後、制御部５０は、カラオケ演奏処理をＳ２３０へと移行させる。
一方、Ｓ１９０での判定の結果、Ｓ１８０にて算出した全ての評価一致度の中で、少なくとも１つの評価一致度が補正実施条件に適合していれば（Ｓ１９０：ＹＥＳ）、制御部５０は、カラオケ演奏処理をＳ２００へと移行させる。そのＳ２００では、制御部５０は、評価一致度が特定基準値よりも低い全ての歌唱評価項目（以下、「補正対象項目」と称す）について、各補正対象項目の評価一致度が特定基準値に近づくように歌唱音声データを補正する。なお、本実施形態においては、Ｓ１８０にて歌唱評価項目ごとに算出された全ての評価一致度の中で、最も高い評価一致度を特定基準値としているため、最も高い評価一致度に対応する評価項目以外の評価項目が、補正対象項目となる。

本実施形態におけるＳ１９０、及びＳ２００では、例えば、図３に示すように、所定期間よりも短い期間である最小評価期間ごとに、ガイドボーカルと歌唱音声データとの歌唱評価項目ごとの一致度を最小単位一致度として算出する。そして、最小評価期間それぞれにおける最小単位一致度に基づいて、規定回数以上の最小評価期間の最小単位一致度の和を評価一致度（即ち、点数）として算出する。この算出した評価一致度が最も高い歌唱評価項目以外の歌唱評価項目を補正対象項目として、各補正対象項目の評価一致度が特定基準値に合致するように、歌唱音声データを補正する。

歌唱音声データを補正する具体的な方法として、音圧推移を歌唱評価項目とした補正方法（図４参照）と、ビブラートを歌唱評価項目とした補正方法（図５参照）とについて説明する。

まず、図４に示す音圧推移を補正対象項目とした補正方法の前提条件として、音圧推移に関する歌唱評価項目は、例えば、歌唱音圧推移と模範音圧推移との音圧差の階級に応じて、評価一致度が分類されている（即ち、点数化されている）ものとする。そして、最も高い評価の評価一致度（即ち、特定基準値）が「α点」であり、歌唱音圧推移に関する評価一致度が「β点（α＞β）」である場合を図４に示す。この場合のＳ２００では、制御部５０は、補正後の歌唱音圧推移と模範音圧推移との音圧差が「α点」の階級に対応する音圧差となるように、歌唱音声における音圧推移を増幅する（図４に示す例では、「−ｙ［ｄＢ］」まで増幅する。）。

また、図５に示すビブラートを補正対象項目とした補正方法の前提条件として、ビブラートに関する歌唱評価項目は、例えば、ビブラートの振幅の変動における最高振幅と最低振幅との差分であるビブラート振幅、及びビブラートにおける周波数変動の速度であるビブラート速度とに応じて、評価一致度が分類されている（即ち、点数化されている）ものとする。そして、最高評価の評価一致度が「α点」であり、ビブラートの評価一致度が「β点（α＞β）」である場合を図５に示す。この場合のＳ２００では、制御部５０は、ビブラート振幅及びビブラート速度の組が、「α点」に対応するビブラート振幅及びビブラート速度の組となるように、歌唱音声におけるビブラートを付与する。このビブラートの付与では、まず、歌唱音声データによって表される歌唱音声から、時間軸に沿ったビブラートの振幅の変動を除去する。そして、振幅の変動を除去した歌唱音声に、「α点」に対応するビブラート振幅及びビブラート速度の組が形成されるように、ビブラートの振幅の変動を加える。

続いて、制御部５０は、補正対象項目と、特定基準値に対応する歌唱評価項目である非補正対象項目とを識別可能な態様である識別アイコンを表示する（Ｓ２１０）。ここで言う識別アイコンは、補正対象項目を認識可能な態様の文字や、各種マークであっても良い。また、ここで言う識別アイコンは、非補正対象項目を認識可能な態様の文字や、各種マークであっても良い。

その後、制御部５０は、Ｓ２００にて補正された歌唱音声データを音声制御部４０に出力する。その音声制御部４０は、補正された歌唱音声データによって表される音声信号を、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、補正された歌唱音声データによって表される音声を出力する。

その後、制御部５０は、カラオケ演奏処理をＳ２３０へと移行させる。
そのＳ２３０では、制御部５０は、指定楽曲の演奏が終了したか否かを判定する。このＳ２３０での判定の結果、指定楽曲の演奏が終了していなければ（Ｓ２３０：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ１４０へと戻す。そのＳ１４０では、マイク６２及びマイク入力部４４を介して入力された音声を歌唱音声データとして取得する（Ｓ１４０）。

一方、Ｓ２３０での判定の結果、指定楽曲の演奏が終了していれば（Ｓ２３０：ＹＥＳ）、制御部５０は、カラオケ演奏処理を終了する。そして、制御部５０は、起動指令が入力されるまで待機する。
［実施形態の効果］
以上説明したように、本実施形態のカラオケ演奏処理では、歌唱音声データの中で、評価が低い歌唱評価項目だけを補正対象項目として補正して出力することができる。したがって、本実施形態のカラオケ演奏処理によれば、カラオケ装置３０から出力される歌唱音声における各歌唱評価項目に対する評価を均一化することができ、歌唱音声全体の評価を向上させることができる。

換言すれば、カラオケ装置３０によれば、当該カラオケ装置３０から出力される音声におけるバランスを改善することができる。この結果、カラオケ装置３０によれば、楽曲を歌唱している歌唱者の満足度合いを向上させることができる。

さらに、カラオケ装置３０からの歌唱音声の聴取者は、バランスの良い音声を聴くことができるため、満足度合いが向上する。したがって、カラオケ装置３０によれば、歌唱者と聴取者との双方の満足度合いを向上させることができる。

ところで、カラオケ演奏処理においては、全ての歌唱評価項目に対する評価一致度の中で、特定基準値よりも低い全ての評価一致度に対応する歌唱評価項目を補正対象項目とし、全て補正対象項目について、その補正対象項目の評価一致度が特定基準値に近づくように補正している。しかも、カラオケ演奏処理においては、全ての歌唱評価項目に対する評価一致度の中で、最も高い評価一致度を特定基準値としている。

このため、カラオケ演奏処理においては、最も高い評価の歌唱評価項目を基準として、歌唱音声データにおける他の全ての歌唱評価項目を補正できる。
この結果、カラオケ装置３０によれば、カラオケ装置３０から出力される歌唱音声を、よりバランスの良い音声とすることができ、歌唱者と聴取者との双方の満足度合いをより向上させることができる。

なお、本実施形態のカラオケ演奏処理においては、補正対象項目と、特定基準値に対応する歌唱評価項目である非補正対象項目とを識別可能な態様である識別アイコンを表示している。

したがって、カラオケ装置３０の利用者は、補正された歌唱評価項目と、補正を未実施である歌唱評価項目とを認識できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態における所定期間は、楽曲における時間軸に沿って連続するように複数設定されていたが、本発明における所定期間は、これに限るものではない。すなわち、本発明における所定期間は、楽曲において１つだけ設定されていても良い。

また、本発明において、所定期間が複数設定されている場合には、それらの複数の所定期間は、楽曲における時間軸に沿って連続するように設定される場合に限らない。例えば、複数の所定期間は、楽曲における時間軸に沿って不連続となるように予め規定されたタイミングごとに設定されていても良い。

また、上記実施形態のカラオケ演奏処理では、指定楽曲の演奏中に入力される音声を順次評価していたが、歌唱音声データを評価する評価タイミングは、これに限るものではない。例えば、指定楽曲の演奏中に入力された歌唱音声データを記憶部に記憶し、指定楽曲の演奏が終了した後、その記憶部に記憶された歌唱音声データをまとめて評価しても良い。

なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

また、本発明は、前述したカラオケ装置の他、歌唱音声を評価してその評価結果を反映した歌唱音声へと補正するためにコンピュータが実行するプログラム、歌唱音声を評価してその評価結果を反映した歌唱音声へと補正する方法等、種々の形態で実現することができる。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記実施形態におけるカラオケ演奏処理のＳ１４０を実行することで得られる機能が、特許請求の範囲に記載された音声取得手段の一例であり、カラオケ演奏処理のＳ１２０を実行することで得られる機能が、特許請求の範囲に記載された基準取得手段の一例である。また、カラオケ演奏処理のＳ１７０を実行することで得られる機能が、特許請求の範囲に記載された特徴算出手段の一例であり、カラオケ演奏処理のＳ１８０を実行することで得られる機能が、特許請求の範囲に記載された一致度算出手段の一例である。

そして、カラオケ演奏処理のＳ１９０，Ｓ２００を実行することで得られる機能が、特許請求の範囲に記載された補正手段の一例であり、Ｓ２２０を実行することで得られる機能が、特許請求の範囲に記載された出力手段の一例である。また、カラオケ演奏処理のＳ２１０を実行することで得られる機能が、特許請求の範囲に記載された表示手段の一例である。

１…カラオケシステム １０…情報処理サーバ １２，３２…通信部 １４…記憶部 １６，５０…制御部 １８，５２…ＲＯＭ ２０，５４…ＲＡＭ ２２，５６…ＣＰＵ ３０…カラオケ装置 ３４…入力受付部 ３６…楽曲再生部 ３８…記憶部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ６０…スピーカ ６２…マイク ６４…表示部

Claims (5)

1. 音高と音価との組み合わせからなる複数の音符のうちの少なくとも一部に歌詞が割り当てられた少なくとも１つの楽曲のうち、指定された楽曲である指定楽曲の演奏中にマイクを介して入力された音声を表す歌唱音声データを取得する音声取得手段と、
   前記楽曲の歌唱を評価する項目として規定された複数の評価項目それぞれの評価基準を前記楽曲ごとに表した評価基準データの中から、前記指定楽曲の前記評価基準データを取得する基準取得手段と、
   前記音声取得手段で取得した歌唱音声データに基づいて、前記歌唱音声データにおける前記評価項目ごとの歌唱の評価を表す歌唱特徴量を算出する特徴算出手段と、
   前記特徴算出手段で算出した歌唱特徴量と、前記基準取得手段で取得した評価基準データによって表された前記評価基準との一致度である評価一致度を、前記評価項目ごとに算出する一致度算出手段と、
   前記一致度算出手段で算出された評価一致度が、規定された特定基準値よりも低い少なくとも１つの評価項目について、前記評価一致度が特定基準値に近づくように、前記音声取得手段で取得した歌唱音声データを補正する補正手段と、
   前記補正手段で補正した歌唱音声データを出力する出力手段と
   を備えることを特徴とするカラオケ装置。
2. 前記補正手段は、
   前記評価一致度が前記特定基準値よりも低い全ての評価項目について、前記評価一致度が前記特定基準値に近づくように補正する
   ことを特徴とする請求項１に記載のカラオケ装置。
3. 前記補正手段は、
   最も高い評価項目の評価一致度を前記特定基準値とし、
   前記評価一致度が前記特定基準値よりも低い評価項目について、前記評価一致度が特定基準値に近づくように補正する
   ことを特徴とする請求項１または請求項２に記載のカラオケ装置。
4. 前記一致度算出手段で算出された評価一致度が前記特定基準値よりも低い少なくとも１つの評価項目と、前記評価一致度が前記特定基準値以上である少なくとも１つの評価項目とを識別可能な態様で表示する表示手段と
   を備えることを特徴とする請求項１から請求項３までのいずれか一項に記載のカラオケ装置。
5. 音高と音価との組み合わせからなる複数の音符のうちの少なくとも一部に歌詞が割り当てられた少なくとも１つの楽曲のうち、指定された楽曲である指定楽曲の演奏中にマイクを介して入力された音声を表す歌唱音声データを取得する音声取得ステップと、
   前記楽曲の歌唱を評価する項目として規定された複数の評価項目それぞれの評価基準を前記楽曲ごとに表した評価基準データの中から、前記指定楽曲の前記評価基準データを取得する基準取得ステップと、
   前記音声取得ステップで取得した歌唱音声データに基づいて、前記歌唱音声データにおける前記評価項目ごとの歌唱の評価を表す歌唱特徴量を算出する特徴算出ステップと、
   前記特徴算出ステップで算出した歌唱特徴量と、前記基準取得ステップで取得した評価基準データによって表された前記評価基準との一致度である評価一致度を、前記評価項目ごとに算出する一致度算出ステップと、
   前記一致度算出ステップで算出された評価一致度が、規定された特定基準値よりも低い少なくとも１つの評価項目について、前記評価一致度が特定基準値に近づくように、前記音声取得ステップで取得した歌唱音声データを補正する補正ステップと、
   前記補正ステップで補正した歌唱音声データを出力する出力ステップとを
   コンピュータに実行させることを特徴とするプログラム。