JP2007256619A - 評価装置、制御方法及びプログラム - Google Patents
評価装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP2007256619A JP2007256619A JP2006080812A JP2006080812A JP2007256619A JP 2007256619 A JP2007256619 A JP 2007256619A JP 2006080812 A JP2006080812 A JP 2006080812A JP 2006080812 A JP2006080812 A JP 2006080812A JP 2007256619 A JP2007256619 A JP 2007256619A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- data
- voice
- feature data
- singing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】聴取者の主観的評価を取り入れた評価手法を提供する。
【解決手段】サーバ装置3の記憶部32には、様々な歌唱音声(サンプル音声データ)に対して評価者が主観的に評価した結果が予め記憶されている。制御部31は、練習者の歌唱音声(練習者音声データ)に類似する歌唱音声(サンプル音声データ)に対する評価を、その練習者の歌唱音声に対する評価としてカラオケ装置2に送信する。これにより、練習者の歌唱音声に類似する歌唱音声に対して予め用意しておいた聴取者の主観評価が、その練習者の歌唱音声に対する評価となる。
【選択図】図3
【解決手段】サーバ装置3の記憶部32には、様々な歌唱音声(サンプル音声データ)に対して評価者が主観的に評価した結果が予め記憶されている。制御部31は、練習者の歌唱音声(練習者音声データ)に類似する歌唱音声(サンプル音声データ)に対する評価を、その練習者の歌唱音声に対する評価としてカラオケ装置2に送信する。これにより、練習者の歌唱音声に類似する歌唱音声に対して予め用意しておいた聴取者の主観評価が、その練習者の歌唱音声に対する評価となる。
【選択図】図3
Description
本発明は歌唱や演奏を評価する技術に関する。
カラオケ装置においては、歌唱者の歌唱の巧拙を評価するための方法が種々提案されている。その評価方法の1つに、楽譜の音符を評価基準として歌唱音声を客観的に評価するものがある(例えば特許文献1,2参照)。このような客観的評価方法によれば、楽譜の内容に忠実な歌唱が高く評価されることになる。さらに、このような評価方法は歌唱だけではなく、楽器の演奏にも適用し得る。
ところで、歌唱や演奏の評価は聴取者の主観に委ねられるという一面もある。例えば歌手のように熟練した歌唱者は、楽譜の内容に忠実に従って歌唱することはほとんどなく、その多くが、歌い始めや歌い終わりを意図的にずらしたり、声質や音量を変化させたり、或いはビブラートやこぶし等の各種歌唱技法を用いたりして、歌のなかに感情の盛り上がり(情感)を表現する。このような情感は歌唱者によって様々に表現される一方、その情感表現に対する評価も聴取者の主観によって様々である。そこで、特許文献3には、サンプルとなる歌唱を複数の聴取者に聞かせた後で、その歌唱に対する評価をアンケート方式で収集し、その結果を考慮しながら聴取者の主観を取り入れた評価基準を策定するという手法が提案されている。
特開昭62−040488号公報
特許第2890659号公報
特開2000−99024号公報
最近では、このような聴取者の主観を取り入れた主観的評価手法の確立が望まれている。そこで、本発明の目的は、従来とは異なる仕組みで聴取者の主観的評価を取り入れた評価手法を提供することにある。
上記課題を解決するため、本発明は、それぞれ異なる複数の歌唱音声又は演奏音の特徴を表す複数の特徴データと、各々の前記歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データとを対応付けて記憶する記憶手段と、練習者の歌唱音声又は演奏音の特徴を表す特徴データを取得する取得手段と、前記記憶手段によって記憶されている特徴データから、前記取得手段によって取得された特徴データに類似する、1以上の特徴データを選択する選択手段と、前記選択手段によって選択された特徴データに対応付けられた評価基準データを前記記憶手段から読み出し、前記練習者の歌唱音声又は演奏音に対する評価結果として出力する出力手段とを備えることを特徴とする評価装置を提供する。この評価装置において、さらに前記歌唱音声又は演奏音を表す複数の音声データを記憶する練習者音声データ記憶手段と、複数の音声再生装置とネットワークを介してデータ通信を行う通信手段と、前記練習者音声データ記憶手段によって記憶された音声データを前記通信手段によって前記音声再生装置に配信する配信手段と、前記音声再生装置によって再生された歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データを前記音声再生装置から取得する評価基準データ取得手段と、前記歌唱音声又は演奏音の特徴を表す特徴データと、前記評価基準データ取得手段によって取得された前記評価基準データとを対応付けて前記記憶手段に記憶させる登録手段とを備えることが望ましい。
また、本発明は、それぞれ異なる複数の歌唱音声又は演奏音の特徴を表す複数の特徴データと、各々の前記歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データとを対応付けて記憶する記憶手段と、制御手段とを備えた評価装置の制御方法であって、前記制御手段が、練習者の歌唱音声又は演奏音の特徴を表す特徴データを取得する第1のステップと、前記制御手段が、前記記憶手段によって記憶されている特徴データから、前記第1のステップにおいて取得された特徴データに類似する、1以上の特徴データを選択する第2のステップと、前記制御手段が、前記第2のステップにおいて選択された特徴データに対応付けられている評価基準データを前記記憶手段から読み出し、前記練習者の歌唱音声又は演奏音に対する評価結果として出力する第3のステップとを備えることを特徴とする制御方法を提供する。さらに、本発明は、コンピュータに対して機能を実現させるプログラムとしての形態も採り得る。
本発明においては、それぞれ異なる歌唱音声又は演奏音の特徴を表す複数の特徴データと、各々の歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データとを対応付けて記憶しておき、練習者の歌唱音声又は演奏音の特徴を表す特徴データを取得すると、記憶されている特徴データから、取得された特徴データに類似する1以上の特徴データを選択し、選択した特徴データに対応付けられた評価基準データを練習者の歌唱音声又は演奏音に対する評価結果として出力する。つまり、練習者の歌唱音声や演奏音に類似する歌唱音声又は演奏音に対する聴取者の主観評価を、その練習者の歌唱音声や演奏音に対する評価として出力する。このように本発明によれば、従来とは異なる仕組みによって、聴取者の主観的評価を取り入れた評価手法を実現することができる。
次に、本発明を実施するための最良の形態を説明する。
なお、以下の説明では、評価基準を決定するためのサンプルとしての歌唱を行う者を「歌唱者」と呼び、その歌唱者の歌唱を聴取して主観的に評価する者を「評価者(聴取者)」と呼び、その主観的な評価結果に基づいて歌唱が評価される者を「練習者」と呼ぶ。
なお、以下の説明では、評価基準を決定するためのサンプルとしての歌唱を行う者を「歌唱者」と呼び、その歌唱者の歌唱を聴取して主観的に評価する者を「評価者(聴取者)」と呼び、その主観的な評価結果に基づいて歌唱が評価される者を「練習者」と呼ぶ。
[1.構成]
図1は、本実施形態に係る評価システム1の全体構成を示すブロック図である。この評価システム1は、複数のカラオケ装置2a,2b,2cと、サーバ装置3と、これらを接続するネットワーク4とを備えている。カラオケ装置2a,2b,2cは、一般家庭や、カラオケボックス又は飲食店などの各種店舗に備えられており、音声データを再生して放音する音声再生装置として機能する。サーバ装置3は、練習者がカラオケ装置2a,2b,2cを用いて行った歌唱を評価する評価装置として機能する。ネットワーク4は、例えばISDN(Integrated Services Digital Network)やインターネットであり、有線区間又は無線区間を含んでいる。図1には3つのカラオケ装置が例示されているが、この評価システム1に含まれるカラオケ装置の数は3に限定されるものではなく、これより多くても少なくてもよい。また、カラオケ装置2a,2b,2cはいずれも同じ構成及び動作であるから、これらを各々区別する必要がない場合には単に「カラオケ装置2」と呼ぶことにする。
図1は、本実施形態に係る評価システム1の全体構成を示すブロック図である。この評価システム1は、複数のカラオケ装置2a,2b,2cと、サーバ装置3と、これらを接続するネットワーク4とを備えている。カラオケ装置2a,2b,2cは、一般家庭や、カラオケボックス又は飲食店などの各種店舗に備えられており、音声データを再生して放音する音声再生装置として機能する。サーバ装置3は、練習者がカラオケ装置2a,2b,2cを用いて行った歌唱を評価する評価装置として機能する。ネットワーク4は、例えばISDN(Integrated Services Digital Network)やインターネットであり、有線区間又は無線区間を含んでいる。図1には3つのカラオケ装置が例示されているが、この評価システム1に含まれるカラオケ装置の数は3に限定されるものではなく、これより多くても少なくてもよい。また、カラオケ装置2a,2b,2cはいずれも同じ構成及び動作であるから、これらを各々区別する必要がない場合には単に「カラオケ装置2」と呼ぶことにする。
図2は、カラオケ装置2の構成を示したブロック図である。制御部21は例えばCPUであり、記憶部22に記憶されているコンピュータプログラムを読み出して実行することにより、カラオケ装置2の各部を制御する。表示部23は、例えば液晶ディスプレイなどであり、制御部21の制御の下で、カラオケ装置2を操作するためのメニュー画面や、背景画像に歌詞テロップが重ねられたカラオケ画面などの各種画面を表示する。操作部24は、各種のキーを備えており、押下されたキーに対応した信号を制御部21へ出力する。マイクロフォン25は、歌唱者が発音した音声を収音する。音声処理部26は、マイクロフォン25によって収音された音声(アナログデータ)をデジタルデータに変換して制御部21に出力する。スピーカ27は、音声処理部26から出力される音声を放音する。通信部28は、制御部21の制御の下で、ネットワーク4を介してサーバ装置3とデータ通信を行う。
記憶部22は、例えばハードディスクなどの大容量の記憶手段であり、伴奏・歌詞データ記憶領域22aと、練習者音声データ記憶領域22bと、楽譜音データ記憶領域22cとを有している。伴奏・歌詞データ記憶領域22aには、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記された伴奏データと、楽曲の歌詞を示す歌詞データとが対応付けられて記憶されている。伴奏データは、例えばMIDI(Musical Instruments Digital Interface)形式などのデータ形式であり、練習者がカラオケ歌唱する際に再生される。歌詞データは、そのカラオケ歌唱の際に歌詞テロップとして表示部23に表示される。練習者音声データ記憶領域22bには、マイクロフォン25から音声処理部26を経てA/D変換された音声データが練習者音声データとして記憶される。この練習者音声データは例えばWAVE形式やMP3(MPEG Audio Layer-3)形式である。楽譜音データ記憶領域22cには、曲の楽譜によって規定された歌唱音を表す楽譜音データが記憶されている。この楽譜音データは、例えばMIDI形式などのデータ形式であり、歌唱音のピッチとその発音タイミングとを含んでいる。この楽譜音データは、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの、歌唱における各種技法を評価するために利用される。
次に、図3は、サーバ装置3の構成を示したブロック図である。
図3において、制御部31は例えばCPUであり、記憶部32に記憶されているコンピュータプログラムを読み出して実行することにより、サーバ装置3の各部を制御する。記憶部32は、例えばハードディスクなどの大容量の記憶手段であり、サンプル音声データ記憶領域32aと、評価基準データ記憶領域32bと、練習者音声特徴データ記憶領域32cと、楽譜音データ記憶領域32dとを有している。通信部33は、制御部31の制御の下でネットワーク4を介してカラオケ装置2とデータ通信を行う。
図3において、制御部31は例えばCPUであり、記憶部32に記憶されているコンピュータプログラムを読み出して実行することにより、サーバ装置3の各部を制御する。記憶部32は、例えばハードディスクなどの大容量の記憶手段であり、サンプル音声データ記憶領域32aと、評価基準データ記憶領域32bと、練習者音声特徴データ記憶領域32cと、楽譜音データ記憶領域32dとを有している。通信部33は、制御部31の制御の下でネットワーク4を介してカラオケ装置2とデータ通信を行う。
サンプル音声データ記憶領域32aには、それぞれ異なる複数の歌唱者の歌唱音声を表す音声データが記憶されている。この音声データは、評価サンプルとしての歌唱音声を表すものであるので、「サンプル音声データ」という。このサンプル音声データはサーバ装置3からカラオケ装置2へと送信され、カラオケ装置2によって歌唱音声として再生される。評価者はこの歌唱音声を聴取し、カラオケ装置2に表示される例えば図4に示すような入力画面にその評価を入力する。この評価は、「良い」、「やや良い」、「どちらとも言えない」、「やや悪い」、「悪い」の5段階評価である。入力された評価の結果は、カラオケ装置2からサーバ装置3へと送信され、評価基準データとして評価基準データ記憶領域32bに記憶される。サーバ装置3はこのようにして記憶した評価基準データに基づいて練習者の歌唱を評価する。
ここで、図5は、評価基準データの一例を示す図である。図5では、曲ID(Identification:識別情報)「m1」が割り当てられた曲を、歌唱者ID「a1」が割り当てられた歌唱者が歌唱し、評価者ID「p1」、「p2」、「p3」・・・が割り当てられた評価者がその歌唱を評価した場合を例示している。この評価基準データには、評価者の属性(性別・年齢など)や、評価がなされた日時(評価基準データが生成された日時であり、以下、評価日時という)も含まれている。なお、以下では、曲ID「m1」が割り当てられた曲を曲m1と呼び、歌唱者ID「a1」が割り当てられた歌唱者を歌唱者a1と呼び、評価者ID「p1」、「p2」、「p3」・・・が割り当てられた評価者をそれぞれ評価者p1,p2,p3と呼ぶ。なお、曲IDとしては例えば曲名やカラオケ曲ナンバーなどの識別情報を用いればよい。また、歌唱者IDや評価者IDは、例えばカラオケボックスなどの店舗が発行した会員番号やユーザIDなどの識別情報であってもよいし、歌唱や評価が行われた場所(カラオケボックスの部屋番号や店舗の店番号)などであってもよい。また、歌唱が行われた日時や評価がされた日時を、歌唱者IDや評価者IDとして用いることもできる。
この図5に示すように、曲m1のAメロ、Bメロ、サビの音程(ピッチ)、タイミング、音量(パワー)、技巧、声質(スペクトル)の評価及び総合評価が評価者p1,p2,p3・・・の各々によってなされている。例えば曲m1のAメロ、Bメロ、サビの音程(ピッチ)に対する評価者p1による評価レベルは「4」、「3」、「4」である。同様に、曲m1のAメロ、Bメロ、サビに対する評価者p2による評価レベルは「5」、「5」、「5」であり、評価者p3による評価レベルは「2」、「2」、「2」である。なお、この評価レベルの値は大きいほど良い評価を意味している。つまり、評価レベル1が図4の「悪い」に相当し、評価レベル2が図4の「やや悪い」に相当し、評価レベル3が図4の「どちらとも言えない」に相当し、評価レベル4が図4の「やや良い」に相当し、評価レベル5が図4の「良い」に相当する。
さらに、上述した複数の評価者p1,p2,p3・・・による評価の結果が集計され、その集計値が図5の「集計結果」の項に記述される。図示の例では、例えば歌唱者a1が曲m1を歌唱した際のAメロの音程(ピッチ)に対しては、合計200人の評価者のうち、34人の評価者が評価レベル1と評価し、36人の評価者が評価レベル2と評価し、45人の評価者が評価レベル3と評価し、56人の評価者が評価レベル4と評価し、29人の評価者が評価レベル5と評価していることを示している。つまり、評価レベル4(やや良い)と評価した評価者が最も多いというわけである。一方、歌唱者a1が曲m1を歌唱した際のBメロの音程(ピッチ)に対しては、合計200人の評価者のうち、4人の評価者が評価レベル1と評価し、27人の評価者が評価レベル2と評価し、85人の評価者が評価レベル3と評価し、64人の評価者が評価レベル4と評価し、20人の評価者が評価レベル5と評価していることを示している。つまり、評価レベル3(どちらとも言えない)と評価した評価者が最も多い。また、歌唱者a1が曲m1を歌唱した際のサビの音程(ピッチ)に対しては、合計200人の評価者のうち、27人の評価者が評価レベル1と評価し、35人の評価者が評価レベル2と評価し、35人の評価者が評価レベル3と評価し、48人の評価者が評価レベル4と評価し、55人の評価者が評価レベル5と評価していることを示している。つまり、評価レベル5(良い)と評価した評価者が最も多い。
以上のような評価基準データが評価基準データ記憶領域32bにそれぞれの曲毎に多数記憶される。
以上のような評価基準データが評価基準データ記憶領域32bにそれぞれの曲毎に多数記憶される。
再び図3の説明に戻る。
練習者音声特徴データ記憶領域32cには、カラオケ装置2から送信されてくる練習者音声データの特徴を表す練習者音声特徴データが記憶される。楽譜音データ記憶領域32dには、カラオケ装置2に記憶されている楽譜音データと同様に、曲の楽譜によって規定された歌唱音を表す楽譜音データが記憶されている。この楽譜音データも、歌唱における各種技法を評価するために利用される。
練習者音声特徴データ記憶領域32cには、カラオケ装置2から送信されてくる練習者音声データの特徴を表す練習者音声特徴データが記憶される。楽譜音データ記憶領域32dには、カラオケ装置2に記憶されている楽譜音データと同様に、曲の楽譜によって規定された歌唱音を表す楽譜音データが記憶されている。この楽譜音データも、歌唱における各種技法を評価するために利用される。
[2.動作]
次に、本実施形態の動作説明を行う。
本実施形態の動作は、大別して、歌唱者のサンプル音声データをサーバ装置3に登録する動作と、サンプル音声データに対する評価者の評価結果を収集し、これを評価基準データとしてサーバ装置3に蓄積する動作と、蓄積した評価基準データを用いて練習者の歌唱を評価する動作とに分かれる。以下、これらを順番に説明する。
次に、本実施形態の動作説明を行う。
本実施形態の動作は、大別して、歌唱者のサンプル音声データをサーバ装置3に登録する動作と、サンプル音声データに対する評価者の評価結果を収集し、これを評価基準データとしてサーバ装置3に蓄積する動作と、蓄積した評価基準データを用いて練習者の歌唱を評価する動作とに分かれる。以下、これらを順番に説明する。
[2−1.サンプル音声データの登録]
まず、歌唱者のサンプル音声データをサーバ装置3に登録する動作について説明する。
図6のシーケンス図において、歌唱者は、カラオケ装置2の操作部24を操作して、自身の歌唱をサンプル音声データとして登録することを指示し、さらに所望する曲の曲IDを指定して伴奏データの再生を指示する。このとき、歌唱者は自身の歌唱者IDを操作部24によって入力するか又は制御部21が歌唱者IDを生成する。そして、制御部21は、上記の指示に応じてカラオケ伴奏を開始する(ステップS1)。即ち、制御部21は、伴奏・歌詞データ記憶領域22aから伴奏データを読み出して音声処理部26に供給し、音声処理部26は、伴奏データをアナログ信号に変換し、スピーカ27に供給して放音させる。同時に、制御部21は、「伴奏に合わせて歌唱してください」というような歌唱を促すメッセージを表示部23に表示させてから、伴奏・歌詞データ記憶領域22aから歌詞データを読み出して歌詞テロップを表示部23に表示させる。歌唱者は、表示された歌詞テロップを参照しつつ、スピーカ27から放音される伴奏に合わせて歌唱を行う。このとき、歌唱者の音声はマイクロフォン25によって収音されて音声信号に変換され、音声処理部26へと出力される。音声処理部26によってA/D変換された音声データは、伴奏開始からの経過時間を表す情報と共に、記憶部22に記憶(録音)されていく(ステップS2)。
まず、歌唱者のサンプル音声データをサーバ装置3に登録する動作について説明する。
図6のシーケンス図において、歌唱者は、カラオケ装置2の操作部24を操作して、自身の歌唱をサンプル音声データとして登録することを指示し、さらに所望する曲の曲IDを指定して伴奏データの再生を指示する。このとき、歌唱者は自身の歌唱者IDを操作部24によって入力するか又は制御部21が歌唱者IDを生成する。そして、制御部21は、上記の指示に応じてカラオケ伴奏を開始する(ステップS1)。即ち、制御部21は、伴奏・歌詞データ記憶領域22aから伴奏データを読み出して音声処理部26に供給し、音声処理部26は、伴奏データをアナログ信号に変換し、スピーカ27に供給して放音させる。同時に、制御部21は、「伴奏に合わせて歌唱してください」というような歌唱を促すメッセージを表示部23に表示させてから、伴奏・歌詞データ記憶領域22aから歌詞データを読み出して歌詞テロップを表示部23に表示させる。歌唱者は、表示された歌詞テロップを参照しつつ、スピーカ27から放音される伴奏に合わせて歌唱を行う。このとき、歌唱者の音声はマイクロフォン25によって収音されて音声信号に変換され、音声処理部26へと出力される。音声処理部26によってA/D変換された音声データは、伴奏開始からの経過時間を表す情報と共に、記憶部22に記憶(録音)されていく(ステップS2)。
伴奏データの再生が終了すると、制御部21は歌唱者の音声を録音する処理を終了する。次に、制御部21は、記憶部22に記憶されている音声データを、上記の曲ID及び歌唱者IDと共に通信部28からサーバ装置3に送信する(ステップS3)。サーバ装置3の制御部31は、通信部33によって音声データ、曲ID及び歌唱者IDが受信されたことを検知すると、この音声データをサンプル音声データとして記憶部32のサンプル音声データ記憶領域32aに記憶させるとともに、そのサンプル音声データに対応付けて曲ID及び歌唱者IDを記憶する(ステップS4)。次に、制御部31は、記憶部32に記憶されているサンプル音声データを所定時間長のフレーム単位に分離し、フレーム単位でピッチ、スペクトル及びパワーを算出する(ステップS5)。
次いで、制御部31は、サンプル音声データから技法を抽出する(ステップS6)。前述したように、技法には、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」がある。これらのうち、「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出すという技法である。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていくという技法である。「こぶし」は、装飾的に加えるうねるような節回しを行うという技法である。「ファルセット」は、いわゆる「裏声」で歌うという技法である。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにするという技法である。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにするという技法である。「息継ぎ」は、練習者が息継ぎをするタイミングを意味する。
まず、制御部31は、これらの各技法が用いられている区間を特定(検出)する。例えば「ビブラート」及び「しゃくり」については、サンプル音声データのピッチに基づいて検出することができる。また、「こぶし」及び「ファルセット」については、サンプル音声データのスペクトルに基づいて検出することができる。また、「ため」及び「つっこみ」については、サンプル音声データのピッチと、楽譜音データ記憶領域32dに記憶されている楽譜音データとに基づいて検出することができる。また、「息継ぎ」については、サンプル音声データのパワーと、楽譜音データ記憶領域32dに記憶されている楽譜音データとに基づいて検出することができる。
具体的な検出方法は以下のとおりである。
制御部31は、サンプル音声データと楽譜音データとの対応関係と、サンプル音声データから算出されたピッチとに基づいて、サンプル音声データに含まれる音の開始時刻と当該音に対応する楽譜音データの音の開始時刻とが異なる区間を特定する。ここで、制御部31は、サンプル音声データのピッチの変化タイミングが楽譜音データのピッチの変化タイミングよりも早く現れている区間、すなわちサンプル音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。制御部31は、このようにして特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付ける。
制御部31は、サンプル音声データと楽譜音データとの対応関係と、サンプル音声データから算出されたピッチとに基づいて、サンプル音声データに含まれる音の開始時刻と当該音に対応する楽譜音データの音の開始時刻とが異なる区間を特定する。ここで、制御部31は、サンプル音声データのピッチの変化タイミングが楽譜音データのピッチの変化タイミングよりも早く現れている区間、すなわちサンプル音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。制御部31は、このようにして特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付ける。
逆に、制御部31は、サンプル音声データと楽譜音データとの対応関係と、サンプル音声データから算出されたピッチとに基づいて、サンプル音声データのピッチの変化タイミングが楽譜音データのピッチの変化タイミングよりも遅れて現れている区間、すなわちサンプル音声データに含まれる音の開始時刻が当該音に対応する楽譜音データの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
また、制御部31は、サンプル音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
また、制御部31は、サンプル音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、楽譜音データとの対応関係に基づいて行うようにしてもよい。すなわち、制御部31は、サンプル音声データと楽譜音データとの対応関係に基づいて、サンプル音声データのピッチが、低いピッチから連続的に楽譜音データのピッチに近づいている区間を検出すればよい。
また、制御部31は、サンプル音声データと楽譜音データとの対応関係と、サンプル音声データから算出されたパワーとに基づいて、楽譜音データが有音である区間であってサンプル音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
また、制御部31は、サンプル音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、地声の場合は沢山の高調波成分が含まれるが、ファルセットになると高調波成分の大きさが極端に小さくなる。なお、この場合、制御部31は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、サンプル音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、サンプル音声データの音域や、サンプル音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、制御部31は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
以上のようにして、制御部31は、音声データから各技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付ける。そして、制御部31は、ステップS5にて算出したピッチ、スペクトル及びパワーと、ステップS6にて生成した区間情報及び種別情報とを含むサンプル音声特徴データを生成する(ステップS7)。次に、制御部21は、生成したサンプル音声特徴データを、曲ID及び歌唱者IDと共にサンプル音声データ記憶領域32aに記憶する(ステップS8)。
以上のような処理を経ることで、サーバ装置3のサンプル音声データ記憶領域32aには、サンプル音声データ、曲ID、歌唱者ID及びサンプル音声特徴データが互いに対応付けて記憶されることになる。
以上のような処理を経ることで、サーバ装置3のサンプル音声データ記憶領域32aには、サンプル音声データ、曲ID、歌唱者ID及びサンプル音声特徴データが互いに対応付けて記憶されることになる。
[2−2.評価基準データの収集・蓄積]
次に、サンプル音声データに対する評価者の評価結果を収集し、これを評価基準データとしてサーバ装置3に蓄積する動作について説明する。
図7のシーケンス図において、評価者(聴取者)は、カラオケ装置2の操作部24を操作し、曲IDを指定して歌唱の評価を行うことを指示する。制御部21は、指定された曲IDを通信部28からサーバ装置3に送信する(ステップS11)。サーバ装置3の制御部31は、曲IDを受信すると、サンプル音声データ記憶領域32aにおいてその曲IDに対応付けられて記憶されている全ての歌唱者IDを読み出し、カラオケ装置2に送信する(ステップS12)。カラオケ装置2の制御部21は、受信した歌唱者IDを図8に示すようにして一覧形式で表示部23に表示させる(ステップS13)。評価者は、このようにして表示された歌唱者IDの中から、カラオケ装置2の操作部24を操作して所望の歌唱者IDを1つ指定し、「この歌唱者を評価する」というソフトボタンを選択する。制御部21は、この操作を受け付けると、指定された歌唱者IDをサーバ装置3に送信する(ステップS14)。
次に、サンプル音声データに対する評価者の評価結果を収集し、これを評価基準データとしてサーバ装置3に蓄積する動作について説明する。
図7のシーケンス図において、評価者(聴取者)は、カラオケ装置2の操作部24を操作し、曲IDを指定して歌唱の評価を行うことを指示する。制御部21は、指定された曲IDを通信部28からサーバ装置3に送信する(ステップS11)。サーバ装置3の制御部31は、曲IDを受信すると、サンプル音声データ記憶領域32aにおいてその曲IDに対応付けられて記憶されている全ての歌唱者IDを読み出し、カラオケ装置2に送信する(ステップS12)。カラオケ装置2の制御部21は、受信した歌唱者IDを図8に示すようにして一覧形式で表示部23に表示させる(ステップS13)。評価者は、このようにして表示された歌唱者IDの中から、カラオケ装置2の操作部24を操作して所望の歌唱者IDを1つ指定し、「この歌唱者を評価する」というソフトボタンを選択する。制御部21は、この操作を受け付けると、指定された歌唱者IDをサーバ装置3に送信する(ステップS14)。
サーバ装置3の制御部31は、受信した歌唱者IDに対応付けられたサンプル音声データをサンプル音声データ記憶領域32aから読み出し、カラオケ装置2に送信する(ステップS15)。カラオケ装置2の制御部21は、受信したサンプル音声データに基づき、歌唱者の音声を再生する(ステップS16)。即ち、制御部21は、サンプル音声データを音声処理部26に供給し、音声処理部26がそのサンプル音声データをアナログ信号に変換してスピーカ27から放音させる。
サンプル音声データの再生が終了すると、制御部21は、前述した図4に示すような評価画面を表示部23に表示させ、評価者に対して評価を行うよう促す(ステップS17)。そこで、評価者は、Aメロ、Bメロ、サビの各々に対し、音程、タイミング、音量、技巧、声質及び総合評価の各評価項目について、評価レベル5(良い)〜評価レベル1(悪い)のいずれかを選択すると共に、自身の性別や年齢といった属性を入力する。このとき、制御部21が評価者IDを生成するか又は評価者が自身の評価者IDを操作部24によって入力する。そして、評価者が「この内容で評価する」というソフトボタンを選択すると、制御部21は、選択された各評価レベルと、入力された属性を表す属性データを、評価者ID及び評価日時と共に通信部28からサーバ装置3に送信する(ステップS18)。なお、このときの評価日時は、制御部21が図示せぬ計時プログラムを実行することで得られる現在日時を用いればよい。
サーバ装置3の制御部31は、受信した評価レベル、属性データ、評価者ID及び評価日時を評価基準データ記憶領域32bに記憶する(ステップS19)。そして、制御部31は、記憶した各評価レベルに基づいて、図5に例示した集計結果を更新する(ステップS20)。
以上のように、評価者による評価が行われる度に、その評価結果がサーバ装置3に送信され、評価基準データとして記憶される。
以上のように、評価者による評価が行われる度に、その評価結果がサーバ装置3に送信され、評価基準データとして記憶される。
[2−3.歌唱の評価]
次に、評価基準データを用いて練習者の歌唱を評価する動作について説明する。
図9のシーケンス図において、練習者は、カラオケ装置2の操作部24を操作して歌唱したい曲の曲IDを選択し、カラオケ伴奏の再生を指示する。制御部21は、この操作に応じてカラオケ伴奏を開始する(ステップS21)。即ち、制御部21は、伴奏・歌詞データ記憶領域22aから指定された曲IDに対応する伴奏データを読み出して音声処理部26に供給し、音声処理部26がその伴奏データをアナログ信号に変換し、スピーカ27から放音させる。同時に、制御部21は、「伴奏に合わせて歌唱してください」というような歌唱を促すメッセージを表示部23に表示させてから、伴奏・歌詞データ記憶領域22aから歌詞データを読み出して歌詞テロップを表示部23に表示させる。練習者は、表示された歌詞テロップを参照しつつ、スピーカ27から放音される伴奏に合わせて歌唱を行う。このとき、練習者の音声はマイクロフォン25によって収音されて音声信号に変換され、音声処理部26へと出力される。そして、音声処理部26によってA/D変換された練習者音声データは、伴奏開始からの経過時間を表す情報と共に、記憶部22の練習者音声データ記憶領域22bに記憶(録音)されていく(ステップS22)。
次に、評価基準データを用いて練習者の歌唱を評価する動作について説明する。
図9のシーケンス図において、練習者は、カラオケ装置2の操作部24を操作して歌唱したい曲の曲IDを選択し、カラオケ伴奏の再生を指示する。制御部21は、この操作に応じてカラオケ伴奏を開始する(ステップS21)。即ち、制御部21は、伴奏・歌詞データ記憶領域22aから指定された曲IDに対応する伴奏データを読み出して音声処理部26に供給し、音声処理部26がその伴奏データをアナログ信号に変換し、スピーカ27から放音させる。同時に、制御部21は、「伴奏に合わせて歌唱してください」というような歌唱を促すメッセージを表示部23に表示させてから、伴奏・歌詞データ記憶領域22aから歌詞データを読み出して歌詞テロップを表示部23に表示させる。練習者は、表示された歌詞テロップを参照しつつ、スピーカ27から放音される伴奏に合わせて歌唱を行う。このとき、練習者の音声はマイクロフォン25によって収音されて音声信号に変換され、音声処理部26へと出力される。そして、音声処理部26によってA/D変換された練習者音声データは、伴奏開始からの経過時間を表す情報と共に、記憶部22の練習者音声データ記憶領域22bに記憶(録音)されていく(ステップS22)。
伴奏データの再生が終了すると、制御部21は練習者の歌唱音声を録音する処理を終了する。そして、制御部21は、練習者音声データ記憶領域22bに記憶された練習者音声データを所定時間長のフレーム単位に分離し、それぞれのフレーム単位でピッチ、スペクトル及びパワーを算出する(ステップS23)。次いで、制御部21は、練習者音声データから技法を抽出する(ステップS24)。即ち、練習者音声データから各種技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付ける。そして、制御部21は、算出したピッチ、スペクトル及びパワーと、抽出した技法の区間情報及び種別情報を全て含む練習者音声特徴データを生成する(ステップS25)。この後、制御部21は、生成した練習者音声特徴データを曲IDとともに通信部28からサーバ装置3に送信する(ステップS26)。
サーバ装置3の制御部31は、練習者音声特徴データ及び曲IDを受信すると、受信した練習者音声特徴データと、サンプル音声データ記憶領域32aに上記曲IDと対応付けて記憶されている全てのサンプル音声データとを比較し、これらサンプル音声特徴データの中から、練習者音声特徴データとの類似度が最も高いサンプル音声特徴データを選択する(ステップS27)。より具体的には、制御部31は、Aメロ、Bメロ、サビの各々の歌唱部分について、練習者音声特徴データが表すピッチと、各サンプル音声特徴データが表すピッチとの差分を各々の歌唱部分の全域にわたって積分する。同様に、制御部31は、練習者音声特徴データが表すパワーと、各サンプル音声特徴データが表すパワーとの差分をAメロ、Bメロ、サビの歌唱部分の全域にわたって積分する。スペクトルやタイミングについても同様である。また、制御部31は、技法についても上記と同様に、練習者音声特徴データが表す各種技法の区間情報によって表わされる区間と、各サンプル音声特徴データが表す各種技法の区間情報によって表される区間との差分を積分する。もちろん、同じ技法が使われてい区間同士を比較する。そして、制御部31は、上記のようにして得られた積分値をサンプル音声特徴データ毎に累算し、その累算値が最も小さいサンプル音声特徴データを、練習者音声データとの類似度が最も高いものとして選択する。
次に、サーバ装置3の制御部31は、評価基準データ記憶領域32bから、選択したサンプル特徴データに対応する評価基準データ(即ち図5に例示したような集計結果)を読み出し(ステップS28)、読み出した集計結果をカラオケ装置2に送信(出力)する(ステップS29)。カラオケ装置2の制御部21は、受信した集計結果を図10に示すような形態で、表示部23に表示させる(ステップS30)。図10に示す例では、前述した歌唱者a1が曲m1を歌唱した際のAメロに対する評価、つまり音程に対しては、合計200人の評価者のうち、34人の評価者が評価レベル1(悪い)と評価し、36人の評価者が評価レベル2(やや悪い)と評価し、45人の評価者が評価レベル3(どちらとも言えない)と評価し、56人の評価者が評価レベル4(やや良い)と評価し、29人の評価者が評価レベル5(良い)と評価している場合が示されている。なお、図10にはAメロの評価のみを示しているが、図中の「Bメロの評価」と表記されたソフトボタンを選択すれば、図10と同様の表示形態でBメロの歌唱に対する評価が表示されるし、「サビの評価」と表記されたソフトボタンを選択すれば、図10と同様の表示形態でサビの歌唱にに対する評価が表示されるようになっている。
練習者は、このような評価結果を参照することで、自らの歌唱と似ている歌唱者に対する評価を、自らの歌唱に対する評価に置き換えて認識することができる。
練習者は、このような評価結果を参照することで、自らの歌唱と似ている歌唱者に対する評価を、自らの歌唱に対する評価に置き換えて認識することができる。
図9に示したシーケンスは、評価者の属性や評価日時を指定しない場合の動作例を表したものであったが、以下に説明するように、練習者が評価者の属性や評価日時を指定することもできる。具体的には、図9のステップS22の練習者音声の録音が終了した段階で、制御部21は、図11に示すような画面を表示する。この画面では練習者が評価者の属性を指定することができる。例えば評価者の性別を選択する欄においては、「男性」、「女性」、「性別の指定無し」といった選択肢が表示されるので、練習者はこれらのうちの所望の選択肢を指定すればよい。また、評価者の年齢を選択する欄では、「10代」、「20代」、「30代」、「40代」、「50代」、「60代以上」、「年齢指定無し」といった選択肢が表示されるので、練習者はこれらのうちの所望の選択肢を指定すればよい。
さらに、この画面では、練習者が評価日時の範囲を指定することもできる。これは、例えば2006年における自らの歌唱を、その歌唱時点から30年ほど過去に遡った1980年代ではどのように評価されるか、といったことを練習者が知りたいような場合である。主観的な評価は、その時々の時代背景や流行の推移とともに様々に変化するから、同じ歌唱音声であっても、或る年代では良い歌唱であると評価される一方、別の年代ではあまり評価されないといった事態が起こり得る。そこで、練習者が評価日時の範囲を自由に指定できるようにすれば、自らの歌唱がどの時代の評価基準にマッチしたものかを知ることができ、面白みが増す。図11に示す例の場合、練習者は、評価日時を選択する欄において、「1960年代」、「1970年代」、「1980年代」、「1990年代」、「2000年代」、「指定無し」といった選択肢から、所望する評価日時の範囲を指定すればよい。なお、この評価システム1が実施される以前の評価基準データは、評価システム1によって各評価者から収集することはできないので、例えば過去の各年代において人気を博した歌手の歌い方から、システム設計者が擬似的に過去の評価基準データを生成し、これを記憶部32に記憶させておけばよい。
そして、練習者がこれらの選択肢を選択してから、「これで評価してもらう」というソフトボタンを選択すると、制御部21は、図9のステップS23,S24,S25の処理を経た後、ステップS26において、練習者音声特徴データおよび曲IDと共に、練習者によって選択された評価者の属性を表す属性データや評価日時をサーバ装置3に送信する。
サーバ装置3の制御部31は、上記の各種データを受信すると、図9のステップS27の処理を経て、練習者音声データとの類似度が最も高いサンプル音声特徴データを選択する。そして、制御部31は、ステップS28において、選択したサンプル特徴データと対応する評価基準データのうち、上記属性データによって示される属性条件に合致し、且つ、指定された評価日時の範囲(年代)に属する評価日時に対応する評価基準データを評価基準データ記憶領域32bから読み出し、それらを集計する。そして、制御部31は、ステップS29において、その集計結果をカラオケ装置2に送信(出力)する。カラオケ装置2の制御部21は、ステップS30において、受信した集計結果を表示部23に表示させる。
以上説明したように本実施形態によれば、様々な歌唱音声(サンプル音声データ)に対して評価者が主観的に評価した結果を予め記憶しておき、練習者の歌唱音声(練習者音声データ)に類似する歌唱音声(サンプル音声データ)に対する評価を、その練習者の歌唱音声に対する評価として出力する。これにより、評価者の主観的評価を取り入れた評価手法を実現することができる。
[3.変形例]
上述した実施形態を次のように変形してもよい。
[3−1]上述した実施形態においては、練習者の歌唱を評価する場合を例に挙げて説明したが、これに限らず、練習者の楽器演奏を評価するようにしてもよい。この場合、上述したサンプル音声データに代えてサンプルとなる演奏音データが用いられ、練習者音声データに代えて練習者の演奏音を表す演奏音データが用いられる。また、伴奏・歌詞データ記憶領域22aには、練習したい楽器(例えばギター)以外の楽器(例えばベースやドラム)の演奏データが記憶されるし、楽譜音データ記憶領域22c、32dには、楽譜に演奏音として規定された楽譜音データが記憶される。サーバ装置3の制御部31は、これらのデータに基づき、上記と同様の処理を経て練習者の演奏を評価する。
上述した実施形態を次のように変形してもよい。
[3−1]上述した実施形態においては、練習者の歌唱を評価する場合を例に挙げて説明したが、これに限らず、練習者の楽器演奏を評価するようにしてもよい。この場合、上述したサンプル音声データに代えてサンプルとなる演奏音データが用いられ、練習者音声データに代えて練習者の演奏音を表す演奏音データが用いられる。また、伴奏・歌詞データ記憶領域22aには、練習したい楽器(例えばギター)以外の楽器(例えばベースやドラム)の演奏データが記憶されるし、楽譜音データ記憶領域22c、32dには、楽譜に演奏音として規定された楽譜音データが記憶される。サーバ装置3の制御部31は、これらのデータに基づき、上記と同様の処理を経て練習者の演奏を評価する。
[3−2]上述した実施形態においては、練習者音声特徴データと最も類似度が高いサンプル音声特徴データを1つ選択するようになっていたが、選択するサンプル音声特徴データの数は1に限定されるものではなく、類似度が高い順から複数のサンプル音声特徴データを選択し、選択したそれぞれのサンプル音声特徴データに対応する評価基準データ(集計結果)を出力するようにしてもよい。また、実施形態では、練習者音声特徴データと、各サンプル音声特徴データとの差分の積分値を用いて類似度を判定していたが、例えば、多次元空間上で、練習者音声特徴データの座標と各サンプル音声特徴データの座標とのユークリッド距離を算出し、そのユークリッド距離が最小となるサンプル音声特徴データを、最も類似度が高いものとして選択するようにしてもよい。
[3−3]上述した実施形態においては、サンプル音声特徴データや練習者音声特徴データとして、音声のピッチ、タイミング、パワー、技法及びスペクトルの全てを用いたが、これらの少なくともいずれかを用いるだけでもよいし、さらにこれら以外の特徴要素を用いても良い。また、これらのうち、どの特徴要素を用いるかを練習者が操作部24を用いて選択できるようにしてもよい。同様に、各種の技法のうちいずれかを練習者が選択できるようにしてもよい。
[3−4]また、上述した実施形態においては、練習者音声特徴データは、カラオケ装置2の制御部21が生成するようになっていたが、これに代えて、サーバ装置3の制御部31が生成するようにしてもよい。また、カラオケ装置2の制御部21が練習者音声特徴データの入力を促し、練習者が予め用意しておいた練習者音声特徴データを入力するようにしてもよい。この場合、例えば、制御部21が、練習者音声特徴データの入力を促す画面を表示部23に表示させ、練習者は、例えばUSB(Universal Serial Bus)等のインタフェースを介してカラオケ装置2に練習者音声特徴データを入力するようにすればよい。この場合、事前にパーソナルコンピュータ等の装置で練習者音声特徴データを生成するようにしておけばよい。この際も、上述した実施形態と同様に、パーソナルコンピュータが、マイクロフォンで練習者の音声を収音して、収音した音声を分析して練習者音声特徴データを生成する。また、カラオケ装置2にRFIDリーダを設けて、練習者音声特徴データが書き込まれたRFIDをカラオケ装置2のRFIDリーダが読み取るようにしてもよい。
[3−5]評価基準データ(集計結果)を出力する形態は、表示に限らず、音声メッセージを出力するような形態であってもよい。また、集計結果を表すメッセージを電子メール形式で練習者のメール端末に送信するという形態であってもよい。また、メッセージを記憶媒体に出力して記憶させるようにしてもよく、この場合、練習者はコンピュータを用いてこの記憶媒体から評価結果を読み出させることで、それを参照することができる。要は、練習者に対して何らかの手段で評価結果を伝えられる(出力する)ものであればよい。
[3−6]実施形態において練習者音声データを記憶する際には歌詞を表示し、さらに伴奏データを再生しながら練習者に歌唱させる、所謂カラオケ歌唱を行うようにしていたが、これは必ずしも必要ではない。つまり、練習者が歌詞の表示や伴奏データの再生が無いままで歌唱し、それを録音して評価するようにしてもよい。歌唱能力が相当に高い練習者であっても、歌詞の表示や伴奏が無い状態でうまく歌唱することは容易ではないから、練習者の歌唱能力をより厳密に評価することが可能となる。
[3−7]実施形態では、それぞれの評価者による評価をすべて均等に取り扱っていたが、これらの評価に重み付けを行ってもよい。
例えば、各々の評価者の評価能力を判定し、その評価能力に応じて評価基準データに重み付けを行う。具体的には、サーバ装置3の制御部31は、事前に評価者に対して評価能力の試験を行い、その評価能力を複数レベル(例えば0.1,0.2,0.3,・・・0.9,1.0の計10レベル)に区分する。そして、そのレベル値を評価者IDに対応付けて記憶部32に記憶しておく。そして、制御部31は、評価者によって練習者音声が評価され、その評価結果に基づいて人数を集計する場合、それぞれの上記レベル値を乗算して集計する。例えば、評価レベルが9レベル(レベル値が0.9)の場合、その評価者の評価を0.9人分として取り扱うのである。
また、各評価者の評価能力を事前に判定しておく手間が煩雑であれば、練習者が「評価者」となって他人の歌唱を評価する場合に限って、その練習者の歌唱能力のレベルを評価能力のレベルとしてもよい。つまり、歌唱が巧い人は他人の歌唱に対する評価のレベルも高いであろう、という考え方である。この場合、サーバ装置3の制御部31は、図5に示したような集計結果を参照して、評価レベル1の集計結果(人数)に「1」を乗算し、評価レベル2の集計結果に「2」を乗算し、評価レベル3の集計結果に「3」を乗算し、評価レベル4の集計結果に「4」を乗算し、評価レベル5の集計結果に「5」を乗算して、これら全ての乗算結果を加算する。そして、制御部31は、この加算結果を、評価レベル1〜5の全ての評価者の人数(図5では200人)に「5」を乗算した値で除する。このときの値R(0≦R≦1)を評価能力のレベル値とし、そのレベル値を評価者(即ち練習者)に割り当てられた評価者IDに対応付けて記憶部32に記憶しておく。練習者(即ち評価者)によって他人の練習者音声が評価され、その評価結果に基づいて人数を集計する場合には、制御部31は、上記レベル値を乗算して集計する。つまり前述した手法と同様に、例えば評価レベルのレベル値が0.9の場合には、その評価者(練習者)の評価を0.9人分として取り扱う。
例えば、各々の評価者の評価能力を判定し、その評価能力に応じて評価基準データに重み付けを行う。具体的には、サーバ装置3の制御部31は、事前に評価者に対して評価能力の試験を行い、その評価能力を複数レベル(例えば0.1,0.2,0.3,・・・0.9,1.0の計10レベル)に区分する。そして、そのレベル値を評価者IDに対応付けて記憶部32に記憶しておく。そして、制御部31は、評価者によって練習者音声が評価され、その評価結果に基づいて人数を集計する場合、それぞれの上記レベル値を乗算して集計する。例えば、評価レベルが9レベル(レベル値が0.9)の場合、その評価者の評価を0.9人分として取り扱うのである。
また、各評価者の評価能力を事前に判定しておく手間が煩雑であれば、練習者が「評価者」となって他人の歌唱を評価する場合に限って、その練習者の歌唱能力のレベルを評価能力のレベルとしてもよい。つまり、歌唱が巧い人は他人の歌唱に対する評価のレベルも高いであろう、という考え方である。この場合、サーバ装置3の制御部31は、図5に示したような集計結果を参照して、評価レベル1の集計結果(人数)に「1」を乗算し、評価レベル2の集計結果に「2」を乗算し、評価レベル3の集計結果に「3」を乗算し、評価レベル4の集計結果に「4」を乗算し、評価レベル5の集計結果に「5」を乗算して、これら全ての乗算結果を加算する。そして、制御部31は、この加算結果を、評価レベル1〜5の全ての評価者の人数(図5では200人)に「5」を乗算した値で除する。このときの値R(0≦R≦1)を評価能力のレベル値とし、そのレベル値を評価者(即ち練習者)に割り当てられた評価者IDに対応付けて記憶部32に記憶しておく。練習者(即ち評価者)によって他人の練習者音声が評価され、その評価結果に基づいて人数を集計する場合には、制御部31は、上記レベル値を乗算して集計する。つまり前述した手法と同様に、例えば評価レベルのレベル値が0.9の場合には、その評価者(練習者)の評価を0.9人分として取り扱う。
また、上記の変形例[3−2]で述べたように、類似度が高い順から複数のサンプル音声特徴データを選択する場合、選択された複数のサンプル音声特徴データに対応付けられた複数の評価基準データに対して、上記の類似度に応じた重み付けを施してもよい。例えば類似度が高い順から3つのサンプル音声特徴データを選択する場合、制御部31は、最も類似しているサンプル音声特徴データに対応付けられた評価基準データ(集計結果)を0.5倍し、その次に類似しているサンプル音声特徴データに対応付けられた評価基準データ(集計結果)を0.3倍し、さらにその次に類似しているサンプル音声特徴データに対応付けられた評価基準データ(集計結果)を0.2倍して、これらの合算値を評価結果として出力する。
[3−8]実施形態において、サーバ装置3はサンプル音声データからサンプル音声特徴データを抽出して事前に記憶しておいたが、そうではなくて、サーバ装置3がサンプル音声データだけを記憶しておき、評価を行う必要がある度にサンプル音声データからサンプル音声特徴データを抽出するようにしてもよい。サンプル音声データにはそのデータ自身の特徴が含まれているのだから、この変形例の場合であっても、サーバ装置3はサンプル音声データの特徴を記憶していると言える。つまり、上記のいずれの場合であっても、サーバ装置3は「それぞれ異なる複数の歌唱音声の特徴を表す複数の特徴データ」を記憶している。なお、模範音声データや練習者音声データはWAVE形式やMP3形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
[3−9]上述した実施形態では、カラオケ装置2とサーバ装置3とが通信ネットワークで接続された評価システム1が、本実施形態に係る機能の全てを実現するようになっている。これに対し、通信ネットワークで接続された3以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のシステムを実現するようにしてもよい。または、ひとつの装置が上記機能のすべてを実現するようにしてもよい。
[3−10]本発明においては評価者による多数の評価結果が必要である。そこで、評価者が練習者の歌唱を評価する行為に対して何らかの特典を与え、評価行為を促進するように工夫することが望ましい。具体的には、サーバ装置3の記憶部32に、評価者に対して特典として与えられる金額乃至ポイントと、その評価者の評価者IDとを対応付けて記憶しておき、制御部31が、図7のステップS19において、評価基準データと評価者IDとを記憶部32に記憶させた場合、その評価者IDに対応付けられて記憶されている金額乃至ポイントを増加させて更新する。この金額乃至ポイントは、例えば評価者がカラオケ装置2を用いてカラオケ歌唱を楽しむ場合に、その利用料金の支払いに充てることができる。
[3−11]上述した実施形態におけるカラオケ装置2の制御部21またはサーバ装置3の制御部31によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、CD(Compact Disk)−ROM、DVD(Digital Versatile Disk)、RAMなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置2またはサーバ装置3にダウンロードさせることも可能である。
1…評価システム、2a,2b,2c…カラオケ装置、3…サーバ装置、4…ネットワーク、21…制御部、22…記憶部、23……表示部、24…操作部、25…マイクロフォン、26…音声処理部、27…スピーカ、28…通信部、31…制御部、32…記憶部、33…通信部。
Claims (11)
- それぞれ異なる複数の歌唱音声又は演奏音の特徴を表す複数の特徴データと、各々の前記歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データとを対応付けて記憶する記憶手段と、
練習者の歌唱音声又は演奏音の特徴を表す特徴データを取得する取得手段と、
前記記憶手段によって記憶されている特徴データから、前記取得手段によって取得された特徴データに類似する、1以上の特徴データを選択する選択手段と、
前記選択手段によって選択された特徴データに対応付けられた評価基準データを前記記憶手段から読み出し、前記練習者の歌唱音声又は演奏音に対する評価結果として出力する出力手段と
を備えることを特徴とする評価装置。 - 前記出力手段は、前記評価基準データを前記練習者の歌唱音声又は演奏音に対する評価結果として前記練習者に報知することを特徴とする請求項1記載の評価装置。
- 前記歌唱音声又は演奏音を表す複数の音声データを記憶する練習者音声データ記憶手段と、
複数の音声再生装置とネットワークを介してデータ通信を行う通信手段と、
前記練習者音声データ記憶手段によって記憶された音声データを前記通信手段によって前記音声再生装置に配信する配信手段と、
前記音声再生装置によって再生された歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データを前記音声再生装置から取得する評価基準データ取得手段と、
前記歌唱音声又は演奏音の特徴を表す特徴データと、前記評価基準データ取得手段によって取得された前記評価基準データとを対応付けて前記記憶手段に記憶させる登録手段と
を備えることを特徴とする請求項1記載の評価装置。 - 前記評価基準データ取得手段は、前記評価基準データとともに、前記評価基準データが生成された日時である評価日時を取得し、
前記登録手段は、前記特徴データ及び前記評価基準データに対応付けて、前記評価日時を前記記憶手段に記憶させ、
前記選択手段は、指定された日時の範囲に属する評価日時に対応付けられて前記記憶手段に記憶されている特徴データの中から、前記取得手段によって取得された特徴データに類似する、1以上の特徴データを選択する
ことを特徴とする請求項3記載の評価装置。 - 前記評価基準データ取得手段は、前記評価基準データとともに、聴取者の属性を示す属性データを取得し、
前記登録手段は、前記特徴データ及び前記評価基準データに対応付けて、前記属性データを前記記憶手段に記憶させ、
前記選択手段は、指定された属性条件を満たす属性データに対応付けられて前記記憶手段に記憶されている特徴データの中から、前記取得手段によって取得された特徴データに類似する、1以上の特徴データを選択する
ことを特徴とする請求項3記載の評価装置。 - 前記選択手段は、前記記憶手段に記憶されている特徴データの中から、前記取得手段によって取得された特徴データとの類似度が高い順から複数の特徴データを選択し、
前記出力手段は、前記選択手段によって選択された複数の特徴データに対応付けられた評価基準データを前記記憶手段から読み出し、これらの複数の評価基準データに対して、前記類似度に応じた重み付けを施して前記評価結果として出力する
ことを特徴とする請求項1記載の評価装置。 - 前記聴取者の評価能力を判定する判定手段を備え、
前記記憶手段には、前記判定手段によって判定された評価能力に応じて重み付けされた評価基準データが記憶されている
ことを特徴とする請求項1記載の評価装置。 - 聴取者に対して与えられる金額乃至ポイントと、当該聴取者に割り当てられた聴取者識別情報とを対応付けて記憶する金額記憶手段と
前記音声に対する評価を表す評価基準データを、聴取者に割り当てられた聴取者識別情報と共に取得し、取得した前記評価基準データ及び聴取者識別情報を、前記音声の特徴を表す特徴データに対応付けて前記記憶手段に記憶させる蓄積手段と、
前記蓄積手段が評価基準データ及び前記聴取者識別情報を前記記憶手段に記憶した場合、記憶した聴取者識別情報に対応付けられて前記金額記憶手段に記憶されている金額乃至ポイントを増加させて更新する更新手段と
を備えることを特徴とする請求項1に記載の評価装置。 - 前記特徴データは、前記歌唱音声又は演奏音のピッチ、タイミング、スペクトル、パワー、及び、歌唱又は演奏に用いられる技法の種類と区間を示す技法データのうち、少なくともいずれか一つを示すデータであることを特徴とする請求項1に記載の評価装置。
- それぞれ異なる複数の歌唱音声又は演奏音の特徴を表す複数の特徴データと、各々の前記歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データとを対応付けて記憶する記憶手段と、制御手段とを備えた評価装置の制御方法であって、
前記制御手段が、練習者の歌唱音声又は演奏音の特徴を表す特徴データを取得する第1のステップと、
前記制御手段が、前記記憶手段によって記憶されている特徴データから、前記第1のステップにおいて取得された特徴データに類似する、1以上の特徴データを選択する第2のステップと、
前記制御手段が、前記第2のステップにおいて選択された特徴データに対応付けられている評価基準データを前記記憶手段から読み出し、前記練習者の歌唱音声又は演奏音に対する評価結果として出力する第3のステップと
を備えることを特徴とする制御方法。 - それぞれ異なる複数の歌唱音声又は演奏音の特徴を表す複数の特徴データと、各々の前記歌唱音声又は演奏音に対する聴取者の評価を表す評価基準データとを対応付けて記憶する記憶手段を備えたコンピュータに、
練習者の歌唱音声又は演奏音の特徴を表す特徴データを取得する取得機能と、
前記記憶手段によって記憶されている特徴データから、前記取得機能によって取得された特徴データに類似する、1以上の特徴データを選択する選択機能と、
前記選択機能によって選択された特徴データに対応付けられている評価基準データを前記記憶手段から読み出し、前記練習者の歌唱音声又は演奏音に対する評価結果として出力する出力機能と
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006080812A JP2007256619A (ja) | 2006-03-23 | 2006-03-23 | 評価装置、制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006080812A JP2007256619A (ja) | 2006-03-23 | 2006-03-23 | 評価装置、制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007256619A true JP2007256619A (ja) | 2007-10-04 |
Family
ID=38630919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006080812A Pending JP2007256619A (ja) | 2006-03-23 | 2006-03-23 | 評価装置、制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007256619A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011059450A (ja) * | 2009-09-10 | 2011-03-24 | Xing Inc | カラオケシステム及び中央装置 |
JP2013182045A (ja) * | 2012-02-29 | 2013-09-12 | Brother Ind Ltd | カラオケサーバ装置及び情報通知方法 |
JP2014174293A (ja) * | 2013-03-08 | 2014-09-22 | Yamaha Corp | 歌唱音声評価装置および歌唱音声評価システム |
JP2017068046A (ja) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | 歌唱基準データ修正装置、カラオケシステム、プログラム |
US11488491B2 (en) | 2019-09-24 | 2022-11-01 | Casio Computer Co., Ltd. | Recommend apparatus, information providing system, method, and storage medium |
-
2006
- 2006-03-23 JP JP2006080812A patent/JP2007256619A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011059450A (ja) * | 2009-09-10 | 2011-03-24 | Xing Inc | カラオケシステム及び中央装置 |
JP2013182045A (ja) * | 2012-02-29 | 2013-09-12 | Brother Ind Ltd | カラオケサーバ装置及び情報通知方法 |
JP2014174293A (ja) * | 2013-03-08 | 2014-09-22 | Yamaha Corp | 歌唱音声評価装置および歌唱音声評価システム |
JP2017068046A (ja) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | 歌唱基準データ修正装置、カラオケシステム、プログラム |
US11488491B2 (en) | 2019-09-24 | 2022-11-01 | Casio Computer Co., Ltd. | Recommend apparatus, information providing system, method, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8138409B2 (en) | Interactive music training and entertainment system | |
JP4655047B2 (ja) | 音声評価装置及びカラオケ装置 | |
EP1791111A1 (en) | Content creating device and content creating method | |
JP2007256617A (ja) | 楽曲練習装置および楽曲練習システム | |
JP2007310204A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
JP2007271977A (ja) | 評価基準判定装置、制御方法及びプログラム | |
JP2008020798A (ja) | 歌唱指導装置 | |
JP2007264569A (ja) | 検索装置、制御方法及びプログラム | |
JP2007256619A (ja) | 評価装置、制御方法及びプログラム | |
JP2023025013A (ja) | 音楽療法のための歌唱補助装置 | |
JP3996565B2 (ja) | カラオケ装置 | |
JP2007256618A (ja) | 検索装置 | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP6102076B2 (ja) | 評価装置 | |
JP2007322934A (ja) | 歌唱練習装置、カラオケ装置及びプログラム | |
JP2014035436A (ja) | 音声処理装置 | |
JP4839967B2 (ja) | 指導装置及びプログラム | |
JP2008225116A (ja) | 評価装置及びカラオケ装置 | |
JP2007304489A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
JP4581699B2 (ja) | 音程認識装置およびこれを利用した音声変換装置 | |
JP2009092871A (ja) | 採点装置及びプログラム | |
JP4891135B2 (ja) | 評価装置 | |
JP4038471B2 (ja) | 歌唱力審査エントリーシステム | |
JP2004184506A (ja) | カラオケ装置及びプログラム | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム |