JP6759560B2 - 調律推定装置及び調律推定方法 - Google Patents

Description

本発明は、調律値を算出する技術に関する。または、算出した調律値に基づいて歌唱または楽器演奏を評価する技術に関する。または、算出した調律値に基づいて歌唱データと演奏データとを合成する技術に関する。

カラオケ装置又は楽器演奏評価装置には、歌唱音声又は演奏音などの入力音を解析して評価する機能が備えられていることが多い。入力音は、例えば、歌唱音声又は演奏音のピッチと歌唱又は演奏すべきガイドメロディのピッチとを比較し、これらの一致の程度に基づいて評価される（例えば、特許文献１）。また、伴奏の音高を半音単位で調整して歌唱又は演奏した場合に、伴奏の音高情報による補正をすることで評価する技術が開発されている（例えば、特許文献２）。

特開２００５−２１５４９３号公報 特開平０６−２９５１９２号公報

しかしながら、特許文献１の技術では、ガイドメロディを判定の基準に用いるため、歌唱曲又は演奏曲ごとに判定の基準となる情報を用意する必要がある。また、伴奏の音高を変更して歌唱した場合や意図的に楽器の調律を変更していた場合、その調律情報がないと適正な評価をすることができない。また、特許文献２の技術では、適正な評価をするためには、変更された伴奏の音高情報が必要である。

本発明の目的の一つは、入力音に基づいて調律情報を算出することを目的とする。

本発明の一実施形態に係る調律推定装置によると、入力音を取得する第１入力音取得部と、第１入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、ピッチ算出部が算出したピッチの第１分布におけるピークに基づいて、調律の基準となる調律基準位置と第１分布における基準位置とのオフセットを表す調律値を算出する調律値算出部と、を備える。

また、調律値算出部は、第１分布における複数のピークを含むピーク群に基づいて調律値を算出してもよい。

また、調律値算出部は、周期性を有するピーク群の位置関係に基づいて調律値を算出してもよい。

また、調律値算出部は、ピーク群と調律基準位置を含む複数の基準ピッチとのずれ量に基づいて調律値を算出してもよい。

また、第１分布を一定周期で配置された基準点を始点とする複数の分布に分割し、分割された複数の分布を積算して第２分布を算出するピッチ変換部をさらに備え、調律値算出部は、ピッチ変換部によって積算された第２分布のピークに基づいて調律値を算出してもよい。

また、ピッチ変換部によって分割された前記複数の分布の各々の区間の間隔は、調律基準位置を含む複数の基準ピッチのうち隣接する基準ピッチ間の間隔と等しくてもよい。

また、第２分布を平滑化処理して第３分布を算出するピッチ平滑処理部をさらに備え、調律値算出部は、ピッチ平滑処理部によって算出された第３分布のピークを検索し、第２分布のピークは、第３分布のピークに基づいて決定される第２分布のピークであってもよい。

また、ピーク群と調律基準位置を含む複数の基準ピッチとの比較に基づいて入力音に対する評価値を算出する評価部をさらに備え、評価部は複数設けられ、異なる評価部の調律基準位置にはそれぞれオフセットが設けられ、調律値算出部は、複数の評価部によって算出された複数の評価値及び前記複数の評価部の調律基準位置に基づいて調律値を算出してもよい。

本発明の一実施形態に係る調律推定装置によると、入力音を取得する第１入力音取得部と、第１入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、調律の基準となる調律基準位置における基準ピッチとの比較に基づいて入力音に対する評価値を算出する評価部を複数備え、異なる評価部の調律基準位置は互いにオフセットが設けられ、調律値算出部は、複数の評価部によって算出された複数の評価値のうち、一の評価値を算出した評価部の調律基準位置に基づいて調律値を算出する。

また、上記の調律推定装置と、所定の評価区間において、入力音のピッチ、複数の基準ピッチ、及び調律値算出部によって算出された調律値に基づいて、ピッチと複数の基準ピッチとを比較するピッチ比較部と、ピッチ比較部によって比較された結果に基づいて、入力音に対する得点値を算出する得点計算部と、をさらに備えてもよい。

また、上記の調律推定装置と、第１入力音及び第２入力音を取得する第２入力音取得部と、第１入力音、第２入力音、及び調律推定装置が算出した調律値に基づいて、第１入力音及び第２入力音の関係を補正する補正部と、補正部によって補正された第１入力音及び第２入力音を合成する合成部と、を有し、調律推定装置は、第１入力音に基づいて調律値を算出してもよい。

また、調律値推定装置は、第１入力音に基づいて第１調律値を算出し、第２入力音に基づいて第２調律値を算出し、補正部は、第１入力音、第２入力音、第１調律値、及び第２調律値に基づいて、第１入力音及び第２入力音の関係を補正してもよい。

本発明の一実施形態に係る調律推定装置によると、入力音を取得する入力音取得部と、入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、ピッチ算出部が算出したピッチの分布におけるピークと音高毎に定められた基準とのオフセットを表す調律値を音高毎に算出する調律値算出部と、を備える。

また、調律値算出部は、分布から、複数の音高に対してそれぞれの調律値を算出してもよい。

本発明の一実施形態に係るプログラムによると、入力音を取得し、取得した入力音のピッチを算出し、算出したピッチの第１分布における複数のピークを含むピーク群に基づいて、調律の基準となる調律基準位置と第１分布における基準位置とのオフセットを表す調律値を算出する。

本発明の一実施形態によれば、入力音に基づいて調律情報を算出することができる。

本発明の一実施形態における調律推定装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における調律推定機能部の機能構成を示すブロック図である。 本発明の一実施形態における調律方法において、取得したピッチの一例を示す図である。 本発明の一実施形態における調律方法において、算出されたピッチの度数分布を示す図である。 本発明の一実施形態における調律方法において、調律値の算出方法の一例を示す図である。 本発明の一実施形態における調律推定機能部の機能構成を示すブロック図である。 本発明の一実施形態における調律方法において、ピッチ変換部による第１分布から第２分布への変換方法の一例を示す図である。 本発明の一実施形態における調律方法において、積算された第２分布の一例を示す図である。 本発明の一実施形態における調律推定機能部の機能構成を示すブロック図である。 本発明の一実施形態における調律方法において、積算された第２分布の一例を示す図である。 本発明の一実施形態における調律方法において、平滑化された第３分布の一例を示す図である。 本発明の一実施形態における調律機能の構成を示すブロック図である。 本発明の一実施形態における調律方法において、評価部による評価方法の一例を示す図である。 本発明の一実施形態における調律方法において、評価部によって得られた評価値に基づく調律方法の一例を示す図である。 本発明の一実施形態における評価装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における評価装置の機能構成を示すブロック図である。 本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。 本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。

以下、本発明の一実施形態における調律推定装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

〈第１実施形態〉
本発明の第１実施形態における調律推定装置について、図面を参照しながら詳細に説明する。第１実施形態に係る調律推定装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音声の調律値を推定する装置である。この調律推定装置は、所定期間ごとに決められた複数のピッチ（以下、基準ピッチという場合がある）と、歌唱者の歌唱音声のピッチ（以下、歌唱ピッチという場合がある）とを比較して、調律値を算出する。この調律推定装置によると、歌唱ピッチに基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても調律値を得ることができる。以下、このような調律推定装置について説明する。

［ハードウェア］
図１は、本発明の一実施形態における調律推定装置１０のハードウェア構成を示すブロック図である。調律推定装置１０は、制御部１００、記憶部１１０、操作部１２０、表示部１３０、通信部１４０、及び信号処理部１５０を含む。これらの各構成は、バスを介して接続されている。また、信号処理部１５０にはマイクロフォン１６０が接続されている。

制御部１００は、ＣＰＵなどの演算処理回路を含む。制御部１００は、記憶部１１０に記憶された制御プログラム１１２をＣＰＵにより実行して、各種機能を調律推定装置１０において実現させる。実現される機能には、歌唱音声の調律値推定機能が含まれる。記憶部１１０は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１１０は、調律推定機能を実現するための制御プログラム１１２を記憶する。制御プログラム１１２は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、調律推定装置１０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム１１２は、ネットワーク経由でダウンロードされてもよい。

また、記憶部１１０は、上記の制御プログラム１１２に加えて、入力音データ１１４及び調律基準情報１１６を記憶する。入力音データ１１４は、歌唱者がマイクロフォン１６０から入力した歌唱音声を示すデータである。この例では、入力音データ１１４は、調律推定機能によって歌唱音声の調律値が算出されるまで、記憶部１１０にバッファされる。調律基準情報１１６は、後に説明する調律推定機能部２００が歌唱音声の調律値算出の基準として用いる情報である。例えば、調律基準情報１１６には、歌唱ピッチと比較されるべき基準ピッチが規定されている。基準ピッチは、複数のピッチとして規定されている。この例では、基準ピッチは、調律基準位置である４４０Ｈｚを含み、４４０Ｈｚを基準として１００ｃｅｎｔ間隔で規定されている。なお、楽曲によって調律基準位置が４４０Ｈｚからずれている場合、例えば調律基準位置が４４２Ｈｚである場合には、基準ピッチは４４２Ｈｚを基準として１００ｃｅｎｔ間隔で規定されればよい。

操作部１２０は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１００に出力する。表示部１３０は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１００による制御に基づいた画面が表示される。なお、操作部１２０と表示部１３０とは一体としてタッチパネルを構成してもよい。通信部１４０は、制御部１００の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１１０の機能は、通信部１４０において通信可能な外部装置で実現されてもよい。

信号処理部１５０はＡ／Ｄコンバータを含む。歌唱音声は、マイクロフォン１６０において電気信号に変換されて信号処理部１５０に入力され、信号処理部１５０においてＡ／Ｄ変換されて制御部１００に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１１０にバッファされる。

［調律推定機能部］
調律推定装置１０の制御部１００が制御プログラム１１２を実行することによって実現される調律推定機能部について説明する。なお、以下に説明する調律推定機能部を実現する構成の一部または全部は、ハードウェアによって実現されてもよい。

図２は、本発明の一実施形態における調律機能の機能構成を示すブロック図である。調律推定機能部２００は、入力音取得部２１０、ピッチ算出部２２０、及び調律値算出部２３０を含む。

入力音取得部２１０は、マイクロフォン１６０から入力された歌唱音声を示す歌唱音声データ（入力音）を取得する。なお、入力音取得部２１０は、記憶部１１０にバッファされた歌唱音声データを取得するが、記憶部１１０に１曲全体の歌唱音声データが記憶された後に取得してもよく、信号処理部１５０から直接取得してもよい。また、入力音取得部２１０は、マイクロフォン１６０へ入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１４０によりネットワーク経由で取得してもよい。

ピッチ算出部２２０は、入力音取得部２１０によって取得された歌唱音声データを解析し、歌唱ピッチ（周波数）の時間的な変化、すなわち歌唱ピッチ波形を算出する。具体的には、歌唱音声の波形のゼロクロスを用いた方法、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いた方法等、公知の方法で歌唱ピッチ波形が算出される。

図３は、本発明の一実施形態における調律方法において、取得したピッチの一例を示す図である。図３に示す波形は、歌唱の一部における歌唱ピッチ波形３００の例である。縦軸３１０はピッチを示す。ピッチ方向に１００ｃｅｎｔごとに配置された破線は複数の基準ピッチ３３０を示している。横軸３２０は時間の経過を示している。ここで、図３中のＳ、Ｆ、Ｋ、Ｖの記号については後で詳しく説明する。

調律値算出部２３０は、ピッチ算出部２２０が算出した歌唱ピッチの度数分布（第１分布）における複数のピークを含むピーク群に基づいて調律値を算出する。ここで、第１分布は図３に示す歌唱ピッチ波形３００に基づいて得られたものである。具体的には、所定のピッチ幅（例えば、２ｃｅｎｔ）単位でピッチを区分し、この区分された各ピッチ範囲における歌唱ピッチの度数、すなわち、各ピッチ範囲における歌唱ピッチが含まれるサンプル数を算出することで度数分布を算出する。そして、算出した度数分布における複数のピーク位置と度数分布に対して設定された複数の基準ピッチとのずれ量（オフセット値）に基づいて調律値を算出する。以下に調律値の具体的な算出方法について説明する。

図４は、本発明の一実施形態における調律方法において、算出されたピッチの度数分布を示す図である。横軸４２０はピッチ（各ピッチ範囲）をｃｅｎｔ表示で示し、縦軸４１０は各ピッチ範囲における度数を示す。横軸４２０方向に所定の間隔で配置された破線は複数の基準ピッチ４３０を示している。ここで、基準ピッチ４３０は１００ｃｅｎｔの間隔で配置されている。図４に示すように、第１分布４００は各々の基準ピッチ４３０付近にピーク３４０、３５０、３６０を含むピーク群を有している。これは、歌唱者は伴奏に合わせて歌唱しようとするため、歌唱ピッチは基準ピッチ４３０付近に集中する傾向があるためである。図４に示す第１分布４００はピーク３４０、３５０、３６０とそれぞれの基準ピッチ４３０とのずれがほとんどない場合、つまり、調律値がほぼゼロである場合の例を示した。ここで、複数の基準ピッチ４３０のうち、調律の基準となる調律基準位置４３２は４４０Ｈｚであり、ピーク群のうち調律基準位置４３２に対応する第１分布４００における基準位置に相当するピーク３５０も４４０Ｈｚである。

図５は、本発明の一実施形態における調律方法において、調律値の算出方法の一例を示す図である。図５は、複数のピーク３４０、３５０、３６０と基準ピッチ４３０とがずれた場合を示している。図４と同様に、図５の横軸４２０はピッチ（各ピッチ範囲）をｃｅｎｔ表示で示し、縦軸４１０は各ピッチ範囲における度数を示す。図５において、調律基準位置４３２は４４０Ｈｚであるが、ピーク３５０は４４０Ｈｚからずれている。つまり、調律基準位置４３２と第１分布４００における基準位置に相当するピーク３５０との間にオフセット４３６が設けられている。換言すると、複数のピーク３４０、３５０、３６０はこれらのピークに対応する位置に設定された各々の基準ピッチ４３０に対して同一方向にずれている、ということもできる。このずれ量（オフセット値）を調律値として算出する。

上記では、複数のピーク３４０、３５０、３６０とこれらのピークに対応する基準ピッチ４３０との位置関係に基づいて調律値を算出する例を示したが、この例に限定されない。例えば、ピーク３４０、３５０、３６０の各々を含む山（凸形状の分布）の形状に基づく位置とこれらの山に対応する基準ピッチ４３０との位置関係に基づいて調律値を算出してもよい。例えば、ピーク３４０を含む山の形状に基づいて得られるガウシアン分布の平均値とその山に対応する基準ピッチ４３０とのずれ量を調律値として算出してもよい。

また、複数のピーク３４０、３５０、３６０とこれらのピークに対応する基準ピッチ４３０とのずれ量がそれぞれ異なる場合、以下のように調律値を算出してもよい。
（１）最も高いピークとそのピークに対応する基準ピッチ４３０とのずれ量を調律値とする。
（２）それぞれのピークに対する基準ピッチ４３０からのずれ量の平均値を調律値とする。
（３）それぞれのピークに対する基準ピッチ４３０からのずれ量に対して各ピークの高さを加重値として加算又は乗算し、加重値を加味したずれ量の平均値を調律値とする。
（４）それぞれのピークに対する基準ピッチ４３０からのずれ量を、演奏した各音高の調律値とする事でストレッチチューニングを施した楽器の音高調律値を算出する。
上記のうち（４）の調律値の算出方法によると、例えば、ピアノなら１音階ごとの調律値を算出することができ、ギターなら弦ごとの調律値を算出することができる。このようにすることで、プログラムが予めお勧めのストレッチチューニング値を持っていれば、当該お勧めのチューニング値からのずれ量に基づいて、例えばユーザに対して「Ａ５のチューニングを５ｃｅｎｔ上げた方が明るく響いた演奏に聞こえます。」などのコメントを提供することが可能になる。

なお、上記の調律推定機能部２００は１つのコンピュータに備えられていてもよい。又は、上記の調律推定機能部２００は複数のコンピュータに備えられてもよい。つまり、入力音取得部２１０、ピッチ算出部２２０、及び調律値算出部２３０の機能が当該複数のコンピュータが協働することで実現されてもよい。例えば、入力音取得部２１０、ピッチ算出部２２０、及び調律値算出部２３０の一部又は全部が異なるコンピュータに備えられており、これらのコンピュータがネットワークを介してデータ通信を行うことで、調律推定機能部２００としての機能を果たしてもよい。

以上のように、本発明の第１実施形態に係る調律推定装置１０によると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。

ここで、図３に示す歌唱ピッチ波形３００において、ノイズを除去してから図４に示す第１分布４００を算出してもよい。このノイズ除去の方法としては、例えば、細切れに取得されたピッチ（所定の時間以下の短いピッチ）はノイズと判断し、第１分布４００に含まれないように処理されてもよい。また、入力音のボリュームが所定の音量以下の場合、又は入力音のボリュームのばらつきが所定のばらつき以上の場合にノイズと判断し、第１分布４００に含まれないように処理されてもよい。又は、入力音のピッチのばらつきが所定のばらつき以内に安定している領域を調律推定領域と判断し、この領域のピッチに基づいて第１分布４００を算出してもよい。又は、入力音のピッチが水平の箇所を調律推定領域と判断してもよい。ここで、ピッチが水平とは、所定期間のピッチが変動しない、又は所定期間のピッチの変動率が一定以下であることを意味する。また、歌唱又は演奏の手本となるデータ（例えばＭＩＤＩデータ）がある場合、そのＭＩＤＩデータから調律推定領域を決定してもよい。

〈第２実施形態〉
本発明の第２実施形態に係る調律推定装置１０Ａに含まれる調律推定機能部２００Ａの構成及びその推定方法について図６乃至図８を用いて説明する。ここで、第２実施形態において、調律推定装置のハードウェア構成は第１実施形態と同様であるので、ここでは説明を省略する。図６は、本発明の一実施形態における調律機能の機能構成を示すブロック図である。調律推定機能部２００Ａはピッチ算出部２２０Ａと調律値算出部２３０Ａとの間にピッチ変換部２４０Ａが設けられている点において、第１実施形態に係る調律推定装置１０と相違する。

ピッチ変換部２４０Ａは、例えば図４に示す第１分布４００を一定周期で配置された基準点を始点とする複数の分布に分割し、分割された複数の分布を積算して第２分布を算出する。ここで、図７は、本発明の一実施形態における調律方法において、ピッチ変換部による第１分布から第２分布への変換方法の一例を示す図である。図７を用いて具体的に説明すると、まず、図７（ａ）及び（ｂ）に示すように図４に示す第１分布４００を一定周期で配置された基準ピッチ４３０（基準ピッチ４３０−１、４３０−２、４３０−３を特に区別しない場合は単に基準ピッチ４３０という）を境界として、複数の分布４５０（分布４５０−１、４５０−２、４５０−３、４５０−４を特に区別しない場合は単に分布４５０という）に分割する。ここで、分割された複数の分布４５０は各々の基準ピッチ４３０を始点としているので、各々の分布４５０の横軸の幅は隣接する基準ピッチ４３０の間隔と同じである。つまり、各々の分布４５０は基準ピッチ４３０をゼロ点とし１００ｃｅｎｔのピッチ幅を有する度数分布である。そして、図７（ｃ）に示すように分割された複数の分布４５０を、各々の始点である基準ピッチ４３０が一致するように横軸を変換して積算する。ここで、図７（ｃ）では、説明の便宜上、分布４５０−１、４５０−２、４５０−３、４５０−４だけを積算した例を示したが、もちろん分割された全ての分布を積算してもよい。

上記の変換方法を換言すると、例えば分割された複数の分布４５０のピッチ幅を１００ｃｅｎｔとした場合、第１分布４００を図５のピッチ値を１００で割った余りの値を横軸とする複数の分布４５０に分割し、分割された複数の分布４５０を積算する、ということもできる。つまり、第１分布４００の横軸Ｐから第２分布４５０の横軸Ｘ_Ａへの変換は以下の式で計算することができる。

Ｘ_Ａ＝Ｐ・ｍｏｄ（１００ｃｅｎｔ）

図８は、本発明の一実施形態における調律方法において、積算された第２分布の一例を示す図である。図８に示すように、図７に示す分割された複数の分布４５０が積算された第２分布４６０は両端の度数が高く、中央付近の度数が低い度数分布である。これはピッチ変換部２４０Ａが第１分布４００をそのピーク付近で分割しているからである。ここで、第２分布４６０の両端は図７における基準ピッチ４３０に対応しており、図８では第２分布４６０の左端を基準ピッチ４３０Ｌといい、右端を基準ピッチ４３０Ｒという。図８では、積算された第２分布４６０は、基準ピッチ４３０Ｌの近傍に積算ピーク４７０（第２分布４６０のピーク）を有している。このようにして、ピッチ変換部２４０Ａは第１分布４００のピーク群の周期性を反映した分布を生成する。

調律値算出部２３０Ａは、図８の積算された第２分布４６０に基づいて調律値を算出する。具体的には、調律値は積算ピーク４７０、及び積算された第２分布４６０の基準ピッチ４３０Ｌからのプラス方向へのずれ量又は４３０Ｒからのマイナス方向へのずれ量に基づいて算出される。つまり、調律値は基準ピッチ４３０からの相対的なずれ量を表している。第２実施形態では、分割された複数の分布４５０の区間は隣接する基準ピッチ４３０の間隔として定義されたが、分布４５０の区間は複数の基準ピッチ４３０毎の間隔としてもよい。この場合、分布４５０は複数のピークを含むことになるため、上記（１）〜（４）と同様の方法で調律値を算出してもよい。

以上のように、本発明の第２実施形態に係る調律推定装置１０Ａによると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、第１分布４００の周期性を反映した第２分布４６０に基づいて調律値を算出することができるため、より正確な調律値を算出することができる。

〈第３実施形態〉
本発明の第３実施形態に係る調律推定装置１０Ｂに含まれる調律推定機能部２００Ｂの構成及びその推定方法について図９乃至図１１を用いて説明する。ここで、第３実施形態において、調律推定装置のハードウェア構成は第１実施形態と同様であるので、ここでは説明を省略する。図９は、本発明の一実施形態における調律機能の機能構成を示すブロック図である。調律推定機能部２００Ｂはピッチ変換部２４０Ｂと調律値算出部２３０Ｂとの間にピッチ平滑処理部２５０Ｂが設けられている点において、第２実施形態に係る調律推定装置１０Ａと相違する。

図１０及び図１１を用いて、ピッチ平滑処理部２５０Ｂの具体的な処理方法について説明する。図１０は、本発明の一実施形態における調律方法において、積算された第２分布の一例を示す図である。図１１は、本発明の一実施形態における調律方法において、平滑化された第３分布の一例を示す図である。ピッチ平滑処理部２５０Ｂは、図１０に示す積算された第２分布４６０Ｂを平滑化処理して図１１に示す第３分布４８０Ｂを得る。ここで、平滑化処理としては、移動平均やローパスフィルタなどを用いることができる。

例えば、第２分布４６０Ｂにノイズに起因した鋭いノイズピーク４６２Ｂが含まれていると、第２ピーク４７０Ｂの代わりにノイズピーク４６２Ｂを用いて調律値を算出してしまう。このような場合であっても、ピッチ平滑処理部２５０Ｂによる平滑化によってノイズピーク４６２Ｂを除去又は非顕在化することができる。そして、調律値算出部２３０Ｂは、平滑ピーク４９０Ｂ（第３分布４８０Ｂのピーク）に基づいて調律値を算出する。

以上のように、本発明の第３実施形態に係る調律推定装置１０Ｂによると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、調律値を算出するピークを検出する前に平滑化処理を行うことで、突発的なノイズによって調律値が異常値を示すことを抑制することができる。

第３実施形態では、ノイズの影響を低減するために平滑化処理を用いたが、この方法に限定されない。例えば、図１０に示す第２分布４６０Ｂにおいて、横軸に対する傾き値を算出し、傾き値が所定の範囲から外れた場合にその領域を調律値の計算対象外としてもよい。傾き値は隣接するピッチ間の傾きであってもよく、複数のピッチに基づく傾きであってもよい。また、第３実施形態では第２分布４６０Ｂに対して平滑化処理を行ったが、この方法に限定されない。例えば、図４及び図５に示す第１分布４００に対して平滑化処理を行ってもよい。また、第１分布４００に対して平滑化処理を行った後に、複数の分布に分割し、積算することで第２分布４６０Ｂを得てもよい。

〈第４実施形態〉
第４実施形態では、図１１に示す平滑ピーク４９０Ｂに基づいて調律値算出に用いるピークの絞り込みを行う例について説明する。調律推定装置のハードウェア構成及び調律推定機能部の構成に関しては第３実施形態と同様であるので、ここでは説明を省略する。第４実施形態では、第３実施形態と同様に平滑化処理によって平滑ピーク４９０Ｂを含む第３分布４８０Ｂを算出し、平滑ピーク４９０Ｂの位置に対応する領域に限定して図１０に示す第２分布４６０Ｂのピークを検索する。ここで、平滑ピーク４９０Ｂの位置に対応する領域とは、例えば、平滑ピーク４９０Ｂの位置から所定の範囲を含む領域としてもよい。具体的には、平滑ピーク４９０Ｂを基準に上下１０ｃｅｎｔの領域としてもよい。又は、平滑ピーク４９０Ｂを含むガウシアン分布の平均値±標準偏差（σ）の領域としてもよい。また、第２分布４６０Ｂのピークを検索する領域は、平滑化処理の計算に用いるピッチ幅（つまり、何ｃｅｎｔ単位で平滑化処理を行うか）に応じて変化してもよい。つまり、平滑化処理の計算に用いるピッチ幅が広くなると、それに伴って上記の検索範囲も広く設定される。具体例としては、４ｃｅｎｔ単位で平滑化処理を行う場合は検索領域を平滑ピーク４９０Ｂを基準に上下４ｃｅｎｔの領域とし、１０ｃｅｎｔ単位で平滑化処理を行う場合は検索領域を平滑ピーク４９０Ｂを基準に上下１０ｃｅｎｔの領域とするように、平滑化処理を行う単位に応じて検索領域を自動的に設定してもよい。

以上のように、本発明の第４実施形態に係る調律推定装置によると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、平滑化された分布に基づいて絞り込まれた領域におけるピークを用いて調律値を算出することで、突発的なノイズによって調律値が異常値を示すことを抑制しつつ、精度の高い調律値を算出することができる。

〈第５実施形態〉
本発明の第５実施形態に係る調律推定装置１０Ｃに含まれる調律推定機能部２００Ｃの構成及びその推定方法について図１２乃至図１４を用いて説明する。ここで、第５実施形態において、調律推定装置のハードウェア構成は第１実施形態と同様であるので、ここでは説明を省略する。図１２は、本発明の一実施形態における調律機能の構成を示すブロック図である。調律推定機能部２００Ｃはピッチ算出部２２０Ｃと調律値算出部２３０Ｃとの間に複数の評価部２６０Ｃ（２６０Ｃ−１〜２６０Ｃ−５）が設けられている点において、第１実施形態に係る調律推定装置１０と相違する。図１２に示す評価部２６０Ｃは、例えば、図４に示す複数のピーク３４０、３５０、３６０とそれらに対応する複数の基準ピッチ４３０との比較、又は図８に示す積算ピーク４７０と基準ピッチ４３０Ｌ又は４３０Ｒとの比較に基づいて、入力音に対する評価値を算出する。

複数の評価部２６０Ｃはそれぞれ異なる評価基準を有しており、入力音はそれぞれの評価基準に基づいて評価され、評価部２６０Ｃ毎に異なる評価値が算出される。そして、算出された複数の評価値に基づいて調律値が算出される。以下に評価値及び調律値の算出方法について詳しく説明する。

図１３は、本発明の一実施形態における調律方法において、評価部による評価方法の一例を示す図である。図１３を用いて、評価部２６０Ｃによる評価値の算出方法について説明する。図１３には図８と同様の第２分布４６０Ｃが示されている。図１３では、基準ピッチ４３０Ｌ及び４３０Ｒから一定の位置に第１しきい値４３４Ｌ及び第２しきい値４３４Ｒが設けられている。そして評価値は、基準ピッチ４３０Ｌから第１しきい値４３４Ｌまでの第１評価領域Ｔ１の第２分布４６０Ｃの積分値と、基準ピッチ４３０Ｒから第２しきい値４３４Ｒまでの第２評価領域Ｔ２の第２分布４６０Ｃの積分値との合計に基づいて求められる。つまり、第２分布４６０Ｃが基準ピッチ４３０Ｌ及び４３０Ｒの付近に集中するほど評価値は高くなる。

図１４は、本発明の一実施形態における調律方法において、評価部によって得られた評価値に基づく調律方法の一例を示す図である。図１４において、複数の評価部２６０Ｃ−１〜２６０Ｃ−５では、それぞれ図１３と同様の第２分布４６０Ｃに対する基準ピッチ４３０Ｌ及び４３０Ｒの位置が異なっている。つまり、複数の評価部における調律基準位置には、それぞれオフセットが設けられている。例えば、評価部２６０Ｃ−３の調律基準位置を４４０Ｈｚとして、評価部２６０Ｃ−１、２６０Ｃ−２の調律基準位置は、それぞれ４４０Ｈｚから＋２０ｃｅｎｔ、＋１０ｃｅｎｔずれるように設定され、評価部２６０Ｃ−４、２６０Ｃ−５の調律基準位置は、それぞれ４４０Ｈｚから−１０ｃｅｎｔ、−２０ｃｅｎｔずれるように設定されてもよい。換言すると、複数の評価部２６０Ｃはそれぞれ異なる調律値を有している、ということもできる。

複数の評価部２６０Ｃ−１〜２６０Ｃ−５では、第２分布４６０Ｃに対する基準ピッチ４３０Ｌの位置が異なるため、第２分布４６０Ｃに対する第１しきい値４３４Ｌ−１〜４３４Ｌ−５及び第２しきい値４３４Ｒ−１〜４３４Ｒ−５の相対的な位置関係が異なっている。したがって、複数の評価部２６０Ｃ−１〜２６０Ｃ−５に対して算出された評価値はそれぞれ異なる値となる。ここで、第２ピーク４７０Ｃは基準ピッチ４３０Ｌ又は４３０Ｒに近いほど評価値は高くなるため、評価値に基づいて調律基準位置が最適な評価部２６０Ｃを判断することができる。例えば、図１４では、基準ピッチ４３０Ｌ及び４３０Ｒと第２ピーク４７０とがほぼ一致している評価部２６０Ｃ−２の評価値が最も高くなる。したがって、最も高い評価値を算出した評価部２６０Ｃ−２の調律基準位置に基づいて、調律値として「＋１０ｃｅｎｔ」が算出される。換言すると、調律値算出部２３０Ｃは、評価部２６０Ｃによって算出された複数の評価値に基づいて調律値を算出する、ということもできる。この例では、複数の評価部２６０Ｃのうち、評価値が最も高い評価部２６０Ｃ−２の調律基準位置に基づいて調律値を算出する方法について説明したが、この方法に限定されず、所定の評価値を算出した評価部２６０Ｃの調律基準位置に基づいて調律値を算出してもよい。また、その他の方法として、各評価部２６０Ｃの調律基準位置を横軸とし、それぞれの評価部２６０Ｃで算出された評価値を縦軸として、各評価部２６０Ｃに対してプロットされた評価値から得られるガウシアン分布の平均値に基づいて調律値を算出してもよい。

以上のように、本発明の第５実施形態に係る調律推定装置によると、ピッチの度数分布及び評価基準の異なる複数の評価部によって算出された評価値に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。上記の評価値は一定範囲の分布を反映するので、突発的なノイズ等の影響を受けにくくすることができる。

〈第６実施形態〉
第６実施形態では、対象範囲を限定して複数の評価部による評価値算出を行うことで、少ない評価部で精度の高い調律値の計算をすることができる調律推定装置について説明する。例えば、第４実施形態に示すように調律値算出に用いるピークの絞り込みを行い、そのピーク近傍において、調律基準位置を細かいステップで変化させた評価部２６０Ｃによって評価値を算出し、その評価値に基づいて調律値を算出してもよい。上記のピークの絞り込みは、第４実施形態と同様に平滑化処理された分布を用いて行ってもよく、平滑化前の分布を用いて行ってもよい。

以上のように、本発明の第６実施形態に係る調律推定装置によると、ピッチの度数分布及び評価基準の異なる複数の評価部によって算出された評価値に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、絞り込まれた領域に対して評価値を算出するため、より少ない評価部で高い精度の調律値を算出することができる。

ここで、第５実施形態及び第６実施形態において、第１しきい値４３４Ｌ及び第２しきい値４３４Ｒをさらに細分化してもよい。つまり、例えば、第１しきい値４３４Ｌを２つの領域に分割し、それぞれの領域に対して異なる加重の評価値を算出してもよい。例えば、基準ピッチ４３０Ｌ及び４３０Ｒに近いほど評価値が高くなるようにしてもよい。

また、フラット側とシャープ側とに分けて加算してもよい。つまり、第１評価領域Ｔ１の評価値と第２評価領域Ｔ２の評価値とのそれぞれに対して異なる加重を付与してもよい。例えば、聴感上目立つとされているシャープ側の評価値を相対的に低くすることで、評価値を聴取者の感覚に合わせてもよい。

〈第７実施形態〉
第７実施形態では、第１実施形態乃至第６実施形態のいずれかの調律推定機能部を用いたカラオケ装置２０（評価装置）について説明する。第７実施形態では、カラオケ装置について説明するが、楽器演奏評価装置に適用することもできる。

［ハードウェア］
図１５は、本発明の一実施形態におけるカラオケ装置のハードウェア構成を示すブロック図である。図１５に示すように、カラオケ装置２０は図１に示す調律推定装置１０とは異なり、記憶部５１０が制御プログラム５１２、入力音データ５１４、及び調律基準情報５１６に加えて楽曲データ５１８及び得点基準情報５１９を有しており、信号処理部５５０にスピーカ５７０が接続されている。ここで、信号処理部５５０はＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ｄ／Ａコンバータ等を含む。

楽曲データ５１８は、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。伴奏データは、制御部５００によって読み出され、信号処理部５５０においてＤ／Ａ変換され、スピーカ５７０から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ５７０から出力されるようにしてもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。

得点基準情報５１９は、評価機能が歌唱音声の評価の基準として用いる情報である。例えば、得点基準情報５１９には、歌唱技法を検出するための歌唱ピッチの変化（歌唱ピッチ波形）を特定するための情報が含まれる。ビブラート、コブシ、シャクリ、フォールといった歌唱技法であれば、例えば、以下のような歌唱ピッチ波形を示す。
（Ａ）ビブラート：ピッチが細かく（所定周期以下で）高低に変化する。具体的な歌唱ピッチ波形の例を図３の「Ｖ」で示す。ビブラート検出の具体的な例は、特開２００５−１０７０８７号公報に開示されている。
（Ｂ）コブシ：ピッチが一時的に（所定時間以内で）高くなり、その後、元のピッチに戻る。具体的な歌唱ピッチ波形の例を図３の「Ｋ」で示す。コブシ検出の具体的な例は、特開２００８−２６８３７０号公報に開示されている。
（Ｃ）シャクリ：ピッチが所定時間かけて高くなり、その後安定する。具体的な歌唱ピッチ波形の例を図３の「Ｓ」で示す。シャクリ検出の具体的な例は、特開２００５−１０７３３４号公報に開示されている。
（Ｄ）フォール：ピッチが所定時間かけて低くなり、その後、歌唱が途切れる。具体的な歌唱ピッチ波形の例を図３の「Ｆ」で示す。フォール検出の具体的な例は、特開２００８−２２５１１５号公報に開示されている。

［評価装置の機能部］
図１６は、本発明の一実施形態におけるカラオケ装置の機能構成を示すブロック図である。カラオケ装置２０は、伴奏出力部６１０、調律推定機能部２００、特定区間検出部６２０、ピッチ比較部６３０、及び得点計算部６４０を含む。伴奏出力部６１０は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部５５０を介して、伴奏音をスピーカ５７０から出力させる。調律推定機能部２００として、第１実施形態乃至第６実施形態で説明した調律推定機能部２００を用いることができる。ここで、調律推定機能部２００は基準ピッチ、ピッチ算出部２２０によって算出されたピッチ、及び調律値算出部２３０によって算出された調律値を出力してピッチ比較部６３０に送信する。なお、調律推定機能部２００は算出された調律値によって補正されたピッチを出力してもよい。特定区間検出部６２０は、歌唱ピッチ波形を解析し、歌唱音声の入力期間のうち、得点基準情報によって規定された歌唱技法を含む区間（特定区間）を検出する。このとき検出される特定区間は、歌唱技法の種類ごとに対応付けられていてもよい。

ピッチ比較部６３０は、歌唱音声の入力期間のうち、特定区間検出部６２０において検出された特定区間を除いた区間を、評価区間として設定する。ピッチ比較部６３０は、評価区間における歌唱ピッチ波形、基準ピッチ、及び調律推定機能部２００によって算出された調律値に基づいて、歌唱ピッチと基準ピッチとを比較する。ここで、調律値を用いて歌唱ピッチを調整してもよく、また、逆に基準ピッチを調整してもよい。また、歌唱ピッチ又は基準ピッチの調整は曲の終了後に行われてもよく、歌唱中にリアルタイムに行われてもよい。比較結果として、この例では、歌唱ピッチ波形と基準ピッチとの不一致度を算出する。ここで、複数の基準ピッチが１００ｃｅｎｔ間隔で存在する。そのため、複数の基準ピッチのうち、歌唱ピッチに最も近い基準ピッチが歌唱ピッチの比較対象として選択される。歌唱ピッチ波形と基準ピッチとの差が大きいほど、不一致度が高くなるように算出される。例えば、歌唱ピッチ波形の各サンプルにおける歌唱ピッチと基準ピッチとの差分を評価区間において加算し、加算値を評価区間のサンプル数で除算することによって、不一致度が算出される。

このようにして、メロディに依存しない歌唱評価を行うことができる。また、この例では、歌唱ピッチと基準ピッチとが、歌唱音声の入力期間全体ではなく、特定区間を除いた区間において比較している。したがって、特定区間における歌唱技法による意図的な歌唱ピッチのずれが、不一致度を増加させてしまわないようにすることもできる。なお、評価区間をさらに複数に分割された区間に分けて、それぞれの区間において不一致度を算出するようにしてもよい。複数に分割された区間は、それぞれ一部が重複した区間を有していてもよい。

得点計算部６４０は、ピッチ比較部６３０における比較結果に基づいて、歌唱音声の評価の指標となる得点値を算出する。この例では、ピッチ比較部６３０で算出された不一致度が高いほど得点値が低く算出され、歌唱音声の評価が悪くなる。なお、得点計算部６４０は、この不一致度のみに基づいて得点値を算出するのではなく、さらに他の要素に基づいて得点値を算出してもよい。他の要素は、歌唱技法および歌唱音声データから抽出可能な他のパラメータなどが想定される。歌唱技法を得点値に反映させる場合には、特定区間検出部６２０において検出された特定区間に対応する歌唱技法を用いればよい。他のパラメータとしては、例えば、音量変化がある。音量変化を用いれば、歌唱の抑揚を評価に加えることもできる。得点計算部６４０による評価結果は、表示部５３０において提示されてもよい。

以上のように、本発明の第７実施形態に係るカラオケ装置によると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。

ここで、第７実施形態において、ピッチ比較部６３０で算出される不一致度は、基準ピッチと歌唱ピッチとの差分をサンプルごとに加算していたが、この差分が大きいほど、不一致度がさらに大きくなるように重み付けをしてもよい。例えば、差分が１０ｃｅｎｔである場合に対して２０ｃｅｎｔである場合には、差分が２倍になるのではなく３倍になるようにすればよい。一方、基準ピッチと歌唱ピッチとの差分が所定範囲より小さい場合（例えば、２ｃｅｎｔ以下）である場合には、一致（差分０ｃｅｎｔ）しているものとして扱い、不一致度を大きくしないようにしてもよい。

また、基準ピッチと歌唱ピッチとの差分は、フラット側とシャープ側とに分けて加算してもよい。そして、フラット側の不一致度とシャープ側の不一致度とをそれぞれ算出してもよい。不一致度の大きさがいずれかに偏っている場合には、シャープ気味に外れた歌唱なのか、フラット気味に外れた歌唱なのかを判定することもできる。

〈第８実施形態〉
第８実施形態では、第１実施形態乃至第６実施形態のいずれかの調律推定機能部を用いたデータ処理装置について説明する。第８実施形態では、データ処理装置が調律された伴奏に対して歌唱データを補正して合成するデータ処理方法について説明する。ここで、ハードウェアは図１と同様のものを用いることができるため、ここでは説明を省略する。

［データ処理装置の機能部］
図１７は、本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。データ処理装置３０は、調律推定機能部２００、入力音取得部７００、補正部７１０、及び合成部７２０を含む。調律推定機能部２００として、第１実施形態乃至第６実施形態で説明した調律推定機能部２００を用いることができる。データ処理装置３０において、入力音取得部７００は第１入力音７０２及び第２入力音７０４の２つの入力音を取得する。それらのうち、第１入力音７０２が調律推定機能部２００に送信され、調律推定機能部２００では第１入力音７０２に基づく調律値７０６が算出される。補正部７１０は、調律推定機能部２００によって算出された調律値７０６、第１入力音７０２、及び第２入力音７０４に基づいて、第１入力音７０２及び第２入力音７０４の関係を補正する。合成部７２０は、補正部７１０が補正した第１入力音７１２と第２入力音７１４とを合成する。

具体例として、以下に調律された伴奏に対して歌唱データを合成する場合について説明する。まず、調律推定機能部２００に含まれる入力音取得部２１０は、歌唱データを取得する。次に、ピッチ算出部２２０は歌唱データに対する歌唱ピッチを算出する。次に、調律値算出部２３０は、歌唱ピッチの分布に基づいて歌唱データ調律値を算出する。次に、補正部７１０は、歌唱データ調律値に基づいて歌唱データを補正する。そして、合成部７２０は、補正された歌唱データと伴奏データとを合成する。

以上のように、本発明の第８実施形態に係るデータ処理装置によると、取得した歌唱データから算出された調律値に基づいて、自動的に歌唱データを補正して伴奏データと合成することができるため、ユーザの余計な操作を必要としないデータ処理装置を提供することができる。

〈第９実施形態〉
第９実施形態では、第１実施形態乃至第６実施形態のいずれかの調律推定機能部を用いたデータ処理装置について説明する。第９実施形態では、データ処理装置が楽器による演奏データ及び歌唱データを補正してこれらを合成するデータ処理方法について説明する。第９実施形態に用いられるハードウェアは図１と同様のものを用いることができるため、ここでは説明を省略する。また、データ処理機能部が有する機能ブロックは図１７と同様であるが、各機能ブロックが有する機能が異なる。したがって、第９実施形態のデータ処理装置の動作について、図１７を用いてその機能を説明する。

［データ処理装置の機能部］
図１８は、本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。データ処理装置３０Ａは、データ処理装置３０と同様に調律推定機能部２００、入力音取得部７００、補正部７１０、及び合成部７２０を含む。調律推定機能部２００として、第１実施形態乃至第６実施形態で説明した調律推定機能部２００を用いることができる。データ処理装置３０Ａにおいて、入力音取得部７００は第１入力音７０２及び第２入力音７０４の２つの入力音を取得する。第１入力音７０２及び第２入力音７０４は調律推定機能部２００に送信され、調律推定機能部２００では第１入力音７０２に基づく第１調律値７０６及び第２入力音７０４に基づく第２調律値７０８が算出される。補正部７１０は、第１入力音７０２、第２入力音７０４、及び調律推定機能部２００によって算出された第１調律値７０６、第２調律値７０８に基づいて、第１入力音７０２及び第２入力音７０４の関係を補正する。合成部７２０は、補正部７１０が補正した第１入力音７１２と第２入力音７１４とを合成する。

具体例として、演奏された演奏データ及び歌唱データを合成する場合について説明する。まず、入力音取得部２１０は演奏データ及び歌唱データを取得する。次に、ピッチ算出部２２０は演奏データに対する演奏ピッチ、及び歌唱データに対する歌唱ピッチを算出する。次に、調律値算出部２３０は、演奏ピッチの分布に基づいて演奏データ調律値を算出し、歌唱ピッチの分布に基づいて歌唱データ調律値を算出する。次に、補正部７１０は、演奏データ調律値に基づいて演奏データを補正し、歌唱データ調律値に基づいて歌唱データを補正する。そして、合成部７２０は、補正された演奏データと歌唱データとを合成する。

以上のように、本発明の第９実施形態に係るデータ処理装置によると、取得した演奏データ及び歌唱データから算出されたそれぞれの調律値に基づいて、自動的に演奏データ及び歌唱データを補正し、両者を合成することができるため、ユーザの余計な操作を必要としないデータ処理装置を提供することができる。

〈第１０実施形態〉
第１０実施形態では、第１実施形態乃至第６実施形態とは異なる方法で調律値を算出する調律推定装置について説明する。第１０実施形態では、各音高に対して基準となる音高からのずれ量（調律値）を算出する調律値推定方法について説明する。ただし、第１０実施形態に用いられるハードウェアは第１実施形態と同様のものを用いることができるので、ここでは説明を省略する。また、調律値推定装置が有する機能ブロックは図２と同様であるが、各機能ブロックが有する機能が異なる。したがって、第１０実施形態の調律値推定装置の動作について、図２を用いたその機能を説明する。

［調律推定機能部］
第１０実施形態の調律推定装置１０Ｄの調律推定機能部２００Ｄにおいて、入力音取得部２１０Ｄは入力音を取得する。また、ピッチ算出部２２０Ｄは入力音取得部２１０Ｄが取得した入力音のピッチを算出する。また、調律値算出部２３０Ｄは、基準ピッチに対して、ピッチ算出部２２０Ｄが算出したピッチが積算された分布におけるピークの調律値を音高毎に算出する。

図５の分布を用いて、調律推定装置１０Ｄの動作を具体的に説明する。第１実施形態では、第１分布４００のピーク３４０、３５０、３６０のうち一部又は全部と、それらの付近に設定された基準ピッチ４３０との差に基づいて、第１分布４００全体の調律値を算出する方法について説明した。一方、第１０実施形態では、ピッチが積算された第１分布４００における各音高について個別に調律値を算出する。具体的には、ピーク３４０とその近傍の基準ピッチ４３０とのオフセット４３６に基づいて、ピーク３４０に対する調律値を算出する。同様にして、ピーク３５０とその近傍の基準ピッチ４３０とのオフセット４３６に基づいて、ピーク３５０に対する調律値を算出する。このようにして、各音高に対して個別に調律値を算出することができる。

以上のように、本発明の第１０実施形態に係る調律推定装置によると、ピッチの度数分布における複数のピークに基づいて各音高に対して調律値を算出することができるため、特定の音高における調律値のずれを検出することができる。

〈第１１実施形態〉
第１１実施形態では、第１実施形態とは異なる方法で調律値を算出する調律推定装置について説明する。第１実施形態では、第１分布４００の複数のピーク３４０、３５０、３６０と複数の基準ピッチ４３０とのずれ量に基づいて調律値を算出する調律方法について説明したが、第１１実施形態では、第１分布４００の複数のピーク３４０、３５０、３６０のうち、１つのピーク（例えば、ピーク３５０）と基準ピッチ４３０（例えば、調律基準位置４３２）とのずれ量に基づいて調律値を算出する調律方法について説明する。

第１１実施形態の調律方法について、図５を参照して説明する。第１１実施形態の調律推定装置は、調律基準位置４３２と第１分布４００における基準位置に相当するピーク３５０とのずれ量のみに基づいて調律値を算出する。つまり、ピーク３４０とそれに対応する位置の基準ピッチ４３０とのずれ量、及びピーク３６０とそれに対応する位置の基準ピッチ４３０とのずれ量は考慮せず、調律基準位置４３２とピーク３５０とのずれ量のみに基づいて調律値を算出する。ただし、調律値の算出に用いる基準ピッチ４３０及び第１分布４００のピークは、適宜選択することができ、上記のように、調律基準位置４３２及びピーク３５０に限定されない。また、第１分布４００のピークは複数存在していなくてもよい。また、ピーク３４０、３５０、３６０と、それぞれのピークに対応する基準ピッチ４３０とのずれ量に基づいて、それぞれのピークに対応する調律値を算出してもよい。つまり、第１分布４００から、複数の音高に対して、それぞれの音高に対する調律値を算出してもよい。

以上のように、本発明の第１１実施形態に係る調律推定装置によると、特定の音高に対して調律値を算出することができるため、楽器のチューニングなどに利用することができる。また、複数の音高に対して、それぞれの調律値を同時に算出することが可能であるため、楽器のチューニング時間を短縮化することができる。

＜その他の実施形態＞
入力音取得部２１０によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。また、楽器音である場合には、特定区間として検出される技法として、例えば、ビブラート、スタッカート、ベンドアップ（シャクリ）、ベンドダウン（フォール）、スライド（ポルタメント）がある。これらの技法のうち、ピッチ変化を伴うビブラート、ベンドアップ、ベンドダウン、スライドが、実施形態と同様な方法で検出される。ピッチ算出部２２０において算出されるピッチに影響を及ぼすため、このようにして検出された特定区間においては、歌唱の場合と同様に評価区間における評価から除外される。これら以外にも、トリルおよび極めて短い修飾音等の音符の表現、サックスのグロール、ギターのカッティング等の音色に関する技法についても、ピッチの取得精度に影響があるため特定区間として検出して評価の除外の対象としてもよい。さらに複音の発音ができる楽器は誤動作を防止するために複音を検出して除去の対象としてもよい。

１０：調律推定装置、 ２０：カラオケ装置、 ３０：データ処理装置、 １００、５００：制御部、 １１０、５１０：記憶部、 １１２：制御プログラム、 １１４：歌唱音声データ、 １１６：調律基準情報、 １２０：操作部、 １３０、５３０：表示部、 １４０：通信部、 １５０、５５０：信号処理部、 １６０：マイクロフォン、 ２０：カラオケ装置、 ２００：調律推定機能部、 ２１０、７００：入力音取得部、 ２２０：ピッチ算出部、 ２３０：調律値算出部、 ２４０：ピッチ変換部、 ２５０：ピッチ平滑処理部、 ２６０：評価部、 ３００：歌唱ピッチ波形、 ３１０、４１０：縦軸、 ３２０、４２０：横軸、 ３３０、４３０：基準ピッチ、 ３４０、３５０、３６０：第１ピーク、 ４００：第１分布、 ４３２：調律基準位置、 ４３４Ｌ：第１しきい値、 ４３４Ｒ：第２しきい値、 ４５０：第２分布、 ４６０：積算された第２分布、 ４６２：ノイズピーク、 ４７０：第２ピーク、 ４８０：第３分布、 ４９０：第３ピーク、 ５１８：楽曲データ、 ５１９：得点基準情報、 ５７０：スピーカ、 ６１０：伴奏出力部、 ６２０：特定区間検出部、 ６３０：ピッチ比較部、 ６４０：得点計算部、 ７１０：補正部、 ７２０：合成部

Claims (11)

1. 入力音を取得する第１入力音取得部と、
   前記第１入力音取得部が取得した前記入力音のピッチを算出するピッチ算出部と、
   前記ピッチ算出部が算出した前記ピッチの第１分布におけるピークに基づいて、調律の基準となる調律基準位置と前記第１分布における基準位置とのオフセットを表す調律値を算出する調律値算出部と、
   を備え、
   前記調律値算出部は、前記第１分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて前記調律値を算出することを特徴とする調律推定装置。
2. 前記調律値算出部は、前記ピーク群と前記調律基準位置を含む複数の基準ピッチとのずれ量に基づいて前記調律値を算出することを特徴とする請求項１に記載の調律推定装置。
3. 前記第１分布を一定周期で配置された基準点を始点とする複数の分布に分割し、前記分割された複数の分布を積算して第２分布を算出するピッチ変換部をさらに備え、
   前記調律値算出部は、前記ピッチ変換部によって積算された前記第２分布のピークに基づいて調律値を算出することを特徴とする請求項１に記載の調律推定装置。
4. 前記ピッチ変換部によって分割された前記複数の分布の各々の区間の間隔は、前記調律基準位置を含む複数の基準ピッチのうち隣接する基準ピッチ間の間隔と等しいことを特徴とする請求項３に記載の調律推定装置。
5. 前記第２分布を平滑化処理して第３分布を算出するピッチ平滑処理部をさらに備え、
   前記調律値算出部は、前記ピッチ平滑処理部によって算出された前記第３分布のピークを検索し、
   前記第２分布のピークは、前記第３分布のピークに基づいて決定される前記第２分布のピークであることを特徴とする請求項３に記載の調律推定装置。
6. 請求項１乃至５のいずれか一に記載の前記調律推定装置と、
   所定の評価区間において、前記入力音の前記ピッチ、複数の基準ピッチ、及び前記調律値算出部によって算出された前記調律値に基づいて、前記ピッチと前記複数の基準ピッチとを比較するピッチ比較部と、
   前記ピッチ比較部によって比較された結果に基づいて、前記入力音に対する得点値を算出する得点計算部と、
   をさらに備えることを特徴とする評価装置。
7. 請求項１乃至５のいずれか一に記載の前記調律推定装置と、
   第１入力音及び第２入力音を取得する第２入力音取得部と、
   前記第１入力音、前記第２入力音、及び前記調律推定装置が算出した前記調律値に基づいて、前記第１入力音及び前記第２入力音の関係を補正する補正部と、
   前記補正部によって補正された前記第１入力音及び前記第２入力音を合成する合成部と、を有し、
   前記調律推定装置は、前記第１入力音に基づいて前記調律値を算出することを特徴とするデータ処理装置。
8. 入力音を取得する入力音取得部と、
   前記入力音取得部が取得した前記入力音のピッチを算出するピッチ算出部と、
   前記ピッチ算出部が算出した前記ピッチの分布におけるピークと音高毎に定められた基準とのオフセットを表す調律値を音高毎に算出する調律値算出部と、
   を備え、
   前記調律値算出部は、前記分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて前記調律値を算出することを特徴とする調律推定装置。
9. 前記調律値算出部は、前記分布から、複数の音高に対してそれぞれの前記調律値を算出することを特徴とする請求項８に記載の調律推定装置。
10. 入力音を取得し、
    前記入力音のピッチを算出し、
    前記ピッチの第１分布におけるピークに基づいて、調律基準位置と前記第１分布における基準位置とのオフセットを表す調律値を算出する調律推定方法であって、
    前記調律値は、前記第１分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて算出される調律推定方法。
11. 入力音を取得し、
    前記入力音のピッチを算出し、
    前記ピッチの分布におけるピークと音高毎に定められた基準とのオフセットを表す調律値を音高毎に算出する調律推定方法であって、
    前記調律値は、前記分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて算出される調律推定方法。

Images