JP6627482B2 - 技法判定装置 - Google Patents

Description

本発明は、入力音の技法を判定する技術に関する。

カラオケ装置には、歌唱音声を解析して評価する機能が備えられている。歌唱の評価には様々な方法が用いられる。その方法の一つとして、例えば、特許文献１には、歌唱技法の一つであるしゃくり上げを検出して評価するカラオケ採点装置が開示されている。

特開２００４−１０２１４９号公報

しかしながら、特許文献１に開示された技術では、誤検出が多く、歌唱の技法を正確に判定し、評価することができないという問題があった。

本発明の課題の一つは、入力音の技法を判定することにある。

本発明の一実施形態によると、入力音を取得する入力音取得部と、前記入力音取得部によって取得された前記入力音の特徴量を時系列に検出する特徴量検出部と、前記特徴量検出部によって取得された前記特徴量に基づいて、特徴量の平坦部を検出する平坦部検出部と、前記特徴量の平坦部の前又は後の所定の期間における、前記特徴量の変動に基づいて前記入力音の技法を判定する技法判定部と、を備える、技法判定装置が提供される。

前記平坦部検出部は、前記特徴量の時系列の変動が所定の変動以下である期間を検出し、前記期間が所定時間以上である場合、前記期間を前記平坦部として検出してもよい。

前記特徴量は、ピッチ又は音量であってもよい。

技法判定装置は、前記特徴量に基づいて、前記入力音のテンポを推定するテンポ推定部を備え、前記所定時間は、前記テンポに応じて決定されてもよい。

前記平坦部検出部によって、複数の平坦部が検出された場合、前記所定の期間は、時系列的に互いに隣接する２つの平坦部の間の期間であってもよい。

本発明の一実施形態によると、コンピュータに、入力音を取得し、前記入力音の特徴量を時系列に検出し、前記特徴量に基づいて特徴量の平坦部を検出し、特徴量の平坦部の前又は後の所定の期間における、前記特徴量の変動に基づいて前記入力音の技法を判定する、ことを実行させるプログラムが提供される。

本発明の一実施形態によれば、入力音の技法を判定することが可能になる。

本発明の一実施形態における技法判定装置の構成を示すブロック図である。 本発明の一実施形態における技法判定機能および評価機能の構成を示すブロック図である。 本発明の一実施形態における技法判定機能の平坦部検出部における、音量の平坦部検出の概念を説明するための図である。 本発明の一実施形態における技法判定機能の平坦部検出部による、ピッチの平坦部検出の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、しゃくり上げ判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、しゃくり下げ判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、跳ね上げ判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、フォール判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、クレッシェンド判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、デクレッシェンド判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、こぶし判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の技法判定部による、フォルテピアノ判定の概念を説明するための図である。 本発明の一実施形態の変形例における技法判定機能および評価機能の構成を示すブロック図である。

以下、本発明の一実施形態における技法判定装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

＜第１実施形態＞
本発明の第１実施形態における技法判定装置について、図面を参照しながら詳細に説明する。第１実施形態に係る技法判定装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音を判定する機能を備えた装置である。この技法判定装置は、歌唱音のピッチと音量を時系列に検出し、音量の変化とピッチの変動に基づいて特定の技法を判定する。

［ハードウエア］
図１は、本発明の第１実施形態における技法判定装置１０の構成を示すブロック図である。技法判定装置１０は、例えば、歌唱採点機能を備えたカラオケ装置である。技法判定装置１０は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。信号処理部２１には、音入力部（例えば、マイクロフォン）２３及び音出力部（例えば、スピーカ）２５が接続されている。これらの各構成は、バスを介して相互に接続されている。

制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラム１３ａをＣＰＵにより実行して、各種機能を技法判定装置１０において実現させる。実現される機能には、歌唱の技法判定機能が含まれる。また、実現される機能に、技法判定によって判定された技法に基づいた歌唱の評価機能が含まれてもよい。

記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、技法判定機能を実現するための制御プログラム１３ａを記憶する。制御プログラム１３ａは、歌唱の評価機能を含んでもよい。制御プログラム１３ａは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、技法判定装置１０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム１３ａは、インターネット等のネットワーク経由でダウンロードされてもよい。

また、記憶部１３は、歌唱に関するデータとして、楽曲データ１３ｂ、歌唱音声データ１３ｃを記憶する。また、記憶部１３は、評価基準データ１３ｄを記憶してもよい。楽曲データ１３ｂは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。歌唱音声データ１３ｃは、歌唱者が音入力部２３から入力した歌唱音声に対応するデータである。本実施形態では、歌唱音声データ１３ｃは、技法判定機能によって歌唱音声が判定されるまで、記憶部１３に記憶される。評価基準データ１３ｄは、評価機能によって歌唱音声の評価の基準として用いられる情報であり、評価対象の歌唱曲（歌唱音声の入力がされるときに出力されている歌唱曲）を示す楽曲データに予め対応付けられている基準音データであってもよい。

操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とが一体となったタッチパネル装置であってもよい。通信部１９は、制御部１１の制御に基づいて、インターネットやＬＡＮなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。

信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、音入力部２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。歌唱音声は、歌唱音声データ１３ｃとして記憶部１３に記憶される。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、音出力部２５から歌唱曲の伴奏として出力される。このとき、ガイドメロディも音出力部２５から出力されるようにしてもよい。

［技法判定機能］
技法判定装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される技法判定機能について説明する。なお、以下に説明する技法判定機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。

図２は、本発明の第１実施形態における技法判定機能１００の構成を示すブロック図である。図２を参照すると、技法判定機能１００は、入力音取得部１０３、特徴量検出部１０５、平坦部検出部１１１、及び技法判定部１１３を含む。

入力音取得部１０３は、音入力部２３から入力された歌唱音声に対応する歌唱音声データ（入力音）を取得する。なお、入力音取得部１０３は、歌唱音声データを信号処理部２１から直接取得するが、いったん記憶部１３に記憶された歌唱音声データを取得するようにしてもよい。また、入力音取得部１０３は、音入力部２３への入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１９によりネットワーク経由で取得してもよい。本実施形態においては、入力音取得部１０３は、楽曲データの再生中に順次入力される歌唱音声データを、特徴量検出部１０５に順次出力する。

特徴量検出部１０５は、入力音取得部１０３から歌唱音声データを取得する。特徴量検出部１０５は、取得した歌唱音声データについて、音量及びピッチを含む歌唱音の特徴量を検出する。特徴量検出部１０５は、音量検出部１０７及びピッチ検出部１０９を含む。

音量検出部１０７は、入力音取得部１０３によって取得された歌唱音声データから、歌唱音の音量を時系列に検出する。即ち、音量検出部１０７は、歌唱音声データに基づいて、歌唱音の音量の時間的な変化を検出する。本実施形態において、音量検出部１０７は、歌唱音声データが示す音声信号の振幅に基づいて音量を検出する。音量検出部１０７は、検出された音量を時系列に示すデータ（音量波形）を平坦部検出部１１１及び技法判定部１１３に時系列に出力する。

ピッチ検出部１０９は、入力音取得部１０３によって取得された歌唱音声データから、歌唱音のピッチを時系列に検出する。即ち、ピッチ検出部１０９は、フレーム（所定期間で区切られたデータサンプル）ごとに歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによって歌唱音のピッチ（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。また、ピッチ検出部１０９は、歌唱音声データにＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルからピッチを特定してもよい。ピッチ検出部１０９は、このようにして検出したピッチを時系列に示すデータ（ピッチ波形）を、平坦部検出部１１１及び技法判定部１１３に時系列に出力する。

平坦部検出部１１１は、特徴量検出部１０５によって検出された特徴量の時系列の変動に基づいて、特徴量の平坦部を検出する。平坦部検出部１１１は、検出された特徴量の平坦部を示すデータを技法判定部１１３に出力する。

具体的には、平坦部検出部１１１は、音量検出部１０７によって検出された音量を示すデータにおける平坦部、即ち、音量が略一定となっている期間を音量の平坦部として検出してもよい。例えば、平坦部検出部１１１は、音量検出部１０７によって検出された音量を示すデータに対しフレーム（所定時間ごとに区切られたデータサンプル）ごとに音量の変動が予め決められた所定の閾値ΔＶｔｈ以下か否かを判定する。音量の変動が所定の閾値ΔＶｔｈ以下であるフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、即ち、音量の変動が所定の閾値ΔＶｔｈ以下である期間が予め決められた所定時間以上である場合、平坦部検出部１１１は、音量の変動が所定の閾値ΔＶｔｈ以下であるフレームを音量の平坦部として検出してもよい。

図３は、平坦部検出部１１１における、音量の平坦部検出の概念の一例を説明するための図である。図３は、歌唱音の音量を時系列に示す音量波形であり、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図３では、フレームｆ_ｎ−１〜ｆ_ｎ＋６が示されている。フレームｆの長さは任意である。開始点検出部１０９は、各フレームｆ_ｎ−１〜ｆ_ｎ＋６における音量の変動が所定の閾値ΔＶｔｈ以下あるか否かを判定する。例えば、フレームｆ_ｎ−１、ｆ_ｎ、ｆ_ｎ＋１、ｆ_ｎ＋４、ｆ_ｎ＋5、ｆ_ｎ＋6における音量の変動が所定の閾値ΔＶｔｈを上回り（ΔＶｎ−１＞ΔＶｔｈ、ΔＶｎ＋１＞ΔＶｔｈ、ΔＶｎ＋４＞ΔＶｔｈ、ΔＶｎ＋５＞ΔＶｔｈ、ΔＶｎ＋６＞ΔＶｔｈ）、ｆ_ｎ＋２、ｆ_ｎ＋３における音量の変動が所定の閾値ΔＶｔｈ以下（ΔＶｎ＋２≦ΔＶｔｈ、ΔＶｎ＋３≦ΔＶｔｈ、）である場合、平坦部検出部１１１は、フレームｆ_ｎ＋２、ｆ_ｎ＋３を音量の平坦部として検出してもよい。

また、平坦部検出部１１１は、所定の複数のフレームごとに音量の平均値を算出し、算出された音量の平均値の変動に基づいて音量の平坦部を検出してもよい。例えば、平坦部１１１は、フレームｆ_ｎ−１、フレームｆ_ｎ及びフレームｆ_ｎ＋１における音量の平均値を算出し、次に、フレームｆ_ｎ、フレームｆ_ｎ＋１及びフレームｆ_ｎ＋２における音量の平均値を算出し、その次に、フレームｆ_ｎ＋１、フレームｆ_ｎ＋２及びフレームｆ_ｎ＋３における音量の平均値を算出する。このように、平坦部検出部１１１は、音量の平均値を算出する期間を所定の時間（ここでは、１フレームに相当する時間）だけずらしながら音量の平均値を算出する。平坦部検出部１１１は、連続する所定の複数のフレーム（例えば、フレームｆ_ｎ−１〜ｆ_ｎ＋１及びフレーム_ｎ〜ｆ_ｎ＋２）の音量の平均値の差が所定の閾値以下である場合、該連続する所定の複数のフレーム期間に対応する期間（例えば、フレームｆ_ｎ−１〜ｆ_ｎ＋２）を音量の平坦部として検出してもよい。

また、例えば、平坦部検出部１１１は、音量検出部１０７によって検出された音量を示すデータに対しフレームごとに、音量を示すデータ（音量波形）の傾きの絶対値を算出し、算出された傾きの絶対値が所定の値以下となるか否かを判定してもよい。算出された傾きの絶対値が所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、平坦部検出部１１１は、算出された傾きの絶対値が所定の値以下となるフレームを音量の平坦部として検出してもよい。

さらに、平坦部検出部１１１は、ピッチ検出部１０９によって検出されたピッチを示すデータにおける平坦部、即ち、ピッチが略一定となっている期間をピッチの平坦部として検出してもよい。例えば、平坦部検出部１１１は、ピッチ検出部１０９によって検出されたピッチを示すデータに対しフレーム（所定時間ごとに区切られたデータサンプル）ごとにピッチの平均値を算出し、算出されたピッチの平均値の１０の位を四捨五入して１００セントごとのグリッドに当てはめ、四捨五入されたピッチの値が同一のグリッドに乗っているフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、即ち、四捨五入されたピッチの値が同一のグリッドに乗っている期間が予め決められた所定時間以上である場合、平坦部検出部１１１は、四捨五入されたピッチの値が同一のグリッドに乗っているフレームをピッチの平坦部として検出してもよい。

図４は、平坦部検出部１１１における、ピッチの平坦部検出の概念の一例を説明するための図である。図４は、歌唱音のピッチを時系列に示すピッチ波形であり、縦軸はピッチ（ｃｅｎｔ）を示し、横軸は時間（Ｔ）を示す。図４では、フレームｆ_ｎ−１〜ｆ_ｎ＋６が示されている。フレームｆの長さは任意である。平坦部検出部１１１は、各フレームｆ_ｎ−１〜ｆ_ｎ＋６におけるピッチの平均値を算出する。図４において、各フレームｆ_ｎ−１〜ｆ_ｎ＋６におけるピッチの平均値が黒い丸（●）で示している。平坦部検出部１１１は、算出されたピッチの平均値の１０の位を四捨五入して１００セントごとのグリッドに当てはめ、当てはまるグリッドに対応するピッチの値を、各フレームｆ_ｎ−１〜ｆ_ｎ＋６におけるピッチとする。

例えば、図４では、フレームｆ_ｎ−１のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋３）セントとする。フレームｆ_ｎのピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋４）セントとする。フレームｆ_ｎ＋１のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋４）セントとする。フレームｆ_ｎ＋２のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋４）セントとする。フレームｆ_ｎ＋３のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋３）セントとする。フレームｆ_ｎ＋４のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋２）セントとする。フレームｆ_ｎ＋５のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋１）セントとする。フレームｆ_ｎ＋６のピッチの平均値の１０の位の四捨五入後の値に当てはまるグリッドに対応するピッチは１００＊（ｍ＋２）セントとする。平坦部検出部１１１は、ピッチが同一であるフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、ピッチが同一であるフレームをピッチの平坦部として検出してもよい。図４では、フレームｆ_ｎ、ｆ_ｎ＋１、ｆ_ｎ＋２の四捨五入されたピッチの平均値に当てはまるグリッドに対応するピッチが、１００＊（ｍ＋４）セントである。したがって、平坦部検出部１１１は、フレームｆ_ｎ〜ｆ_ｎ＋２をピッチの平坦部として検出する。

尚、平坦部検出部１１１は、より正確にピッチの平坦部を検出するために、ピッチの平均値の１０の位の四捨五入後の値が同一のグリッドに乗っているフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、検出されたフレームにおけるピッチの時間的な変動が予め決められた所定の幅以内の変動であれば、該検出されたフレームをピッチの平坦部として検出してもよい。

また、例えば、平坦部検出部１１１は、ピッチ検出部１０９によって検出されたピッチを示すデータに対しフレームごとに、ピッチを示すデータ（ピッチ波形）の傾きの絶対値を算出し、算出された傾きの絶対値が所定の値以下となるか否かを判定してもよい。算出された傾きの絶対値が所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、平坦部検出部１１１は、算出された傾きの絶対値が所定の値以下となるフレームをピッチの平坦部として検出してもよい。また、算出された傾きの絶対値が所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続して検出された場合、平坦部検出部１１１は、検出されたフレームにおけるピッチの時間的な変動が予め決められた所定の幅以内の変動であれば、該検出されたフレームをピッチの平坦部として検出してもよい。

また、例えば、平坦部検出部１１１は、所定の複数のフレームにおけるピッチの最大値と最小値との差が所定の値以内であれば、該所定の複数のフレームをピッチの平坦部として検出してもよい。

技法判定部１１３は、平坦部検出部１１１によって検出された歌唱音の特徴量の平坦部（音量の平坦部、又はピッチの平坦部）の前後の音量の変化、及びピッチの変動に基づいて、歌唱音声の技法を判定する。例えば、技法判定部１１３は、歌唱技法として、しゃくり上げ、しゃくり下げ、跳ね上げ、フォール及びこぶしやクレッシェンド、デクレッシェンド、及びフォルテピアノなどの抑揚を判定してもよい。

図５は、技法判定部１１３における、しゃくり上げ判定の概念を説明するための図である。しゃくり上げとは、主にピッチが安定する前にピッチを下から上に上昇させる技法である。図５は、歌唱音のピッチ波形である。平坦検出部１１１は、図５におけるフレームｆ_ｎ＋１〜ｆ_ｎ＋３をフレームの平坦部として検出したものとする。図５に示すように、平坦部の前のフレーム（フレームｆ_ｎ−１、ｆ_ｎ）において、ピッチが上昇している。この場合、技法判定部１１３は、平坦部の前にしゃくり上げが含まれていると判定する。ここで、技法判定部１１３は、平坦部の前において、ピッチを示すデータ（ピッチ波形）の傾きが所定の値以上となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の前にしゃくり上げが含まれていると判定してもよい。

図６は、技法判定部１１３における、しゃくり下げ判定の概念を説明するための図である。しゃくり下げとは、主にピッチが安定する前にピッチを上から下に下降させる技法である。図６は、歌唱音のピッチ波形である。平坦検出部１１１は、図６におけるフレームｆ_ｎ＋１〜ｆ_ｎ＋２をフレームの平坦部として検出したものとする。図６に示すように、平坦部の前のフレーム（フレームｆ_ｎ−１、ｆ_ｎ）において、ピッチが下降している。この場合、技法判定部１１３は、平坦部の前にしゃくり下げが含まれていると判定する。ここで、技法判定部１１３は、平坦部の前において、ピッチを示すデータ（ピッチ波形）の傾きが所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の前にしゃくり下げが含まれていると判定してもよい。

図７は、技法判定部１１３における、跳ね上げ判定の概念を説明するための図である。図７は、歌唱音のピッチ波形である。跳ね上げとは、主にピッチの安定後にピッチを下から上に上昇させる技法である。図７は、歌唱音のピッチ波形である。平坦検出部１１１は、図７におけるフレームｆ_ｎ−１〜ｆ_ｎ＋１をフレームの平坦部として検出したものとする。図７に示すように、平坦部の後のフレーム（フレームｆ_ｎ＋２、ｆ_ｎ＋３、ｆ_ｎ＋４）において、ピッチが上昇している。この場合、技法判定部１１３は、平坦部の後に跳ね上げが含まれていると判定する。ここで、技法判定部１１３は、平坦部の後において、ピッチを示すデータ（ピッチ波形）の傾きが所定の値以上となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の後に跳ね上げが含まれていると判定してもよい。

図８は、技法判定部１１３における、フォール判定の概念を説明するための図である。フォールとは、主にピッチの安定後にピッチを上から下に下降させる技法である。図８は、歌唱音のピッチ波形である。平坦検出部１１１は、図８におけるフレームｆ_ｎ＋１〜ｆ_ｎ＋３をフレームの平坦部として検出したものとする。図８に示すように、平坦部の後のフレーム（フレームｆ_ｎ＋４、ｆ_ｎ＋５）において、ピッチが下降している。この場合、技法判定部１１３は、平坦部の後ろにフォールが含まれていると判定する。ここで、技法判定部１１３は、平坦部の後において、ピッチを示すデータ（ピッチ波形）の傾きが所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の後にフォールが含まれていると判定してもよい。

図９は、技法判定部１１３における、クレッシェンド判定の概念を説明するための図である。図９は、歌唱音の音量波形である。平坦検出部１１１は、図９におけるフレームｆ_ｎ−１〜ｆ_ｎ＋１をフレームの平坦部として検出したものとする。図９に示すように、平坦部の後のフレーム（フレームｆ_ｎ＋２、ｆ_ｎ＋３、ｆ_ｎ＋４）において、音量が増大している。この場合、技法判定部１１３は、平坦部の後にクレッシェンドが含まれていると判定する。ここで、技法判定部１１３は、平坦部の後において、音量を示すデータ（音量波形）の傾きが所定の値以上となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の後にクレッシェンドが含まれていると判定してもよい。

図１０は、技法判定部１１３における、デクレッシェンド判定の概念を説明するための図である。図１０は、歌唱音の音量波形である。平坦検出部１１１は、図１０におけるフレームｆ_ｎ〜ｆ_ｎ＋２をフレームの平坦部として検出したものとする。図１０に示すように、平坦部の後のフレーム（フレームｆ_ｎ＋３、ｆ_ｎ＋４）において、音量が減少している。この場合、技法判定部１１３は、平坦部の後にデクレッシェンドが含まれていると判定する。ここで、技法判定部１１３は、平坦部の後において、音量を示すデータ（音量波形）の傾きが所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の後にデクレッシェンドが含まれていると判定してもよい。

図１１は、技法判定部１１３における、こぶし判定の概念を説明するための図である。こぶしとは、主にピッチをある基準から所定の時間範囲内で上又は下に所定ピッチ（例えば、１００セント程度以上）変化させて、速やかに基準ピッチまで戻す技法である。図１１は、歌唱音のピッチ波形である。平坦検出部１１１は、図１１におけるフレームｆ_ｎ−１〜ｆ_ｎ＋１を第１の平坦部として検出し、フレームｆ_ｎ−４〜ｆ_ｎ＋６を第２の平坦部として検出したものとする。ここで、第１の平坦部におけるピッチの平均値と第２の平坦部におけるピッチの平均値は、略等しいものとする。ここで、ピッチの平均が略等しいとは、第１の平坦部及び第２の平坦部におけるピッチの平均値を算出し、算出されたピッチの平均値を四捨五入して１００セントごとのグリッドに当てはめた場合、第１の平坦部における四捨五入されたピッチの平均値と第２の平坦部における四捨五入されたピッチの平均値が同一のグリッドに乗っている場合であってもよい。図１１に示すように、第１の平坦部と第２の平坦部との間のフレーム（フレームｆ_ｎ＋２、ｆ_ｎ＋３）において、ピッチが上下に振動している。この場合、技法判定部１１３は、第１の平坦部と第２の平坦部との間にこぶしが含まれていると判定する。

図１２は、技法判定部１１３における、フォルテピアノ判定の概念を説明するための図である。フォルテピアノとは、主に音量が安定する前に音量を強くした直後に減少させる奏法であるものとする。図１２は、歌唱音の音量波形である。平坦検出部１１１は、図１２におけるフレームｆ_ｎ＋５〜ｆ_ｎ＋６をフレームの平坦部として検出したものとする。図１２に示すように、平坦部の前のフレームｆ_ｎ＋１付近で強くなった直後のフレーム（フレームｆ_ｎ＋２、ｆ_ｎ＋３、ｆ_ｎ＋４）において、音量が減少している。この場合、技法判定部１１３は、平坦部の前にフォルテピアノが含まれていると判定する。ここで、技法判定部１１３は、平坦部の前において、音量を示すデータ（音量波形）の傾きが所定の値以下となるフレームが予め決められた数以上（例えば、２フレーム以上）連続している場合、平坦部の前にフォルテピアノが含まれていると判定してもよい。

尚、技法判定機能１００は歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部２１を介して、伴奏音を音出力部２５から出力させる伴奏出力部１０１を有してもよい。この場合、伴奏音が出力されている期間における音入力部２３への入力音が判定対象の歌唱音声として認識される。

以上のように、第１実施形態における技法判定装置１０は、入力された歌唱音声データから特徴量（ピッチ及び音量）を時系列に検出し、特徴量の平坦部（ピッチの平坦部及び音量の平坦部）を検出し、特徴量の平坦部（ピッチの平坦部又は音量の平坦部）の前後の音量の変動（音量の変化）とピッチの変動に基づいて特定の技法を判定する。ピッチ及び音量の検出から技法判定までの一連の処理は、所定のフレームごとに少ない演算量で実行することが可能であるため、歌唱音声データの蓄積や機械学習、及びリファレンスデータが不要である。これにより、演算量を抑えつつ、リアルタイムに特定の技法を正確に判定することが可能となる。

＜変形例＞
本発明の実施形態について以上に説明したが、本発明は上述した実施形態に限定されるわけではなく、他の様々な態様で実施可能である。以下の他の態様の一例を示す。

（変形例１）
技法判定装置１０において実現される機能には、以上に述べた歌唱の技法判定機能１００に加え、技法判定によって判定された技法に基づいた歌唱の評価機能が含まれてもよい。以下に、技法判定装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される評価機能２００について説明する。評価機能２００を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。

図２では、技法判定機能１００とともに、技法判定機能１００によって判定された技法に基づいて歌唱の評価を行う評価機能２００も示している。図２を参照すると、評価機能２００は、技法取得部２０１、ピッチ取得部２０３、音量取得部２０５、基準データ取得部２０７、比較部２０９、及び評価部２１１を含む。

技法取得部２０１は、技法判定機能１００における技法判定部１１１によって判定された歌唱音の技法を示すデータを取得し、比較部２０９に出力する。ピッチ取得部２０３は、技法判定機能１００におけるピッチ検出部１０５によって検出されたピッチを示すデータを時系列に取得し、比較部２０９に出力する。音量取得部２０５は、技法判定機能１００における音量検出部１０７によって検出された歌唱音の音量を示すデータを時系列に取得し、比較部に出力する。基準データ取得部２０７は、記憶部１３に記憶された、対応する歌唱音の評価基準データ１３ｄを読み出して取得し、比較部２０９に出力する。なお、評価基準音データ１３ｄは、評価の基準となる音を示していればよいため、必ずしも歌唱の模範となる音声を示していなくてもよい。

比較部２０９は、取得した歌唱音のピッチを示すデータ、歌唱音の音量を示すデータ、及び歌唱音の技法を示すデータを対応する歌唱音の評価基準データ１３ｄと比較する。比較部２０９は、取得した歌唱音のピッチを示すデータと評価基準データ１３ｄに含まれる基準ピッチデータとを時系列に比較してもよく、取得した歌唱音の音量を示すデータと評価基準データ１３ｄに含まれる基準音量データとを時系列に比較してもよく、取得した歌唱音の技法を示すデータと価基準データ１３ｄに含まれる基準の歌唱技法データとを比較してもよい。例えば、比較部２０９は、抜きやビブラートなどの技法に関し、周波数の標準偏差、周波数の平均値、ピッチの振幅の平均値、ピッチの振幅の標準偏差、及びピッチの振幅の線形近似直線の傾きなどについて、取得した歌唱音の技法と価基準データ１３ｄに含まれる基準の歌唱技法とを比較してもよい。比較部２０９は、比較結果を評価部２１１に出力する。

評価部２１１は、比較部２０９から出力された比較結果に基づいて、歌唱音の評価の指標となる評価値を算出する。評価部２１１は、歌唱者による歌唱音のピッチを示すデータ、歌唱音の音量を示すデータ、及び歌唱音の技法を示すデータと対応する歌唱音の評価基準データ１３ｄとの一致度が高いほど評価値を高く算出し、不一致度が高いほど評価値を低く算出する。また、評価部２１１は、抜きやビブラートなどの難易度の高い技法について、歌唱者による歌唱音と歌唱音の評価基準データ１３ｄとの一致度が高い場合は、加重値を付与してもよい。評価部２１１による評価結果は、表示部１７に表示されてもよい。

（変形例２）
上述した実施形態では、技法判定機能１００において、平坦部検出部１１１は、特徴量検出部１０５によって検出された特徴量（ピッチ及び音量）の時系列の変動に基づいて、特徴量の平坦部を検出している。上述した実施形態１では、平坦検出部１１１は、特徴量の変動が予め決められた閾値又は予め決められた幅以内であるフレームが、予め決められた数以上連続している場合、即ち、予め決められた所定時間以上である場合、平坦部検出部１１１は、検出されたフレームを特徴量の平坦部として検出している。ここで、平坦部として判定される予め決められた所定時間は、歌唱音声データ（入力音）によって決定されてもよい。

図１３は、本発明の第１の実施形態の変形例における技法判定機能１００ａの構成を示すブロック図である。技法判定機能１００ａは、音量検出部１０７によって検出された音量を時系列に示すデータ（音量波形）に基づいて、歌唱音声データ（入力音）のテンポを検出するテンポ推定部１１０を備え、平坦部検出部１１１ａがテンポ推定部１１０により検出された歌唱音声データのテンポに基づいて、特徴量の平坦部を判定するのに必要な所定時間を決定すること以外は、本発明の第１の実施形態の技法判定機能１００と同様である。

テンポ推定部１１０は、音量検出部１０７から歌唱音声データの音量を時系列に示すデータ（音量波形）を取得する。テンポ推定部１１０は、音量の変動（音量の強弱）に基づいて、歌唱音声データ（入力音）のテンポを検出する。テンポ推定部１１０は、検出した歌唱音声データ（入力音）のテンポを平坦部検出部１１１ａに伝達する。平坦部検出部１１１ａは、テンポ推定部１１０により検出された歌唱音声データのテンポに基づいて、特徴量の平坦部として判定するのに必要な所定時間の長さを決定する。

このように、入力された歌唱音に応じて、特徴量の平坦部として判定するのに必要な所定時間の長さを歌唱音に応じて決定することにより、平坦部の検出の精度を向上させることができる。

尚、テンポ推定部１１０は、技法判定機能１００ａが伴奏出力部１０１を有する場合、伴奏出力部１０１から伴奏音の音量を時系列に示すデータ（音量波形）を取得し、伴奏音の音量に基づいて、対応する曲のテンポを検出してもよい。

以上に述べた技法判定機能１００、１００ａにおいて、入力音取得部１０３によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。なお、楽器音である場合には、子音および母音の概念が存在しないが、演奏方法によっては、各音の発音の開始点において歌唱と同様な傾向を有する。したがって、楽器音においても同様の判定ができる場合もある。

本発明の実施形態として説明した構成を基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったもの、又は、工程の追加、省略もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。

また、上述した実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされると解される。

１０…技法判定装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…音入力部、２５…音出力部、１００、１００ａ…技法判定機能、１０１…伴奏出力部、１０３…入力音取得部、１０５…特徴量検出部、１０７…音量検出部、１０９…ピッチ検出部、１１０…テンポ検出部、１１１、１１１ａ…平坦部検出部、１１３…技法判定部、２００…評価機能、２０１…技法取得部、２０３…ピッチ取得部、２０５…音量取得部、２０７…基準データ取得部、２０９…比較部、２１１…評価部

Claims (7)

1. 入力音を取得する入力音取得部と、
   前記入力音取得部によって取得された前記入力音の特徴量を時系列に検出する特徴量検出部と、
   前記特徴量検出部によって取得された前記特徴量に基づいて、特徴量の平坦部を検出する平坦部検出部と、
   前記特徴量の平坦部の前又は後の所定の期間における、前記特徴量の変動に基づいて前記入力音の技法を判定する技法判定部と、
   を備える技法判定装置。
2. 前記平坦部検出部は、
   前記特徴量の時系列の変動が所定の変動以下である期間を検出し、
   前記期間が所定時間以上である場合、前記期間を前記平坦部として検出する、請求項１に記載の技法判定装置。
3. 前記特徴量に基づいて、前記入力音のテンポを推定するテンポ推定部を備え、
   前記所定時間は、前記テンポに応じて決定される、請求項２に記載の技法判定装置。
4. 前記特徴量は、ピッチ又は音量である、請求項１乃至３のいずれか一項に記載の技法判定装置。
5. 前記平坦部検出部によって、複数の平坦部が検出された場合、
   前記所定の期間は、時系列的に互いに隣接する２つの平坦部の間の期間である、請求項１乃至４のいずれか一項に記載の技法判定装置。
6. 入力音を取得し、
   前記入力音の特徴量を時系列に検出し、
   前記特徴量に基づいて、特徴量の平坦部を検出し、
   前記特徴量の平坦部の前又は後の所定の期間における、前記特徴量の変動に基づいて前記入力音の技法を判定すること、
   を含む技法判定方法。
7. コンピュータに
   入力音を取得し、
   前記入力音の特徴量を時系列に検出し、
   前記特徴量に基づいて、特徴量の平坦部を検出し、
   前記特徴量の平坦部の前又は後の所定の期間における、前記特徴量の変動に基づいて前記入力音の技法を判定すること、
   を実行させるためのプログラム。

Images