JP2007171289A - 曲検出装置 - Google Patents
曲検出装置 Download PDFInfo
- Publication number
- JP2007171289A JP2007171289A JP2005365299A JP2005365299A JP2007171289A JP 2007171289 A JP2007171289 A JP 2007171289A JP 2005365299 A JP2005365299 A JP 2005365299A JP 2005365299 A JP2005365299 A JP 2005365299A JP 2007171289 A JP2007171289 A JP 2007171289A
- Authority
- JP
- Japan
- Prior art keywords
- song
- music
- information
- audio signal
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】曲の間に無音部分が存在しない場合であっても曲検出を可能とし、また、曲検出を行った結果に対して曲名付与を可能とし、更にユーザが希望する曲の検出を可能とする曲検出装置を得る。
【解決手段】この発明に係る曲検出装置は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する音響分析手段103と、音響特徴量と音楽モデル104とを入力しオーディオ信号101の音楽尤度を計算して出力する音楽尤度計算手段105と、音楽尤度を入力して閾値比較により曲区間を判定し曲区間情報107を出力する曲区間判定手段106とを有する曲区間検出手段102を備えている。
【選択図】図1
【解決手段】この発明に係る曲検出装置は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する音響分析手段103と、音響特徴量と音楽モデル104とを入力しオーディオ信号101の音楽尤度を計算して出力する音楽尤度計算手段105と、音楽尤度を入力して閾値比較により曲区間を判定し曲区間情報107を出力する曲区間判定手段106とを有する曲区間検出手段102を備えている。
【選択図】図1
Description
この発明は、オーディオ信号を入力して曲を検出する曲検出装置に関するものである。
曲検出装置は、オーディオ信号を入力して、曲の先頭、終了を機械が自動検出するシステムのことを言う。音楽放送のような複数の楽曲が連続した信号を録音する場合に、曲の先頭、終了を検出してインデックスを作成することで楽曲の検索を容易とする等実用性が高い。曲検出装置の従来技術としては、デジタルテープレコーダの曲間検出方式がある(例えば、特許文献1参照)。
特許文献1記載のデジタルテープレコーダの曲間検出方法では、無音判定によって曲間検出する場合に、過去の音声信号の最大値、最小値を記憶しておき、最大値から所定のレベル落ち、或いは最小値から所定のレベル上げに無音検出閾値を設定することが開示されている。
従来の曲検出装置は、以上のように構成されていたので、曲の間に、パワーが無音検出閾値以下の無音部分が存在しない場合には、曲を検出することができないという課題があった。
また、曲検出を行った結果に対して、曲名を自動的に付与することができないという課題があった。
更に、ユーザが希望する曲の検出を行うことができないという課題があった。
また、曲検出を行った結果に対して、曲名を自動的に付与することができないという課題があった。
更に、ユーザが希望する曲の検出を行うことができないという課題があった。
この発明は上記のような課題を解消するためになされたもので、曲の間に無音部分が存在しない場合であっても曲検出を可能とし、また、曲検出を行った結果に対して曲名付与を可能とし、更にユーザが希望する曲の検出を可能とする曲検出装置を得ることを目的とする。
この発明に係る曲検出装置は、オーディオ信号を入力して音響分析を行い音響特徴量を出力する音響分析手段と、音響特徴量と音楽モデルとを入力しオーディオ信号の音楽尤度を計算して出力する音楽尤度計算手段と、音楽尤度を入力して閾値比較により曲区間を判定し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴としたものである。
この発明によれば、オーディオ信号の音楽尤度を計算して、尤度が低い部分を曲間、尤度が高い部分を曲区間として判定するので、曲間のパワーが閾値以下でない場合であっても曲検出が可能となる。
実施の形態1.
以下、この発明の実施の形態1について説明する。図1は、この発明の実施の形態1に係る曲検出装置を示す構成図である。図1において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、音楽尤度計算手段105、音楽尤度による曲区間判定手段106を備えている。また、オーディオ信号101、音楽モデル104、曲区間情報107は、必要に応じてデータベース化される。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い、音響特徴量を出力する。
音楽尤度計算手段105は、音響分析手段103の出力である音響特徴量と、音楽モデル104とを入力して、音楽尤度を計算する。
音楽尤度による曲区間判定手段106は、音楽尤度計算手段105の出力である音楽尤度を入力し、曲区間を判定して曲区間情報107を出力する。
以下、この発明の実施の形態1について説明する。図1は、この発明の実施の形態1に係る曲検出装置を示す構成図である。図1において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、音楽尤度計算手段105、音楽尤度による曲区間判定手段106を備えている。また、オーディオ信号101、音楽モデル104、曲区間情報107は、必要に応じてデータベース化される。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い、音響特徴量を出力する。
音楽尤度計算手段105は、音響分析手段103の出力である音響特徴量と、音楽モデル104とを入力して、音楽尤度を計算する。
音楽尤度による曲区間判定手段106は、音楽尤度計算手段105の出力である音楽尤度を入力し、曲区間を判定して曲区間情報107を出力する。
なお、この実施の形態1では、音響分析手段103、音楽尤度計算手段105、音楽尤度による曲区間判定手段106をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図2は、この発明の実施の形態1に係る曲検出装置の処理内容を示すフローチャートである。
図2において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST101)。
ここで、オーディオ信号101とは、楽曲や音声が含まれた信号であり、例えば放送を受信することで得られる信号に対して48kHzサンプリングで各16ビット量子化した
PCM(Pulse Code Modulation)データである。
また、音響特徴量とは、オーディオ信号の特徴を効率的に表現するものであり、例えば、20ms周期のフレーム毎に分析して得られるケプストラムの時系列である。ケプストラムについては、「音声情報処理」古井貞煕 著、森北出版株式会社(以降、参考文献1とする)の2−2節で説明されている。
図2において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST101)。
ここで、オーディオ信号101とは、楽曲や音声が含まれた信号であり、例えば放送を受信することで得られる信号に対して48kHzサンプリングで各16ビット量子化した
PCM(Pulse Code Modulation)データである。
また、音響特徴量とは、オーディオ信号の特徴を効率的に表現するものであり、例えば、20ms周期のフレーム毎に分析して得られるケプストラムの時系列である。ケプストラムについては、「音声情報処理」古井貞煕 著、森北出版株式会社(以降、参考文献1とする)の2−2節で説明されている。
次に、音楽尤度計算手段105は、音楽モデル104と音響分析手段103の出力である音響特徴量を入力して音楽尤度を計算する(ステップST102)。
ここで、音楽モデル104とは、音楽信号の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。音楽モデル104は例えば、HMM(Hidden Markov Model)を用いて、HMMのパラメータを様々な音楽信号で学習したもので実現できる。なお、HMMの詳細は参考文献1の5−4節に記載されている。
音楽モデル104を用いて、各フレームの音響特徴量に対して尤度を求めることで、音楽尤度の時系列を得る。
ここで、音楽モデル104とは、音楽信号の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。音楽モデル104は例えば、HMM(Hidden Markov Model)を用いて、HMMのパラメータを様々な音楽信号で学習したもので実現できる。なお、HMMの詳細は参考文献1の5−4節に記載されている。
音楽モデル104を用いて、各フレームの音響特徴量に対して尤度を求めることで、音楽尤度の時系列を得る。
次に、音楽尤度による曲区間判定手段106は、音楽尤度計算手段105の出力である音楽尤度の時系列を基に曲区間判定を行い、曲区間情報107を出力する(ステップST103)。
図3は、図1中の音楽尤度による曲区間判定手段106における曲区間判定方法について示したものである。図3の横軸は時刻、縦軸は各時刻のフレームに対する音楽尤度である。
図3において、音楽尤度Lが、予め定めた音楽尤度の閾値Lthよりも低い状態の区間であって、同区間の継続時間長Tが、予め定めた時間長の閾値Tthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で、曲間検出をオーディオ信号101全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
図3は、図1中の音楽尤度による曲区間判定手段106における曲区間判定方法について示したものである。図3の横軸は時刻、縦軸は各時刻のフレームに対する音楽尤度である。
図3において、音楽尤度Lが、予め定めた音楽尤度の閾値Lthよりも低い状態の区間であって、同区間の継続時間長Tが、予め定めた時間長の閾値Tthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で、曲間検出をオーディオ信号101全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
図4は、図1中の曲区間情報107のフォーマットを示したものである。曲区間情報107は、図4に示すように、曲の開始時刻及び終了時刻で表し、データベースに格納される。
図4では、曲開始時刻は、曲区間前の曲間の終了時刻と同一であるが、曲開始時刻を一定時間、前にずらしてもよい。同様に、曲終了時間を曲間開始時刻から一定時間、後ろにずらしてもよい。また、曲区間前後の曲間の中間時刻を、それぞれ曲開始時刻や曲終了時刻としてもよい。
なお、曲間として検出された区間を無音にしてしまうことで、同区間から雑音等を取り除いたオーディオ信号101を生成することも可能である。
図4では、曲開始時刻は、曲区間前の曲間の終了時刻と同一であるが、曲開始時刻を一定時間、前にずらしてもよい。同様に、曲終了時間を曲間開始時刻から一定時間、後ろにずらしてもよい。また、曲区間前後の曲間の中間時刻を、それぞれ曲開始時刻や曲終了時刻としてもよい。
なお、曲間として検出された区間を無音にしてしまうことで、同区間から雑音等を取り除いたオーディオ信号101を生成することも可能である。
この実施の形態1によれば、音響分析手段103、音楽尤度計算手段105、音楽尤度による曲区間判定手段106は、オーディオ信号101の音楽尤度を計算して、尤度が低い部分を曲間、尤度が高い部分を曲区間として判定するので、曲間のパワーが無音検出閾値以下でない場合であっても、曲検出が可能となる。
実施の形態2.
以下、この発明の実施の形態2について説明する。図5は、この発明の実施の形態2に係る曲検出装置を示す構成図である。図5において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、無音楽尤度計算手段202、無音楽尤度による曲区間判定手段203を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
無音楽尤度計算手段202は、音響分析手段103の出力である音響特徴量と、無音楽モデル201を入力し、無音楽尤度を計算する。
無音楽尤度による曲区間判定手段203は、無音楽尤度計算手段202の出力である無音楽尤度を入力して曲区間を判定し、曲区間情報107を出力する。
以下、この発明の実施の形態2について説明する。図5は、この発明の実施の形態2に係る曲検出装置を示す構成図である。図5において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、無音楽尤度計算手段202、無音楽尤度による曲区間判定手段203を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
無音楽尤度計算手段202は、音響分析手段103の出力である音響特徴量と、無音楽モデル201を入力し、無音楽尤度を計算する。
無音楽尤度による曲区間判定手段203は、無音楽尤度計算手段202の出力である無音楽尤度を入力して曲区間を判定し、曲区間情報107を出力する。
なお、この実施の形態2では、音響分析手段103、無音楽尤度計算手段202、無音楽尤度による曲区間判定手段203をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図6は、この発明の実施の形態2に係る曲検出装置の処理内容を示すフローチャートである。
図6において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST201)。
図6において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST201)。
次に、無音楽尤度計算手段202は、無音楽モデル201と音響分析手段103の出力である音響特徴量を入力して無音楽尤度を計算する(ステップST202)。
ここで、無音楽モデル201とは、音楽以外の信号の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。無音楽モデル201は例えば、HMMを用いて、HMMのパラメータを大量の音楽以外の音で学習したもので実現できる。
無音楽モデル201を用いて、各フレームの音響特徴量に対して尤度を求めることで、無音楽尤度の時系列を得る。
ここで、無音楽モデル201とは、音楽以外の信号の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。無音楽モデル201は例えば、HMMを用いて、HMMのパラメータを大量の音楽以外の音で学習したもので実現できる。
無音楽モデル201を用いて、各フレームの音響特徴量に対して尤度を求めることで、無音楽尤度の時系列を得る。
次に、無音楽尤度による曲区間判定手段203は、無音楽尤度計算手段202の出力である無音楽尤度の時系列を基に曲区間判定を行い、曲区間情報107を出力する(ステップST203)。
図7は、図5中の無音楽尤度による曲区間判定手段203における曲区間判定方法について示した図である。図7の横軸は時刻、縦軸は各時刻のフレームに対する無音楽尤度である。
図7において、無音楽尤度LNが、予め定めた無音楽尤度の閾値LNthよりも高い状態であって、同区間の継続時間長Tが、予め定めた時間長の閾値TNthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で曲間検出をオーディオ信号101全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
図7は、図5中の無音楽尤度による曲区間判定手段203における曲区間判定方法について示した図である。図7の横軸は時刻、縦軸は各時刻のフレームに対する無音楽尤度である。
図7において、無音楽尤度LNが、予め定めた無音楽尤度の閾値LNthよりも高い状態であって、同区間の継続時間長Tが、予め定めた時間長の閾値TNthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で曲間検出をオーディオ信号101全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
この実施の形態2によれば、音響分析手段103、無音楽尤度計算手段202、無音楽尤度による曲区間判定手段203は、オーディオ信号101の無音楽尤度を計算して、尤度が高い部分を曲間、尤度が低い部分を曲区間として判定するので、曲間のパワーが無音検出閾値以下でない場合であっても、曲検出が可能となる。
実施の形態3.
以下、この発明の実施の形態3について説明する。図8は、この発明の実施の形態3に係る曲検出装置を示す構成図である。図8において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、音声尤度計算手段302、音声尤度による曲区間判定手段303を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
音声尤度計算手段302は、音響分析手段103の出力である音響特徴量と、音声モデル301を入力し、音声尤度を計算する。
音声尤度による曲区間判定手段303は、音声尤度計算手段302の出力である音声尤度を入力して曲区間を判定し、曲区間情報107を出力する。
以下、この発明の実施の形態3について説明する。図8は、この発明の実施の形態3に係る曲検出装置を示す構成図である。図8において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、音声尤度計算手段302、音声尤度による曲区間判定手段303を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
音声尤度計算手段302は、音響分析手段103の出力である音響特徴量と、音声モデル301を入力し、音声尤度を計算する。
音声尤度による曲区間判定手段303は、音声尤度計算手段302の出力である音声尤度を入力して曲区間を判定し、曲区間情報107を出力する。
なお、この実施の形態3では、音響分析手段103、音声尤度計算手段302、音声尤度による曲区間判定手段303をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図9は、この発明の実施の形態3に係る曲検出装置の処理内容を示すフローチャートである。
図9において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST301)。
図9において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST301)。
次に、音声尤度計算手段302は、音声モデル301と音響分析手段103の出力である音響特徴量を入力して、音声尤度を計算する(ステップST302)。
ここで、音声モデル301とは、人間の音声信号の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。音声モデル301は例えば、HMMを用いて、HMMのパラメータを多数の人間が発声した単語や文の音声で学習したもので実現できる。
音声モデル301を用いて、各フレームの音響特徴量に対して尤度を求めることで、音声尤度の時系列を得る。
ここで、音声モデル301とは、人間の音声信号の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。音声モデル301は例えば、HMMを用いて、HMMのパラメータを多数の人間が発声した単語や文の音声で学習したもので実現できる。
音声モデル301を用いて、各フレームの音響特徴量に対して尤度を求めることで、音声尤度の時系列を得る。
次に、音声尤度による曲区間判定手段303は、音声尤度計算手段302の出力である音声尤度の時系列を基に曲区間判定を行い、曲区間情報107を出力する(ステップST303)。
図10は、図8中の音声尤度による曲区間判定手段303における曲区間判定方法について示した図である。図10の横軸は時刻、縦軸は各時刻のフレームに対する音声尤度である。
図10において、音声尤度LSが、予め定めた音声尤度の閾値LSthよりも高い状態の区間であって、同区間の継続時間長Tが、予め定めた時間長の閾値TSthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で曲間検出をオーディオ信号101の全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
図10は、図8中の音声尤度による曲区間判定手段303における曲区間判定方法について示した図である。図10の横軸は時刻、縦軸は各時刻のフレームに対する音声尤度である。
図10において、音声尤度LSが、予め定めた音声尤度の閾値LSthよりも高い状態の区間であって、同区間の継続時間長Tが、予め定めた時間長の閾値TSthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で曲間検出をオーディオ信号101の全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
この実施の形態3によれば、音響分析手段103、音声尤度計算手段302、音声尤度による曲区間判定手段303は、オーディオ信号101の音声尤度を計算して、尤度が高い部分を曲間、尤度が低い部分を曲区間として判定するので、曲間に曲紹介等の人の音声が入っている場合であっても、曲検出が可能となる。
実施の形態4.
以下、この発明の実施の形態4について説明する。図11は、この発明の実施の形態4に係る曲検出装置を示す構成図である。図11において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、曲間定型音尤度計算手段402、曲間定型音尤度による曲区間判定手段403を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
曲間定型音尤度計算手段402は、音響分析手段103の出力である音響特徴量と、曲間定型音モデル401を入力し、曲間定型音尤度を計算する。
曲間定型音尤度による曲区間判定手段403は、曲間定型音尤度計算手段402の出力である定型音尤度を入力して曲区間を判定し、曲区間情報107を出力する。
以下、この発明の実施の形態4について説明する。図11は、この発明の実施の形態4に係る曲検出装置を示す構成図である。図11において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、曲間定型音尤度計算手段402、曲間定型音尤度による曲区間判定手段403を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
曲間定型音尤度計算手段402は、音響分析手段103の出力である音響特徴量と、曲間定型音モデル401を入力し、曲間定型音尤度を計算する。
曲間定型音尤度による曲区間判定手段403は、曲間定型音尤度計算手段402の出力である定型音尤度を入力して曲区間を判定し、曲区間情報107を出力する。
なお、この実施の形態4では、音響分析手段103、曲間定型音尤度計算手段402、曲間定型音尤度による曲区間判定手段403をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図12は、この発明の実施の形態4に係る曲検出装置の処理内容を示すフローチャートである。
図12において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST401)。
図12において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST401)。
次に、曲間定型音尤度計算手段402は、曲間定型音モデル401と音響分析手段103の出力である音響特徴量を入力して、曲間定型音尤度を計算する(ステップST402)。
ここで、曲間定型音モデル401とは、曲間に挿入される定型音の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。曲間定型音モデル401は例えば、HMMを用いて、HMMのパラメータを曲間に挿入される定型音で学習したもので実現できる。
また、曲間定型音とは、音楽放送等で曲の間に挿入される決まった音である。曲間定型音としては例えば、1秒間の1kHzのトーン信号である。
定型音の登録は、ユーザが既に保存されているオーディオ信号中で、区間を指定して登録する。また、オーディオ信号曲中に繰り返し出現する音を自動検出して定型音として登録してもよい。
曲間定型音モデル401を用いて、各フレームの音響特徴量に対して尤度を求めることで、曲間定型音尤度の時系列を得る。
ここで、曲間定型音モデル401とは、曲間に挿入される定型音の音響特徴量に対して尤度計算を行うと高い尤度を示すものである。曲間定型音モデル401は例えば、HMMを用いて、HMMのパラメータを曲間に挿入される定型音で学習したもので実現できる。
また、曲間定型音とは、音楽放送等で曲の間に挿入される決まった音である。曲間定型音としては例えば、1秒間の1kHzのトーン信号である。
定型音の登録は、ユーザが既に保存されているオーディオ信号中で、区間を指定して登録する。また、オーディオ信号曲中に繰り返し出現する音を自動検出して定型音として登録してもよい。
曲間定型音モデル401を用いて、各フレームの音響特徴量に対して尤度を求めることで、曲間定型音尤度の時系列を得る。
次に、曲間定型音尤度による曲区間判定手段403は、曲間定型音尤度計算手段402の出力である曲間定型音尤度の時系列を基に曲区間判定を行い、曲区間情報107を出力する(ステップST403)。
図13は、図11中の曲間定型音尤度による曲区間判定手段403における曲区間判定方法について示した図である。図13の横軸は時刻、縦軸は各時刻のフレームに対する曲間定型音尤度である。
図13において、曲間定型音尤度LCが、予め定めた曲間定型音尤度の閾値LCthよりも高い状態の区間であって、同区間の継続時間長Tが、予め定めた時間長の閾値TCthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で曲間検出をオーディオ信号101全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
図13は、図11中の曲間定型音尤度による曲区間判定手段403における曲区間判定方法について示した図である。図13の横軸は時刻、縦軸は各時刻のフレームに対する曲間定型音尤度である。
図13において、曲間定型音尤度LCが、予め定めた曲間定型音尤度の閾値LCthよりも高い状態の区間であって、同区間の継続時間長Tが、予め定めた時間長の閾値TCthよりも長い場合には、同区間を曲間であると判定する。
同様の方法で曲間検出をオーディオ信号101全てについて行い、曲間と曲間との間の区間を曲区間と判定する。
この実施の形態4によれば、音響分析手段103、曲間定型音尤度計算手段402、曲間定型音尤度による曲区間判定手段403は、オーディオ信号101の曲間定型音尤度を計算して、尤度が高い部分を曲間、尤度が低い部分を曲区間として判定するので、曲間に定型音が入っている場合であっても、曲検出が可能となる。
実施の形態5.
以下、この発明の実施の形態5について説明する。図14は、この発明の実施の形態5に係る曲検出装置を示す構成図である。
図14において、本曲検出装置の要部である曲区間検出手段102は、曲情報切り替わり判定手段502、曲切り替わり情報による曲区間判定手段503を備えている。
曲情報切り替わり判定手段502は、曲情報501を入力して曲切り替わり情報を出力する。
曲切り替わり情報による曲区間判定手段503は、曲情報切り替わり判定手段502の出力である曲切り替わり情報を入力して曲区間情報107を出力する。
以下、この発明の実施の形態5について説明する。図14は、この発明の実施の形態5に係る曲検出装置を示す構成図である。
図14において、本曲検出装置の要部である曲区間検出手段102は、曲情報切り替わり判定手段502、曲切り替わり情報による曲区間判定手段503を備えている。
曲情報切り替わり判定手段502は、曲情報501を入力して曲切り替わり情報を出力する。
曲切り替わり情報による曲区間判定手段503は、曲情報切り替わり判定手段502の出力である曲切り替わり情報を入力して曲区間情報107を出力する。
なお、この実施の形態5では、曲情報切り替わり判定手段502、曲切り替わり情報による曲区間判定手段503をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図15は、この発明の実施の形態5に係る曲検出装置の処理内容を示すフローチャートである。また、図16は、図14中の曲情報501の内容について示した図である。更に、図17は、図14中の曲切り替わり判定手段502と、曲切り替わり情報による曲区間判定手段503の動作について示した図である。
図15において、先ず、曲情報切り替わり判定手段502は、曲情報501を入力して曲情報の切り替わりを判定して曲切り替わり情報を出力する(ステップST501)。
ここで曲情報とは、オーディオ信号101(実施の形態1を参照)の付帯情報であり、曲情報の内容としては、例えば、図16に示すようなアーティスト名(作曲者、作詞者、歌手、演奏者等を含む)、曲名、時間、ジャンルである。また、曲情報501は、オーディオ信号101に対して数秒間隔毎に付与されているものである(図17を参照)。
曲情報切り替わり判定手段502における曲情報切り替わり判定は、数秒間隔で付与されている曲情報がその直前の曲情報と異なった時刻(曲情報が切り替わった時刻)を、曲切り替わり時刻として判定する。図17の例では、P1,P2,P3が、曲情報が切り替わった時刻、即ち、曲切り替わり時刻である。曲情報切り替わり判定手段502が出力する曲切り替わり情報は、曲切り替わり時刻と、曲切り替わり時刻にオーディオ信号に付与された曲情報と、その直前の曲情報とを含んでいる。
ここで曲情報とは、オーディオ信号101(実施の形態1を参照)の付帯情報であり、曲情報の内容としては、例えば、図16に示すようなアーティスト名(作曲者、作詞者、歌手、演奏者等を含む)、曲名、時間、ジャンルである。また、曲情報501は、オーディオ信号101に対して数秒間隔毎に付与されているものである(図17を参照)。
曲情報切り替わり判定手段502における曲情報切り替わり判定は、数秒間隔で付与されている曲情報がその直前の曲情報と異なった時刻(曲情報が切り替わった時刻)を、曲切り替わり時刻として判定する。図17の例では、P1,P2,P3が、曲情報が切り替わった時刻、即ち、曲切り替わり時刻である。曲情報切り替わり判定手段502が出力する曲切り替わり情報は、曲切り替わり時刻と、曲切り替わり時刻にオーディオ信号に付与された曲情報と、その直前の曲情報とを含んでいる。
次に、曲切り替わり情報による曲区間判定手段503は、曲情報切り替わり判定手段502の出力である曲切り替わり情報を入力して、曲区間情報107を出力する(ステップST502)。
図17の例で、曲切り替わり時刻P1における曲切り替わり情報を曲切り替わり情報P1とすると、曲切り替わり情報P1は、曲切り替わり時刻P1(00:13:05)と、現在の曲情報M2と、その直前の曲情報M1とを含んでいる。曲切り替わり情報P1において、現在の曲情報M2及びその直前の曲情報M1の両方にアーティスト名、曲名等の情報が入っているので、曲切り替わり情報による曲区間判定手段503は、曲切り替わり時刻P1を直前の曲(図17では曲A)の終了時刻及び現在曲(図17では曲B)の開始時刻と判定する。
また、図17の曲切り替わり時刻P2における曲切り替わり情報P2は、曲切り替わり時刻P2(00:18:30)と、現在の曲情報M3と、その直前の曲情報M2とを含んでいる。曲切り替わり情報P2において、直前の曲情報M2には情報が入っており、現在の曲情報M3には情報が入っていない場合は、曲切り替わり情報による曲区間判定手段503は、曲切り替わり時刻P2を直前の曲(図17では曲B)の終了時刻と判定する。
更に、図17の曲切り替わり時刻P3における曲切り替わり情報P3は、曲切り替わり時刻(00:19:20)と、現在の曲情報M4と、その直前の曲情報M3とを含んでいる。曲切り替わり情報P3において、直前の曲情報M3に情報が入ってなく、現在の曲情報M4には情報が入っている場合には、曲切り替わり情報による曲区間判定手段503は、曲切り替わり時刻P3を現在の曲(図17では曲C)の開始時刻と判定する。
図17の例で、曲切り替わり時刻P1における曲切り替わり情報を曲切り替わり情報P1とすると、曲切り替わり情報P1は、曲切り替わり時刻P1(00:13:05)と、現在の曲情報M2と、その直前の曲情報M1とを含んでいる。曲切り替わり情報P1において、現在の曲情報M2及びその直前の曲情報M1の両方にアーティスト名、曲名等の情報が入っているので、曲切り替わり情報による曲区間判定手段503は、曲切り替わり時刻P1を直前の曲(図17では曲A)の終了時刻及び現在曲(図17では曲B)の開始時刻と判定する。
また、図17の曲切り替わり時刻P2における曲切り替わり情報P2は、曲切り替わり時刻P2(00:18:30)と、現在の曲情報M3と、その直前の曲情報M2とを含んでいる。曲切り替わり情報P2において、直前の曲情報M2には情報が入っており、現在の曲情報M3には情報が入っていない場合は、曲切り替わり情報による曲区間判定手段503は、曲切り替わり時刻P2を直前の曲(図17では曲B)の終了時刻と判定する。
更に、図17の曲切り替わり時刻P3における曲切り替わり情報P3は、曲切り替わり時刻(00:19:20)と、現在の曲情報M4と、その直前の曲情報M3とを含んでいる。曲切り替わり情報P3において、直前の曲情報M3に情報が入ってなく、現在の曲情報M4には情報が入っている場合には、曲切り替わり情報による曲区間判定手段503は、曲切り替わり時刻P3を現在の曲(図17では曲C)の開始時刻と判定する。
図18は、図14中の曲区間情報107の内容を示した図である。上記のように、曲切り替わり情報による曲区間判定手段503は、それぞれの曲について、曲開始時刻及び曲終了時刻を判定する。曲開始時刻〜曲終了時刻までがその曲の曲区間である。そして、曲区間情報107として、各曲に関して、アーティスト名、曲名が付与された曲開始、曲終了時刻のリストを出力する(図18を参照)。
この実施の形態5によれば、曲情報切り替わり判定手段502、曲切り替わり情報による曲区間判定手段503は、オーディオ信号101の付帯情報である曲情報501の切り替わりを基に曲区間を判定するので、曲間に一定パワー以下の無音部分がない場合であっても曲検出が可能であり、更に曲区間に対応する曲名を付与することが可能になる。
実施の形態6.
以下、この発明の実施の形態6について説明する。図19は、この発明の実施の形態6に係る曲検出装置を示す構成図である。図19において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、音楽尤度計算手段105、曲情報切り替わり判定手段502、音楽尤度と曲切り替わり情報による曲区間判定手段601を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
音楽尤度計算手段105は、音響分析手段103の出力である音響特徴量と音楽モデル104を入力し、音楽尤度を計算する。
曲情報切り替わり判定手段502は、曲情報501を入力して曲切り替わり情報を出力する。
音楽尤度と曲切り替わり情報による曲区間判定手段601は、音楽尤度計算手段105の出力である音楽尤度と、曲情報切り替わり判定手段502の出力である曲切り替わり情報を入力して曲区間情報107を出力する。
以下、この発明の実施の形態6について説明する。図19は、この発明の実施の形態6に係る曲検出装置を示す構成図である。図19において、本曲検出装置の要部である曲区間検出手段102は、音響分析手段103、音楽尤度計算手段105、曲情報切り替わり判定手段502、音楽尤度と曲切り替わり情報による曲区間判定手段601を備えている。
音響分析手段103は、オーディオ信号101を入力して音響分析を行い音響特徴量を出力する。
音楽尤度計算手段105は、音響分析手段103の出力である音響特徴量と音楽モデル104を入力し、音楽尤度を計算する。
曲情報切り替わり判定手段502は、曲情報501を入力して曲切り替わり情報を出力する。
音楽尤度と曲切り替わり情報による曲区間判定手段601は、音楽尤度計算手段105の出力である音楽尤度と、曲情報切り替わり判定手段502の出力である曲切り替わり情報を入力して曲区間情報107を出力する。
なお、この実施の形態6では、音響分析手段103、音楽尤度計算手段105、曲情報切り替わり判定手段502、音楽尤度と曲切り替わり情報による曲区間判定手段601をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図20は、この発明の実施の形態6に係る曲検出装置の処理内容を示すフローチャートである。
図20において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST601)。
図20において、先ず、音響分析手段103では、オーディオ信号101を入力して音響特徴量を出力する(ステップST601)。
次に、音楽尤度計算手段105は、音楽モデル104と音響分析手段103の出力である音響特徴量を入力して音楽尤度を計算する(ステップST602)。
次に、曲情報切り替わり判定手段502は、曲情報501を入力して曲情報の切り替わりを判定し、曲切り替わり情報を出力する(ステップST603)。
なお、ステップST602とステップST603とを逐次処理とするのではなく、ステップST601,602とステップST603とを並行処理としてもよい。
なお、ステップST602とステップST603とを逐次処理とするのではなく、ステップST601,602とステップST603とを並行処理としてもよい。
次に、音楽尤度と曲情報切り替わりによる曲区間判定手段601は、音楽尤度計算手段105の出力である音楽尤度と、曲情報切り替わり判定手段502の出力である曲切り替わり情報とを入力して、曲区間情報107を出力する(ステップST604)。
図21は、図19中の音楽尤度と曲情報切り替わりによる曲区間判定手段601の動作例について示した図である。図21において、曲情報切り替わり時刻P1は、曲情報切り替わり判定手段502によって、曲切り替わり時刻(曲開始時刻)であると判定されている。しかしながら、曲情報は数秒間隔で得られるとすれば、曲情報切り替わり時刻P1は、正確な曲の開始時刻を示していない場合もある。
そこで、音楽尤度と曲切り替わり情報による曲区間判定手段601は、曲情報切り替わり時刻P1の前後区間(例えば前後5秒)を曲間検出対象区間として、音楽尤度の時系列を基に曲切り替わり時刻を補正する。例えば、曲情報切り替わり時刻P1の前後5秒の区間において、音楽尤度Lが、予め定めた音楽尤度の閾値Lthよりも低い状態の区間を曲間とし、高い状態の区間を曲区間として補正する。
図21では、正確な曲の開始時刻(音楽尤度による曲開始時刻)から曲切り替わり時刻(曲情報切り替わり時刻P1)までの区間を、音楽尤度を利用した曲開始判定によって、曲区間として補正している。
そこで、音楽尤度と曲切り替わり情報による曲区間判定手段601は、曲情報切り替わり時刻P1の前後区間(例えば前後5秒)を曲間検出対象区間として、音楽尤度の時系列を基に曲切り替わり時刻を補正する。例えば、曲情報切り替わり時刻P1の前後5秒の区間において、音楽尤度Lが、予め定めた音楽尤度の閾値Lthよりも低い状態の区間を曲間とし、高い状態の区間を曲区間として補正する。
図21では、正確な曲の開始時刻(音楽尤度による曲開始時刻)から曲切り替わり時刻(曲情報切り替わり時刻P1)までの区間を、音楽尤度を利用した曲開始判定によって、曲区間として補正している。
この実施の形態6によれば、音響分析手段103、音楽尤度計算手段105、曲情報切り替わり判定手段502、音楽尤度と曲情報切り替わりによる曲区間判定手段601は、音楽尤度と曲切り替わり情報とを利用して曲区間を判定するので、曲情報の切り替わり時刻が正確な曲切り替わり時刻(曲開始時刻、曲終了時刻)と一致していない場合であっても、適正な曲検出が可能となる。
実施の形態7.
以下、この発明の実施の形態7について説明する。図22は、この発明の実施の形態7に係る曲検出装置を示す構成図である。図22において本曲検出装置の要部である曲区間検出手段102は、オーディオ信号パワー計算手段701と、曲情報切り替わり判定手段502、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702を備えている。
オーディオ信号パワー計算手段701は、オーディオ信号101を入力してオーディオ信号のパワーを計算し、オーディオ信号パワーを出力する。
曲情報切り替わり判定手段502は、曲情報501を入力して、曲切り替わり情報を出力する。
オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702は、オーディオ信号パワー計算手段701の出力であるオーディオ信号パワーと、曲情報切り替わり判定手段502の出力である曲切り替わり情報とを入力して、曲区間情報107を出力する。
以下、この発明の実施の形態7について説明する。図22は、この発明の実施の形態7に係る曲検出装置を示す構成図である。図22において本曲検出装置の要部である曲区間検出手段102は、オーディオ信号パワー計算手段701と、曲情報切り替わり判定手段502、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702を備えている。
オーディオ信号パワー計算手段701は、オーディオ信号101を入力してオーディオ信号のパワーを計算し、オーディオ信号パワーを出力する。
曲情報切り替わり判定手段502は、曲情報501を入力して、曲切り替わり情報を出力する。
オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702は、オーディオ信号パワー計算手段701の出力であるオーディオ信号パワーと、曲情報切り替わり判定手段502の出力である曲切り替わり情報とを入力して、曲区間情報107を出力する。
なお、この実施の形態7では、オーディオ信号パワー計算手段701、曲情報切り替わり判定手段502、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図23は、この発明の実施の形態7に係る曲検出装置の処理内容を示すフローチャートである。
図23において、先ず、オーディオ信号パワー計算手段701では、オーディオ信号101を入力してオーディオ信号パワーを出力する(ステップST701)。
ここでオーディオ信号パワーPとは、信号の大きさを示す指標であり、数式1で計算する。
数式1で、s(t)は時刻tのオーディオ信号の値であり、Mはオーディオ信号パワーを求めるための1フレーム内のサンプル数である。またlogは対数である。
オーディオ信号パワーは、オーディオ信号に対して、例えば、フレーム長を25msとして20ms周期で計算した時系列とする。
図23において、先ず、オーディオ信号パワー計算手段701では、オーディオ信号101を入力してオーディオ信号パワーを出力する(ステップST701)。
ここでオーディオ信号パワーPとは、信号の大きさを示す指標であり、数式1で計算する。
オーディオ信号パワーは、オーディオ信号に対して、例えば、フレーム長を25msとして20ms周期で計算した時系列とする。
次に、曲情報切り替わり判定手段502は、曲情報501を入力して曲情報の切り替わりを判定し、曲切り替わり情報を出力する(ステップST702)。
なお、ステップST701とステップST702とを逐次処理とするのではなく、並行処理としてもよい。
なお、ステップST701とステップST702とを逐次処理とするのではなく、並行処理としてもよい。
次に、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702は、オーディオ信号パワー計算手段701の出力であるオーディオ信号パワーと、曲情報切り替わり判定手段502の出力である曲切り替わり情報とを入力して、曲区間情報107を出力する(ステップST703)。
図24は、図22中のオーディオ信号パワーと曲切り替わり情報による曲区間判定手段702の動作例について示した図である。図24において、曲情報切り替わり時刻P1は、曲情報切り替わり判定手段502によって、曲切り替わり時刻(曲開始時刻)であると判定されている。しかしながら、曲情報は数秒間隔で得られるとすれば、時刻P1は正確な曲の開始を示していない場合もある。
そこで、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702は、曲情報切り替わり時刻P1の前後区間(例えば前後5秒)を曲間検出対象区間として、オーディオ信号パワーの時系列を基に曲切り替わり時刻を補正する。例えば、曲情報切り替わり時刻P1の前後5秒の区間において、オーディオ信号パワーPが、予め定めたオーディオ信号パワーの閾値Pthよりも低い状態の区間を曲間とし、高い状態の区間を曲区間として補正する。
図24では、正確な曲の開始時刻(オーディオ信号パワーによる曲開始時刻)から曲切り替わり時刻(曲情報切り替わり時刻P1)までの区間を、オーディオ信号パワーを利用した曲開始判定によって、曲区間として補正している。
そこで、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702は、曲情報切り替わり時刻P1の前後区間(例えば前後5秒)を曲間検出対象区間として、オーディオ信号パワーの時系列を基に曲切り替わり時刻を補正する。例えば、曲情報切り替わり時刻P1の前後5秒の区間において、オーディオ信号パワーPが、予め定めたオーディオ信号パワーの閾値Pthよりも低い状態の区間を曲間とし、高い状態の区間を曲区間として補正する。
図24では、正確な曲の開始時刻(オーディオ信号パワーによる曲開始時刻)から曲切り替わり時刻(曲情報切り替わり時刻P1)までの区間を、オーディオ信号パワーを利用した曲開始判定によって、曲区間として補正している。
この実施の形態7によれば、オーディオ信号パワー計算手段701、曲情報切り替わり判定手段502、オーディオ信号パワーと曲切り替わり情報による曲区間判定手段702は、オーディオ信号パワーと曲切り替わり情報とを利用して曲区間を判定するので、曲情報の切り替わり時刻が正確な曲切り替わり時刻(曲開始時刻、曲終了時刻)と一致していない場合であっても、適正な曲検出が可能となる。
実施の形態8.
以下、この発明の実施の形態8について説明する。図25は、この発明の実施の形態8係る曲検出装置を示す構成図である。図25において、本曲検出装置は、曲区間検出手段102、曲調検出手段801、曲調連続性による曲区間判定手段を備えている。
曲区間検出手段102は、オーディオ信号101を入力して、曲区間候補を出力する。
曲調検出手段801は、オーディオ信号101と、曲区間検出手段102の出力である曲区間候補を入力して、各曲区間に対する曲調を検出する。
曲調連続性による曲区間判定手段802は、曲調検出手段801の出力である各曲区間に対する曲調を入力して、曲調の連続性によって曲区間の判定を行い、曲区間情報107を出力する。
以下、この発明の実施の形態8について説明する。図25は、この発明の実施の形態8係る曲検出装置を示す構成図である。図25において、本曲検出装置は、曲区間検出手段102、曲調検出手段801、曲調連続性による曲区間判定手段を備えている。
曲区間検出手段102は、オーディオ信号101を入力して、曲区間候補を出力する。
曲調検出手段801は、オーディオ信号101と、曲区間検出手段102の出力である曲区間候補を入力して、各曲区間に対する曲調を検出する。
曲調連続性による曲区間判定手段802は、曲調検出手段801の出力である各曲区間に対する曲調を入力して、曲調の連続性によって曲区間の判定を行い、曲区間情報107を出力する。
なお、この実施の形態8では、曲区間検出手段102、曲調検出手段801、曲調連続性による曲区間判定手段802をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図26は、この発明の実施の形態8に係る曲検出装置の処理内容を示すフローチャートである。
図26において、先ず、曲区間検出手段102では、オーディオ信号101を入力して曲区間候補を出力する(ステップST801)。
なお、曲区間検出手段102は、実施の形態1〜7のうちのいずれかを適用して、その出力(曲区間情報107)を曲区間候補としてもよい。
図26において、先ず、曲区間検出手段102では、オーディオ信号101を入力して曲区間候補を出力する(ステップST801)。
なお、曲区間検出手段102は、実施の形態1〜7のうちのいずれかを適用して、その出力(曲区間情報107)を曲区間候補としてもよい。
次に、曲調検出手段801では、オーディオ信号101と曲区間検出手段102の出力である曲区間候補を入力して、各曲区間候補の曲単位について曲調検出を行う(ステップST802)。
ここで曲調とは、曲の主観性を値として表すものであり、例えば曲の明るさやリズムである。曲調検出については例えば、「特開平10−11463号公報」(以下、参考文献2)に記載されている方法を用いる。
ここで曲調とは、曲の主観性を値として表すものであり、例えば曲の明るさやリズムである。曲調検出については例えば、「特開平10−11463号公報」(以下、参考文献2)に記載されている方法を用いる。
次に、曲調連続性による曲区間判定手段802では、曲調検出手段801の出力である各曲区間に対する曲調を入力して曲区間を判定し、曲区間情報107を出力する(ステップST803)。
以下に、曲調連続性による曲区間判定手段802の動作について、曲調としてその曲区間候補の明るさを抽出する場合について説明するが、参考文献2等に示す、その他の値を曲調として用いてもよい。
以下に、曲調連続性による曲区間判定手段802の動作について、曲調としてその曲区間候補の明るさを抽出する場合について説明するが、参考文献2等に示す、その他の値を曲調として用いてもよい。
各曲区間候補の曲調として、それぞれの明るさを、例えば1〜100の100段階で抽出する。
N番目の曲区間候補の明るさ値と、N+1番目の曲区間候補の明るさ値との差が、予め定めた明るさ値の差の閾値(曲調の差の閾値)以下であるならば、両曲区間候補は同じ曲を構成する可能性が高い。
このとき、曲調連続性による曲区間判定手段802は、N番目の曲区間候補とN+1番目の曲区間候補とを、1つの連続した曲区間(N番目の曲区間)として判定する(曲調連続性の判定)。従って、N番目の曲区間候補の曲開始時刻がN番目の曲区間の曲開始時刻となり、N+1番目の曲の曲終了時刻がN番目の曲区間の曲終了時刻となる。
N番目の曲区間候補の明るさ値と、N+1番目の曲区間候補の明るさ値との差が、予め定めた明るさ値の差の閾値(曲調の差の閾値)以下であるならば、両曲区間候補は同じ曲を構成する可能性が高い。
このとき、曲調連続性による曲区間判定手段802は、N番目の曲区間候補とN+1番目の曲区間候補とを、1つの連続した曲区間(N番目の曲区間)として判定する(曲調連続性の判定)。従って、N番目の曲区間候補の曲開始時刻がN番目の曲区間の曲開始時刻となり、N+1番目の曲の曲終了時刻がN番目の曲区間の曲終了時刻となる。
この実施の形態8によれば、曲区間検出手段102、曲調検出手段801、曲調連続性による曲区間判定手段802は、曲調の連続性によって曲区間を判定するので、1つの曲区間内で長い無音部分が存在するような場合でも、その無音部分の前後の曲区間がそれぞれ異なる曲区間と判定されることがなく、より適正な曲検出が可能となる。
実施の形態9.
以下、この発明の実施の形態9について説明する。図27は、この発明の実施の形態9に係る曲検出装置を示す構成図である。図27において、本曲検出装置は、オーディオ信号一時保存手段902、現在曲開始検出手段904、現在曲終了検出手段905、現在曲保存手段906、オーディオ信号再生手段908を備えている。
オーディオ信号一時保存手段902は、オーディオ信号101と現在曲保存要求903を入力し、一時保存オーディオ信号901を出力する。
現在曲開始検出手段904は、現在曲保存要求903と、一時保存オーディオ信号901を入力して、現在曲の開始時刻を検出する。
現在曲終了検出手段905は、オーディオ信号101と、現在曲保存要求903を入力して、現在曲の終了時刻を検出する。
現在曲保存手段906は、現在曲開始検出手段904の出力である現在曲の開始時刻と、一時保存オーディオ信号901、現在曲終了検出手段905の出力である現在曲の終了時刻と、オーディオ信号101を入力して現在曲オーディオ信号907を記憶装置に保存する。
オーディオ信号再生手段908は、オーディオ信号101を入力して再生音909を生成する。
以下、この発明の実施の形態9について説明する。図27は、この発明の実施の形態9に係る曲検出装置を示す構成図である。図27において、本曲検出装置は、オーディオ信号一時保存手段902、現在曲開始検出手段904、現在曲終了検出手段905、現在曲保存手段906、オーディオ信号再生手段908を備えている。
オーディオ信号一時保存手段902は、オーディオ信号101と現在曲保存要求903を入力し、一時保存オーディオ信号901を出力する。
現在曲開始検出手段904は、現在曲保存要求903と、一時保存オーディオ信号901を入力して、現在曲の開始時刻を検出する。
現在曲終了検出手段905は、オーディオ信号101と、現在曲保存要求903を入力して、現在曲の終了時刻を検出する。
現在曲保存手段906は、現在曲開始検出手段904の出力である現在曲の開始時刻と、一時保存オーディオ信号901、現在曲終了検出手段905の出力である現在曲の終了時刻と、オーディオ信号101を入力して現在曲オーディオ信号907を記憶装置に保存する。
オーディオ信号再生手段908は、オーディオ信号101を入力して再生音909を生成する。
なお、この実施の形態9では、オーディオ信号一時保存手段902、現在曲開始検出手段904、現在曲終了検出手段905、現在曲保存手段906、オーディオ信号再生手段908をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図28は、この発明の実施の形態9に係る曲検出装置の処理内容を示すフローチャートである。
図28において、先ず、オーディオ信号再生手段908では、オーディオ信号101を入力して再生音909を生成し、ユーザに聴取させる(ステップST901)。再生音909は、例えばスピーカによって再生しユーザに聴取させる。
図28において、先ず、オーディオ信号再生手段908では、オーディオ信号101を入力して再生音909を生成し、ユーザに聴取させる(ステップST901)。再生音909は、例えばスピーカによって再生しユーザに聴取させる。
次に、オーディオ信号一時保存手段902は、オーディオ信号101と現在曲保存要求903を入力して、一時保存オーディオ信号901を出力する(ステップST902)。
ここで、現在曲保存要求903とは、再生音909を聞いているユーザが現在再生している曲を保存したい場合に送る命令である。
オーディオ信号一時保存手段902は、現在曲保存要求903を受理するまでは、現在再生しているオーディオ信号からK秒前のオーディオ信号までを一時的に保持する(一時保存オーディオ信号901)。現在曲保存要求903を受理した場合は、一時保存オーディオ信号の更新を中止し、現在の一時保存オーディオ信号を保持する。
ここで、現在曲保存要求903とは、再生音909を聞いているユーザが現在再生している曲を保存したい場合に送る命令である。
オーディオ信号一時保存手段902は、現在曲保存要求903を受理するまでは、現在再生しているオーディオ信号からK秒前のオーディオ信号までを一時的に保持する(一時保存オーディオ信号901)。現在曲保存要求903を受理した場合は、一時保存オーディオ信号の更新を中止し、現在の一時保存オーディオ信号を保持する。
次に、現在曲開始検出手段904は、現在曲保存要求903と一時保存オーディオ信号901を入力して、現在曲の開始時刻を検出する(ステップST903)。
現在曲開始検出手段904の動作の一例として、一時保存オーディオ信号901を入力し、音楽尤度を用いて曲間検出を行う場合の、開始時刻検出を説明する。
現在曲保存要求903を受理した時点の一時保存オーディオ信号901について、実施の形態1と同様に、音楽尤度によって曲間検出を行い、現在曲保存要求903を受理した時刻の直前に検出された曲間の時刻を、現在曲の開始時刻とする。
現在曲開始検出手段904の動作の一例として、一時保存オーディオ信号901を入力し、音楽尤度を用いて曲間検出を行う場合の、開始時刻検出を説明する。
現在曲保存要求903を受理した時点の一時保存オーディオ信号901について、実施の形態1と同様に、音楽尤度によって曲間検出を行い、現在曲保存要求903を受理した時刻の直前に検出された曲間の時刻を、現在曲の開始時刻とする。
図29は、図27中の現在曲開始検出手段904の動作について示した図である。図29において、現在曲保存要求受理時刻の再生中オーディオ信号データからK秒前に再生されたオーディオ信号データまでが、一時保存オーディオ信号901である。
一時保存オーディオ信号901において、音楽尤度Lが曲間判定閾値(音楽尤度の閾値)よりも低い状態の区間を曲間と判定する。
そして、この曲間のうち、現在曲保存要求受理時刻に最も近い部分(現在曲開始オーディオ信号データ)を、現在曲の開始時刻とする。
一時保存オーディオ信号901において、音楽尤度Lが曲間判定閾値(音楽尤度の閾値)よりも低い状態の区間を曲間と判定する。
そして、この曲間のうち、現在曲保存要求受理時刻に最も近い部分(現在曲開始オーディオ信号データ)を、現在曲の開始時刻とする。
次に、現在曲終了検出手段905では、現在曲保存要求903とオーディオ信号101を入力して、現在曲の終了時刻を検出する(ステップST904)。
現在曲の終了時刻は、現在曲保存要求903を受理した時刻の直後に検出された曲間の時刻とする。曲間は例えば、図29と同様に、オーディオ信号101から音楽尤度を抽出して、曲間を判定する。
現在曲の終了時刻は、現在曲保存要求903を受理した時刻の直後に検出された曲間の時刻とする。曲間は例えば、図29と同様に、オーディオ信号101から音楽尤度を抽出して、曲間を判定する。
次に、現在曲保存手段906では、現在曲開始検出手段904の出力である現在曲の開始時刻と、一時保存オーディオ信号901と、現在曲終了検出手段905の出力である現在曲の終了時刻と、オーディオ信号101を入力して、現在曲オーディオ信号907を出力する(ステップST905)。
現在曲の開始時刻から現在曲保存要求を受理した時刻までのオーディオ信号は、一時保存オーディオ信号901から抽出して、現在曲オーディオ信号907として保存する。図29では、現在曲開始オーディオ信号データから現在曲保存要求受理時刻の再生中オーディオ信号データまでのデータ系列が、現在曲オーディオ信号907の前半部に相当する。
また、現在曲保存要求受理以降については、現在曲保存要求受理時点からオーディオ信号101を保存し始めて、現在曲の終了時刻で保存を終了する。この保存されたオーディオ信号101が、現在曲オーディオ信号907の後半部に相当する。
現在曲の開始時刻から現在曲保存要求を受理した時刻までのオーディオ信号は、一時保存オーディオ信号901から抽出して、現在曲オーディオ信号907として保存する。図29では、現在曲開始オーディオ信号データから現在曲保存要求受理時刻の再生中オーディオ信号データまでのデータ系列が、現在曲オーディオ信号907の前半部に相当する。
また、現在曲保存要求受理以降については、現在曲保存要求受理時点からオーディオ信号101を保存し始めて、現在曲の終了時刻で保存を終了する。この保存されたオーディオ信号101が、現在曲オーディオ信号907の後半部に相当する。
この実施の形態9によれば、オーディオ信号一時保存手段902、現在曲開始検出手段904、現在曲終了検出手段905、現在曲保存手段906、オーディオ信号再生手段908は、オーディオ信号101を一時保存して現在曲の曲開始時刻を検出するので、現在曲の途中で保存要求を出した場合であっても、曲の開始から保存することができる。
実施の形態10.
以下、この発明の実施の形態10について説明する。図30は、この発明の実施の形態10に係る曲検出装置を示す構成図である。図30において、本曲検出装置は、曲一致判定手段1002、指定曲区間抽出手段1003、指定曲保存手段1004を備えている。
曲一致判定手段1002は、曲指定1001と曲情報501を入力して曲一致情報を出力する。
指定曲区間検出手段1003は、曲一致判定手段1002の出力である曲一致情報を入力して指定曲の区間を判定する。
指定曲保存手段1004は、オーディオ信号101と指定曲区間抽出手段1003の出力である指定曲区間を入力して指定曲オーディオ信号1005を保存する。
以下、この発明の実施の形態10について説明する。図30は、この発明の実施の形態10に係る曲検出装置を示す構成図である。図30において、本曲検出装置は、曲一致判定手段1002、指定曲区間抽出手段1003、指定曲保存手段1004を備えている。
曲一致判定手段1002は、曲指定1001と曲情報501を入力して曲一致情報を出力する。
指定曲区間検出手段1003は、曲一致判定手段1002の出力である曲一致情報を入力して指定曲の区間を判定する。
指定曲保存手段1004は、オーディオ信号101と指定曲区間抽出手段1003の出力である指定曲区間を入力して指定曲オーディオ信号1005を保存する。
なお、この実施の形態10では、曲一致判定手段1002、指定曲区間検出手段1003、指定曲保存手段1004をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図31は、この発明の実施の形態10に係る曲検出装置の処理内容を示すフローチャートである。
図31において、先ず、曲一致判定手段1002は、曲指定1001と曲情報501を入力し、曲一致情報を出力する(ステップST1001)。
ここで、曲指定1001とは、ユーザが保存したい曲を指定するものであり、曲名、アーティスト名等で指定する。曲名やアーティスト名の指定は、例えば、ユーザがテキストで入力する方法がある。また、曲情報501を事前に取得して保存し、曲名やアーティスト名のリストを生成して、そのリストからユーザに選択させるようにしても良い。
曲一致判定手段1002では、曲名やアーティスト名で指定された曲指定1001と曲情報501とを照合して一致していた場合には、「一致」という情報(曲一致情報)を出力する。
図31において、先ず、曲一致判定手段1002は、曲指定1001と曲情報501を入力し、曲一致情報を出力する(ステップST1001)。
ここで、曲指定1001とは、ユーザが保存したい曲を指定するものであり、曲名、アーティスト名等で指定する。曲名やアーティスト名の指定は、例えば、ユーザがテキストで入力する方法がある。また、曲情報501を事前に取得して保存し、曲名やアーティスト名のリストを生成して、そのリストからユーザに選択させるようにしても良い。
曲一致判定手段1002では、曲名やアーティスト名で指定された曲指定1001と曲情報501とを照合して一致していた場合には、「一致」という情報(曲一致情報)を出力する。
図17の例では、曲指定として、アーティスト名が「ジョージ」、曲名が「B」と指定した場合は、曲情報M2と一致していると判定する。また、曲情報と曲指定が部分的に一致している場合には、一致とみなしてもよい。例えば、曲指定として曲名を「さくら」と入力し、曲情報の曲名が「さくらの歌」であった場合には、部分的に「さくら」が一致しているので、一致と判定する。曲一致判定手段1002は、曲情報M2が最初に得られた時刻から曲情報M2が得られなくなる時刻まで「一致」という情報(曲一致情報)を出力する。
次に、曲指定区間抽出手段1003は、曲一致判定手段1002の出力である曲一致情報を入力して、指定曲区間を抽出する(ステップST1002)。
具体的には、曲指定区間抽出手段1003は、曲一致判定手段1002から曲一致情報として「一致」が出力されている間は、指定曲の曲区間であると判定する。
曲区間は例えば、曲開始時刻02:30:13、曲終了時刻02:17:55というように表現する。
具体的には、曲指定区間抽出手段1003は、曲一致判定手段1002から曲一致情報として「一致」が出力されている間は、指定曲の曲区間であると判定する。
曲区間は例えば、曲開始時刻02:30:13、曲終了時刻02:17:55というように表現する。
次に指定曲保存手段1004は、指定曲区間検出手段1003の出力である指定曲区間と、オーディオ信号101を入力して、指定曲オーディオ信号1005として保存する(ステップST1003)。
指定曲区間が例えば、曲開始時刻02:30:13、曲終了時刻02:17:55であるときは、オーディオ信号101の02:30:13から02:17:55までを、指定曲オーディオ信号1005として保存する
指定曲区間が例えば、曲開始時刻02:30:13、曲終了時刻02:17:55であるときは、オーディオ信号101の02:30:13から02:17:55までを、指定曲オーディオ信号1005として保存する
この実施の形態10によれば、曲一致判定手段1002、指定曲区間抽出手段1003、指定曲保存手段1004は、ユーザが指定した曲と曲情報が一致した曲を保存するので、希望の曲だけを選んで保存することができる。
実施の形態11.
以下、この発明の実施の形態11について説明する。図32は、この発明の実施の形態11に係る検出装置を示す構成図である。図32において、本曲検出装置は、曲区間検出手段102、音楽データベース1101、音楽照合手段1102を備えている。
曲区間検出手段102は、オーディオ信号101を入力して曲区間を検出して曲区間情報を出力する。
音楽照合手段1102は、曲区間検出手段102の出力である曲区間情報と、音楽データベース1101の格納データと、オーディオ信号101を入力して曲区間情報107を出力する。
以下、この発明の実施の形態11について説明する。図32は、この発明の実施の形態11に係る検出装置を示す構成図である。図32において、本曲検出装置は、曲区間検出手段102、音楽データベース1101、音楽照合手段1102を備えている。
曲区間検出手段102は、オーディオ信号101を入力して曲区間を検出して曲区間情報を出力する。
音楽照合手段1102は、曲区間検出手段102の出力である曲区間情報と、音楽データベース1101の格納データと、オーディオ信号101を入力して曲区間情報107を出力する。
なお、この実施の形態11では、曲区間検出手段102、音楽照合手段1102をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図33は、この発明の実施の形態11に係る曲検出装置の処理内容を示すフローチャートである。
図33において、先ず、曲区間検出手段102では、オーディオ信号101を入力し、曲区間情報を出力する(ステップST1101)。
なお、曲区間検出手段102は、実施の形態1〜7のうちのいずれかを適用して、その出力(曲区間情報107)を用いてもよい。
図33において、先ず、曲区間検出手段102では、オーディオ信号101を入力し、曲区間情報を出力する(ステップST1101)。
なお、曲区間検出手段102は、実施の形態1〜7のうちのいずれかを適用して、その出力(曲区間情報107)を用いてもよい。
次に、音楽照合手段1102では、曲区間検出手段102の出力である曲区間情報と、音楽データベース1101の格納データと、オーディオ信号101を入力して曲区間情報を出力する(ステップST1102)。
ここで、音楽データベース1101とは、曲名、アーティスト名、曲の開始部分のオーディオ信号等が、データテーブルの項目(構成要素)となっている。
ここで、音楽データベース1101とは、曲名、アーティスト名、曲の開始部分のオーディオ信号等が、データテーブルの項目(構成要素)となっている。
図34は、図32中の音楽照合手段1102の動作を示した図である。図34において、音楽照合手段1102では、曲区間情報で示されるオーディオ信号101の曲開始部分と、音楽データベースの構成要素である曲Aのオーディオ信号の曲開始部分との照合を行う。
照合は例えば、オーディオ信号101をケプストラムに変換して、DP(Dynamic Programming)マッチングによって行う。DPマッチングについては、参考文献1の5−3節で説明されている。
音楽照合処理を音楽データベース1101に格納されている曲全てについて行い、最も照合スコアが高い曲を選択して、その曲区間情報に対して、音楽データベース1101から抽出した曲名(「A」)とアーティスト名(「ヤング」)を付与する。そして、曲区間情報107として出力する。
照合は例えば、オーディオ信号101をケプストラムに変換して、DP(Dynamic Programming)マッチングによって行う。DPマッチングについては、参考文献1の5−3節で説明されている。
音楽照合処理を音楽データベース1101に格納されている曲全てについて行い、最も照合スコアが高い曲を選択して、その曲区間情報に対して、音楽データベース1101から抽出した曲名(「A」)とアーティスト名(「ヤング」)を付与する。そして、曲区間情報107として出力する。
この実施の形態11によれば、音楽照合手段1102は、音楽データベースを用いて、曲区間に対して音楽照合を行って曲を特定するので、曲区間に対応する曲名やアーティスト名を曲区間情報に付与することができる。
実施の形態12.
以下、この発明の実施の形態12について説明する。図35は、この発明の実施の形態12に係る曲検出装置を示す構成図である。図35において、本曲検出装置は、指定曲情報抽出手段1201、音楽データベースに基づく指定曲区間検出手段1202、指定曲保存手段1004を備えている。
指定曲情報抽出手段1201は、曲指定1001を入力し、音楽データベース1101を参照して指定曲音楽データベース情報を出力する。
音楽データベースに基づく指定曲区間検出手段1202は、指定曲情報抽出手段1201の出力である指定曲音楽データベース情報と、オーディオ信号101を入力して、指定曲区間を検出する。
指定曲保存手段1004は、音楽データベースに基づく指定曲区間検出手段1202の出力である指定曲区間と、オーディオ信号101を入力して、オーディオ信号101から指定曲区間のオーディオ信号を抽出し、指定曲オーディオ信号1005として保存する。
以下、この発明の実施の形態12について説明する。図35は、この発明の実施の形態12に係る曲検出装置を示す構成図である。図35において、本曲検出装置は、指定曲情報抽出手段1201、音楽データベースに基づく指定曲区間検出手段1202、指定曲保存手段1004を備えている。
指定曲情報抽出手段1201は、曲指定1001を入力し、音楽データベース1101を参照して指定曲音楽データベース情報を出力する。
音楽データベースに基づく指定曲区間検出手段1202は、指定曲情報抽出手段1201の出力である指定曲音楽データベース情報と、オーディオ信号101を入力して、指定曲区間を検出する。
指定曲保存手段1004は、音楽データベースに基づく指定曲区間検出手段1202の出力である指定曲区間と、オーディオ信号101を入力して、オーディオ信号101から指定曲区間のオーディオ信号を抽出し、指定曲オーディオ信号1005として保存する。
なお、この実施の形態12では、指定曲情報抽出手段1201、音楽データベースに基づく指定曲区間検出手段1202、指定曲保存手段1004をハードウェアで構成してもよいが、各手段の処理内容を記述した曲検出プログラムを作成し、コンピュータ(演算装置)が当該曲検出プログラムを実行するようにしてもよい。
次に、動作について説明する。図36は、この発明の実施の形態12に係る曲検出装置の処理内容を示すフローチャートである。
図36において、先ず、指定曲情報抽出手段1201では、ユーザ指定した曲指定1001と音楽データベース1101の格納データを入力して、指定曲音楽データベース情報を出力する(ステップST1201)。
ここで、音楽データベース1101は、曲名、アーティスト名、曲の開始部分と終了部分のオーディオ信号等がデータテーブルの項目(構成要素)となっている。
指定曲情報抽出手段1201では、曲指定1001で示されている曲名と音楽データベース1101内の曲名との照合を行い、一致している曲について、曲名、アーティスト名、曲の開始部分と終了部分のオーディオ信号を指定曲音楽データベース情報として抽出する。
図36において、先ず、指定曲情報抽出手段1201では、ユーザ指定した曲指定1001と音楽データベース1101の格納データを入力して、指定曲音楽データベース情報を出力する(ステップST1201)。
ここで、音楽データベース1101は、曲名、アーティスト名、曲の開始部分と終了部分のオーディオ信号等がデータテーブルの項目(構成要素)となっている。
指定曲情報抽出手段1201では、曲指定1001で示されている曲名と音楽データベース1101内の曲名との照合を行い、一致している曲について、曲名、アーティスト名、曲の開始部分と終了部分のオーディオ信号を指定曲音楽データベース情報として抽出する。
次に、音楽データベースに基づく指定曲区間検出手段1202は、オーディオ信号101と、指定曲情報抽出手段1201の出力である指定曲音楽データベース情報を入力して、指定曲の曲区間を検出し、指定曲区間情報を出力する(ステップST1202)。
音楽データベースに基づく指定曲区間検出手段1202では、オーディオ信号101に対して、指定曲音楽データベース情報として音楽データベース1101から抽出された、曲開始部分及び曲終了部分を用いて照合処理を行う。
オーディオ信号101と、抽出された曲開始部分及び曲終了部分との照合処理は、例えば、指定曲の音楽データベース1101の曲開始部分及び曲終了部分を標準パタンとした連続DPマッチングによって行う。連続DPマッチングについては、参考文献1の5−6節に説明がある。
オーディオ信号101と曲開始部分との連続DPマッチングのスコアが、予め定めた照合スコアの閾値より高ければ、指定曲の開始部分がオーディオ信号101内にあったとして、指定曲の曲区間の開始時刻を検出する。
次に、オーディオ信号101と曲終了部分との連続DPマッチングのスコアが、予め定めた照合スコアの閾値以下となる最初の部分が、指定曲の終了部分であると判定して、指定曲の曲区間の終了時刻を検出する。
そして、検出した指定曲区間(開始時刻、終了時刻)を、指定曲区間情報として出力する。
オーディオ信号101と、抽出された曲開始部分及び曲終了部分との照合処理は、例えば、指定曲の音楽データベース1101の曲開始部分及び曲終了部分を標準パタンとした連続DPマッチングによって行う。連続DPマッチングについては、参考文献1の5−6節に説明がある。
オーディオ信号101と曲開始部分との連続DPマッチングのスコアが、予め定めた照合スコアの閾値より高ければ、指定曲の開始部分がオーディオ信号101内にあったとして、指定曲の曲区間の開始時刻を検出する。
次に、オーディオ信号101と曲終了部分との連続DPマッチングのスコアが、予め定めた照合スコアの閾値以下となる最初の部分が、指定曲の終了部分であると判定して、指定曲の曲区間の終了時刻を検出する。
そして、検出した指定曲区間(開始時刻、終了時刻)を、指定曲区間情報として出力する。
次に、指定曲保存手段1004は、音楽データベースに基づく指定曲区間検出手段1202の出力である指定曲区間情報と、オーディオ信号101を入力して、オーディオ信号101から指定曲に対応するオーディオ信号(指定曲区間の開始時刻から終了時刻までの)を抽出して、指定曲オーディオ信号1005として保存する(ステップST1203)。
この実施の形態12によれば、指定曲情報抽出手段1201、音楽データベースに基づく指定曲区間検出手段1202、指定曲保存手段1004は、指定曲1001のオーディオ情報を音楽データベース1101から抽出して、オーディオ信号101に対して、一致する部分を抽出して指定曲区間を検出するので、ユーザの希望の曲を検出して保存することができる。
101 オーディオ信号、102 曲区間検出手段、103 音響分析手段、104 音楽モデル、105 音楽尤度計算手段、106 音楽尤度による曲区間判定手段、107 曲区間情報、201 無音楽モデル、202 無音楽尤度計算手段、203 無音楽尤度による曲区間判定手段、301 音声モデル、302 音声尤度計算手段、303 音声尤度による曲区間判定手段、401 曲間定型音モデル、402 曲間定型音尤度計算手段、403 曲間定型音尤度による曲区間判定手段、501 曲情報、502 曲情報切り替わり判定手段、503 曲切り替わり情報による曲区間判定手段、601 音楽尤度と曲情報切り替わりによる曲区間判定手段、701 オーディオ信号パワー計算手段、702 オーディオ信号パワーと曲切り替わり情報による曲区間判定手段、801 曲調検出手段、802 曲調連続性による曲区間判定手段、901 一時保存オーディオ信号、902 オーディオ信号一時保存手段、903 現在曲保存要求、904 現在曲開始検出手段、905 現在曲終了検出手段、906 現在曲保存手段、907 現在曲オーディオ信号、908 オーディオ信号再生手段、909 再生音、1001 曲指定、1002 曲一致判定手段、1003 指定曲区間抽出手段、1004 指定曲保存手段、1005 指定曲オーディオ信号、1101 音楽データベース、1102 音楽照合手段、1201 指定曲情報抽出手段、1202 音楽データベースに基づく指定曲区間検出手段。
Claims (12)
- オーディオ信号を入力して音響分析を行い音響特徴量を出力する音響分析手段と、前記音響特徴量と音楽モデルとを入力し前記オーディオ信号の音楽尤度を計算して出力する音楽尤度計算手段と、前記音楽尤度を入力して閾値比較により曲区間を判定し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- オーディオ信号を入力して音響分析を行い音響特徴量を出力する音響分析手段と、前記音響特徴量と無音楽モデルとを入力し前記オーディオ信号の無音楽尤度を計算して出力する無音楽尤度計算手段と、前記無音楽尤度を入力して閾値比較により曲区間を判定し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- オーディオ信号を入力して音響分析を行い音響特徴量を出力する音響分析手段と、前記音響特徴量と音声モデルとを入力し前記オーディオ信号の音声尤度を計算して出力する音声尤度計算手段と、前記音声尤度を入力して閾値比較により曲区間を判定し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- オーディオ信号を入力して音響分析を行い音響特徴量を出力する音響分析手段と、前記音響特徴量と曲間定型音モデルとを入力し前記オーディオ信号の曲間定型音尤度を計算して出力する曲間定型音尤度計算手段と、前記曲間定型音尤度を入力して閾値比較により曲区間を判定し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- オーディオ信号の付帯情報である曲情報を入力して前記曲情報の変化から曲の切り替わりを判定し曲切り替わり情報を出力する曲情報切り替わり判定手段と、前記曲切り替わり情報を入力して曲区間を判定し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- オーディオ信号を入力して音響分析を行い音響特徴量を出力する音響分析手段と、前記音響特徴量と音楽モデルとを入力し前記オーディオ信号の音楽尤度を計算して出力する音楽尤度計算手段と、前記オーディオ信号の付帯情報である曲情報を入力して前記曲情報の変化から曲の切り替わりを判定し曲切り替わり情報を出力する曲情報切り替わり判定手段と、前記曲切り替わり情報を入力して曲区間を判定すると共に前記音楽尤度を入力して閾値比較により前記曲区間を補正し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- オーディオ信号を入力しオーディオ信号パワーを計算して出力するオーディオ信号パワー計算手段と、前記オーディオ信号の付帯情報である曲情報を入力して曲情報の変化から曲の切り替わりを判定し曲切り替わり情報を出力する曲情報切り替わり判定手段と、前記曲切り替わり情報を入力して曲区間を判定すると共に前記オーディオ信号パワーを入力して閾値比較により前記曲区間を補正し曲区間情報を出力する曲区間判定手段とを有する曲区間検出手段を備えたことを特徴とする曲検出装置。
- 請求項1から請求項7のうちのいずれか1項記載の曲区間検出手段と、
前記曲区間検出手段が出力する前記曲区間情報を入力し、各曲区間を基にした曲単位に対して曲調検出を行い、各曲区間の曲調を出力する曲調検出手段と、
前記各曲区間の曲調を入力して、曲調の連続性によって前記曲区間を再判定し、補正した曲区間情報を出力する曲区間判定手段とを備えたことを特徴とする曲検出装置。 - オーディオ信号を入力して再生音を出力するオーディオ信号再生手段と、
前記オーディオ信号を入力して、前記オーディオ信号再生手段が再生している一定時間のオーディオ信号を一時的に保持し、現在曲保存要求が入力された場合には前記一定時間のオーディオ信号の更新を中止して一時保存オーディオ信号として出力するオーディオ信号一時保存手段と、
前記現在曲保存要求と前記一時保存オーディオ信号とを入力し、音楽尤度の閾値判定により現在曲の開始時刻を検出して出力する現在曲開始検出手段と、
前記現在曲保存要求と前記オーディオ信号とを入力し、音楽尤度の閾値判定により現在曲の終了時刻を検出して出力する現在曲終了検出手段と、
前記オーディオ信号と前記一時保存オーディオ信号と前記現在曲の開始時刻と終了時刻とを入力して、前記現在曲に対応するオーディオ信号を抽出して保存する現在曲保存手段とを備えたことを特徴とする曲検出装置。 - 指定曲に関する情報を含む曲指定とオーディオ信号の付帯情報である曲情報とを入力して、前記曲指定と前記曲情報とが一致しているかを判定し、一致している場合には曲一致情報を出力する曲一致判定手段と、
前記曲一致情報を入力し、前記指定曲と一致している曲区間を抽出して指定曲区間として出力する指定曲区間抽出手段と、
前記オーディオ信号と前記指定曲区間とを入力して、前記指定曲に対応するオーディオ信号を保存する指定曲保存手段とを備えたことを特徴とした曲検出装置。 - 請求項1から請求項7のうちのいずれか1項記載の曲区間検出手段と、
前記オーディオ信号と前記曲区間検出手段が出力する前記曲区間情報とを入力し、前記曲区間に対応するオーディオ信号と音楽データベースに格納されている曲とを照合して、最も照合スコアが高い曲区間の前記曲区間情報に前記音楽データベースから抽出した前記曲に対応した情報を付与する音楽照合手段とを備えたことを特徴とする曲検出装置。 - 指定曲に関する情報を含む曲指定を入力して、前記指定曲の曲開始部分と曲終了部分とを含む情報を音楽データベースから抽出し、指定曲音楽データベース情報として出力する指定曲情報抽出手段と、
オーディオ信号と前記指定曲音楽データベース情報とを入力して、前記オーディオ信号と前記指定曲の曲開始部分と曲終了部分とを照合し、前記指定曲に相当する曲区間を検出して指定曲区間情報として出力する指定曲区間検出手段と、
前記オーディオ信号と前記指定曲区間情報とを入力して、前記指定曲に対応するオーディオ信号を抽出して保存する指定曲保存手段とを備えたことを特徴とする曲検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005365299A JP2007171289A (ja) | 2005-12-19 | 2005-12-19 | 曲検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005365299A JP2007171289A (ja) | 2005-12-19 | 2005-12-19 | 曲検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007171289A true JP2007171289A (ja) | 2007-07-05 |
Family
ID=38297974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005365299A Pending JP2007171289A (ja) | 2005-12-19 | 2005-12-19 | 曲検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007171289A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009086016A (ja) * | 2007-09-27 | 2009-04-23 | Toshiba Corp | 音楽検出装置および音楽検出方法 |
JP2011013383A (ja) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | オーディオ信号補正装置及びオーディオ信号補正方法 |
JP2012037910A (ja) * | 2011-11-07 | 2012-02-23 | Toshiba Corp | 音楽検出装置 |
US8457954B2 (en) | 2010-07-28 | 2013-06-04 | Kabushiki Kaisha Toshiba | Sound quality control apparatus and sound quality control method |
WO2014155526A1 (ja) * | 2013-03-26 | 2014-10-02 | 株式会社 東芝 | 情報処理装置及び情報処理方法 |
-
2005
- 2005-12-19 JP JP2005365299A patent/JP2007171289A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009086016A (ja) * | 2007-09-27 | 2009-04-23 | Toshiba Corp | 音楽検出装置および音楽検出方法 |
JP2011013383A (ja) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | オーディオ信号補正装置及びオーディオ信号補正方法 |
US8457954B2 (en) | 2010-07-28 | 2013-06-04 | Kabushiki Kaisha Toshiba | Sound quality control apparatus and sound quality control method |
JP2012037910A (ja) * | 2011-11-07 | 2012-02-23 | Toshiba Corp | 音楽検出装置 |
WO2014155526A1 (ja) * | 2013-03-26 | 2014-10-02 | 株式会社 東芝 | 情報処理装置及び情報処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100949872B1 (ko) | 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
US9774747B2 (en) | Transcription system | |
US7482529B1 (en) | Self-adjusting music scrolling system | |
CN108242238B (zh) | 一种音频文件生成方法及装置、终端设备 | |
US20060112812A1 (en) | Method and apparatus for adapting original musical tracks for karaoke use | |
JP6060867B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
WO2009101703A1 (ja) | 楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法及び楽器種類検出装置並びに楽曲データ分析用プログラム及び楽器種類検出用プログラム | |
JPWO2017056982A1 (ja) | 楽曲検索方法および楽曲検索装置 | |
JP2010233019A (ja) | 字幕ずれ補正装置、再生装置および放送装置 | |
JP2007171289A (ja) | 曲検出装置 | |
US8612031B2 (en) | Audio player and audio fast-forward playback method capable of high-speed fast-forward playback and allowing recognition of music pieces | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
EP2507792B1 (en) | Vocabulary dictionary recompile for in-vehicle audio system | |
JP2007233077A (ja) | 評価装置、制御方法及びプログラム | |
JP2007072023A (ja) | 情報処理装置及び情報処理方法 | |
JP4531679B2 (ja) | マルチスタンダード採点を行うカラオケ採点装置 | |
JP2006276560A (ja) | 音楽再生装置および音楽再生方法 | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP4595098B2 (ja) | 字幕送出タイミング検出装置 | |
JP6365483B2 (ja) | カラオケ装置,カラオケシステム,及びプログラム | |
JP6380305B2 (ja) | データ生成装置、カラオケシステム、及びプログラム | |
JPH11242496A (ja) | 情報再生装置 | |
JP6252517B2 (ja) | 音声合成装置、及びプログラム | |
JP4926000B2 (ja) | 確認支援装置及びコンピュータプログラム | |
JP2009204872A (ja) | 音声認識用辞書生成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071003 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080626 |