JP2008070650A - 楽曲分類方法、楽曲分類装置及びコンピュータプログラム - Google Patents
楽曲分類方法、楽曲分類装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2008070650A JP2008070650A JP2006249886A JP2006249886A JP2008070650A JP 2008070650 A JP2008070650 A JP 2008070650A JP 2006249886 A JP2006249886 A JP 2006249886A JP 2006249886 A JP2006249886 A JP 2006249886A JP 2008070650 A JP2008070650 A JP 2008070650A
- Authority
- JP
- Japan
- Prior art keywords
- music
- impression
- audio signal
- tempo
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【解決手段】本発明の楽曲分類装置は、楽曲データから音声信号をサンプリングし(S1)、音量の揺らぎを特徴付ける揺らぎデータを音声信号から取得し(S2)、楽曲のテンポを検出し(S3)、音声信号からメルケプストラム係数を算出し(S4)、揺らぎデータ及びメルケプストラム係数を、楽曲から人間が受ける特定の印象の度合いを示す印象値へ変換し(S5)、印象値を用いてテンポを補正し(S6)、印象値及びテンポを楽曲データに関連付けて記憶する(S7)。楽曲を特徴付ける音質を表すメルケプストラム係数から印象値を求めることにより、実際に楽曲を聴いた使用者が楽曲から感じる印象により近い印象値が得られる。
【選択図】図2
Description
図1は、本発明の楽曲分類装置1及び楽曲再生装置2の構成を示すブロック図である。本発明の楽曲分類装置1は、PC等の汎用コンピュータを用いて構成されており、演算を行うCPU11と、演算に伴って発生する一時的な情報を記憶するRAM12と、データを記録したCD又はDVD等の記録媒体を受け付けるドライブ部13と、ハードディスク等の記憶部(記憶手段)14とを備えている。記憶部14は、CD−ROM等の記録媒体からドライブ部13が読み取った本発明のコンピュータプログラム141を記憶している。コンピュータプログラム141は、必要に応じて記憶部14からRAM12にロードされ、ロードされたコンピュータプログラム141に基づいてCPU11は楽曲分類装置1に必要な処理を実行する。
11 CPU
12 RAM
13 ドライブ部
14 記憶部
141 コンピュータプログラム
15 入力部
16 表示部
17 インタフェース部
18 通信部
2 楽曲再生装置
21 制御部
22 記憶部
23 操作部
24 データ処理部
25 出力部
26 ヘッドフォン
27 インタフェース部
28 表示部
Claims (9)
- 楽曲の特徴を示すデータを生成する生成ステップと、該生成ステップで生成したデータを、楽曲から人間が受ける特定の印象の度合いを示す印象値へ変換する変換ステップと、楽曲データに印象値を関連付けることによって楽曲データを分類するステップとを含む楽曲分類方法において、
前記生成ステップは、
楽曲の音声を表した音声信号の高速フーリエ変換(FFT)を行うFFT処理ステップと、
該FFT処理ステップによるFFTの結果から、前記音声信号のメルケプストラム係数を求めるステップとを含み、
前記変換ステップは、
メルケプストラム係数を入力されて特定の印象の度合いを示す印象値を出力するように学習された階層型ニューラルネットワークを用いて、前記生成ステップで求めたメルケプストラム係数を印象値へ変換するステップを含むこと
を特徴とする楽曲分類方法。 - 前記FFT処理ステップは、
前記音声信号を分割した部分音声信号に対してFFTを行うことによって、前記部分音声信号のパワースペクトルを求めるステップを含み、
前記生成ステップは、
前記音声信号に含まれる複数の部分音声信号の夫々について、前記FFT処理ステップで求めたパワースペクトルにおける所定周波数帯域のパワーを平均した平均パワーを算出するステップと、
算出した平均パワーを各部分音声信号の前記音声信号中での時間的位置に対応させて時間軸上に並べた平均パワー時系列を求めるステップと、
求めた平均パワー時系列のFFTを行うことによって、平均パワー時系列のパワースペクトルを求めるステップと、
求めた平均パワー時系列のパワースペクトルを所定の曲線で近似した近似曲線を求めるステップと、
求めた近似曲線のパラメータを、前記音声信号における音量の周期的な揺らぎを特徴付ける揺らぎデータとして求めるステップと
を更に含み、
前記変換ステップは、
揺らぎデータ及びメルケプストラム係数を入力されて特定の印象の度合いを示す印象値を出力するように学習された階層型ニューラルネットワークを用いて、前記生成ステップで求めた前記音声信号の揺らぎデータ及びメルケプストラム係数を印象値へ変換するステップを更に含むこと
を特徴とする請求項1に記載の楽曲分類方法。 - 前記生成ステップで前記音声信号から求めた前記平均パワー時系列のパワースペクトル及び前記近似曲線の差分を求めるステップと、
前記差分の大きさが所定値以上である成分の周期の内で所定の周期範囲内で最も長い周期に基づいて、楽曲のテンポを求めるステップと、
前記変換ステップで得られた特定の印象の度合いを示す印象値の値に応じて、求めたテンポを補正するステップと、
補正したテンポを楽曲データに関連付けるステップと
を更に含むことを特徴とする請求項2に記載の楽曲分類方法。 - 楽曲の特徴を示すデータを生成する生成手段と、該生成手段が生成したデータを、楽曲から人間が受ける特定の印象の度合いを示す印象値へ変換する変換手段と、楽曲データに印象値を関連付けることによって楽曲データを分類して記憶する記憶手段とを備える楽曲分類装置において、
前記生成手段は、
楽曲の音声を表した音声信号の高速フーリエ変換(FFT)を行うFFT処理手段と、
該FFT処理手段によるFFTの結果から、特徴データとして前記音声信号のメルケプストラム係数を求める手段とを有し、
前記変換手段は、
メルケプストラム係数を入力されて特定の印象の度合いを示す印象値を出力するように学習された階層型ニューラルネットワークを用いて、前記生成手段で求めたメルケプストラム係数を印象値へ変換する手段を有すること
を特徴とする楽曲分類装置。 - 前記FFT処理手段は、
前記音声信号を分割した部分音声信号に対してFFTを行うことによって、前記部分音声信号のパワースペクトルを求める手段を有し、
前記生成手段は、
前記音声信号に含まれる複数の部分音声信号の夫々について、前記FFT処理手段が求めたパワースペクトルにおける所定周波数帯域のパワーを平均した平均パワーを算出する手段と、
該手段が算出した平均パワーを各部分音声信号の前記音声信号中での時間的位置に対応させて時間軸上に並べた平均パワー時系列を求める手段と、
該手段が求めた平均パワー時系列のFFTを行うことによって、平均パワー時系列のパワースペクトルを求める手段と、
該手段が求めた平均パワー時系列のパワースペクトルを所定の曲線で近似した近似曲線を求める手段と、
該手段が求めた近似曲線のパラメータを、前記音声信号における音量の周期的な揺らぎを特徴付ける揺らぎデータとして求める手段と
を更に有し、
前記変換手段は、
揺らぎデータ及びメルケプストラム係数を入力されて特定の印象の度合いを示す印象値を出力するように学習された階層型ニューラルネットワークを用いて、前記生成手段で求めた前記音声信号の揺らぎデータ及びメルケプストラム係数を印象値へ変換する手段を更に有すること
を特徴とする請求項4に記載の楽曲分類装置。 - 前記生成手段が前記音声信号から求めた前記平均パワー時系列のパワースペクトル及び前記近似曲線の差分を求める手段と、
前記差分の大きさが所定値以上である成分の周期の内で所定の周期範囲内で最も長い周期に基づいて、楽曲のテンポを求める手段と、
前記変換手段により得られた特定の印象の度合いを示す印象値の値に応じて、求めたテンポを補正するテンポ補正手段と
を更に備え、
前記記憶手段は、
前記テンポ補正手段が補正したテンポを関連付けて楽曲データを記憶する手段を有すること
を特徴とする請求項5に記載の楽曲分類装置。 - コンピュータに、楽曲の特徴を示すデータを生成させ、生成したデータを、楽曲から人間が受ける特定の印象の度合いを示す印象値へ変換させるコンピュータプログラムにおいて、
コンピュータに、楽曲の音声を表した音声信号の高速フーリエ変換(FFT)を行わせる手順と、
コンピュータに、前記FFTの結果から、前記音声信号のメルケプストラム係数を求めさせる手順と、
コンピュータに、メルケプストラム係数を入力されて特定の印象の度合いを示す印象値を出力するように学習された階層型ニューラルネットワークに対して、求めたメルケプストラム係数を入力して、出力される印象値を取得させる手順を含むこと
を特徴とするコンピュータプログラム。 - コンピュータに、前記音声信号を分割した部分音声信号に対してFFTを行うことによって、前記部分音声信号のパワースペクトルを求めさせる手順と、
コンピュータに、前記音声信号に含まれる複数の部分音声信号の夫々について、求めたパワースペクトルにおける所定周波数帯域のパワーを平均した平均パワーを算出させる手順と、
コンピュータに、算出した平均パワーを各部分音声信号の前記音声信号中での時間的位置に対応させて時間軸上に並べた平均パワー時系列を求めさせる手順と、
コンピュータに、求めた平均パワー時系列のFFTを行うことによって、平均パワー時系列のパワースペクトルを求めさせる手順と、
コンピュータに、求めた平均パワー時系列のパワースペクトルを所定の曲線で近似した近似曲線を求めさせる手順と、
コンピュータに、求めた近似曲線のパラメータを、前記音声信号における音量の周期的な揺らぎを特徴付ける揺らぎデータとして求めさせる手順と、
コンピュータに、揺らぎデータ及びメルケプストラム係数を入力されて特定の印象の度合いを示す印象値を出力するように学習された階層型ニューラルネットワークに対して、求めた前記音声信号の揺らぎデータ及びメルケプストラム係数を入力して、出力される印象値を取得させる手順と
を更に含むことを特徴とする請求項7に記載のコンピュータプログラム。 - コンピュータに、前記音声信号から求めた前記平均パワー時系列のパワースペクトル及び前記近似曲線の差分を求めさせる手順と、
コンピュータに、前記差分の大きさが所定値以上である成分の周期の内で所定の周期範囲内で最も長い周期に基づいて、楽曲のテンポを求めさせる手順と、
コンピュータに、特定の印象の度合いを示す印象値の値に応じて、求めたテンポを補正させる手順と
を更に含むことを特徴とする請求項8に記載のコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006249886A JP4799333B2 (ja) | 2006-09-14 | 2006-09-14 | 楽曲分類方法、楽曲分類装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006249886A JP4799333B2 (ja) | 2006-09-14 | 2006-09-14 | 楽曲分類方法、楽曲分類装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008070650A true JP2008070650A (ja) | 2008-03-27 |
JP4799333B2 JP4799333B2 (ja) | 2011-10-26 |
Family
ID=39292279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006249886A Expired - Fee Related JP4799333B2 (ja) | 2006-09-14 | 2006-09-14 | 楽曲分類方法、楽曲分類装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4799333B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011164497A (ja) * | 2010-02-13 | 2011-08-25 | Ryukoku Univ | テンポ値検出装置およびテンポ値検出方法 |
JP2013225142A (ja) * | 2009-10-30 | 2013-10-31 | Dolby International Ab | 複雑さがスケーラブルな知覚的テンポ推定 |
CN108053837A (zh) * | 2017-12-28 | 2018-05-18 | 深圳市保千里电子有限公司 | 一种汽车转向灯声音信号识别的方法和*** |
JP2022501651A (ja) * | 2018-09-28 | 2022-01-06 | 株式会社ソニー・インタラクティブエンタテインメント | サウンド分類システム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108538301B (zh) * | 2018-02-13 | 2021-05-07 | 吟飞科技(江苏)有限公司 | 一种基于神经网络音频技术的智能数码乐器 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005010771A (ja) * | 2003-05-26 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音楽検索装置 |
JP2005141430A (ja) * | 2003-11-05 | 2005-06-02 | Sharp Corp | 楽曲検索システムおよび楽曲検索方法 |
JP2005274993A (ja) * | 2004-03-25 | 2005-10-06 | Sony Corp | 楽曲送信装置、楽曲格納再生装置および楽曲一覧メニュー提供方法、楽曲認識用情報表示方法 |
JP2005346347A (ja) * | 2004-06-02 | 2005-12-15 | Kddi Corp | 情報検索装置、情報検索方法、情報検索プログラムおよび記録媒体 |
JP2006146729A (ja) * | 2004-11-22 | 2006-06-08 | National Institute Of Advanced Industrial & Technology | コンテンツ検索表示装置及び方法並びにプログラム |
JP2006194953A (ja) * | 2005-01-11 | 2006-07-27 | Sharp Corp | テンポ抽出装置およびテンポ抽出方法 |
JP2007317168A (ja) * | 2006-03-30 | 2007-12-06 | Sony France Sa | ハイブリッドオーディオビジュアル分類システム及び方法 |
-
2006
- 2006-09-14 JP JP2006249886A patent/JP4799333B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005010771A (ja) * | 2003-05-26 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音楽検索装置 |
JP2005141430A (ja) * | 2003-11-05 | 2005-06-02 | Sharp Corp | 楽曲検索システムおよび楽曲検索方法 |
JP2005274993A (ja) * | 2004-03-25 | 2005-10-06 | Sony Corp | 楽曲送信装置、楽曲格納再生装置および楽曲一覧メニュー提供方法、楽曲認識用情報表示方法 |
JP2005346347A (ja) * | 2004-06-02 | 2005-12-15 | Kddi Corp | 情報検索装置、情報検索方法、情報検索プログラムおよび記録媒体 |
JP2006146729A (ja) * | 2004-11-22 | 2006-06-08 | National Institute Of Advanced Industrial & Technology | コンテンツ検索表示装置及び方法並びにプログラム |
JP2006194953A (ja) * | 2005-01-11 | 2006-07-27 | Sharp Corp | テンポ抽出装置およびテンポ抽出方法 |
JP2007317168A (ja) * | 2006-03-30 | 2007-12-06 | Sony France Sa | ハイブリッドオーディオビジュアル分類システム及び方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225142A (ja) * | 2009-10-30 | 2013-10-31 | Dolby International Ab | 複雑さがスケーラブルな知覚的テンポ推定 |
KR101612768B1 (ko) | 2009-10-30 | 2016-04-18 | 돌비 인터네셔널 에이비 | 인지적인 템포를 추정하기 위한 시스템 및 그 방법 |
US9466275B2 (en) | 2009-10-30 | 2016-10-11 | Dolby International Ab | Complexity scalable perceptual tempo estimation |
JP2011164497A (ja) * | 2010-02-13 | 2011-08-25 | Ryukoku Univ | テンポ値検出装置およびテンポ値検出方法 |
CN108053837A (zh) * | 2017-12-28 | 2018-05-18 | 深圳市保千里电子有限公司 | 一种汽车转向灯声音信号识别的方法和*** |
JP2022501651A (ja) * | 2018-09-28 | 2022-01-06 | 株式会社ソニー・インタラクティブエンタテインメント | サウンド分類システム |
Also Published As
Publication number | Publication date |
---|---|
JP4799333B2 (ja) | 2011-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789290B2 (en) | Audio data processing method and apparatus, and computer storage medium | |
CN112382257B (zh) | 一种音频处理方法、装置、设备及介质 | |
CN112992109B (zh) | 辅助歌唱***、辅助歌唱方法及其非瞬时计算机可读取记录媒体 | |
JP4799333B2 (ja) | 楽曲分類方法、楽曲分類装置及びコンピュータプログラム | |
WO2022089097A1 (zh) | 音频处理方法、装置及电子设备和计算机可读存储介质 | |
JP5345783B2 (ja) | 音声信号用フットプリントを生成する方法 | |
JP2002215195A (ja) | 音楽信号処理装置 | |
US20230186782A1 (en) | Electronic device, method and computer program | |
US11842720B2 (en) | Audio processing method and audio processing system | |
JPH07295560A (ja) | Midiデータ編集装置 | |
RU2510954C2 (ru) | Способ переозвучивания аудиоматериалов и устройство для его осуществления | |
JP3716725B2 (ja) | 音声処理装置、音声処理方法および情報記録媒体 | |
JP2006178334A (ja) | 語学学習システム | |
CN116156214A (zh) | 一种视频调音方法、装置、电子设备及存储介质 | |
JP4607660B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
JP4698606B2 (ja) | 楽曲処理装置 | |
JP4202964B2 (ja) | 映像データへの楽曲データ付加装置 | |
CN114299918A (zh) | 声学模型训练与语音合成方法、装置和***及存储介质 | |
JP4483561B2 (ja) | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム | |
JP2007304489A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
CN113781989A (zh) | 一种音频的动画播放、节奏卡点识别方法及相关装置 | |
JP5879813B2 (ja) | 複数音源の識別装置および複数音源に連動する情報処理装置 | |
Yu et al. | Research on piano performance strength evaluation system based on gesture recognition | |
JP4992295B2 (ja) | 情報処理装置 | |
WO2017164216A1 (ja) | 音響処理方法および音響処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110802 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |