JP2016218345A - 音素材処理装置および音素材処理プログラム - Google Patents

Abstract

【課題】音素材を適切な処理方式で処理することが可能な音素材処理装置および音素材処理プログラムを提供する。【解決手段】音素材入力部１２０は音素材を取得する。特徴情報取得部１６１は、音素材入力部１２０により取得された音素材の特徴を表す特徴情報を取得する。好適性情報取得部１６２は、音素材の特徴に対する各処理方式の好適性を表す音特徴好適性情報を取得する。処理方式決定部１６０は、特徴情報取得部１６１により取得された特徴情報および好適性情報取得部１６２により取得された音特徴好適性情報に基づいて各音素材の処理に用いる処理方式を決定する。処理方式決定部１６０により決定された処理方式に対応する処理モジュール１４０に音素材が入力される。処理モジュール１４０は、入力された音素材を処理する。【選択図】図２

Description

本発明は、音素材処理装置および音素材処理プログラムに関する。

音響データ（オーディオデータ）に所定の処理を行うために、複数の処理方式が存在する場合がある。例えば、音響データの音高を変更せずにテンポを変更するタイムストレッチの処理方式として、スライス方式およびフェーズボコーダ方式等がある。

特許文献１に記載された楽曲処理装置およびプログラムでは、高速かつ低音質の処理方式である第１の時間軸圧伸処理と低速かつ高音質の処理方式である第２の時間軸圧伸処理とが用いられる。再生指示に応じて、第１の時間軸圧伸処理の結果得られる楽音データが出力され、第２の時間軸圧伸処理の結果得られた楽音データが充分な数に達したことを契機として、第１の時間軸圧伸処理の代わりに、第２の時間軸圧伸処理の結果得られた楽音データが出力される。

特許第５３５９２０３号公報

音響データを構成する音素材の特徴によって適切な処理方式は異なる。複数の処理方式から対象の音素材に好適な処理方式を選択するためには、複数の処理方式について豊富な知識および経験が必要となる。また、音響データを処理しつつリアルタイムで再生し、それに合わせてユーザが演奏を行うことがある。その場合、音素材の変化に対応するように、使用する処理方式を変更することが好ましい。しかしながら、演奏中に処理方式の変更を行う余裕はなく、音質の劣る処理方式を切り替えることなく継続的に用いることが多い。音素材によっては、異なる特徴を有する他の音素材の処理を考慮した結果、適切な処理方式を選ぶことができなくなる。

本発明の目的は、音素材を適切な処理方式で処理することが可能な音素材処理装置および音素材処理プログラムを提供することである。

（１）第１の発明に係る音素材処理装置は、音素材を取得する音素材取得手段と、取得された音素材の特徴を表す特徴情報を取得する特徴情報取得手段と、音素材に予め定められた処理を行うための複数の処理方式に関して、音素材の特徴に対する好適性を表す好適性情報を取得する好適性情報取得手段と、取得された特徴情報および取得された好適性情報に基づいて、複数の処理方式のうち、取得された音素材に適した処理方式を決定する処理方式決定手段と、決定された処理方式を用いて、取得された音素材に処理を行う処理手段とを備える。

この音素材処理装置においては、取得された特徴情報および好適性情報に基づいて、複数の処理方式のうち、取得された音素材に適した処理方式が決定され、その処理方式を用いて音素材に処理が行われる。それにより、各処理方式についての知識および経験が乏しいユーザであっても、音素材を適切な処理方式で処理することができる。また、異なる特徴を有する複数の音素材に連続的に処理が行われる場合でも、ユーザの煩雑な操作を必要とせず、かつ音質に妥協することなく、各音素材を適切な処理方式で処理することができる。

（２）処理方式決定手段は、取得された音素材の処理による音質の劣化が最も抑制される処理方式を音素材に適した処理方式として決定してもよい。この場合、各音素材の音質を維持しつつ各音素材を適切に処理することができる。

（３）処理はタイムストレッチであり、音素材処理装置は、タイムストレッチにおけるストレッチ比を取得するストレッチ比取得手段をさらに備え、処理手段は、決定された処理方式を用いて、取得された音素材に取得されたストレッチ比のタイムストレッチを行ってもよい。この場合、各音素材のタイムストレッチを適切なタイムストレッチ方式で行うことができる。

（４）特徴情報は、無音区間に関する情報およびピッチに関する情報の少なくとも一方を含んでもよい。この場合、特徴情報に基づいて各音素材に適した処理方式を決定することができる。

（５）第２の発明に係る音素材処理プログラムは、音素材を取得するステップと、取得された音素材の特徴を表す特徴情報を取得するステップと、音素材に予め定められた処理を行うための複数の処理方式に関して、音素材の特徴に対する好適性を表す好適性情報を取得するステップと、取得された特徴および取得された好適性情報に基づいて、複数の処理方式のうち、取得された音素材に適した処理方式を決定するステップと、決定された処理方式を用いて、取得された音素材に処理を行うステップとを、コンピュータに実行させる。

この音素材処理プログラムによれば、各処理方式についての知識および経験が乏しいユーザであっても、音素材を適切な処理方式で処理することができる。また、異なる特徴を有する複数の音素材に連続的に処理が行われる場合でも、各音素材を適切な処理方式で処理することができる。

本発明によれば、音素材を適切な処理方式で処理することができる。

本発明の実施の形態に係る音素材処理装置を含む電子音楽装置の構成を示すブロック図である。 本発明の実施の形態に係る音素材処理装置の機能的な構成を示すブロック図である。 音特徴好適性情報の例について説明するための図である。 図１および図２の音素材処理装置により行われる複数の音素材の処理を示すフローチャートである。 図１および図２の音素材処理装置により行われる複数の音素材の処理を示すフローチャートである。 音素材処理装置による複数の音素材の処理の一例を示すタイミング図である。

以下、本発明の実施の形態に係る音素材処理装置および音素材処理プログラムについて図面を用いて詳細に説明する。

（１）電子音楽装置の構成
図１は本発明の実施の形態に係る音素材処理装置を含む電子音楽装置の構成を示すブロック図である。図１の電子音楽装置１によれば、ユーザは演奏および楽曲の制作等を行うことができる。また、ユーザは、電子音楽装置１により各種音素材の処理を行い、処理された音素材を再生することができる。

電子音楽装置１は、演奏データ入力部２、入力Ｉ／Ｆ（インタフェース）３、設定操作子４、検出回路５、タッチパネルディスプレイ６、検出回路７および表示回路８を備える。演奏データ入力部２は、鍵盤等の音高指定操作子またはマイク等を含み、入力Ｉ／Ｆ３を介してバス１９に接続される。ユーザの演奏操作に基づく演奏データが演奏データ入力部２により入力される。設定操作子４は、オンオフ操作されるスイッチ、回転操作されるロータリエンコーダ、またはスライド操作されるリニアエンコーダ等を含み、検出回路５を介してバス１９に接続される。この設定操作子４は、音量の調整、電源のオンオフおよび各種設定を行うために用いられる。

タッチパネルディスプレイ６は、検出回路７および表示回路８を介してバス１９に接続される。タッチパネルディスプレイ６には、各種情報が表示される。ユーザは、タッチパネルディスプレイ６を操作することにより各種操作を指示することができる。

電子音楽装置１は、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ（中央演算処理装置）１１、タイマ１２および記憶装置１３をさらに備える。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１および記憶装置１３はバス１９に接続され、タイマ１２はＣＰＵ１１に接続される。外部記憶装置１５等の外部機器が通信Ｉ／Ｆ（インタフェース）１４を介してバス１９に接続されてもよい。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１およびタイマ１２がコンピュータを構成する。

ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、システムプログラムおよび音素材処理プログラム等のコンピュータプログラムを記憶する。ＣＰＵ１１は、ＲＯＭ１０に記憶された音素材処理プログラムをＲＡＭ９上で実行することにより後述する音素材の処理を行う。タイマ１２は、現在時刻等の時間情報をＣＰＵ１１に与える。

記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。この記憶装置１３には、１または複数の音素材が記憶される。ユーザにより楽曲を構成する音素材が選択される。各音素材は、音の波形を示すサンプリングデータ列からなる音響データ（オーディオデータ）である。音とは、音楽的な音に限るものではなく、音声またはその他の任意の音を含む。音素材は、任意の長さを有し、１拍もしくは複数拍に相当する長さまたは１拍に満たない１発音分の長さを有してもよく、楽曲の１小節または複数小節に相当する長さを有してもよい。また、記憶装置１３には、自動演奏データおよび自動伴奏データが記憶される。上記の音素材処理プログラムが記憶装置１３に記憶されてもよい。

外部記憶装置１５は、記憶装置１３と同様に、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、楽曲データ等の各種データまたは音素材処理プログラムを記憶してもよい。

なお、本実施の形態における音素材処理プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ＲＯＭ１０または記憶装置１３にインストールされてもよい。また、通信Ｉ／Ｆ１４が通信網に接続されている場合、通信網に接続されたサーバから配信された音素材処理プログラムがＲＯＭ１０または記憶装置１３にインストールされてもよい。

電子音楽装置１は、音源１６、効果回路１７およびサウンドシステム１８をさらに備える。音源１６および効果回路１７はバス１９に接続され、サウンドシステム１８は効果回路１７に接続される。音源１６は、演奏データ入力部２から入力される演奏データまたは記憶装置１３から与えられる自動演奏データまたは自動伴奏データに基づいて楽音信号を生成する。効果回路１７は、音源１６により生成される楽音信号またはＣＰＵ１１から与えられる音素材に音響効果を付与する。

サウンドシステム１８は、デジタルアナログ（Ｄ／Ａ）変換回路、増幅器およびスピーカを含む。このサウンドシステム１８は、音源１６から効果回路１７を通して与えられる楽音信号またはＣＰＵ１１から効果回路１７を通して与えられる音素材をアナログ音信号に変換し、アナログ音信号に基づく音を発生する。それにより、楽音信号または音素材が再生される。電子音楽装置１において、主としてタッチパネルディスプレイ６、ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１、タイマ１２および記憶装置１３が音素材処理装置１００を構成する。

（２）音素材処理装置１００の機能的な構成
図２は本発明の実施の形態に係る音素材処理装置１００の機能的な構成を示すブロック図である。図２に示すように、音素材処理装置１００は、再生指示部１１０、音素材入力部１２０、複数の遅延部１３０、複数の処理モジュール１４０および音素材出力部１５０を含む。また、音素材処理装置１００は、処理方式決定部１６０、特徴情報取得部１６１、好適性情報取得部１６２、処理モジュール選択部１７０、差分遅延量算出部１８０、処理遅延量取得部１９０、パラメータ値設定部２００および処理モジュール登録部２１０を含む。図２の音素材処理装置１００の各ブロックの機能は、ＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された音素材処理プログラムを実行することにより実現される。本実施の形態では、複数の音素材が連続的に処理および再生される。

以下、複数の遅延部１３０の各々を区別する場合には、複数の遅延部１３０をそれぞれ遅延部１３０ａ〜１３０ｄと呼ぶ。また、複数の処理モジュール１４０の各々を区別する場合には、複数の処理モジュール１４０をそれぞれ処理モジュール１４０ａ〜１４０ｄと呼ぶ。

複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ異なる処理方式Ａ〜Ｄで音素材に予め定められた処理を行う。予め定められた処理は、同じ目的または類似の目的の処理であり、厳密に同じ処理を意味するものではない。

本実施の形態では、処理はタイムストレッチである。タイムストレッチとは、音響データを時間軸上で圧縮または伸張することを意味する。本実施の形態では、処理方式Ａ〜Ｄは、それぞれ異なるタイムストレッチ方式である。複数の処理モジュール１４０ａ〜１４０ｄは、それぞれ処理方式Ａ〜Ｄの音特徴好適性情報ＰＲａ〜ＰＲｄを保有する。音特徴好適性情報ＰＲａ〜ＰＲｄについては後述する。各処理方式による音素材の処理に要する時間を処理遅延量と呼ぶ。処理遅延量は、音素材が各処理モジュール１４０に入力されてから出力されるまでの時間である。処理モジュール１４０ａ〜１４０ｄは、処理遅延量ＤＬａ〜ＤＬｄを保有する。本実施の形態では、処理モジュール１４０ａ〜１４０ｄを構成するプログラム中に音特徴好適性情報ＰＲａ〜ＰＲｄおよび処理遅延量ＤＬａ〜ＤＬｄが記述されている。

処理遅延量取得部１９０は、複数の処理モジュール１４０ａ〜１４０ｄからそれぞれ処理遅延量ＤＬａ〜ＤＬｄを取得する。差分遅延量算出部１８０は、処理遅延量ＤＬａ〜ＤＬｄの最大値以上の値を基準遅延量として算出し、処理遅延量ＤＬａ〜ＤＬｄと基準遅延量との差分を差分遅延量ΔＤａ〜ΔＤｄとして算出する。また、差分遅延量算出部１８０は、算出した差分遅延量ΔＤａ〜ΔＤｄをそれぞれ処理モジュール１４０ａ〜１４０ｄに対応する遅延部１３０ａ〜１３０ｄに設定する。

パラメータ値設定部２００は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて処理モジュール１４０ａ〜１４０ｄの処理に関する可変のパラメータＰＡの値を設定する。本実施の形態では、パラメータはストレッチ比である。ストレッチ比は、タイムストレッチ前の音素材の再生時間に対するタイムストレッチ後の音素材の再生時間の比である。パラメータＰＡの値に依存して処理モジュール１４０ａ〜１４０ｄの処理遅延量ＤＬａ〜ＤＬｄが変化する。

処理モジュール登録部２１０は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて複数の処理モジュール１４０ａ〜１４０ｄのうち複数の音素材の処理に用いる処理モジュール１４０を登録する。全ての処理モジュール１４０が登録された場合には全ての処理モジュール１４０を、一部の処理モジュール１４０が登録された場合には登録された処理モジュール１４０のみを各音素材の処理に用いることが可能となる。

音素材入力部１２０は、ユーザによるタッチパネルディスプレイ６の操作に基づいて図１の記憶装置１３に記憶される複数の音素材を入力する。複数の音素材は、一の楽曲データから連続的または不連続に選択された複数の音素材、または複数の楽曲データから不連続に選択された複数の音素材であってもよい。音素材入力部１２０への複数の音素材の入力順序は予め定められている。本実施の形態では、Ｎ個の音素材ＳＩ_１〜ＳＩ_Ｎが入力される。Ｎは２以上の自然数である。

特徴情報取得部１６１は、音素材入力部１２０により入力された複数の音素材ＳＩ_１〜ＳＩ_Ｎから特徴を表す特徴情報ＳＭ_１〜ＳＭ_Ｎをそれぞれ取得する。好適性情報取得部１６２は、複数の処理モジュール１４０ａ〜１４０ｄから音特徴好適性情報ＰＲａ〜ＰＲｄを取得する。処理方式決定部１６０は、特徴情報取得部１６１により取得された特徴情報および好適性情報取得部１６２により取得された音特徴好適性情報ＰＲａ〜ＰＲｄに基づいて各音素材の処理に用いる処理方式を決定する。本実施の形態では、Ｎ個の音素材ＳＩ_１〜ＳＩ_Ｎの各々の処理に用いる処理方式が音素材の再生前に予め決定される。

音素材の再生時には、再生指示部１１０は、ユーザによる図１のタッチパネルディスプレイ６の操作に基づいて複数の音素材の再生を指示する。それにより、音素材入力部１２０は、複数の音素材ＳＩ_１〜ＳＩ_Ｎを順に入力する。この場合、入力する音素材の間に休符区間が入ってもよい。また、各音素材が再生開始予定時刻付きでまたは再生開始予定時刻が算出されて入力されてもよい。処理モジュール選択部１７０は、音素材の入力ごとに処理方式決定部１６０により決定された処理方式に対応する処理モジュール１４０を選択し、選択した処理モジュール１４０への音素材の入力を音素材入力部１２０に指示し、かつ選択した処理モジュール１４０により処理された音素材の出力を音素材出力部１５０に指示する。

音素材入力部１２０は、処理モジュール選択部１７０により指示された処理モジュール１４０に遅延部１３０を通して各音素材を入力する。このとき、遅延部１３０は、予め設定された差分遅延量の遅延を音素材に与える。選択された処理モジュール１４０は、入力された音素材を処理する。音素材出力部１５０は、処理モジュール選択部１７０により指示された処理モジュール１４０により処理された音素材を出力する。本実施の形態では、音素材出力部１５０は、音素材ＳＩ_１〜ＳＩ_Ｎにタイムストレッチを行うことにより得られた音素材ＳＯ_１〜ＳＯ_Ｎを順に出力する。

本例では、各遅延部１３０により各音素材に差分遅延量の遅延が付与されるが、複数の遅延部１３０を設けることなく音素材入力部１２０が各処理モジュール１４０に音素材を入力する時点を調整することにより各音素材に差分遅延量の遅延が付与されてもよい。

（３）処理方式の決定方法
音素材の特徴は、例えば、音素材がピッチ音であるか無ピッチ音であるか、音素材がピッチ音である場合に単一音であるか混合音であるか、または音素材に無音区間が存在するか否かである。

ピッチ音は、人が音高を明確に知覚可能な音である。ピッチ音の波形は、周期性を有する。ピッチ音は、人の声または管弦楽器および鍵盤楽器から発せられる持続音または減衰音等を含む。また、打楽器のうち、マリンバ、鉄琴、タムおよびティンパニ等の音もピッチ音に含まれる。無ピッチ音は、人が音高を明確に知覚することができない音である。無ピッチ音の波形は、周期性を有さない。無ピッチ音は、滝または雨の音、ならびにスネアドラムおよびマラカス等の打楽器の音を含む。

ピッチ音は、単一音および混合音を含む。単一音は、人が１つの音として知覚する音である。単一音の波形は、単一の周期を有する。混合音は、複数の単一音が混合された音である。ギターまたはピアノ等は単独で混合音を発することができる。また、複数の楽器が同時に発した複数の単一音の組み合わせも混合音に相当する。

複数の処理方式としては、例えば、スライス方式、ＰＳＯＬＡ（ピッチ同期重畳加算）方式、フェーズボコーダ方式、および波形クロスフェード方式がある。

スライス方式は、時間軸上で複数の音の間に無音区間が存在する音素材（例えば、パーカッション演奏等）に好適である。一方、時間軸上で連続する複数の音が互いにオーバーラップして無音区間が存在しない音素材、または無音区間が少ない音素材には、スライス方式は適さない。ＰＳＯＬＡ方式は、単一音に好適であり、無ピッチ音に関しても一定の音質が得られる。一方、ＰＳＯＬＡ方式は、混合音に適さない。フェーズボコーダ方式は、音高が明確なピッチ音（単一音および混合音の両方）に好適であり、音高が明確でない無ピッチ音に適さない。波形クロスフェード方式は、無ピッチ音、単一音および混合音を含む各種の音素材に関して一定の音質が得られるが、単一音に関してはＰＳＯＬＡ方式よりも音質的に劣り、混合音に関してはフェーズボコーダ方式よりも音質的に劣る。

処理方式として、ＰＩＣＯＬＡ（Pointer Interval Controlled OverLap and Add）方式等の他の方式が用いられてもよい。２つ以上の音高を含む混合音に関して、ＰＳＯＬＡ方式の代わりにＰＩＣＯＬＡ方式を用いることが考えられる。

音素材の特徴は、上記の例に限らず、アタックが鋭いか否か、またはアタックの数が多いか否か等であってもよい。例えば、２０ミリ秒以内に急激に変化するような波形の音素材は、アタックが鋭いという特徴を有する。また、１秒間当たりに１つ以上アタックが存在する音素材は、アタックの数が多いという特徴を有する。

音特徴好適性情報ＰＲａ〜ＰＲｄは、複数の特徴に対する処理方式Ａ〜Ｄの好適性の程度を示す。図３は、音特徴好適性情報ＰＲａ〜ＰＲｄの例について説明するための図である。図３（ａ）〜図３（ｄ）が、音特徴好適性情報ＰＲａ〜ＰＲｄをそれぞれ示す。図３の例では、特徴ＭＡ，ＭＢ，ＭＣ，ＭＤに対する好適性が、“１”〜“５”の数値（以下、好適値と呼ぶ。）でそれぞれ表される。本例では、好適値が大きいほど、好適性が高い。

例えば、特徴ＭＡについて、音特徴好適性情報ＰＲａ、音特徴好適性情報ＰＲｂ、音特徴好適性情報ＰＲｃおよび音特徴好適性情報ＰＲｄでの好適値は、それぞれ“５”、“３”、“１”、“２”である。したがって、特徴ＭＡについては、処理方式Ａが最も好適である。そのため、図２の特徴情報取得部１６１が特徴ＭＡを表す特徴情報を取得した場合、処理方式決定部１６０は、該当の音素材の処理に用いる処理方式を処理方式Ａに決定する。

また、一の音素材が、複数の特徴を含むことがある。その場合、複数の特徴の重みが数値（以下、重み値と呼ぶ。）で表され、各特徴の重み値および各処理方式の好適値に基づいて、処理方式が選択される。

例えば、一の音素材が特徴ＭＡ，ＭＢ，ＭＣ，ＭＤを含み、各特徴の重み値がそれぞれ“０．４”、“０．３”、“０．２”、“０．１”である。図２の処理方式決定部１６０は、各処理方式に関して、各特徴の重み値とその音特徴に対する好適値との積を算出し、さらに全ての特徴について算出された積の合計値（以下、好適合計値と呼ぶ。）を算出する。具体的には、処理方式Ａに関して、好適合計値は、“０．４×５＋０．３×１＋０．２×１＋０．１×１＝２．６”である。同様に、処理方式Ｂの好適合計値は“３．１”であり、処理方式Ｃの好適合計値は“２．４”であり、処理方式Ｄの好適合計値は“３．０”である。算出された好適合計値が大きいほど、該当の音素材に好適であるので、図２の処理方式決定部１６０は、処理方式Ｂ（“３．１”）を該当の音素材の処理に用いる処理方式に決定する。

音特徴好適性情報の各好適値は、ユーザにより適宜変更可能であってもよい。また、処理方式の決定方法は、上記の例に限定されない。例えば、一の音素材が複数の特徴を含む場合、好適合計値が算出される代わりに、最も顕著な特徴に好適な処理方式が、その音素材の処理に用いる処理方式に決定されてもよい。また、処理方式の決定方法がユーザによって適宜変更可能であってもよい。音素材に複数の特徴が含まれる場合、たとえ好適合計値が高くても他の条件によって「好適でない」と判定される処理方式は採用しない、等も考えられる。

また、特徴情報は、各音素材に関連付けられて記憶装置１３に記憶されていてもよく、または、再生の直前に自動解析等により取得されてもよい。あるいは、ユーザが特徴情報を入力してもよい。また、例えば数秒以上の長さを有する音素材においては、途中で特徴が変化する場合がある。そのような音素材に関して、特徴情報の変化に応じて途中で処理方式が変更されてもよい。

また、上記の例では、音素材が各特徴を有するか否かに基づいて処理方式が決定されるが、音素材における各特徴の顕著さが数値で表され、その数値に基づいて処理方式が決定されてもよい。また、特徴の顕著さを表す数値（以下、特徴値と呼ぶ。）がユーザにより設定および調整可能であってもよい。例えば、ユーザは、実際に音素材を試聴する、または音素材に関する情報を参照して、ＧＵＩ上で特徴値を“０”から“４”までのような段階的な数値を設定して適宜調整することができる。

また、自動解析によって特徴値が設定されてもよい。対象の音素材を時系列に分析することで、その音素材中の「無音区間」の割合または「単一音」の割合等を検出することができる。特徴の種類を「無音区間」または「単一音」としたときに、抽出したそれぞれの割合に応じた特徴値を設定することができる。また、音素材の楽器情報（パート情報またはカテゴリ情報）が取得可能であれば、音素材が無ピッチ音であるか否かを判定することができるので、「無ピッチ音」という特徴についても特徴値を設定することができる。

また、上記のような自動解析によって設定された特徴値が初期値としてＧＵＩ上に表示され、ユーザによってＧＵＩ上で特徴値が修正されることにより特徴値が確定されてもよい。

（４）音素材処理装置１００の動作
図４および図５は図１および図２の音素材処理装置１００により行われる複数の音素材の処理を示すフローチャートである。また、図６は音素材処理装置１００による複数の音素材の処理の一例を示すタイミング図である。図４および図５の複数の音素材の処理は、図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された音素材処理プログラムを実行することに行われる。以下、図２の音素材処理装置１００の各部の動作と関連付けて複数の音素材の処理を説明する。

本例では、図２の処理モジュール登録部２１０により複数の音素材の処理に使用可能な処理モジュール１４０として処理モジュール１４０ａ〜１４０ｄが登録されているものとする。複数の処理モジュール１４０ａ〜１４０ｄのパラメータＰＡの値がパラメータ値設定部２００により設定される。

まず、図２の音素材入力部１２０は、ユーザの操作に基づいて、図１の記憶装置１３に記憶される複数の音素材から再生対象となるＮ個の音素材ＳＩ_１〜ＳＩ_Ｎを取得する（ステップＳ１）。次に、処理方式決定部１６０は、音素材入力部１２０により取得されたＮ個の音素材ＳＩ_１〜ＳＩ_Ｎの処理に用いる処理方式をそれぞれ決定する（ステップＳ２）。本例では、音素材ＳＩ_１〜ＳＩ_４の処理にそれぞれ処理方式Ａ〜Ｄが用いられるものとする。

その後、処理遅延量取得部１９０は、決定された各処理方式に対応する処理モジュール１４０ａ〜１４０ｄから処理遅延量ＤＬａ〜ＤＬｄを取得する（ステップＳ３）。本例では、処理遅延量ＤＬａ〜ＤＬｄは、ＤＬａ＜ＤＬｂ＜ＤＬｃ＜ＤＬｄの関係を有する。

差分遅延量算出部１８０は、処理遅延量取得部１９０により取得された処理遅延量ＤＬａ〜ＤＬｄに基づいて基準遅延量ＤＲを決定する（ステップＳ４）。本例では、基準遅延量ＤＲは処理遅延量ＤＬａ〜ＤＬｄのうち最大の処理遅延量ＤＬｄに決定される。また、差分遅延量算出部１８０は、基準遅延量ＤＲと各処理モジュール１４０ａ〜１４０ｄの処理遅延量ＤＬａ〜ＤＬｄとの差を差分遅延量ΔＤａ〜ΔＤｄとして算出する（ステップＳ５）。さらに、差分遅延量算出部１８０は、各処理モジュール１４０ａ〜１４０ｄに対応する遅延部１３０ａ〜１３０ｄにそれぞれ差分遅延量ΔＤａ〜ΔＤｄを設定する（ステップＳ６）。

次に、処理方式決定部１６０は、音素材入力部１２０による各音素材ＳＯ_１〜ＳＯ_Ｎの出力開始時刻を決定する（ステップＳ７）。出力開始時刻は、各音素材の再生が開始される時刻に相当する。各音素材の出力開始時刻と次の音素材の出力開始時刻との間の時間差は、処理後の各音素材の再生時間により決定される。本例では、入力される音素材が休符区間を含まないが、入力される音素材が休符区間を含む場合には、再生時間に休符区間が加算される。図６には、処理後の音素材ＳＯ_１〜ＳＯ_５の出力開始時刻ｒ１〜ｒ５が示される。

また、処理方式決定部１６０は、音素材入力部１２０による各音素材ＳＩ_１〜ＳＩ_Ｎの入力開始時刻を決定する（ステップＳ８）。この場合、各入力開始時刻は、対応する出力開始時刻よりも基準遅延量ＤＲだけ前の時点に決定される。図６には、音素材ＳＩ_１〜ＳＩ_５の入力開始時刻ｔ１〜ｔ５が示される。

ユーザの操作に基づいて、再生指示部１１０が複数の音素材の再生の開始を指示する（ステップＳ９）。また、再生指示部１１０は図１のタイマ１２を起動する（ステップＳ１０）。処理モジュール選択部１７０は、変数ｉを１に設定する（ステップＳ１１）。次に、処理モジュール選択部１７０は、ｉ番目（１番目）の音素材の処理に用いる処理モジュール１４０を現在の処理モジュール１４０とする（ステップＳ１２）。本例では、処理モジュール１４０ａが現在の処理モジュール１４０となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（１番目）の入力開始時刻ｔ１が到来したか否かを判定する（ステップＳ１３）。ｉ番目（１番目）の入力開始時刻ｔ１が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａへ遅延部１３０ａを通してｉ番目（１番目）の音素材ＳＩ_１の入力を開始するように音素材入力部１２０を制御する（ステップＳ１４）。この場合、図６に示すように、遅延部１３０ａにより音素材ＳＩ_１に差分遅延量ΔＤａが付与される。それにより、音素材ＳＩ_１は、入力開始時刻ｔ１から差分遅延量ΔＤａの経過後に処理モジュール１４０ａに入力される。処理モジュール１４０ａは、入力された音素材ＳＩ_１の処理を開始し、処理遅延量ＤＬａの経過後に処理された音素材ＳＯ_１の出力が可能となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（１番目）の出力開始時刻ｒ１が到来したか否かを判定する（ステップＳ１５）。ｉ番目（１番目）の出力開始時刻ｒ１が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａにより処理された音素材ＳＯ_１を出力するように音素材出力部１５０を制御する（ステップＳ１６）。図６の例では、音素材出力部１５０は、出力開始時刻ｒ１において、処理モジュール１４０ａにより処理された１番目の音素材ＳＯ_１をフェードインさせながら出力する。

次に、処理モジュール選択部１７０は、ユーザの操作に基づいて、再生指示部１１０により再生の終了が指示されたか否かを判定する（ステップＳ１７）。再生の終了が指示されていない場合、処理モジュール選択部１７０は、変数ｉに１を加算する（ステップＳ１８）。次に、処理モジュール選択部１７０は、ｉ番目（２番目）の音素材ＳＩ_２の処理に用いる処理モジュール１４０を次の処理モジュール１４０とする（ステップＳ１９）。本例では、処理モジュール１４０ｂが次の処理モジュール１４０となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（２番目）の入力開始時刻ｔ２が到来したか否かを判定する（ステップＳ２０）。ｉ番目（２番目）の入力開始時刻ｔ２が到来した場合には、処理モジュール選択部１７０は、次の処理モジュール１４０ｂへ遅延部１３０ｂを通してｉ番目（２番目）の音素材ＳＩ_２の入力を開始するように音素材入力部１２０を制御する（ステップＳ２１）。この場合、図６に示すように、遅延部１３０ｂにより音素材ＳＩ_２に差分遅延量ΔＤｂが付与される。それにより、音素材ＳＩ_２は、入力開始時刻ｔ２から差分遅延量ΔＤｂの経過後に処理モジュール１４０ｂに入力される。処理モジュール１４０ｂは、入力された音素材ＳＩ_２の処理を開始し、処理遅延量ＤＬｂの経過後に処理された音素材ＳＯ_２の出力が可能となる。

その後、処理モジュール選択部１７０は、図１のタイマ１２の出力に基づいて、ｉ番目（２番目）の出力開始時刻ｒ２が到来したか否かを判定する（ステップＳ２２）。ｉ番目（２番目）の出力開始時刻ｒ２が到来した場合には、処理モジュール選択部１７０は、現在の処理モジュール１４０ａにより処理された音素材ＳＯ_１の出力を停止するように音素材出力部１５０を制御する（ステップＳ２３）。図６の例では、音素材出力部１５０は音素材ＳＯ_１をフェードアウトさせる。

次に、処理モジュール選択部１７０は、次の処理モジュール１４０ｂを現在の処理モジュール１４０とする（ステップＳ２４）。処理モジュール選択部１７０は、現在の処理モジュール１４０ｂにより処理された音素材ＳＯ_２を出力するように音素材出力部１５０を制御する（ステップＳ２５）。図６の例では、出力開始時刻ｒ２において、音素材出力部１５０が処理モジュール１４０ｂにより処理された音素材ＳＯ_２をフェードインさせる。

その後、処理モジュール選択部１７０は、ステップＳ１７に戻り、ステップＳ１７〜Ｓ２５を繰り返す。これにより、図６の例では、入力開始時刻ｔ３で３番目の音素材ＳＩ_３が遅延部１３０ｃを通して処理モジュール１４０ｃに入力され、差分遅延量ΔＤｃの経過後に音素材ＳＩ_３の処理が開始される。さらに、処理遅延量ＤＬｃの経過後の出力開始時刻ｒ３で、２番目の音素材ＳＯ_２がフェードアウトされ、処理モジュール１４０ｃにより処理された３番目の音素材ＳＯ_３がフェードインされる。同様に、入力開始時刻ｔ４で４番目の音素材ＳＩ_４が遅延部１３０ｄを通して処理モジュール１４０ｄに入力され、差分遅延量ΔＤｄの経過後に音素材ＳＩ_４の処理が開始される。さらに、処理遅延量ＤＬｄの経過後の出力開始時刻ｒ４で、３番目の音素材ＳＯ_３がフェードアウトされ、処理モジュール１４０ｄにより処理された４番目の音素材ＳＯ_４がフェードインされる。

ステップＳ１７で、再生の終了が指示された場合、処理モジュール選択部１７０はタイマ１２を停止させる（ステップＳ２６）、また、処理モジュール選択部１７０は、現在の処理モジュール１４０への音素材の入力を停止するように音素材入力部１２０を制御し（ステップＳ２７）、現在の処理モジュール１４０により処理された音素材の出力を停止するように音素材出力部１５０を制御する（ステップＳ２８）。

本例では、処理方式の切り替わり時に先行する音素材がフェードアウトしかつ後続する音素材がフェードインすることによりクロスフェードが行われるので、聴感上自然な再生音が得られる。

上記の複数の音素材の処理において、パラメータ値設定部２００によりパラメータＰＡの値が変更された場合には、各処理方式の処理遅延量が変化する。そのため、各音素材の出力開始時刻および入力開始時刻も変更される必要がある。本実施の形態では、パラメータがストレッチ比であるため、ストレッチ比の値が変更されると、各処理モジュール１４０の処理遅延量および処理後の音素材の再生時間も変更される。この場合、ステップＳ３に戻り、処理遅延量取得部１９０により変更後のパラメータＰＡの値に応じた処理遅延量が取得され、ステップＳ４〜Ｓ８において各音素材の出力開始時刻および入力開始時刻が再度決定される。その後、ステップＳ９〜Ｓ２８が実行される。

（５）実施の形態の効果
本実施の形態に係る音素材処理装置１００によれば、各音素材の特徴情報および各処理方式の音特徴好適性情報に基づいて、各音素材に適した処理方式が決定される。それにより、各処理方式についての知識および経験が乏しいユーザであっても、各音素材を適切な処理方式で処理することができる。また、異なる特徴を有する複数の音素材に連続的に処理が行われる場合でも、ユーザの煩雑な操作を必要とせず、かつ音質に妥協することなく、各音素材を適切な処理方式で処理することができる。

また、本実施の形態では、処理モジュール１４０ａ〜１４０ｄへの音素材の入力から音素材の出力までの時間が基準遅延量ＤＲと等しくなるように音素材に遅延が与えられる。それにより、処理方式Ａ〜Ｄの切り替え時に音ずれが生じない。この場合、ユーザは、各処理方式の処理遅延量および楽音の信号処理を考慮する必要がない。その結果、各処理方式および楽音の信号処理についての知識および経験が乏しいユーザであっても、各音素材を適切な処理方式で処理するとともに処理後の複数の音素材の連続性を容易に確保することが可能となる。

（６）他の処理の例
上記実施の形態では、処理としてタイムストレッチが行われるが、例えばセンターキャンセルのような他の処理が行われてもよい。センターキャンセルは、歌声および複数の楽器音等を含む音素材から対象の音（主に歌声）を消去するための処理であり、例えば次の２つの処理方式が使用可能であるとする。

第１の処理方式では、左右のチャンネルの信号が逆相加算されることにより、左右の中心付近に定位を有する周波数成分が消去される。第２の処理方式では、音素材の周波数成分毎に定位が特定され、中心付近に定位を有する周波数成分が消去される。

この例では、音素材の特徴は、対象音の定位が予め判明しているか否かであるとする。各成分の定位が予め判明している場合には、第１の処理方式が好適であり、対象音の定位が判明していない場合には、第２の処理方式が好適である。そこで、上記実施の形態と同様に、各音素材の特徴を表す特徴情報および各特徴に対する各処理方式の好適性を表す音特徴好適性情報に基づいて、各音素材に適した処理方式を決定することができる。したがって、各音素材を適切な処理方式で処理することができる。

（７）他の実施の形態
上記実施の形態では、記憶装置１３に複数の音素材が記憶されるが、複数の音素材が通信Ｉ／Ｆ１４により通信網を経由して取得されてもよい。また、演奏データ入力部２または外部から入力される音響データから複数の音素材が取得されてもよい。さらに、処理の種類によっては、各音素材の処理方式が決定されつつ各音素材が処理および再生されてよく、またはマイク等の入力装置により入力される音響データから複数の音素材が取得されつつ各音素材についての処理方式の決定、決定された処理方式での処理および再生が順次行われてもよい。

上記実施の形態では、複数の音素材に差分遅延量の遅延が付与されつつ複数の音素材の処理および再生が順次行われるが、本発明はこれに限らない。例えば、複数の音素材の処理が予め行われ、処理後の音素材が順次再生されてもよい。また、複数ではなく１つの音素材の処理および再生のみが行われてもよい。

上記実施の形態では、音素材処理装置１００が電子音楽装置１に設けられているが、音素材処理装置１００がパーソナルコンピュータ、スマートデバイス（smart device）、ゲーム機器等の電子機器に適用されてもよい。上記実施の形態に係る音素材処理装置１００は、ＣＰＵ１１等のハードウエアおよび音素材処理プログラム等のソフトウエアにより実現されるが、図２の音素材処理装置１００の各構成要素が電子回路等のハードウエアにより実現されてもよい。

（８）請求項の各構成要素と実施の形態の各部との対応
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることができる。

上記実施の形態では、音素材入力部１２０が音素材取得手段の例であり、特徴情報取得部１６１が特徴情報取得手段の例であり、好適性情報取得部１６２が好適性情報取得手段の例であり、音特徴好適性情報ＰＲａ〜ＰＲｄが好適性情報の例であり、処理方式決定部１６０が処理方式決定手段の例であり、処理モジュール１４０が処理手段の例であり、パラメータ値設定部２００がストレッチ比取得手段の例である。

本発明は、複数の音素材を処理するため等に利用することができる。

１…電子音楽装置，６…タッチパネルディスプレイ，９…ＲＡＭ，１０…ＲＯＭ，１１…ＣＰＵ，１２…タイマ，１３…記憶装置，１５…外部記憶装置，１８…サウンドシステム，１９…バス，１００…音素材処理装置，１１０…再生指示部，１２０…音素材入力部，１３０，１３０ａ〜１３０ｄ…遅延部，１４０，１４０ａ〜１４０ｄ…処理モジュール，１５０…音素材出力部，１６０…処理方式決定部，１６１…特徴情報取得部，１６２…好適性情報取得部，１７０…処理モジュール選択部，１８０…差分遅延量算出部，１９０…処理遅延量取得部，２００…パラメータ値設定部，２１０…処理モジュール登録部

Claims (5)

1. 音素材を取得する音素材取得手段と、
   取得された音素材の特徴を表す特徴情報を取得する特徴情報取得手段と、
   音素材に予め定められた処理を行うための複数の処理方式に関して、音素材の特徴に対する好適性を表す好適性情報を取得する好適性情報取得手段と、
   取得された特徴情報および取得された好適性情報に基づいて、前記複数の処理方式のうち、前記取得された音素材に適した処理方式を決定する処理方式決定手段と、
   決定された処理方式を用いて、前記取得された音素材に前記処理を行う処理手段とを備える、音素材処理装置。
2. 前記処理方式決定手段は、前記取得された音素材の処理による音質の劣化が最も抑制される処理方式を前記音素材に適した処理方式として決定する、請求項１記載の音素材処理装置。
3. 前記処理はタイムストレッチであり、
   タイムストレッチにおけるストレッチ比を取得するストレッチ比取得手段をさらに備え、
   前記処理手段は、前記決定された処理方式を用いて、前記取得された音素材に取得されたストレッチ比のタイムストレッチを行う、請求項１または２記載の音素材処理装置。
4. 前記特徴情報は、無音区間に関する情報およびピッチに関する情報の少なくとも一方を含む、請求項１〜３のいずれか一項に記載の音素材処理装置。
5. 音素材を取得するステップと、
   取得された音素材の特徴を表す特徴情報を取得するステップと、
   音素材に予め定められた処理を行うための複数の処理方式に関して、音素材の特徴に対する好適性を表す好適性情報を取得するステップと、
   取得された特徴および取得された好適性情報に基づいて、前記複数の処理方式のうち、前記取得された音素材に適した処理方式を決定するステップと、
   決定された処理方式を用いて、前記取得された音素材に前記処理を行うステップとを、
   コンピュータに実行させる、音素材処理プログラム。

Images