JP5082760B2 - 音制御装置およびプログラム - Google Patents

Description

本発明は、音声の入力に応じて音を制御する技術に関する。

入力音声の音韻に応じた音を発生する技術が従来から提案されている。例えば特許文献１には、入力音声に対する音声認識で同定された音韻に応じたリズム音を出力する技術が開示されている。すなわち、事前に登録された複数の音声パターンのうち入力音声に相関する音声パターンが音声認識で特定され、当該音声パターンに対応したリズム音が出力される。
特開平９−２８１９６８号公報

しかし、特許文献１の技術においては入力音声に対する音声認識が必須である。したがって、利用者が事前に登録した音声パターンを記憶するために大容量の記憶装置が必要になるとともに、演算処理装置による音声認識の処理の負荷が過大となるといった問題がある。以上の事情に鑑みて、本発明は、音声認識を要することなく入力音声の音韻に応じた音を生成することを目的とする。

入力音声における各帯域の成分のエネルギの分布（周波数スペクトル）は音韻に応じて相違するという関係を利用して、本発明に係る音制御装置は、入力音声の音韻に応じて変化する音韻指標値を入力音声の特定の帯域の成分の強度に基づいて算定する指標算定手段と、複数の音の何れかを音韻指標値に基づいて選択する音選択手段と、入力音声のピーク値を検出するピーク検出手段と、音韻指標値に応じて閾値を可変に設定する閾値設定手段と、ピーク値が閾値を上回るか否かを判定する発音判定手段と、ピーク値が閾値を上回ると発音判定手段が判定した場合に、音選択手段が選択した音の発生を示す音データを生成するデータ生成手段とを具備する。

以上の構成においては、入力音声の音韻の指標となる音韻指標値が入力音声のうち特定の成分の強度に基づいて算定されるから、入力音声の音声認識は原理的に不要である。したがって、音声パターンを記憶する大容量な記憶装置が不要となり、音韻を弁別するための処理の負荷が軽減されるという利点がある。また、音選択手段による選択音の発生の可否の判定のためにピーク値と比較される閾値が可変に設定されるから、入力音声のピーク値に応じた発音の頻度を音韻の種類に拘わらず均一化することが可能である。閾値設定手段は、例えば、ピーク値が低くなり易い音韻ほど閾値が低下するように音韻指標値に応じて閾値を可変に制御する。もっとも、音韻指標値が特定の音韻を示す場合に閾値を低下させれば、当該音韻に対応する音の発生の頻度（可能性）を他の音韻と比較して高める（発音の頻度を音韻の種類に応じて不均一化する）構成も実現される。なお、音データの形式は任意である。例えば、音の指定（ノートナンバ）を含むデータ（ＭＩＤＩデータ）や音の時間波形を示すデータ（波形データ）が音データとして好適である。また、入力音声のうち音韻指標値の算定に使用される特定の帯域は、入力音声の音韻に応じた音韻指標値の相違が顕著となる（すなわち、周波数軸上のエネルギの分布のうち音韻に応じた特徴が顕著に現れる帯域を含む）ように選定される。

本発明の好適な態様において、指標算定手段は、特定の帯域の成分を入力音声から抽出するフィルタ処理手段と、フィルタ処理手段による処理後の成分の強度を検出する第１強度検出手段（例えば図１の強度検出部１４４）と、入力音声の強度を検出する第２強度検出手段（例えば図１の強度検出部１４６）と、第１強度検出手段が検出した強度と第２強度検出手段が検出した強度との相対比に基づいて音韻指標値を算定する演算手段とを含む。以上の態様によれば、入力音声から選択的に抽出された成分の強度と当該入力音声の強度との相対比に基づいて音韻指標値が算定されるから、入力音声の強度の相違に拘わらず、音韻に応じて適切に変化する音韻指標値を算定することが可能である。強度の相対比に基づく音韻指標値の算定とは、強度の相対比を音韻指標値として算定する処理のほか、強度の相対比を変数として含む関数から音韻指標値を算定する処理を含む。

本発明の好適な態様において、指標算定手段は、入力音声の別個の帯域に属する複数の成分の各々について音韻指標値を算定し、音選択手段は、複数の音韻指標値に基づいて音を選択する。以上の態様によれば、入力音声のひとつの帯域に属する成分からひとつの音韻指標値が算定される構成と比較して、音韻指標値に応じた選択の候補（音の種類）を多様化することが可能である。

本発明の好適な態様に係る音制御装置は、音韻指標値と音との関係を可変に設定する対応音設定手段を具備し、音選択手段は、対応音設定手段が設定した関係において、指標算定手段が算定した音韻指標値に対応する音を選択する。以上の態様によれば、音韻指標値と音との関係が可変に設定されるから、例えば利用者の所望の音を音韻に応じて再生することが可能である。

本発明の好適な態様において、閾値設定手段は、発音の判定用の第１閾値と消音の判定用の第２閾値との各々を音韻指標値に応じて可変に設定し、発音判定手段は、ピーク検出手段が検出したピーク値が第１閾値を上回るか否か、および、ピーク検出手段が検出したピーク値が第２閾値を下回るか否かを判定し、データ生成手段は、ピーク検出手段が検出したピーク値が第１閾値を上回ると発音判定手段が判定した場合に、音選択手段が選択した音の発生を示す音データを生成し、ピーク検出手段が検出したピーク値が第２閾値を下回ると発音判定手段が判定した場合に、当該音の消音を示す音データを生成する。

本発明の好適な態様に係る音制御装置は、入力音声の強度（例えば入力音声の音量やピーク値）と音データが示す音の音量との関係を可変に設定する対応音量設定手段と、対応音量設定手段が設定した関係において、ピーク検出手段が検出したピーク値に対応する音量を決定する音量決定手段とを具備し、データ生成手段は、音量決定手段が設定した音量の音を示す音データを生成する。以上の態様によれば、入力音声の強度と音データが示す音の音量との関係が可変に設定されるから、例えば、入力音声の音量が少ない場合でも再生音の音量を充分に確保する態様や、入力音声の音量が多い場合でも再生音の音量を抑制する態様が適宜に採用される。

本発明に係る音制御装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、入力音声の音韻に応じて変化する音韻指標値を入力音声の特定の帯域の成分の強度に基づいて算定する指標算定処理（例えば図５のステップＳ3）と、複数の音の何れかを音韻指標値に基づいて選択する音選択処理（例えば図５のステップＳ5）と、入力音声のピーク値を検出するピーク検出処理と、音韻指標値に応じて閾値を可変に設定する閾値設定処理と、ピーク値が閾値を上回るか否かを判定する発音判定処理と、ピーク値が閾値を上回ると発音判定処理で判定した場合に、音選択処理で選択した音の発生を示す音データを生成するデータ生成処理（例えば図５のステップＳ11）とをコンピュータに実行させる。以上のプログラムによっても、本発明に係る音制御装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音制御装置の構成を示すブロック図である。音制御装置１００は、利用者が発声した擬声語（例えば打楽器の演奏音を模擬した「ドン」「パン」といった音声）の音韻に応じた打楽器の演奏音を生成する装置である。例えば、利用者が「ドン」という擬声語を発声した場合にはバスドラムの演奏音が再生され、利用者が「パン」という擬声語を発声した場合にはハイハットシンバルの演奏音が再生されるといった具合である。

図１に示すように、音制御装置１００は、制御装置１０と記憶装置４０とを具備するコンピュータシステムで実現される。制御装置１０は、プログラムの実行によって様々な処理を実行する演算処理装置である。記憶装置４０は、制御装置１０が実行するプログラムや制御装置１０が使用する各種のデータを記憶する。

制御装置１０には入力機器５０とＡ/Ｄ変換器６２と音源回路７２とが接続される。入力機器５０は、利用者が操作する複数の操作子で構成される。利用者は、入力機器５０を適宜に操作することで音制御装置１００に各種の指示を入力する。Ａ/Ｄ変換器６２には収音機器６４が接続される。収音機器６４は、利用者が発声した音声（以下「入力音声」という）Ｖを収音する。Ａ/Ｄ変換器６２は、収音機器６４が収音した入力音声Ｖの時間波形を表すデジタルの音声信号ＳVを生成する。

制御装置１０は、図１に図示された各要素として機能することで、入力音声Ｖ（音声信号ＳV）に応じた打楽器の演奏音を示す音データＤSを生成および出力する。音データＤSは、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のデジタルデータである。音源回路７２（ＭＩＤＩ音源）は、打楽器の演奏音の波形を示すデータ列を音データＤSに基づいて生成する。音源回路７２から出力されたデータ列は、Ｄ/Ａ変換器７４でアナログの音信号に変換される。放音機器７６は、Ｄ/Ａ変換器７４が出力する音信号を増幅するとともに増幅後の音信号に応じた音波を放射する。

次に、制御装置１０の機能的な構成を説明する。図１の分割部１２は、音声信号ＳV（入力音声Ｖ）を時間軸上で複数のフレーム（例えば１ミリ秒程度の区間）に区分する。各フレームの音声信号ＳVは、指標算定部１４とピーク検出部１６とに供給される。

指標算定部１４は、各フレームの音声信号ＳVについて音韻指標値Ａを生成する。音韻指標値Ａは、入力音声Ｖの音韻（音素）に応じて変化する数値である。すなわち、音韻指標値Ａが充分に相違する入力音声Ｖは別個の音韻として弁別される。

図２は、発声音の周波数スペクトルＱの概形を音韻の種類毎に示すグラフである。図２の部分(A)は両唇音（/b/，/p/）の周波数スペクトルＱであり、図２の部分(B)は歯茎音（/t/，/d/）の周波数スペクトルＱであり、図２の部分(C)は軟口蓋音（/k/，/g/）の周波数スペクトルＱである。図２の各部分に示すように、発声音の周波数スペクトルＱは、発声の原理や後続の母音との組合せに応じて音韻毎に周波数スペクトルＱが相違する。例えば、両唇音の周波数スペクトルＱ（部分(A)）は高域ほど強度が低下するように分布するのに対し、歯茎音の周波数スペクトルＱ（部分(B)）は低域ほど強度が低下するように分布する。また、軟口蓋音の周波数スペクトルＱ（部分(C)）は中域にて強度が最大になるとともに低域および高域では強度が低下する。

以上のように入力音声Ｖの周波数スペクトルＱが音韻に応じて相違するという現象を利用して、図１の指標算定部１４は、入力音声Ｖのうち特定の周波数帯域（以下「弁別帯域」という）の成分の強度に基づいて音韻指標値Ａを算定する。図１に示すように、本形態の指標算定部１４は、フィルタ処理部１４２と強度検出部１４４と強度検出部１４６と演算部１４８とで構成される。

フィルタ処理部１４２は、音声信号ＳVのうちの弁別帯域内の成分ＶCを選択的に抽出する。例えば、弁別帯域の上限の周波数を遮断周波数とするローパスフィルタや弁別帯域を通過帯域とするバンドパスフィルタがフィルタ処理部１４２として好適に採用される。弁別帯域は、音韻指標値Ａによる区別の対象となる複数の音韻の間で周波数スペクトルＱの分布の相違が当該帯域内で顕著となるように統計的または実験的に選定される。本形態では、図２の部分(A)の両唇音（例えば「バン」「パン」といった擬声語）と図２の部分(B)の歯茎音（例えば「タン」「ドン」といった擬声語）とを区別する場合を便宜的に想定する。図２の部分(A)および部分(B)に図示した周波数ｆc1を下回る帯域ＢL（低域）において、両唇音と歯茎音との周波数スペクトルＱの相違は顕著となる。したがって、帯域ＢLが弁別帯域としてフィルタ処理部１４２に設定される。

図１の強度検出部１４４は、フィルタ処理部１４２が抽出した成分ＶCの強度（パワー）ＰCをフレーム毎に検出する。強度ＰCは、例えば、成分ＶCの波形を示すフレーム内の各サンプル（フィルタ処理後の音声信号ＳVの各サンプル）の振幅値の自乗を合計した数値の平方根を当該フレーム内のサンプルの総数で除算した数値である。一方、強度検出部１４６は、フィルタ処理部１４２による処理を経ていない入力音声Ｖの強度（パワー）Ｐ0をフレーム毎に検出する。強度Ｐ0は強度ＰCと同様の方法で算定される。

演算部１４８は、強度Ｐ0に対する強度ＰCの相対比を音韻指標値Ａ（Ａ＝ＰC／Ｐ0）として算定する。図２の部分(A)から理解されるように両唇音については弁別帯域（帯域ＢL）内の強度ＰCが高いから、入力音声Ｖの音韻が両唇音である場合には音韻指標値Ａは大きい数値となる。一方、図２の部分(B)のように歯茎音については弁別帯域（帯域ＢL）内の強度ＰCが低いから、入力音声Ｖの音韻が歯茎音である場合には音韻指標値Ａは小さい数値となる。したがって、演算部１４８の算定する音韻指標値Ａの大小に応じて入力音声Ｖの音韻を概略的に弁別することが可能である。

図１の音選択部２２は、複数種の打楽器の演奏音の何れかを音韻指標値Ａに基づいて選択する。音選択部２２が選択した演奏音を指定する符号（以下「ノートナンバ」という）Ｎnが音選択部２２からデータ生成部３０に出力される。音韻指標値Ａに対応するノートナンバＮnの特定には、記憶装置４０に格納されたテーブル（「音選択テーブル」という）ＴBLが使用される。

図３は、音選択テーブルＴBLの内容を示す模式図である。同図に示すように、音選択テーブルＴBLは、音韻指標値Ａの数値の複数の範囲の各々にノートナンバ（打楽器の種類）Ｎnを対応させたテーブルである。例えば、両唇音に対応する音韻指標値Ａの範囲ａ1にはハイハットシンバルを指定するノートナンバＮn1が対応づけられ、歯茎音に対応する音韻指標値Ａの範囲ａ2にはバスドラムを指定するノートナンバＮn2が対応づけられる。音選択部２２は、演算部１４８の算定した音韻指標値Ａが属する範囲を音選択テーブルＴBLから探索し、当該範囲に対応するノートナンバＮnを記憶装置４０から取得する。

図１の対応音設定部２３は、音選択テーブルＴBLにおける音韻指標値ＡとノートナンバＮnとの関係を可変に制御する。例えば、対応音設定部２３は、音選択テーブルＴBLにおける音韻指標値Ａの各範囲に対して、利用者が入力機器５０の操作で指定した種類の打楽器に対応したノートナンバＮnを対応させて記憶装置４０に格納する。したがって、各音韻の発声時に出力される打楽器の演奏音を利用者は適宜に変更することが可能である。

ピーク検出部１６は、入力音声Ｖの時間軸上におけるピークの強度（以下「ピーク値」という）ＰKをフレーム毎に検出する。ピーク値ＰKの検出には公知の技術が任意に採用される。例えば、入力音声Ｖの時間波形の包絡線を特定し、当該包絡線におけるフレーム内のピークの振幅をピーク値ＰKとして検出する構成が好適である。

発音判定部２４は、ピーク検出部１６が検出したピーク値ＰKの大小に応じて発音および消音の時期を決定する。さらに詳述すると、発音判定部２４は、ピーク値ＰKが閾値ＴONを上回ったフレームにてデータ生成部３０に発音を指示するとともに、ピーク値ＰKが閾値ＴOFFを下回ったフレームにてデータ生成部３０に消音を指示する。

ところで、ピーク値ＰKの大小は入力音声Ｖの音韻に依存する傾向がある。すなわち、ピーク値ＰKが増加し易い音韻とピーク値ＰKが増加し難い音韻とがある。したがって、入力音声Ｖの音韻に拘わらず閾値ＴON（閾値ＴOFF）を固定値とした構成では、例えばピーク値ＰKが増加し難い音韻ほど発音判定部２４が発音の時期と判定する可能性は低下するから、演奏音の発音の頻度が音韻に応じて相違するという不整合が発生する。

そこで、図１の閾値設定部２５は、閾値ＴONおよび閾値ＴOFFを入力音声Ｖの音韻に応じて可変に設定する。閾値設定部２５による音韻の認識には、指標算定部１４の算定した音韻指標値Ａが流用される。すなわち、閾値設定部２５は、ピーク値ＰKが増加し難い音韻を音韻指標値Ａが示す場合には、ピーク値ＰKが増加し易い音韻の場合と比較して、閾値ＴONおよび閾値ＴOFFを減少させる。以上の構成によれば、各音韻に対応した演奏音の発音の頻度が複数の音韻について均一化されるという利点がある。

図１の音量決定部２６は、ピーク検出部１６が検出したピーク値ＰKに応じて演奏音の音量を決定する。音量決定部２６が決定した音量を指定する数値（以下「ベロシティ」という）ＶELがデータ生成部３０に出力される。対応音量設定部２７は、以下に説明するようにピーク値ＰKとベロシティＶELとの関係を可変に設定する。

記憶装置４０には、ピーク値ＰKとベロシティＶELとの関係を定義する複数の関数（以下「音量関数」という）Ｆが記憶される。図４は、各音量関数Ｆ（Ｆ1〜Ｆ3）の内容を示す概念図である。図４に示すように、ピーク値ＰKに対するベロシティＶELの変化の態様は音量関数Ｆ毎に相違する。例えば、音量関数Ｆ1は、ピーク値ＰKが数値ｐ1を上回ると傾きが減少するようにピーク値ＰKとベロシティＶELとの関係を定義するのに対し、音量関数Ｆ2は、ピーク値ＰKが数値ｐ2を上回ると傾きが増加するようにピーク値ＰKとベロシティＶELとの関係を定義する。また、音量関数Ｆ3は、ピーク値ＰKに対して直線的に増加するようにベロシティＶELを定義する。対応音量設定部２７は、利用者が入力機器５０の操作で指定した音量関数Ｆを記憶装置４０から選択する。音量決定部２６は、対応音量設定部２７が選択した音量関数Ｆにピーク値ＰKを代入することでベロシティＶELを算定する。したがって、入力音声Ｖの音量に対するベロシティＶELの変化の態様（音量関数Ｆ）を利用者は適宜に変更することができる。例えば、利用者が図４の音量関数Ｆ1を選択した場合には、発声の音量が小さい場合であっても充分な音量（ベロシティＶEL）の演奏音が生成され、利用者が音量関数Ｆ2を選択した場合には発声の音量が大きい場合であっても演奏音の音量が抑制されるといった具合である。

データ生成部３０は、音選択部２２と発音判定部２４と音量決定部２６とによる動作の結果に応じた音データＤSを生成する。具体的には、発音判定部２４による発音の指示を契機として、データ生成部３０は、発音を指示する音データＤS（ノートオンイベント）を生成して音源回路７２に出力する。発音を指示する音データＤSは、音選択部２２が指定したノートナンバＮnと音量決定部２６が指定したベロシティＶELとを含む。以上の音データＤSが音源回路７２に出力されることで、入力音声Ｖの音韻に対応した種類の打楽器の演奏音が、入力音声Ｖのピーク値ＰKに応じた音量で放音機器７６から出力される。一方、発音判定部２４から消音が指示された場合、データ生成部３０は、ノートナンバＮnに対応した演奏音の消音を指示する音データＤS（ベロシティＶELとしてゼロが指定されたノートオフイベント）を生成して音源回路７２に出力する。

次に、図５を参照して、制御装置１０が実行する処理の全体的な流れを説明する。図５の処理は、プログラムの起動を指示する操作を利用者が入力機器５０に付与した場合に開始される。図５の処理を開始すると、分割部１２は、Ａ/Ｄ変換器６２から供給される音声信号ＳVからひとつのフレームを切出す（ステップＳ1）。次いで、フィルタ処理部１４２および強度検出部１４４による強度ＰCの検出と強度検出部１４６による強度Ｐ0の検出とピーク検出部１６によるピーク値ＰKの検出とが順次に実行される（ステップＳ2）。さらに、演算部１４８は、強度Ｐ0と強度ＰCとから音韻指標値Ａを算定する（ステップＳ3）。

次いで、制御装置１０は、入力機器５０に対する操作に応じて各種の変数を更新する（ステップＳ4）。さらに詳述すると、対応音設定部２３は、音選択テーブルＴBLの内容（音韻指標値Ａの各範囲とノートナンバＮnとの対応）を入力機器５０に対する操作に応じて更新し、対応音量設定部２７は、記憶装置４０に格納された複数の音量関数Ｆの何れかを入力機器５０に対する操作に応じて選択する。また、制御装置１０は、閾値ＴONの候補となる数値ＴH1および数値ＴH2と閾値ＴOFFの候補となる数値ＴL1および数値ＴL2とを入力機器５０に対する操作に応じて設定する（ステップＳ4）。

次いで、音選択部２２は、ステップＳ3にて算定した音韻指標値Ａに対応するノートナンバＮnを音選択テーブルＴBLから特定する（ステップＳ5）。また、閾値設定部２５は、ステップＳ3で算定した音韻指標値Ａに応じて閾値ＴONおよび閾値ＴOFFを設定する（ステップＳ6）。すなわち、例えば音韻指標値Ａが両唇音に対応する範囲ａ1内にある場合には数値ＴH1を閾値ＴONに設定するとともに数値ＴL1を閾値ＴOFFに設定し、音韻指標値Ａが歯茎音の範囲ａ2内にある場合には数値ＴH2を閾値ＴONに設定するとともに数値ＴL2を閾値ＴOFFに設定するといった具合である。

次に、制御装置１０は、状態フラグＳFが消音を示し、かつ、ステップＳ2にて検出したピーク値ＰKがステップＳ6で設定した閾値ＴONを上回るか否かを判定する（ステップＳ7）。状態フラグＳFは、現時点が発音の状態にあるか消音の状態にあるかを識別するための符号である。

ステップＳ7の結果が肯定である場合（すなわち現在のフレームが発音の開始点に該当する場合）、音量決定部２６は、ステップＳ2で検出したピーク値ＰKをステップＳ4にて選択した音量関数Ｆに代入することでベロシティＶELを算定する（ステップＳ8）。一方、ステップＳ7の結果が否定である場合（すなわち過去の発音が継続している場合またはピーク値ＰKが閾値ＴONに到達しない場合）、制御装置１０は、状態フラグＳFが発音を示し、かつ、ステップＳ2で検出したピーク値ＰKがステップＳ6で設定した閾値ＴOFFを下回るか否かを判定する（ステップＳ9）。

ステップＳ9の結果が肯定である場合（すなわち現在のフレームが発音の終了点に該当する場合）、音量決定部２６はベロシティＶELをゼロに設定する（ステップＳ10）。一方、ステップＳ9の結果が否定である場合（すなわち、現在のフレームでは発音および消音の一方から他方への変化がない場合）、制御装置１０は、処理をステップＳ1に移行して音声信号ＳVの次のフレームについて同様の処理を実行する。

ステップＳ8またはステップＳ10が完了すると、データ生成部３０は、現在のフレームに関する処理の結果に応じて音データＤSを生成する（ステップＳ11）。すなわち、状態フラグＳFが消音を示す場合（今回のフレームで発音に変化した場合）、データ生成部３０は、ステップＳ5で設定したノートナンバＮnとステップＳ8で設定したベロシティＶELとを含むノートオンイベントを音データＤSとして生成して音源回路７２に出力する。したがって、利用者が発声した音韻に応じた打楽器の演奏音が放音機器７６から出力される。一方、状態フラグＳFが発音を示す場合（今回のフレームで消音に変化した場合）、データ生成部３０は、ステップＳ5のノートナンバＮnとステップＳ10でゼロに設定したベロシティＶELとを含むノートオフイベントを音データＤSとして生成して音源回路７２に出力する。

次いで、制御装置１０は、状態フラグＳFを発音および消音の一方から他方に反転したうえで（ステップＳ12）、演奏音の再生を終了する時期が到来したか否かを判定する（ステップＳ13）。利用者は、入力機器５０を適宜に操作することで再生の終了を制御装置１０に指示することが可能である。ステップＳ13の結果が否定である場合（例えば再生の終了が未だ指示されていない場合）、制御装置１０は、処理をステップＳ1に移行して音声信号ＳVの次のフレームについて同様の処理を実行する。一方、ステップＳ13の結果が肯定である場合、制御装置１０は図５の処理を終了する。

以上に説明したように、本形態においては、入力音声Ｖの音韻の区別の指標となる音韻指標値Ａが入力音声Ｖのうち弁別帯域（帯域ＢL）の成分ＶCの強度ＰCに基づいて算定されるから、入力音声Ｖの音声認識は原理的に不要である。したがって、記憶装置４０に必要となる容量や制御装置１０による処理の負荷を特許文献１の技術と比較して低減することが可能である。

なお、成分ＶCの強度ＰCが音韻に応じて相違するとは言っても、例えば成分ＶCの強度ＰC自体が音韻指標値Ａとして採択される構成においては、入力音声Ｖの音量（強度Ｐ0）に応じて音韻指標値Ａが変化するから、音韻指標値Ａのみからは音韻を適切に区別できない可能性もある。本形態においては成分ＶCの強度ＰCと入力音声Ｖの全体の強度Ｐ0との相対比に基づいて音韻指標値Ａが算定されるから、入力音声Ｖの強度Ｐ0の大小に拘わらず、各音韻を適切に区分し得る音韻指標値Ａが算定されるという利点がある。なお、以上の説明から理解されるように、例えば振幅の最大値が所定値（例えば１）となるように音声信号ＳVをフレーム毎の強度で正規化（標準化）したうえで指標算定部１４に供給する構成においては、強度検出部１４４が検出する強度ＰC自体を音韻指標値Ａとしてもよい。

なお、演奏音が時間的に継続する打楽器の演奏音（例えばシンバルの演奏音）が再生の対象として想定される場合にはノートオフイベントが必要であるが、時間的に継続しない打楽器の演奏音（すなわち、瞬間的にのみ発生するバスドラムやハイハットシンバルなどの演奏音）のみを再生の対象として想定する場合にはノートオフイベントは不要である。したがって、データ生成部３０がノートオンイベントのみを音データＤSとして生成する構成も採用される。また、ノートオフイベントを利用する構成において、ノートオフイベントのベロシティをゼロ以外の数値に指定してもよい。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、本形態において作用や機能が第１実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

図６は、指標算定部１４の具体的な構成を示すブロック図である。本形態のフィルタ処理部１４２は、周波数帯域が相異なる複数の成分ＶC（ＶC1〜ＶC3）を音声信号ＳVから抽出する。図６に示すように、通過帯域が相違する３個のフィルタ部ＦL（ＦL1〜ＦL3）で構成されるフィルタバンクがフィルタ処理部１４２として好適に採用される。フィルタ部ＦL1は図２における低周波側の帯域ＢL（〜ｆc1）の成分ＶC1を音声信号ＳVから抽出するバンドパスフィルタまたはローパスフィルタであり、フィルタ部ＦL3は高周波側の帯域ＢH（ｆc2〜）の成分ＶC3を音声信号ＳVから抽出するバンドパスフィルタまたはハイパスフィルタであり、フィルタ部ＦL2は中間の帯域ＢM（ｆc1〜ｆc2）の成分ＶC2を音声信号ＳVから抽出するバンドパスフィルタである。

強度検出部１４４は、３種類の成分ＶC1〜ＶC3の各々について強度ＰC（ＰC1〜ＰC3）を検出する。成分ＶCから強度ＰCを検出する方法は第１実施形態と同様である。一方、強度検出部１４６は、第１実施形態と同様に音声信号ＳVの強度Ｐ0を検出する。

演算部１４８は、強度ＰC1〜ＰC3の各々と強度Ｐ0との相対比を音韻指標値Ａ（Ａ1〜Ａ3）として算定する。音韻指標値Ａ1は帯域ＢLの成分ＶC1の強度ＰC1に応じた数値（Ａ1＝ＰC1／Ｐ0）であり、音韻指標値Ａ2は帯域ＢMの成分ＶC2の強度ＰC2に応じた数値（Ａ2＝ＰC2／Ｐ0）であり、音韻指標値Ａ3は帯域ＢHの成分ＶC3の強度ＰC3に応じた数値（Ａ3＝ＰC3／Ｐ0）である。したがって、音韻指標値Ａ1〜Ａ3の大小に応じて入力音声Ｖの音韻を区別することが可能である。

例えば、図２から理解されるように、音韻指標値Ａ1および音韻指標値Ａ2が所定の閾値を上回るとともに音韻指標値Ａ3が閾値を下回る場合（すなわち周波数スペクトルＱのうち帯域ＢLおよび帯域ＢMの強度が帯域ＢHと比較して高い場合）、入力音声Ｖの音韻は両唇音に弁別される。また、音韻指標値Ａ2および音韻指標値Ａ3が閾値を上回るとともに音韻指標値Ａ1が閾値を下回る場合（すなわち周波数スペクトルＱのうち帯域ＢMおよび帯域ＢHの強度が帯域ＢLと比較して高い場合）、入力音声Ｖの音韻は歯茎音に弁別される。さらに、音韻指標値Ａ2が閾値を上回るとともに音韻指標値Ａ1および音韻指標値Ａ3が閾値を下回る場合、入力音声Ｖの音韻は軟口蓋音に弁別される。

音選択テーブルＴBLは、別個の音韻に対応する音韻指標値Ａ1〜Ａ3の各範囲とノートナンバＮnとを対応づける。音選択部２２は、指標算定部１４が算定した音韻指標値Ａ1〜Ａ3の範囲に対応するノートナンバＮnを音選択テーブルＴBLから探索してデータ生成部３０に指示する。一方、閾値設定部２５は、音韻指標値Ａ1〜Ａ3から弁別される音韻に応じて閾値ＴONおよび閾値ＴOFFを可変に制御する。

以上の構成によっても第１実施形態と同様の作用および効果が奏される。また、別個の帯域（ＢL，ＢM，ＢH）に対応する複数の成分ＶC1〜ＶC3の各々について音韻指標値Ａ1〜Ａ3が算定されるから、第１実施形態と比較して多数の音韻を区別することが可能である。したがって、入力音声Ｖの音韻に応じて多様な演奏音を選択的に再生できるという利点がある。なお、以上の形態においては３種類の音韻指標値Ａ1〜Ａ3を算定したが、音韻指標値Ａの個数（入力音声Ｖから抽出される成分ＶCの個数）は任意である。

＜Ｃ：変形例＞
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
音データＤSの形式は以上の例示（ＭＩＤＩ形式）に限定されない。打楽器の演奏音の時間軸上における波形を示すデータ列（サンプル列）を音データＤSとしてデータ生成部３０が生成する構成も好適に採用される。例えば、記憶装置４０は、複数種の打楽器の各々について演奏音の波形を示す波形データを記憶する。発音判定部２４から発音が指示されると、データ生成部３０は、複数の波形データのうち音選択部２２が指定したノートナンバＮnに対応する打楽器の波形データを選択し、当該波形データの音量（振幅値）をベロシティＶELに応じて増減したうえでＤ/Ａ変換器７４に出力する。以上の構成によれば、ＭＩＤＩに準拠した音源回路７２が不要であるという利点がある。

（２）変形例２
以上の各形態においては打楽器の演奏音を例示したが、再生音は任意に変更される。打楽器以外の楽器を含む複数の楽器の何れかの演奏音を音選択部２２が音韻指標値Ａに応じて選択する構成も好適である。また、再生音は楽器の演奏音に限定されない。例えば、拍手の音声を再生してもよい。

ひとつの楽器が生成する複数の演奏音の何れかを示す音データＤSをデータ生成部３０が生成する構成も好適である。例えば、音選択部２２が生成したノートナンバＮnをひとつの楽器の演奏音の音高として指定する音データＤSがデータ生成部３０から音源回路７２に出力される。また、変形例１のように音データＤSを波形データとする構成においては、特定の楽器の演奏音の波形データのピッチをノートナンバＮnに応じて変換したうえでＤ/Ａ変換器７４に出力する構成が採用される。

（３）変形例３
以上の各形態においてはピーク値ＰKに応じてベロシティＶELを設定する構成を例示したが、ピーク値ＰKと音声信号ＳVの強度Ｐ0とは連動する可能性が高いから、強度検出部１４６が検出した強度Ｐ0に基づいて音量決定部２６がベロシティＶELを決定する構成も採用される。

（４）変形例４
以上の各形態においては入力音声Ｖが時間領域で処理される構成を例示したが、音声信号ＳVを周波数領域に展開した周波数スペクトルに基づいて強度ＰCやピーク値ＰKを特定する構成も採用される。もっとも、以上の各形態のように時間領域で処理する構成によれば、ＦＦＴ（Fast Fourier Transform）処理などの周波数分析が不要であるから、制御装置１０による処理の負荷が軽減されるという利点がある。

（５）変形例５
以上の各形態における制御装置１０の各機能がＤＳＰなどの電子回路によって実現された構成や、制御装置１０の各機能が複数の集積回路で実現される構成も好適である。また、収音機器６４や放音機器７６は音制御装置１００に必須の要件ではない。例えば、記憶装置４０に格納された音声信号ＳVや通信網を介して配信された音声信号ＳVを処理の対象とした構成においては収音機器６４やＡ/Ｄ変換器６２が省略される。また、データ生成部３０の生成した音データＤSが記憶装置４０に格納される構成や音データＤSが通信網を介して他の機器に送信される構成においては放音機器７６やＤ/Ａ変換器７４（さらには音源回路７２）が省略される。

本発明の第１実施形態に係る音制御装置の構成を示すブロック図である。 音韻に応じた周波数スペクトルの相違を説明するための概念図である。 音選択テーブルの内容を示す概念図である。 ピーク値とベロシティとの関係を定義する複数の音量関数を例示する概念図である。 制御装置による処理のフローチャートである。 本発明の第２実施形態における指標算定部の構成を示すブロック図である。

符号の説明

１００……音制御装置、１０……制御装置、１２……分割部、１４……指標算定部、１４２……フィルタ処理部、１４４……強度検出部、１４６……強度検出部、１４８……演算部、１６……ピーク検出部、２２……音選択部、２３……対応音設定部、２４……発音判定部、２５……閾値設定部、２６……音量決定部、２７……対応音量設定部、３０……データ生成部、４０……記憶装置、５０……入力機器、６２……Ａ/Ｄ変換器、６４……収音機器、７２……音源回路、７４……Ｄ/Ａ変換器、７６……放音機器。

Claims (4)

1. 入力音声の音韻に応じて変化する音韻指標値を前記入力音声の特定の帯域の成分の強度に基づいて算定する指標算定手段と、
   複数の音の何れかを前記音韻指標値に基づいて選択する音選択手段と、
   前記入力音声のピーク値を検出するピーク検出手段と、
   前記音韻指標値に応じて閾値を可変に設定する閾値設定手段と、
   前記ピーク値が前記閾値を上回るか否かを判定する発音判定手段と、
   前記ピーク値が前記閾値を上回ると前記発音判定手段が判定した場合に、前記音選択手段が選択した音の発生を示す音データを生成するデータ生成手段と
   を具備する音制御装置。
2. 前記入力音声の強度と音データが示す音の音量との関係を可変に設定する対応音量設定手段と、
   前記対応音量設定手段が設定した関係において、前記ピーク検出手段が検出したピーク値に対応する音量を決定する音量決定手段とを具備し、
   前記データ生成手段は、前記音量決定手段が設定した音量の音を示す音データを生成する
   請求項１の音制御装置。
3. 前記閾値設定手段は、発音の判定用の第１閾値と消音の判定用の第２閾値との各々を前記音韻指標値に応じて可変に設定し、
   前記発音判定手段は、前記ピーク検出手段が検出したピーク値が前記第１閾値を上回るか否か、および、前記ピーク検出手段が検出したピーク値が前記第２閾値を下回るか否かを判定し、
   前記データ生成手段は、前記ピーク検出手段が検出したピーク値が前記第１閾値を上回ると前記発音判定手段が判定した場合に、前記音選択手段が選択した音の発生を示す音データを生成し、前記ピーク検出手段が検出したピーク値が前記第２閾値を下回ると前記発音判定手段が判定した場合に、当該音の消音を示す音データを生成する
   請求項１または請求項２の音制御装置。
4. 入力音声の音韻に応じて変化する音韻指標値を前記入力音声の特定の帯域の成分の強度に基づいて算定する指標算定処理と、
   複数の音の何れかを前記音韻指標値に基づいて選択する音選択処理と、
   前記入力音声のピーク値を検出するピーク検出処理と、
   前記音韻指標値に応じて閾値を可変に設定する閾値設定処理と、
   前記ピーク値が前記閾値を上回るか否かを判定する発音判定処理と、
   前記ピーク値が前記閾値を上回ると前記発音判定処理で判定した場合に、前記音選択処理で選択した音の発生を示す音データを生成するデータ生成処理と
   をコンピュータに実行させるプログラム。

Images