JP4268328B2 - 音響信号の符号化方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、以下の６分野への利用を想定した音響信号の符号化技術に関する。
(1)高品質電話回線ＩＳＤＮやＰＨＳ（または次世代携帯電話）レベルの伝送容量で、９６ｋＨｚサンプリング・ステレオ高品質オーディオ（ハイパーソニック・オーディオ）の伝送が可能な次世代オーディオ向け高能率圧縮伝送。
(2)具体的な作曲家名・曲名を知らなくても、イントロやサビの部分を鼻歌で口ずさめば楽曲を検索でき、節回しが類似した楽曲も検索可能な音響ライブラリのコンテンツ検索。
(3)音響信号を用いて生体情報を解析する際に、波形解析、スペクトル解析では検出できない音響信号中の欠陥・病変特徴を顕在化する音響信号の可視化・分析。
(4)再生装置の設定を変えるだけで異なるアーチストの演奏に変えたり、演奏されている楽器を別のものに変えることが可能なフレキシブル音楽コンテンツの制作、または人の心を癒す音楽（音楽療法）、酒をおいしく醸造させる音楽など、特定の目的をもった音楽を制作することを可能にする環境（フレーズ集、編集ツール）を提供する機能音楽コンテンツの制作。
(5)音響文化遺産の保護のため、録音媒体を文字・音符などより記号性の高い情報に変換して保存するための音響信号の音素認識。
(6)在宅で長期療養されている患者の病状を常時モニタリングする装置として、生体情報を着メロのような好みのＢＧＭにのせて、寝室の音環境を穏やかにし、回復を早めるようにする音響モニタリング。
【０００２】
【従来の技術】
音響信号に代表される時系列信号には、その構成要素として複数の周期信号が含まれている。このため、与えられた時系列信号にどのような周期信号が含まれているかを解析する手法は、古くから知られている。例えば、フーリエ解析は、与えられた時系列信号に含まれる周波数成分を解析するための方法として広く利用されている。
【０００３】
このような時系列信号の解析方法を利用すれば、音響信号を符号化することも可能である。コンピュータの普及により、原音となるアナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして取り込むことが容易にできるようになってきており、こうして取り込んだデジタルデータに対してフーリエ解析などの手法を適用し、原音信号に含まれていた周波数成分を抽出すれば、各周波数成分を示す符号によって原音信号の符号化が可能になる。
【０００４】
一方、電子楽器による楽器音を符号化しようという発想から生まれたＭＩＤＩ（Musical Instrument Digital Interface）規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このＭＩＤＩ規格による符号データ（以下、ＭＩＤＩデータという）は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このＭＩＤＩデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形を記憶したＭＩＤＩ音源が別途必要になるが、その符号化効率の高さが注目を集めており、ＭＩＤＩ規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウェアに広く採り入れられている。
【０００５】
そこで、音響信号に代表される時系列信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化しようとする提案がなされている。例えば、特開平１０−２４７０９９号公報、特開平１１−７３１９９号公報、特開平１１−７３２００号公報、特開平１１−９５７５３号公報、特開２０００−９９００９号公報、特開２０００−９９０９２号公報、特開平２０００−９９０９３号公報、特願平１１−５８４３１号明細書、特願平１１−１７７８７５号明細書、特願平１１−３２９２９７号明細書には、任意の時系列信号について、構成要素となる周波数を解析し、その解析結果からＭＩＤＩデータを作成することができる種々の方法が提案されている。
【０００６】
【発明が解決しようとする課題】
上記各公報または明細書において提案してきたＭＩＤＩ符号化方式により、音楽の演奏録音等から得られる音響信号の効率的な符号化が可能になった。すなわち、音楽においてはＭＩＤＩ符号に相当する記号データで音響信号を符号化することにより、効率的な符号化が可能である。しかしながら、ＭＩＤＩ符号は元来音楽の記述を目的として規格化されたものであるため、音声、心音など音楽以外の音響信号の場合においては、ＭＩＤＩ符号が符号化する記号データとしては適切ではない。そして、上記各公報または明細書において提案してきたＭＩＤＩ符号化方式により一般の音響信号に対して無理に符号化を行おうとすると符号データが冗長になり、再生される音響信号としては充分な品質を得ることが困難であった。
【０００７】
上記のような点に鑑み、本発明は、音響信号ジャンル別にＭＩＤＩデータを拡張した記号データを定義し、音響信号をこのような記号データに自動的に変換することにより、音楽の場合におけるＭＩＤＩ符号化と同様に効率的な符号化が可能な音響信号の符号化方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、与えられた音響信号に対して、時間軸上に複数の単位区間を設定し、設定された単位区間における音響信号と複数の周期関数との相関を求めることにより、各周期関数に対応した信号強度を算出し、各周期関数が有する周波数と、算出された信号強度と、単位区間の始点に対応する区間開始時刻と、単位区間の終点に対応する区間終了時刻で構成される音素データを算出し、得られた音素データ群の中から基準となる基準音素データを選出し、音素データ群に含まれる音素データのうち選出された基準音素データと所定の関係を有する音素データを選出し、得られる音素データグループの特徴に基づいて、あらかじめ定義された記号データに変換し、時系列に定義された複数の記号データからなる記号データ列を用いて音響信号の符号データとして符号化するようにしたことを特徴とする。
本発明によれば、上記のような手順により音響信号を符号化するようにしたので、どのようなジャンルの音響信号が与えられても、定義する記号データの内容を変更するだけで効率的な符号データを自動的に作成することが可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１０】
（音響信号符号化方法の基本原理）
はじめに、本発明に係る音響信号の符号化方法の基本原理を述べておく。この基本原理は、前掲の各公報あるいは明細書に開示されているので、ここではその概要のみを簡単に述べることにする。
【００１１】
図１（ａ）に示すように、時系列信号としてアナログ音響信号が与えられたものとする。図１の例では、横軸に時間ｔ、縦軸に振幅（強度）をとって、この音響信号を示している。ここでは、まずこのアナログ音響信号を、デジタルの音響データとして取り込む処理を行う。これは、従来の一般的なＰＣＭの手法を用い、所定のサンプリング周波数でこのアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行えば良い。ここでは、説明の便宜上、ＰＣＭの手法でデジタル化した音響データの波形も図１（ａ）のアナログ音響信号と同一の波形で示すことにする。
【００１２】
続いて、この解析対象となる音響信号の時間軸上に、複数の単位区間を設定する。図１（ａ）に示す例では、時間軸ｔ上に等間隔に６つの時刻ｔ１〜ｔ６が定義され、これら各時刻を始点および終点とする５つの単位区間ｄ１〜ｄ５が設定されている。図１の例では、全て同一の区間長をもった単位区間が設定されているが、個々の単位区間ごとに区間長を変えるようにしてもかまわない。あるいは、隣接する単位区間が時間軸上で部分的に重なり合うような区間設定を行ってもかまわない。
【００１３】
こうして単位区間が設定されたら、各単位区間ごとの音響信号（以下、区間信号と呼ぶことにする）について、それぞれ代表周波数を選出する。各区間信号には、通常、様々な周波数成分が含まれているが、例えば、その中で成分の強度割合の大きな周波数成分を代表周波数として選出すれば良い。ここで、代表周波数とはいわゆる基本周波数が一般的であるが、音声のフォルマント周波数などの倍音周波数や、ノイズ音源のピーク周波数も代表周波数として扱うことがある。代表周波数は１つだけ選出しても良いが、音響信号によっては複数の代表周波数を選出した方が、より精度の高い符号化が可能になる。図１（ｂ）には、個々の単位区間ごとにそれぞれ３つの代表周波数を選出し、１つの代表周波数を１つの代表符号（図では便宜上、音符として示してある）として符号化した例が示されている。ここでは、代表符号（音符）を収容するために３つのトラックＴ１，Ｔ２，Ｔ３が設けられているが、これは個々の単位区間ごとに選出された３つずつの代表符号を、それぞれ異なるトラックに収容するためである。
【００１４】
例えば、単位区間ｄ１について選出された代表符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，３）は、それぞれトラックＴ１，Ｔ２，Ｔ３に収容されている。ここで、各符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，３）は、ＭＩＤＩ符号におけるノートナンバーを示す符号である。ＭＩＤＩ符号におけるノートナンバーは、０〜１２７までの１２８通りの値をとり、それぞれピアノの鍵盤の１つのキーを示すことになる。具体的には、例えば、代表周波数として４４０Ｈｚが選出された場合、この周波数はノートナンバーｎ＝６９（ピアノの鍵盤中央の「ラ音（Ａ３音）」に対応）に相当するので、代表符号としては、ｎ＝６９が選出されることになる。もっとも、図１（ｂ）は、上述の方法によって得られる代表符号を音符の形式で示した概念図であり、実際には、各音符にはそれぞれ強度に関するデータも付加されている。例えば、トラックＴ１には、ノートナンバーｎ（ｄ１，１），ｎ（ｄ２，１）・・・なる音高を示すデータとともに、ｅ（ｄ１，１），ｅ（ｄ２，１）・・・なる強度を示すデータが収容されることになる。この強度を示すデータは、各代表周波数の成分が、元の区間信号にどの程度の度合いで含まれていたかによって決定される。具体的には、各代表周波数をもった周期関数の区間信号に対する相関値に基づいて強度を示すデータが決定されることになる。また、図１（ｂ）に示す概念図では、音符の横方向の位置によって、個々の単位区間の時間軸上での位置が示されているが、実際には、この時間軸上での位置を正確に数値として示すデータが各音符に付加されていることになる。
【００１５】
音響信号を符号化する形式としては、必ずしもＭＩＤＩ形式を採用する必要はないが、この種の符号化形式としてはＭＩＤＩ形式が最も普及しているため、実用上はＭＩＤＩ形式の符号データを用いるのが好ましい。ＭＩＤＩ形式では、「ノートオン」データもしくは「ノートオフ」データが、「デルタタイム」データを介在させながら存在する。「ノートオン」データは、特定のノートナンバーＮとベロシティーＶを指定して特定の音の演奏開始を指示するデータであり、「ノートオフ」データは、特定のノートナンバーＮとベロシティーＶを指定して特定の音の演奏終了を指示するデータである。また、「デルタタイム」データは、所定の時間間隔を示すデータである。ベロシティーＶは、例えば、ピアノの鍵盤などを押し下げる速度（ノートオン時のベロシティー）および鍵盤から指を離す速度（ノートオフ時のベロシティー）を示すパラメータであり、特定の音の演奏開始操作もしくは演奏終了操作の強さを示すことになる。
【００１６】
前述の方法では、第ｉ番目の単位区間ｄｉについて、代表符号としてＪ個のノートナンバーｎ（ｄｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）が得られ、このそれぞれについて強度ｅ（ｄｉ，１），ｅ（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）が得られる。そこで、次のような手法により、ＭＩＤＩ形式の符号データを作成することができる。まず、「ノートオン」データもしくは「ノートオフ」データの中で記述するノートナンバーＮとしては、得られたノートナンバーｎ（ｄｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）をそのまま用いれば良い。一方、「ノートオン」データもしくは「ノートオフ」データの中で記述するベロシティーＶとしては、得られた強度ｅ（ｄｉ，１），ｅ（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）を所定の方法で規格化した値を用いれば良い。また、「デルタタイム」データは、各単位区間の長さに応じて設定すれば良い。
【００１７】
（周期関数との相関を求める具体的な方法）
上述した基本原理の基づく方法では、区間信号に対して、１つまたは複数の代表周波数が選出され、この代表周波数をもった周期信号によって、当該区間信号が表現されることになる。ここで、選出される代表周波数は、文字どおり、当該単位区間内の信号成分を代表する周波数である。この代表周波数を選出する具体的な方法には、後述するように、短時間フーリエ変換を利用する方法と、一般化調和解析の手法を利用する方法とがある。いずれの方法も、基本的な考え方は同じであり、あらかじめ周波数の異なる複数の周期関数を用意しておき、これら複数の周期関数の中から、当該単位区間内の区間信号に対する相関が高い周期関数を見つけ出し、この相関の高い周期関数の周波数を代表周波数として選出する、という手法を採ることになる。すなわち、代表周波数を選出する際には、あらかじめ用意された複数の周期関数と、単位区間内の区間信号との相関を求める演算を行うことになる。そこで、ここでは、周期関数との相関を求める具体的な方法を述べておく。
【００１８】
複数の周期関数として、図２に示すような三角関数が用意されているものとする。これらの三角関数は、同一周波数をもった正弦関数と余弦関数との対から構成されており、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）のそれぞれについて、正弦関数および余弦関数の対が定義されていることになる。ここでは、同一の周波数をもった正弦関数および余弦関数からなる一対の関数を、当該周波数についての周期関数として定義することにする。すなわち、ある特定の周波数についての周期関数は、一対の正弦関数および余弦関数によって構成されることになる。このように、一対の正弦関数と余弦関数とにより周期関数を定義するのは、信号に対する周期関数の相関値を求める際に、相関値が位相の影響を受ける事を考慮するためである。なお、図２に示す各三角関数内の変数Ｆおよびｋは、区間信号Ｘについてのサンプリング周波数Ｆおよびサンプル番号ｋに相当する変数である。例えば、周波数ｆ（０）についての正弦波は、ｓｉｎ（２πｆ（０）ｋ／Ｆ）で示され、任意のサンプル番号ｋを与えると、区間信号を構成する第ｋ番目のサンプルと同一時間位置における周期関数の振幅値が得られる。
【００１９】
ここでは、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）を図３に示すような式で定義した例を示すことにする。すなわち、第ｎ番目（０≦ｎ≦１２７）の標準周波数ｆ（ｎ）は、
ｆ（ｎ）＝４４０×２^{γ (n)}
γ（ｎ）＝（ｎ−６９）／１２
なる式で定義されることになる。このような式によって標準周波数を定義しておくと、最終的にＭＩＤＩデータを用いた符号化を行う際に便利である。なぜなら、このような定義によって設定される１２８通りの標準周波数ｆ（０）〜ｆ（１２７）は、等比級数をなす周波数値をとることになり、ＭＩＤＩデータで利用されるノートナンバーに対応した周波数になるからである。したがって、図２に示す１２８通りの標準周波数ｆ（０）〜ｆ（１２７）は、対数尺度で示した周波数軸上に等間隔（ＭＩＤＩにおける半音単位）に設定した周波数ということになる。このため、本願では、図に掲載するグラフにおけるノートナンバー軸を、いずれも対数尺度で示すことにする。
【００２０】
続いて、任意の区間の区間信号に対する各周期関数の相関の求め方について、具体的な説明を行う。例えば、図４に示すように、ある単位区間ｄについて区間信号Ｘが与えられていたとする。ここでは、区間長Ｌをもった単位区間ｄについて、サンプリング周波数Ｆでサンプリングが行なわれており、全部でｗ個のサンプル値が得られているものとし、サンプル番号を図示のように、０，１，２，３，・・・，ｋ，・・・，ｗ−２，ｗ−１とする（白丸で示す第ｗ番目のサンプルは、右に隣接する次の単位区間の先頭に含まれるサンプルとする）。この場合、任意のサンプル番号ｋについては、Ｘ（ｋ）なる振幅値がデジタルデータとして与えられていることになる。短時間フーリエ変換においては、Ｘ（ｋ）に対して各サンプルごとに中央の重みが１に近く、両端の重みが０に近くなるような窓関数Ｗ（ｋ）を乗ずることが通常である。すなわち、Ｘ（ｋ）×Ｗ（ｋ）をＸ（ｋ）と扱って以下のような相関計算を行うもので、窓関数の形状としては余弦波形状のハミング窓が一般に用いられている。ここで、ｗは以下の記述においても定数のような記載をしているが、一般にはｎの値に応じて変化させ、区間長Ｌを超えない範囲で最大となるＦ／ｆ（ｎ）の整数倍の値に設定することが望ましい。
【００２１】
このような区間信号Ｘに対して、第ｎ番目の標準周波数ｆ（ｎ）をもった正弦関数Ｒｎとの相関値を求める原理を示す。両者の相関値Ａ（ｎ）は、図５の第１の演算式によって定義することができる。ここで、Ｘ（ｋ）は、図４に示すように、区間信号Ｘにおけるサンプル番号ｋの振幅値であり、ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）は、時間軸上での同位置における正弦関数Ｒｎの振幅値である。この第１の演算式は、単位区間ｄ内の全サンプル番号ｋ＝０〜ｗ−１の次元について、それぞれ区間信号Ｘの振幅値と正弦関数Ｒｎの振幅ベクトルの内積を求める式ということができる。
【００２２】
同様に、図５の第２の演算式は、区間信号Ｘと、第ｎ番目の標準周波数ｆ（ｎ）をもった余弦関数との相関値を求める式であり、両者の相関値はＢ（ｎ）で与えられる。なお、相関値Ａ（ｎ）を求めるための第１の演算式も、相関値Ｂ（ｎ）を求めるための第２の演算式も、最終的に２／ｗが乗ぜられているが、これは相関値を規格化するためのものでり、前述のとおりｗはｎに依存して変化させるのが一般的であるため、この係数もｎに依存する変数である。
【００２３】
区間信号Ｘと標準周波数ｆ（ｎ）をもった標準周期関数との相関実効値は、図５の第３の演算式に示すように、正弦関数との相関値Ａ（ｎ）と余弦関数との相関値Ｂ（ｎ）との二乗和平方根値Ｅ（ｎ）によって示すことができる。この相関実効値の大きな標準周期関数の周波数を代表周波数として選出すれば、この代表周波数を用いて区間信号Ｘを符号化することができる。
【００２４】
すなわち、この相関値Ｅ（ｎ）が所定の基準以上の大きさとなる１つまたは複数の標準周波数を代表周波数として選出すれば良い。なお、ここで「相関値Ｅ（ｎ）が所定の基準以上の大きさとなる」という選出条件は、例えば、何らかの閾値を設定しておき、相関値Ｅ（ｎ）がこの閾値を超えるような標準周波数ｆ（ｎ）をすべて代表周波数として選出する、という絶対的な選出条件を設定しても良いが、例えば、相関値Ｅ（ｎ）の大きさの順にＱ番目までを選出する、というような相対的な選出条件を設定しても良い。
【００２５】
（一般化調和解析の手法）
ここでは、本発明に係る音響信号の符号化を行う際に有用な一般化調和解析の手法について説明する。既に説明したように、音響信号を符号化する場合、個々の単位区間内の区間信号について、相関値の高いいくつかの代表周波数を選出することになる。一般化調和解析は、より高い精度で代表周波数の選出を可能にする手法であり、その基本原理は次の通りである。
【００２６】
図６（ａ）に示すような単位区間ｄについて、信号Ｓ（ｊ）なるものが存在するとする。ここで、ｊは後述するように、繰り返し処理のためのパラメータである（ｊ＝１〜Ｊ）。まず、この信号Ｓ（ｊ）に対して、図２に示すような１２８通りの周期関数すべてについての相関値を求める。そして、最大の相関値が得られた１つの周期関数の周波数を代表周波数として選出し、当該代表周波数をもった周期関数を要素関数として抽出する。続いて、図６（ｂ）に示すような含有信号Ｇ（ｊ）を定義する。この含有信号Ｇ（ｊ）は、抽出された要素関数に、その振幅として、当該要素関数の信号Ｓ（ｊ）に対する相関値を乗じることにより得られる信号である。例えば、周期関数として図２に示すように、一対の正弦関数と余弦関数とを用い、周波数ｆ（ｎ）が代表周波数として選出された場合、振幅Ａ（ｎ）をもった正弦関数Ａ（ｎ）ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）と、振幅Ｂ（ｎ）をもった余弦関数Ｂ（ｎ）ｃｏｓ（２πｆ（ｎ）ｋ／Ｆ）との和からなる信号が含有信号Ｇ（ｊ）ということになる（図６（ｂ）では、図示の便宜上、一方の関数しか示していない）。ここで、Ａ（ｎ），Ｂ（ｎ）は、図５の式で得られる規格化された相関値であるから、結局、含有信号Ｇ（ｊ）は、信号Ｓ（ｊ）内に含まれている周波数ｆ（ｎ）をもった信号成分ということができる。
【００２７】
こうして、含有信号Ｇ（ｊ）が求まったら、信号Ｓ（ｊ）から含有信号Ｇ（ｊ）を減じることにより、差分信号Ｓ（ｊ＋１）を求める。図６（ｃ）は、このようにして求まった差分信号Ｓ（ｊ＋１）を示している。この差分信号Ｓ（ｊ＋１）は、もとの信号Ｓ（ｊ）の中から、周波数ｆ（ｎ）をもった信号成分を取り去った残りの信号成分からなる信号ということができる。そこで、パラメータｊを１だけ増加させることにより、この差分信号Ｓ（ｊ＋１）を新たな信号Ｓ（ｊ）として取り扱い、同様の処理を、パラメータｊをｊ＝１〜Ｊまで１ずつ増やしながらＪ回繰り返し実行すれば、Ｊ個の代表周波数を選出することができる。
【００２８】
このような相関計算の結果として出力されるＪ個の含有信号Ｇ（１）〜Ｇ（Ｊ）は、もとの区間信号Ｘの構成要素となる信号であり、もとの区間信号Ｘを符号化する場合には、これらＪ個の含有信号の周波数を示す情報および振幅（強度）を示す情報を符号データとして用いるようにすれば良い。尚、Ｊは代表周波数の個数であると説明してきたが、標準周波数ｆ（ｎ）の個数と同一すなわちＪ＝１２８であってもよく、周波数スペクトルを求める目的においてはそのように行うのが通例である。
【００２９】
こうして、各単位区間について、所定数の周波数群が選出されたら、この周波数群の各周波数に対応する「音の高さを示す情報」、選出された各周波数の信号強度に対応する「音の強さを示す情報」、当該単位区間の始点に対応する「音の発音開始時刻を示す情報」、当該単位区間に後続する単位区間の始点に対応する「音の発音終了時刻を示す情報」、の４つの情報を含む所定数の符号データを作成すれば、当該単位区間内の区間信号Ｘを所定数の符号データにより符号化することができる。符号データとして、ＭＩＤＩデータを作成するのであれば、「音の高さを示す情報」としてノートナンバーを用い、「音の強さを示す情報」としてベロシティーを用い、「音の発音開始時刻を示す情報」としてノートオン時刻を用い、「音の発音終了時刻を示す情報」としてノートオフ時刻を用いるようにすれば良い。
【００３０】
（本発明に係る音響信号の符号化方法）
ここまでに説明した従来技術とも共通する本発明の基本原理を要約すると、原音響信号に単位区間を設定し、単位区間ごとに複数の周波数に対応する信号強度を算出し、得られた信号強度を基に用意された周期関数を利用して１つまたは複数の代表周波数を選出し、選出された代表周波数に対応する音の高さ情報と、選出された代表周波数の強度に対応する音の強さ情報と、単位区間の始点に対応する発音開始時刻と、単位区間の終点に対応する発音終了時刻で構成される符号データを作成することにより、音響信号の符号化が行われていることになる。
【００３１】
本発明の音響信号符号化方法は、上記基本原理において、得られた信号強度を基に、用意された周期関数に対応する周波数を全て利用し、これら各周波数と、各周波数の強度と、単位区間の始点に対応する区間開始時刻と、単位区間の終点に対応する区間終了時刻で構成されるデータを「音素データ」と定義し、この音素データをさらに加工することにより最終的な符号化データを得るようにしたものである。
【００３２】
具体的には、図２に示したような１２８種の周期関数に対して区間信号の相関強度を求め、その周期関数の周波数、求めた相関強度、単位区間の始点、終点の４つの情報を音素データと定義する。この処理を全単位区間に対して行うことにより、音素データ[ｍ，ｎ]（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）群が得られる。ここで、Ｍは周期関数の総数（上述の例ではＭ＝１２８）、Ｎは音響信号において設定された単位区間の総数である。つまり、Ｍ×Ｎ個の音素データからなる音素データ群が得られることになる。ただし、本実施形態では実際には、上記１２８種の各標準周波数間に１２種の周波数を有する周期関数を用意するようにする。すなわち、全体では１２８×１３種の周期関数が用意されることになる。このようにすると、元の標準周波数の上下６個ずつの周波数が±１／２半音に含まれ、同一の音高であるとみなすことができる。そのため、ここでは同一音高であるとみなすことのできる１３個の周波数のうち、最大の強度を有するものをその音素データ[ｍ，ｎ]の周波数、強度とする。
【００３３】
音素データ群が得られたら、各単位区間ごとに基準となる基準音素データを選出する。各単位区間における基準音素データの選出は、その単位区間に属する音素データの周波数に着目して行われるが、この手法としては、上記基本原理において説明した代表周波数の選出方法が適用できる。また、各単位区間において選出される基準音素データの数の上限はあらかじめ設定しておくことができる。したがって、基準音素データは最大Ｍ（設定数）×Ｎ（単位区間総数）個選出されることになる。
【００３４】
基準音素データが選出されたら、次に、各基準音素データを基準にして相対音素データに変換する対象となる音素データの選出を行う。具体的には、まず基準音素データと±１／２半音の範囲で、単位区間を移動した音素データについて、その強度があらかじめ設定した範囲内に納まるかどうかを判断し、納まる場合に、その音素データを変換対象とする。この条件に合致する音素データが複数存在する場合には、基準音素データと強度の差が最も小さい音素データを採用する。この処理を単位区間を１つづつ移動して順次行い、その強度があらかじめ設定した範囲内に納まらない音素データが出現した時点で、その直前までの音素データを変換対象とする。ここで変換対象とされたものは、後に基準音素データとの相対量で表現した相対音素データに変換され、相対音素データ集合を形成することになる。この相対音素データに含まれるということは１つの音が持続する範囲を示す。すなわち、強度の範囲を設定し、その範囲に納まらないものを変換対象としないのは、この１つの持続する音から除外するということになる。これは、強度が小さくなるということはその周波数の音が消えていくことを意味し、また強度が必要以上に大きくなるということは演奏音ではなく、新たな音が加わったことを意味し、いずれにしても所定の範囲から外れた場合は、その音が終了したと判断されるためである。
【００３５】
この時点で基準音素データとほぼ同一周波数となる時系列方向への音素データの行集合ができることになる。次に基準音素データと同一時刻で周波数が異なる方向について、相対音素データに変換する対象となる音素データの選出を行う。周波数が異なる方向についての選出方法としては、基準音素データの周波数の倍音に相当するものを選出する方法と、基準音素データの周波数の近傍の周波数のものを選出する方法との２通りがある。近傍について選出する場合は、例えば±１半音分程度とする。これにより、１つの基準音素データに対して、複数列の行集合からなる音素データの集合が得られることになる。
【００３６】
続いて、選出された音素データを相対音素データに変換する。これは、音素データが有する４つの情報である区間開始時刻、区間終了時刻、周波数、強度を、基準音素データとの区間開始時刻同士の時間、区間終了時刻同士の時間、周波数変移割合、強度変移割合に変更することにより行われる。
【００３７】
次に、１つの基準音素データに対して得られた相対音素データ集合を用いて、記号定義データベースを参照し、相対音素データ集合を１つの音素パターン記号に変換する。この記号定義データベースには、相対音素データ集合の特徴と音素パターン記号が１対１で対応付けられて登録されている。ここで、相対音素データ集合の特徴とは、時刻の変化により周波数変移割合、強度変移割合がどのように変化するかというものである。このような記号定義データベースは、典型的な相対音素データ集合のパターンをあらかじめ人が抽出し、そのパターンを特定するための音素パターン記号を対応付けて登録することにより作成される。記号定義データベースに登録されている相対音素データ集合と、音素データ群より選出された相対音素データ集合のパターンは必ずしも一致しない。正確にいえば、選出される音素データ集合のパターンは無数に存在し得るので、一致することは有り得ない。そのため、パターン認識などの手法により、選出された音素データ集合に最も類似する音素データ集合を記号定義データベース内から探し出し、対応する音素パターン記号を抽出する。
【００３８】
抽出された音素パターン記号は、基準音素データの周波数と強度、相対音素データ集合の開始時刻、終了時刻と組になって記号データを形成する。さらに、このうち相対音素データ集合の発音開始時刻と発音終了時刻は、それぞれ元の音素データ集合の最初の単位区間の区間開始時刻、最終の単位区間の区間終了時刻となる。音素パターン記号は、さらに音色情報とも対応付けられている。そのため、記号データをＭＩＤＩデータに変換する場合は、音色ごとに別チャンネルに記録されることになる。以上のような処理を、全音素データ群に対して行うことにより、原音響信号を時系列に沿った複数の記号データの列に符号化することができる。
【００３９】
（記号データのグループ化）
音響信号が記号データ列に符号化されたら、続いて、これらの記号データをグループ化することができるが、この処理を必須ではない。グループ化は、前述の相対音素データ集合のパターンと類似したグループ記号定義データベースを人手で作成しておき、あらかじめ定義されている記号データ列のパターンに合致する記号のグループを前記パターンに対応して定義されているグループ記号データに置換するものである。
【００４０】
（他の音響信号への適用）
ここまでの説明は、音響信号として音楽を用いたものであったが、本発明は、例えば音声、心音等の他の音響信号についても適用可能である。音声の場合は、上述の記号定義データベースに、「あ」「い」「う」のように各単音ごとの音素集合のパターンを登録しておき、各単音に対応する音素パターン記号を抽出するようにする。この音素パターン記号も音楽の場合と同様に、記号データが作成された後、グループ記号定義データベースに登録されている記号データ列のパターンに基づいてグループ化することができる。また、心音の場合は、上述の記号データベースに、「I（いち）音」「II（に）音」「III（さん）音」のように各診断所見記号ごとの音素データ集合のパターンを登録しておき、各診断所見記号に対応する音素パターン記号を抽出するようにする。この音素パターン記号も音楽、音声の場合と同様に、記号データが作成された後、グループ化することができる。特に心音の場合は、グループ記号定義データベースにグループ化された記号すなわち診断所見記号のパターンに対応した診断結果記号を付加することにより、グループ化処理を一種の自動診断として機能させることができる。
【００４１】
このような音声や心音の場合は、音素集合のパターンが音楽に比べ複雑になるため、音素集合のパターンをいったん第１の音素パターン記号に対応させ、第１の音素パターン記号のグループを第２の音素パターン記号として前述の各単音に対応させるように、音素パターン記号を２階層にもたせることがある。そして、第１の音素パターン記号としてＭＩＤＩデータを採用すると、音楽の場合との互換性を確保でき、第１の音素パターン記号だけでＭＩＤＩ音源により簡易的な再生が可能になる。
【００４２】
上記のように記号データ、さらには記号グループにデータを置き換えることにより、音響情報を構造化して記述することが可能となる。ここで音響情報構造化の概念を図７に示す。図７（ａ）は、音楽・音声・心音などを符号化したコンテンツであり、上記符号データに対応する。図７（ｂ）は、コンテンツが有するフレーズの内容であり、このフレーズは上記記号グループに対応する。図７（ｃ）は、相対音素データの集合（グループ）であり、記号データが有する音素パターン記号に変換されるものである。図７（ｄ）は、原音響信号を単位区間ごとに解析して得られる音素データ群、図７（ｅ）は、各単位区間が設定された音響信号である。
【００４３】
原音響信号は、デジタル化された後、図７（ｅ）に示すように単位区間ごとに切り出され信号解析の対象となる。単位区間ごとの区間信号は、上述したように周期関数との相関を求めることにより、音素データに変換される。この音素データへの変換処理は原音響信号の全区間に対して行われ、その結果、図７（ｄ）に示すように最大として周波数種別Ｍ×総単位区間数Ｎ個の音素データ群が得られる。この中から複数の基準音素データを選出し、さらには選出した各基準音素データに対して所定の条件を満たす音素データを、その基準音素データに対する相対量で表現した相対音素データに変換する。そして１つの基準音素データとの相対量で表現された相対音素データ集合を基に、記号定義データベースを参照することにより、音素パターン記号に変換する。この相対音素データ集合から音素パターン記号に変換する中間段階として、前述したようにＭＩＤＩデータを介在させることがある。さらに音素パターン記号に対応する記号データが配置するパターンを基にグループ記号定義データベースを参照することにより、図７（ｂ）に示すように複数の記号データを１つのフレーズ（記号グループ）にまとめる。図７（ａ）に示すように、コンテンツ（符号データ）は、複数のフレーズにより構成される。このコンテンツには、フレーズ識別子および属性データのみが記録される。
【００４４】
結局、最終的に得られる情報は、フレーズ識別子（識別子は必ずしも番号ではない）と属性データだけを有するコンテンツと、コンテンツに記録されているフレーズ識別子に対応した各フレーズの内容を記録したものと、記号識別子と付随属性データだけを有するフレーズと、フレーズに記録されている記号識別子に対応した各記号データの内容を記録したものとなる。すなわち図７（ａ）から図７（ｃ）に示すものが一体となって流通されることになる。各記号データの内容としては図７（ｃ）のように相対音素を単純にグループ化させるだけでなく、ＭＩＤＩデータに対応したサブグループに分断し２階層で表現することがある。
【００４５】
コンテンツをこのように記録することにより、データの大幅な削減が可能となる。例えば、図７（ａ）に示すコンテンツにおいては、フレーズＡが３回出現しているが、コンテンツ内にはフレーズ識別子だけが主に記録されているため、フレーズＡの内容は、図７（ｂ）に示すように１つだけ用意しておけば良い。更に、フレーズ識別子に対応する記号データのセットが標準化されており、再生する受け手にとって自明な場合は、この図７（ｂ）に相当するデータの記録を全て省略することができる。同様にして、フレーズには記号識別子だけが主に記録されており、記号ａは図７（ｂ）に示すようにフレーズＡにもフレーズＢにも含まれているが、記号ａの内容は図７（ｃ）に示すように１つだけ用意しておけば良い。更に、記号識別子に対応する相対音素データのセットが標準化されており、再生する受け手にとって自明な場合は、この図７（ｃ）に相当するデータの記録を全て省略することができる。例えば、記号識別子として規格化されたＭＩＤＩ符号を用いる場合には、図７（ｃ）に相当するデータはＭＩＤＩ音源側に装備されているため、改めて記録する必要がなく、前述したように記号識別子と相対音素データ群との対応関係にＭＩＤＩデータを介在させている場合は各ＭＩＤＩデータを定義するための相対音素データ群に関する記録は必要ない。
【００４６】
このコンテンツの再生時（復号時）には、まず、コンテンツが有するフレーズ識別子を取得し、取得したフレーズ識別子を参照してそのフレーズが有する記号データを取得する。記号データとして前述したようなＭＩＤＩデータを用いている場合、あるいは記号データとしてＭＩＤＩデータを介在させた２階層でもたせている場合には、この段階で取得した記号データをＭＩＤＩ音源装置に転送するだけで音響信号に変換することができる。
【００４７】
続いて、取得した記号データをもとにその記号データが有する相対音素データを取得し、記号データに付随する周波数・強度などの属性データにより前記相対音素データを（絶対的な）音素データに変換し、各音素データに定義されている区間開始時刻、区間終了時刻、周波数、強度の情報をもとに正弦波区間信号データを発生させ、取得された全音素データに対応する正弦波区間信号データを順次合成してゆけば、再生可能な音響信号に変換することができる。
【００４８】
【発明の効果】
以上、説明したように本発明によれば、与えられた音響信号に対して、時間軸上に複数の単位区間を設定し、設定された単位区間における音響信号と複数の周期関数との相関を求めることにより、各周期関数に対応した信号強度を算出し、各周期関数が有する周波数と、算出された信号強度と、単位区間の始点に対応する区間開始時刻と、単位区間の終点に対応する区間終了時刻で構成される音素データを算出し、得られた音素データ群の中から基準となる基準音素データを選出し、音素データ群に含まれる音素データのうち選出された基準音素データと所定の関係を有する音素データを選出し、得られる音素データグループの特徴に基づいて、あらかじめ定義された記号データに変換し、時系列に定義された複数の記号データからなる記号データ列を用いて音響信号の符号データとして構造化して符号化するようにしたので、符号データ中で繰り返し現れるパターンについては、時系列の符号データ中から参照できるように共通化されるため、データ量の削減が図られた符号データを自動的に作成することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の音響信号の符号化方法の基本原理を示す図である。
【図２】本発明で利用される周期関数の一例を示す図である。
【図３】図２に示す各周期関数の周波数とＭＩＤＩノートナンバーｎとの関係式を示す図である。
【図４】解析対象となる信号と周期信号との相関計算の手法を示す図である。
【図５】図４に示す相関計算を行うための計算式を示す図である。
【図６】一般化調和解析の基本的な手法を示す図である。
【図７】音響情報の構造化の概念を示す図である。
【符号の説明】
Ａ（ｎ），Ｂ（ｎ）・・・相関値
ｄ，ｄ１〜ｄ５・・・単位区間
Ｅ（ｎ）・・・相関値
Ｇ（ｊ）・・・含有信号
ｎ，ｎ１〜ｎ６・・・ノートナンバー
Ｓ（ｊ），Ｓ（ｊ＋１）・・・差分信号
Ｘ，Ｘ（ｋ）・・・区間信号

Claims (7)

1. 与えられた音響信号に対して、時間軸上に複数の単位区間を設定する区間設定段階と、
   前記単位区間における音響信号と複数の周期関数との相関を求めることにより、各周期関数に対応した信号強度を算出する信号解析段階と、
   前記各周期関数が有する周波数と、前記信号解析段階により算出された信号強度と、前記単位区間の始点に対応する区間開始時刻と、前記単位区間の終点に対応する区間終了時刻で構成される音素データを算出する音素データ算出段階と、
   前記音素データ算出段階で得られた音素データ群の中から基準となる基準音素データを選出する基準音素データ選出段階と、
   前記音素データ群に含まれる音素データのうち選出された前記基準音素データと所定の関係を有する音素データを選出する音素データ選出段階と、
   前記音素データ選出段階により得られる前記音素データグループの特徴に基づいて、あらかじめ定義された記号データに変換する記号変換段階と、
   前記記号変換段階で時系列に定義された複数の記号データからなる記号データ列を用いて前記音響信号の符号データとして符号化する符号化段階と、
   を有することを特徴とする音響信号の符号化方法。
2. 前記音素データ選出段階により得られる前記各音素データを、その基準となった前記基準音素データとの相対量で表現した相対音素データに変換する相対音素データ変換段階をさらに有し、
   前記記号変換段階は、前記相対音素データグループの特徴に基づいて、あらかじめ定義された記号データに変換するものであることを特徴とする請求項１に記載の音響信号の符号化方法。
3. 前記記号データは音色情報と対応付けられており、前記記号データをＭＩＤＩデータに変換する場合に、前記符号化段階において前記記号データ列を前記音色情報に基づいて音色ごとに別チャンネルのＭＩＤＩデータに振り分け、複数のチャンネルで構成される符号データとして符号化するようにしていることを特徴とする請求項１に記載の音響信号の符号化方法。
4. 前記符号化段階は、前記記号データ列に加えて、前記記号データ列中で現れる記号データに対応する音素データグループの全ての音素データを、前記記号データの定義情報として前記符号データに含めるものであることを特徴とする請求項１に記載の音響信号の符号化方法。
5. 前記記号変換段階は、前記記号データ列内の複数の記号データ群に対して、記号データの組み合わせにより、あらかじめ定義されている１つのグループ記号データに変換し、前記符号化段階は、前記グループ記号データを用いて前記音響信号の符号データとして符号化するようにしていることを特徴とする請求項１に記載の音響信号の符号化方法。
6. 前記符号化段階は、前記グループ記号データに加えて、前記グループ記号データ列中で現れるグループ記号データに対応する記号データグループの全ての記号データを、前記グループ記号データの定義情報として前記符号データに含めるものであることを特徴とする請求項５に記載の音響信号の符号化方法。
7. 前記記号データがＭＩＤＩデータおよび記号データの２段階で構成され、前記記号変換段階は、前記音素データ選出段階により得られる前記音素データグループの特徴に基づいて、あらかじめ定義されたＭＩＤＩデータに変換するとともに、前記変換されたＭＩＤＩデータ列内の複数のＭＩＤＩデータ群に対して、ＭＩＤＩデータの組み合わせにより、あらかじめ定義されている１つの記号データに変換するようにし、前記符号化段階は、前記記号データ列に加えて、前記記号データ列中で現れる記号データに対応するＭＩＤＩデータ群の全てのＭＩＤＩデータを、前記記号データの定義情報として前記符号データに含めるものであることを特徴とする請求項１に記載の音響信号の符号化方法。

Images