JP2000276174A - 波形圧縮方法及び波形生成方法 - Google Patents
波形圧縮方法及び波形生成方法Info
- Publication number
- JP2000276174A JP2000276174A JP11084972A JP8497299A JP2000276174A JP 2000276174 A JP2000276174 A JP 2000276174A JP 11084972 A JP11084972 A JP 11084972A JP 8497299 A JP8497299 A JP 8497299A JP 2000276174 A JP2000276174 A JP 2000276174A
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- harmonic
- vector
- harmonic component
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
適宜の手法によって調和成分と調和外成分とに分離さ
れ、別々に供給される。少なくとも調和外成分に対して
ベクトル量子化するために、該調和外成分の波形形状に
基づいて、該調和外成分を複数の区間に分割する。これ
により、当該調和外成分の波形形状から判断して、デー
タ圧縮効率がよく、また、波形再現性もさして損なわれ
ないと思われる適切な個所で、調和外成分波形を区間分
割することができる。分割された各区間毎に調和外成分
の代表ベクトルとなる調和外ベクトルをそれぞれ選択・
指定することでそのベクトル量子化を行う。こうして、
調和外成分波形それ自体を分析して、独自にベクトル量
子化処理を施すことが容易に行えるようになる。
Description
技術を用いて楽音あるいは音声その他様々な音の波形を
圧縮する波形圧縮方法に関し、また、そのような波形圧
縮方法を使用して任意の波形を生成する波形生成方法に
関するもので、特に、調和外成分の圧縮法とその波形生
成方法を改善したものに関する。この発明は、電子楽器
は勿論のこと、自動演奏装置、コンピュータ、電子ゲー
ム装置その他マルチメディア機器等、楽音あるいは音声
若しくはその他任意の音を発生する機能を有する汎ゆる
分野の機器若しくは装置または方法において広範囲に応
用できるものである。なお、この明細書において、楽音
波形という場合、音楽的な音の波形に限るものではな
く、音声あるいはその他任意の音の波形を含んでいても
よい意味合いで用いるものとする。
て、奏法の相違を考慮した高品質な楽音を如何にして合
成するかということが重要な課題となってきている。す
なわち、自然楽器にあっては、同じ楽器音色及び同じ音
高等の楽音であっても、例えばビブラート奏法とスラー
奏法のような、異なる奏法での各演奏に対して、異なっ
た楽音特性(特に音色波形)を示す楽音が発生されるこ
とが知られている。このような自然楽器における奏法の
違いを反映した高品質な楽音を、電子楽器等において電
子的な楽音合成技術を用いて生成しようとする場合、各
楽器音色の各音高(若しくは音域)毎に、複数の各奏法
に対応して、それぞれの奏法に従う楽音特性(特に音色
波形)を示す波形データをそれぞれメモリに予め記憶し
ておき、演奏しようとする奏法に応じた波形データをメ
モリから読み出すことにより、奏法に対応した特有の楽
音特性(特に音色波形)を示す楽音波形を生成するよう
にすることが考えられる。
は音域)毎に、複数の各奏法に対応して異なる波形デー
タをそれぞれ記憶するようにする場合、普通に記憶した
のでは必要なメモリ記憶容量がかなり増すことになるた
め、如何にして有効なデータ圧縮を行い、必要なメモリ
記憶容量を節約するのか、ということが重要な課題とな
ってくる。そこで、従来の波形データ圧縮技術のうち、
この発明との関連において注目すべきものを挙げて見る
と、次のようなものがある。
おいては、入力波形をフィルタ処理によって周期成分と
非周期成分に分離し、各成分を異なるデータ圧縮の符号
化形式で符号化し、それぞれ波形メモリに記憶するよう
にした音記録方法が示されている。しかし、そこにおい
ては、特定の波形データを周期成分と非周期成分に分離
してデータ圧縮して記憶する発想はあっても、これらを
すべてベクトル量子化する発想はなかった。特に、非周
期成分については、周期成分の波形に対する残差波形を
そのまま時系列的に記録しておくしかないものである。
ては、ベクトル量子化を使用した音声符号化法が示され
ている。そこでは、圧縮しようとする音声波形を、ま
ず、その波形から抽出したスペクトルの逆特性のフィル
タで処理し、次に、フィルタ処理後の波形について、そ
の波形の過去の所定周期から取出した励振ベクトルを用
いて周期成分のベクトル量子化を行うとともに、雑音ベ
クトルで非周期成分のベクトル量子化を行うようにして
いる。この場合、雑音ベクトルは固定ベクトルとして用
意されているものを使用するようになっており、圧縮し
ようとする音声波形そのものから非周期成分(雑音成
分)を抽出してこれに基づき非周期成分のベクトル量子
化を行うようにはなっていない。
の波形データ圧縮技術にあっては、データ圧縮率が低か
ったため、各楽器音色の各音高(若しくは音域)毎に複
数の各奏法に対応して異なる波形データをそれぞれ記憶
するような目的に適した、十分なデータ圧縮を実現する
ことは困難であった。すなわち、前者の従来技術におい
ては、非周期成分をベクトル量子化する発想がなかった
ため、非周期成分のデータ記憶は、周期成分の波形に対
する残差波形をそのまま時系列的に記録しておくしかな
く、十分なデータ圧縮を実現するものではなかった。
においては、雑音ベクトルは固定ベクトルとして用意さ
れているものを使用するようになっており、圧縮しよう
とする音声波形そのものから非周期成分(雑音成分)を
抽出してこれに基づき非周期成分のベクトル量子化を行
うようにはなっていないので、雑音ベクトルのベクトル
量子化精度が悪く、非周期成分の効率的な圧縮が行え
ず、また、非周期成分の再現精度も悪かった。更に、こ
の波形データ圧縮技術においては、逆特性のフィルタに
よるフィルタ処理が必ず行われているので、この強力な
逆特性フィルタ処理の介在によって、再生される波形の
形状は、元の波形の形状と異なった形状になってしま
い、波形再現性が悪い、という欠点があった。よって、
精密な波形再現性がそれほど要求されない人音声波形の
再生には使用できても、精密な波形再現性が要求される
楽器音の波形再生には適していなかった。また、この波
形データ圧縮技術においては、周期ベクトルと雑音ベク
トルを用いた圧縮が行われているが、上記逆特性フィル
タ処理の行われた1つの波形に対して、周期ベクトルと
雑音ベクトルの組合せとしてのベクトル量子化を行わね
ばならないので、その組合せの決定方法が難しく、ま
た、精密な圧縮ができなかった。さらに、上記周期ベク
トルは、過去の波形から取り出した励振ベクトルが用い
られる場合が多いので、変化に富んだ波形に対する追従
性は低かった。
で、データ圧縮効率に優れ、元の波形の再現性にも優れ
た波形圧縮方法を提供しようとするものであり、特に調
和外成分(非周期的な成分)を有効にかつ効率的に圧縮
することができるようにすることを考慮した波形圧縮方
法を提供しようとするものである。さらには、そのよう
な波形圧縮方法を使用して任意の波形、特に任意の調和
外成分波形を生成する波形生成方法を提供しようとする
ものである。
方法は、波形データの調和成分と調和外成分とを供給す
る過程と、前記調和外成分の波形形状に基づいて、該調
和外成分を複数の区間に分割する過程と、調和外ベクト
ルを供給する過程と、前記分割された各区間毎の調和外
成分を前記調和外ベクトルによりベクトル量子化し、調
和外成分についての圧縮データを生成する過程とを具え
たものである。
宜の手法によって調和成分と調和外成分とに分離され、
別々に供給される。この発明によれば、少なくとも調和
外成分に対してベクトル量子化のための処理が施され
る。調和外成分波形をベクトル量子化するためには、そ
の対象たる調和外成分波形を複数の区間に分割し、各区
間毎に最適なベクトル量子化を行うことが望ましい。そ
のための区間分割の手法として、この発明においては、
該調和外成分の波形形状に基づいて、該調和外成分を複
数の区間に分割するようにしている。これによって、当
該調和外成分の波形形状から判断して、データ圧縮効率
がよく、また、波形再現性もさして損なわれないと思わ
れる適切な個所で、調和外成分の波形を複数区間に分割
することができる。
は、データ圧縮の促進と波形再現性の向上との兼ね合い
を考慮して、それぞれの調和外成分の内容に見合った、
最適な形態でベクトル量子化を行うことが好ましい。調
和外成分は、基本的には繰り返し性を持たないランダム
な雑音波形に該当するが、その波形形状に基づき最適と
思われる区間分割を採用してベクトル量子化すること
で、効率的なデータ圧縮を行うことができると共にその
後の波形生成処理を有利に行うことができる。例えば、
その波形形状や発音期間の中のどの位置に位置するかと
いった重要度の有無等を考慮して、特定の代表ベクトル
をループ処理するようにベクトル量子化を行い、再生時
にループ再生処理を行うことで必要な時間長の調和外成
分波形を再生するようにしてもよいし(これをループ再
生という)、あるいは、必要な時間長からなる代表ベク
トルをループさせずに一回だけ使用するようにベクトル
量子化を行い、再生時にそのように再生処理を行うこと
で所要の調和外成分波形を再生するようにしてもよい
(これをワンショット再生という)。あるいは、複数の
代表ベクトルを所定の順番で切換えて組合わせることに
より、所要の調和外成分波形を再生するようにしてもよ
い(これをシーケンス再生という)。あるいは、その切
換え順序をランダムに設定して、調和外成分の雑音性つ
まりランダム性を強調するようにしてもよい(これをラ
ンダムシーケンス再生という)。このような各種の最適
ベクトル量子化形態を考慮し、調和外ベクトルとして、
様々な最適ベクトル量子化の形態に見合った、代表ベク
トルを適宜使用することが好ましい。そこで、調和外成
分のベクトル量子化にあたっては、一例として、当該調
和外成分に適した調和外ベクトルつまり代表ベクトルを
選定し、この調和外ベクトルつまり代表ベクトルをどの
ように用いるか(例えば上記ループ再生やワンショット
再生等の区別やその期間やそれに付与するエンベロープ
の形態など)を記述する情報を付加することにより、行
うことができる。なお、調和外成分の各代表ベクトルす
なわち調和外ベクトルは、様々な異なる波形間で共有す
ることができる。つまり、圧縮しようとする2以上の異
なる原波形の間で、それらの原波形の一部に適宜の共通
性がある場合は、それらのベクトル量子化に際しては、
同じ代表ベクトルを両波形間で適宜共用することができ
る。
には行えなかった、調和外成分(非周期性成分)の波形
それ自体を分析して、独自にベクトル量子化処理を施す
ことが容易に行えるようになる。また、非周期性波形成
分のベクトル量子化にあたっては、調和成分と共に原波
形を構成する固有の調和外成分に基づきベクトル量子化
処理を行うので、非周期性波形成分の再現精度が向上す
る。このように、この発明は、調和外成分の圧縮処理を
容易に行うことができるようにするものであり、調和外
成分のベクトル量子化処理を実現するために極めて有用
であり、また、これによって波形圧縮効率を高めること
に寄与し、さらに、原波形の再現性、特に調和外成分の
再現性に大変優れている、等々種々の優れた効果を奏す
る。
の波形データを供給する過程と、複数の区間についての
調和外成分用の圧縮データをそれぞれ供給する過程と、
調和外ベクトルを供給する過程と、各区間毎の前記調和
外成分用の圧縮データに基づいて調和外ベクトルを選択
し、選択された調和外ベクトルに基づき各区間毎の調和
外成分の波形データを生成する過程とを具え、前記調和
成分の波形データと調和外成分の波形データとを組み合
わせて波形を生成する方法であって、或る区間の前記圧
縮データには調和外ベクトルを使用しないことを指示す
るものが含まれており、その区間では調和外成分なしに
調和成分の波形データで波形を生成することを特徴とす
るものである。これにより、音を特徴づける上で、重要
度の低い区間に存在している調和外成分を無視し、その
区間の調和外成分は無音として調和成分のみで再生波形
を構成するようにすることができ、その分、調和外成分
のデータ圧縮効率を高めることができる。
和成分の波形データを供給する過程と、複数の区間につ
いての調和外成分用の圧縮データをそれぞれ供給する過
程と、調和外ベクトルを供給する過程と、各区間毎の前
記調和外成分用の圧縮データに基づいて調和外ベクトル
を選択し、選択された調和外ベクトルに基づき各区間毎
の調和外成分の波形データを生成する過程とを具え、前
記調和成分の波形データと調和外成分の波形データとを
組み合わせて波形を生成する方法であって、或る区間の
前記圧縮データには調和外ベクトルを繰り返し使用する
ことを指示するものが含まれており、その区間では該調
和外ベクトルを繰り返して調和外成分の波形データを生
成することを特徴とするものである。これにより、音を
特徴づける上で、重要度の低い区間に存在している調和
外成分をループ再生するようにすることで、その分、調
和外成分のデータ圧縮効率を高めることができる。例え
ば、原波形において相対的に音量が大きい区間は調和成
分波形の影響力が大で或るため、調和外成分にそれほど
巧妙な再現性は要求されないため、限られたデータサイ
ズの調和外ベクトルをループさせることで調和外成分波
形の再生・生成を問題なく行うことができる。そのよう
な場合にこれは有利である。
数の異なる奏法のうち指定された奏法に対応して、調和
成分の波形データを供給する過程と、前記奏法に対応し
て、調和外成分用の圧縮データを供給する過程と、複数
の調和外ベクトルを記憶したメモリを用いて該調和外ベ
クトルを供給する過程と、前記調和外成分用の圧縮デー
タに基づいて前記メモリから調和外ベクトルを選択し、
選択された調和外ベクトルに基づき調和外成分の波形デ
ータを生成する過程とを具え、前記調和成分の波形デー
タと調和外成分の波形データとを組み合わせて前記指定
された奏法に対応する波形を生成することを特徴とする
ものである。これにより、複数の異なる奏法のうち指定
された奏法に対応して、調和外成分用の圧縮データか
ら、調和外成分の波形を独自に再生・生成することがで
きる。再生された調和外成分波形を調和成分波形と混合
することで、指定された奏法に対応する特有の原波形を
再現することができる。
することができるのみならず、装置発明として構成し、
実施することもできる。また、この発明は、コンピュー
タプログラムの形態で実施することができるし、そのよ
うなコンピュータプログラムを記憶した記録媒体の形態
で実施することもできる。更に、この発明は、新規な圧
縮されたデータ構造からなる波形データを記憶した記録
媒体の形態で実施することもできる。
明の実施の形態を詳細に説明しよう。まず、図1を参照
して、この発明の一実施例に係る波形圧縮方法及び波形
生成方法を実施するために使用されるハードウェア構成
例について概略を説明する。ここに示されたハードウェ
ア構成例は、例えばパーソナルコンピュータのような汎
用コンピュータを用いて構成されており、そこにおい
て、波形圧縮及び波形生成処理は、コンピュータがこの
発明に係る波形圧縮方法及び波形生成方法を実現する所
定のプログラム(ソフトウェア)を実行することにより
実施される。勿論、この波形圧縮方法及び波形生成方法
は、コンピュータソフトウェアの形態に限らず、DSP
(ディジタル・シグナル・プロセッサ)によって処理さ
れるマイクロプログラムの形態でも実施可能であり、ま
た、この種のプログラムの形態に限らず、ディスクリー
ト回路又は集積回路若しくは大規模集積回路等を含んで
構成された専用ハードウェア装置の形態で実施してもよ
い。また、装置構成は、パーソナルコンピュータのよう
な汎用コンピュータに限らず、電子楽器あるいはカラオ
ケ装置又は電子ゲーム装置又はその他のマルチメディア
機器等、任意の製品応用形態をとっていてもよい。
ては、コンピュータのメイン制御部としてのCPU(中
央処理部)10に、ROM(リードオンリーメモリ)1
1、RAM(ランダムアクセスメモリ)12、ハードデ
ィスク装置13、リムーバブルディスク装置(例えばC
D−ROMドライブ若しくはMOドライブなど)14,
表示器15,キーボード及びマウス等の入力操作装置1
6,波形インタフェース17,タイマ18、MIDI及
び通信ネットワーク等のインタフェース19等が、CP
Uバス20を介して接続されている。波形インタフェー
ス17は、外部からマイクロフォン等を介して入力され
るアナログ波形信号(オーディオ信号)を、CPU10
からの指示に応じて、所定のサンプリング周波数に従っ
てサンプリングしてディジタル信号に変換し、これをC
PUバス20に送り出す機能と、このコンピュータによ
り実行した波形生成処理によって圧縮データに基づき生
成したディジタル波形データをCPUバス20を介して
受け取り、所定のサンプリング周波数に従ってアナログ
波形信号に変換してスピーカシステム等に出力する機能
等を有する。
たディジタル波形データは、RAM12あるいはハード
ディスク装置13等における所定の記憶領域に一旦書き
込まれ、この波形データに対して、CPUの指示に従っ
てこの発明に従う所定の波形圧縮処理が施される。圧縮
されたデータは、適宜の圧縮波形データベースに記憶さ
れる。この場合、アナログ波形信号に限らずディジタル
波形データを適宜のインタフェース19等を介して入力
し、この入力波形データに対して所要のデータ圧縮を施
すようにしてもよい。波形データベースの機能は、どの
タイプのデータ記憶装置が受け持ってもよい。すなわ
ち、RAM12、ハードディスク装置13、リムーバブ
ルディスク装置14のいずれを圧縮波形データベースと
して機能させてもよい。一般的には、大容量の記憶装置
であるハードディスク装置13における適宜の記憶領域
あるいはリムーバブルディスク装置14に着脱可能なC
D−ROMやMO等のリムーバブルな記録媒体を、圧縮
波形データベースとして機能させればよい。あるいは、
外部のホスト又はサーバコンピュータに具備されている
波形データベースに対して、インタフェース19及び通
信回線を介してアクセスして、圧縮したデータをそこに
書き込んだり、再生時に必要な圧縮データをハードディ
スク装置13あるいはRAM12等にダウンロードする
ようにしてもよい。波形生成時には、圧縮波形データベ
ースに記憶されている圧縮データを使用して所定の波形
生成処理を行い、ディジタル波形データを生成する。生
成したディジタル波形データは、上記のように波形イン
タフェース17を介してアナログ出力してもよいし、あ
るいは、適宜のインタフェース19等を介してディジタ
ルデータのまま外部に転送出力することも可能である。
なお、圧縮波形データベースとして、ハードディスク装
置13、リムーバブルディスク装置14、あるいは外部
のホスト又はサーバコンピュータ等、外部メモリを使用
した場合は、指定された波形データに迅速にアクセスで
きるようにするために、内部の転送バッファ(RAM1
2等で構成する)に圧縮波形データベースの全部あるい
は一部を転送しておくようにするとよい。
波形生成処理の過程において、CPU10からの指示に
応じて、様々なグラフィック画面を表示する。例えば、
録音した波形の形状をグラフィック表示したり、波形圧
縮処理の際の波形エディット状態をグラフィック表示し
たり、音色設定、音色編集、システム設定等の各種デー
タ設定・選択等のための制御画面を表示したり、という
ように多様に使用される。また、入力操作装置16のア
ルファニューメリックキーボード及びマウス等を用い
て、波形圧縮処理及び波形生成処理の過程において、必
要な制御情報や文字情報等が入力される。また、インタ
フェース19を介して、MIDI鍵盤モジュールやシー
ケンサ(自動演奏装置)あるいは他のコンピュータが接
続され、楽音再生のための演奏指示情報等を入力した
り、各種データの授受を行う。
波形圧縮処理及び/又は波形生成処理を実行するソフト
ウェアプログラムは、ROM11又はRAM12あるい
はハードディスク装置13等のいずれに記憶しておくよ
うにしてもよい。また、このプログラムは、リムーバブ
ルディスク装置14に着脱可能なCD−ROMやMO等
のリムーバブルな記録媒体に記録されていてもよく、ま
た、外部のホスト又はサーバコンピュータから通信回線
及びインタフェース19を介して該プログラムを受信
し、ハードディスク装置13あるいはRAM12等にダ
ウンロードするようにしてもよい。また、この発明の実
施にあたっては、図1に示されたようなコンピュータシ
ステムが、波形圧縮処理と波形生成処理の両方の機能を
必ずしも兼備している必要はなく、どちらか一方のみを
実施し得るような構成であってもよい。
各種処理の実施例について説明する。図2は、CPU1
0の制御の下で実行される波形圧縮処理の手順を等価的
ブロック図によって略示するものである。まず、「奏法
付き波形録音」(プロセスP1)では、各種の自然楽器
において、熟練した演奏家逹によって、同じピッチ、同
じ強度の楽音を様々な奏法で実際に演奏してもらい、そ
れぞれの演奏音を波形インタフェース17を介してサン
プリングし、こうして、多数の奏法付き波形データをR
AM12あるいはハードディスク装置13等における所
定の記憶領域に記録する。この場合、記録される演奏音
は、単音とは限らず、一連のフレーズ、あるいは和音等
であってもよく、また、単音若しくは一連のフレーズ等
からなる1つの演奏音の中に複数の異なる奏法が含まれ
ていてもよい。
的な奏法名が同じであっても各楽器種類毎にその演奏音
の波形特徴が異なるし、また、一般的な奏法名が同じで
かつ楽器種類が同じであってもその奏法の程度の違い
(例えばビブラート深さの違い等)によってそれぞれの
演奏音の波形特徴が異なる。従って、「奏法付き波形録
音」(プロセスP1)で録音する様々な奏法に従う演奏
音とは、これらの各種観点に従う奏法の違いを考慮した
ものである。よって、「奏法付き演奏音」は、主に、
「楽器名」と、「奏法名」と、その奏法の程度を示す
「パラメータ」、の3つの要素の組合わせを用いて区別
され、記述することができる。その場合、奏法の程度を
示す「パラメータ」には複数のパラメータが含まれる。
名)においては、その「立ち上がり速度、強度、ピッ
チ」等がパラメータとなる。 例2:「バイオリン」(楽器名)の「スラー」(奏法
名)においては、その「スラー幅、スラー速度、強度、
ピッチ」等がパラメータとなる。 例3:「バイオリン」(楽器名)の「ビブラート」(奏
法名)においては、その「ビブラート深さ、ビブラート
速度、強度、ピッチ」等がパラメータとなる。 例4:「ギター」(楽器名)の「ピッキング」(奏法
名)においては、その「強度、ピッチ」等がパラメータ
となる。 例5:「ギター」(楽器名)の「ハンマリング・オン」
(奏法名)においては、その「強度、ピッチ」等がパラ
メータとなる。 例6:「ギター」(楽器名)の「ベンド」(奏法名)に
おいては、その「ベンド幅、ベンド速度、強度、ピッ
チ」等がパラメータとなる。 例7:「ギター」(楽器名)の「トレモロアーム操作」
(奏法名)においては、その「操作幅、操作速度、強
度、ピッチ」等がパラメータとなる。 また、パラメータには、強度時間変化カーブやスラー時
間変化カーブのように、時間変化態様を示すものが含ま
れていてもよい。
は、前記「奏法付き波形録音」のプロセスP1で準備し
た各波形データを分析して、一つ又は一連の演奏音の波
形データの中で共通の奏法に対応している部分がどの範
囲(これを奏法区間ということにする)であるかを抽出
し、該波形データの中に含まれる一又は複数の各奏法毎
に、該波形データを区間分けする位置を決定し、分けら
れた各区間(奏法区間)で用いられている奏法を記述す
るための前記「奏法名」と前記「パラメータ」とをそれ
ぞれ決定し、該「奏法名」のデータと「パラメータ」と
からなる奏法指定データを生成する。また、該奏法につ
いての「楽器名」を示す楽器指定データも生成する。こ
うして、一つ又は一連の演奏音の波形データを、そこで
用いられている一又は複数の奏法に応じて一又は複数の
奏法区間に分ける定義付けと、各奏法区間について当該
奏法の種類を記述するための「楽器名」と「奏法名」と
「パラメータ」の3つの要素が、楽器指定データと奏法
指定データとによって定義される。これらの楽器指定デ
ータと奏法指定データは、波形データ圧縮のためのプロ
セスP3〜P6の処理によって圧縮された当該奏法区間
についての圧縮データの解説情報若しくはインデックス
情報として使用される。
る分析の手法としては、例えば次の3通りの手法が考え
られる。 例1:分析すべき波形データの音をユーザが耳で聴き、
かつ必要に応じてその波形を表示器15で表示し、奏法
区間として分割する区切りの位置をユーザの判断によっ
て入力操作装置16を用いて手動指定する。また、分割
指定した各奏法区間についての「奏法名」と「パラメー
タ」とをユーザの判断によって決定し、入力操作装置1
6を用いて手動指定する。これは手動分析に相当する。 例2:CPU10が所定の奏法分析プログラムを実行し
て、分析対象の波形データのピッチ、振幅等の各種楽音
特性の変化を分析し、この分析結果に基づいて奏法区間
として分割する区切りの位置を自動的に決定し、かつ、
決定した各奏法区間についての「奏法名」と「パラメー
タ」とを自動的に決定する。これは全自動分析に相当す
る。 例3:上記例1と例2の手法を複合したもの。すなわ
ち、ユーザによる手動分析とCPUによる自動分析とを
組合わせて奏法分析を行う。例えば、奏法区間の分割と
「奏法名」の決定は、ユーザが手動で行い、各奏法区間
における「パラメータ」はCPUによる自動分析によっ
て決定する。あるいは、CPUによる自動分析によって
決定された各奏法区間の分割位置あるいは「奏法名」あ
るいは「パラメータ」を、ユーザの手動操作によって適
宜修正する。
では、前記「奏法付き波形録音」のプロセスP1で準備
した一つ又は一連の演奏音の波形データを、当該波形デ
ータについて前記「奏法分析」のプロセスP2で決定し
た奏法区間分割位置指定情報に従って具体的に分割する
処理を行う。以後の各プロセスP4〜P6の処理は、分
割された個々の奏法区間毎の波形データに対して行われ
る。
スP4)では、前記「奏法区間分割」のプロセスP3で
分割された1つの奏法区間の波形データをRAM12等
のメモリから取り出し、この波形データを調和成分と調
和外成分とに分離する処理を行う。この分離処理の一例
を示すと、まず、分離対象たる波形データを入力し、こ
れを高速フーリエ変換(FFT)によって周波数分析
(スペクトル分析)してその基本ピッチ周波数成分と高
調波成分とを抽出し、これを逆フーリエ変換することに
より、調和成分の波形を生成する。このように生成した
調和成分波形を分離対象たる入力波形データから引くこ
とにより、その残差波形として調和外成分の波形を得
る。一例として、上記FFT処理においては、分析しよ
うとする波形データの8周期分に相当する長さの窓関数
を使用し、その窓関数を1/8周期分に相当するフレー
ム分だけずらしながら波形データ全体を分析するとよ
い。このようなFFT分析を採用すると、高調波成分の
周波数のゆらぎをゆらぎとして分析することができ、こ
れを調和成分に含めて抽出することができる。勿論、窓
関数のサイズやそのずらし量は、上記例に限らず、任意
に設定可能であり、FFT処理で分析される周波数成分
の周波数やレベルのゆらぎをゆらぎとして検出すること
ができるような設定となっていればよい。
では、前記「調和/調和外成分分離」のプロセスP4で
分離・生成された調和成分の波形データの特徴を分析
し、この特徴に従って最適なベクトル量子化処理を行
い、ベクトル量子化に従って圧縮された当該調和成分波
形の圧縮データを生成する。ここで、調和成分は基本的
に繰り返し波形とみなすことができるので、例えば、1
周期ないし複数周期の波形を代表ベクトルとして用い
て、該代表ベクトルをループする(または相前後する2
つの代表ベクトルをクロスフェードループする)こと
で、調和成分波形の再生を行うことができる。そこで、
そのような代表ベクトルを調和ベクトルとして調和ベク
トル記憶部M1に記憶しておき、この「調和成分分析」
(プロセスP5)で生成する圧縮データとして、調和ベ
クトル記憶部M1に記憶した調和ベクトルのうち当該調
和成分の代表ベクトルとして使用すべき調和ベクトルを
指定するベクトル情報と、この指定された調和ベクトル
つまり代表ベクトルをどのように用いるか(例えばその
ベクトルを使用する区間やループする期間、あるいはそ
れに付与するエンベロープの形態など)を記述する情報
等を含むものを生成するようにするとよい。この「調和
成分分析」(プロセスP5)の詳細例については更に追
って説明する。
6)では、前記「調和/調和外成分分離」のプロセスP
4で分離・生成された調和外成分の波形データの特徴を
分析し、この特徴に従って最適なベクトル量子化処理を
行い、ベクトル量子化に従って圧縮された当該調和外成
分波形の圧縮データを生成する。ここで、調和外成分
は、データ圧縮の促進と波形再現性の向上との兼ね合い
を考慮して、それぞれの調和外成分の特徴又は内容に見
合った、最適な形態でベクトル量子化を行うようにして
いる。調和外成分は、基本的には繰り返し性を持たない
ランダムな雑音波形に該当するが、例えば、その内容や
発音期間の中のどの位置に位置するかといった重要度の
有無等を考慮して、特定の代表ベクトルをループ処理す
ることで必要な時間長の調和外成分波形を再生するよう
にしてもよいし(これをループ再生という)、あるい
は、必要な時間長からなる代表ベクトルをループさせず
に一回だけ使用することで所要の調和外成分波形を再生
するようにしてもよい(これをワンショット再生とい
う)。あるいは、複数の代表ベクトルを所定の順番で切
換えて組合わせることにより、所要の調和外成分波形を
再生するようにしてもよい(これをシーケンス再生とい
う)。あるいは、その切換え順序をランダムに設定し
て、調和外成分の雑音性つまりランダム性を強調するよ
うにしてもよい(これをランダムシーケンス再生とい
う)。このような各種の最適ベクトル量子化形態を考慮
し、調和外ベクトルとして、様々な最適ベクトル量子化
の形態に見合った、代表ベクトルを適宜使用することが
好ましい。そこで、そのような各種の代表ベクトルを調
和外ベクトルとして調和外ベクトル記憶部M2に記憶し
ておき、この「調和外成分分析」(プロセスP6)で生
成する圧縮データとして、調和外ベクトル記憶部M2に
記憶した調和外ベクトルのうち当該調和外成分の代表ベ
クトルとして使用するのにふさわしい調和外ベクトルを
指定するベクトル情報と、この調和外ベクトルつまり代
表ベクトルをどのように用いるか(例えばそのベクトル
を使用する区間や上記ループ再生やワンショット再生等
の区別やその期間やそれに付与するエンベロープの形態
など)を記述する情報等を含むものを生成するようにす
るとよい。この「調和外成分分析」(プロセスP6)の
詳細例についても更に追って説明する。
々の奏法区間についての、前記「調和成分分析」(プロ
セスP5)で生成された圧縮データ(第1の圧縮デー
タ)と前記「調和外成分分析」(プロセスP6)で生成
された圧縮データ(第2の圧縮データ)とを、当該奏法
区間について前記「奏法分析」(プロセスP3)で生成
された楽器指定データ及び奏法指定データとの組にし
て、奏法情報として記憶するものである。従って、波形
再生のために、所望の奏法についての楽器指定データ及
び奏法指定データとをインデックスにして、奏法情報記
憶部M3から該当する奏法区間についての調和成分及び
調和外成分の(つまり第1及び第2の)圧縮データを呼
び出すことができる。そして、この呼び出された圧縮デ
ータに含まれるベクトル情報に応じて、調和ベクトル記
憶部M1及び調和外ベクトル記憶部M2からそれぞれ所
定の調和ベクトルと調和外ベクトルとを読み出し、これ
らに基づき調和成分波形と調和外成分波形とをそれぞれ
再生し、両者を加算的に合成することで原波形の再現若
しくは原波形の特徴を持つ楽音波形の生成を行うことが
できる。
ロセスP5)の詳細例について説明する。なお、図3に
示された処理は、「調和成分分析」(プロセスP5)の
すべてを示しているわけではなく、主に、新規に調和ベ
クトルを生成して、これを調和ベクトル記憶部M1に蓄
積記憶する処理に関連する部分を示している。
記プロセスP4の「調和/調和外成分分離」で分離・生
成された1奏法区間分の調和成分波形を、複数の波形区
間に分割する。この波形区間の分割の仕方としては、1
周期毎の波形形状の特徴が共通又は類似している連続的
な1又は複数周期波形からなる区間を1波形区間として
抽出し、その区切りで分割する。従って分割される各波
形区間のサイズは概して不等間隔である。また、この
「波形区間分割」処理S1は、表示器15に表示された
波形形状を目視しながらユーザが手動操作によって適宜
の分割位置を指示するようにしてもよいし、あるいはC
PU10が所定の波形区間分割プログラムを実行して、
各周期ごとの波形の周波数特性を自動的に分析すること
に基づき自動的に分割位置を決定するようにしてもよ
い。あるいは、手動操作と自動処理とを組合わせてこれ
を行ってもよい。なお、この「波形区間分割」処理S1
の結果、入力された調和成分波形がどのような形態で複
数の波形区間に分割されたのかを記述する情報として、
「区間情報」が生成される。なお、1周期毎の波形形状
の特徴が共通又は類似しているかの判定を効率的に行う
ために、1周期毎に波形を切り出して、そのピッチと振
幅レベルを共通にする規格化処理を行い、純粋に1周期
波形の波形形状のみの比較が行えるようにするとよい。
その場合、以後のベクトル量子化処理は、ピッチと振幅
レベルが規格化された波形データに関して行われること
になるので、この規格化したピッチと振幅レベルに対す
る元のピッチと振幅レベルの時間的変化状態を示すベク
トルとして、「ピッチベクトル」と、「振幅ベクトル」
を生成するとよい。ここで、波形データの時間軸位置を
制御して規格化することが好ましい場合もあり、その場
合は、波形データの時間軸位置の時間的変化状態を示す
ベクトルとして「タイムベクトル」を生成する。
割された各波形区間の波形データについて、その1周期
分又は複数周期分の波形形状が類似している区間同士を
同一グループとするグループ分けを行う。このグループ
分けは、自己の奏法区間についての波形区間同士で行う
のは勿論のこと、むしろ、他の奏法区間(異なる楽器を
含む)についての各波形区間の波形データとの間で行う
ことを主旨とするものである。すなわち、グループ波形
記憶部M4において、既にグループ分けされた各奏法区
間についての多数の波形区間の波形データがグループ分
けされた状態で記憶される。「グループ分け」処理S2
では、このグループ波形記憶部M4の記憶内容を参照し
て、今回分割された各波形区間の波形データについて、
その1周期分又は複数周期分の波形形状が類似している
ものが、グループ波形記憶部M4内の既存のグループに
存在しているかどうかを調べる。存在していれば、当該
波形区間の波形データを当該グループに含める。すなわ
ち、当該波形区間の波形データをグループ波形記憶部M
4の当該グループの記憶領域に記憶させると共に、当該
グループを示す「グループ情報」を生成する。既存のグ
ループに類似する波形がなければ、当該波形区間の波形
データを新グループとして登録する。すなわち、当該波
形区間の波形データをグループ波形記憶部M4の当該新
グループの記憶領域に記憶させると共に、当該新グルー
プを示す「グループ情報」を生成する。この場合、デー
タ共用効率を上げるために、上述のように原波形のピッ
チや音量レベルが共通になるように適宜の波形規格化処
理を施し、純粋に波形形状のみの比較によってグループ
分けを行うとよい。勿論、各波形区間のサイズとは無関
係に、当該波形区間を特徴づけている1周期又は複数周
期の波形形状同士を比較する。かくして、異なる楽器
の、あるいは異なる奏法の、あるいは異なるピッチ等の
波形データ同士であっても、そのうちの或る波形区間の
波形形状が類似していれば、当該類似している波形区間
の波形データについては共通のグループに分類されるこ
とになる。これは、調和ベクトル記憶部M1における調
和ベクトル(調和外ベクトル記憶部M2における調和外
ベクトルについても同様)が、異なる楽器音あるいは異
なる奏法あるいは異なるピッチ等、異なる特性の種々の
奏法波形間において共用され得ることを意味しており、
調和ベクトル記憶部M1(あるいは調和外ベクトル記憶
部M2も同様)の記憶規模の縮小に役立つことを意味す
る。なお、この「グループ分け」処理S2も、上記のよ
うに、ユーザの手動操作によって行ってもよいし、CP
U10による自動処理によって行ってもよいし、また、
手動操作と自動処理とを組合わせて行ってもよい。
処理S3では、グループ波形記憶部M4の記憶内容を参
照し、同一グループ内の各波形データの特徴を考慮し
て、それらの波形データの代表ベクトルを生成する。例
えば、1つの波形区間において同じ様な1周期又は複数
周期波形が繰り返している場合、とりあえず、それを仮
の代表ベクトルとして選定し、同一グループ内の各波形
データの仮の代表ベクトルの平均的又は中間的または最
も特徴的なベクトルを、当該グループの代表ベクトルと
して決定し、これを生成する。生成した代表ベクトル
(具体的には1又は複数周期からなる波形データであ
る)は、調和ベクトル記憶部M1に記憶され、調和ベク
トルとして登録される。また、当該グループの代表ベク
トルが、調和ベクトル記憶部M1に記憶されているどの
調和ベクトルに該当するかを指示する、調和成分用の
「ベクトル情報」が生成される。この「ベクトル情報」
は、調和ベクトル記憶部M1に記憶されているどの調和
ベクトル(具体的には1又は複数周期からなる波形デー
タ)を代表ベクトルとして使用するかを指示するインデ
ックスデータであるから、複数ビットからなる僅かなデ
ータである。
割」処理S1から生成された「区間情報」との組合わせ
で、当該波形区間における調和成分の圧縮データとし
て、奏法情報記憶部M3に記憶される。従って、1つの
奏法区間に関する調和成分の圧縮データ(第1の圧縮デ
ータ)は、その奏法区間を分割してなる複数の波形区間
の各々についての「ベクトル情報」と「区間情報」との
組合わせを含んでいる。この場合、前述のようにピッチ
と振幅レベルを規格化した波形データに関してベクトル
量子化処理を施した場合は、上記「ベクトル情報」と
「区間情報」に対して、「波形区間分割」処理S1から
生成された「ピッチベクトル」と「振幅ベクトル」を更
に組合わせて、奏法情報記憶部M3に記憶する。また、
波形データの時間軸位置をも規格化した波形データに関
してベクトル量子化処理を施した場合は、「波形区間分
割」処理S1から生成された「タイムベクトル」を更に
組合わせて、奏法情報記憶部M3に記憶する。
多くの調和ベクトルが蓄積された状態における「調和成
分分析」(プロセスP5)の処理例について説明する。
この場合は、主に、調和ベクトル記憶部M1に既に蓄え
られている多くの調和ベクトルの中から、調和成分波形
の代表ベクトルとして使用できる調和ベクトルを検索
し、検索した調和ベクトルを当該調和成分の代表ベクト
ルとして選定することからなる。
/調和外成分分離」で分離・生成された1奏法区間分の
調和成分波形から1周期毎に波形を切り出して、そのピ
ッチと振幅レベルを共通にする規格化処理を行い、更に
は必要に応じて波形データの時間軸位置を制御して規格
化する処理を行う。こうして、規格化された波形データ
を1周期毎に又は複数周期毎に、調和ベクトル記憶部M
1に既に蓄えられている多くの調和ベクトルと比較し、
類似する調和ベクトルを検索する。この場合の検索も、
分析対象たる調和成分波形と同一自然楽器及び/又は同
一奏法に該当する調和ベクトルだけでなく、異なる自然
楽器及び/又は異なる奏法に該当する調和ベクトルをも
検索対象に含めて行う。こうして、類似する調和ベクト
ルが見つかったら、該調和ベクトルに類似する連続的な
1又は複数周期波形からなる区間を1波形区間として抽
出し、「区間情報」を生成すると共に、該検索された調
和ベクトルを該「波形区間」の代表ベクトルとして指示
する「ベクトル情報」を生成し、それらを組にして奏法
情報記憶部M3に記憶する。この場合、前述と同様に、
ピッチと振幅レベルを規格化した波形データに関してベ
クトル量子化処理を施した場合は、規格化したピッチと
振幅レベルに対する元のピッチと振幅レベルの時間的変
化状態を示す「ピッチベクトル」と「振幅ベクトル」
を、上記「ベクトル情報」と「区間情報」に対して更に
組合わせて、奏法情報記憶部M3に記憶する。また、波
形データの時間軸位置をも規格化した波形データに関し
てベクトル量子化処理を施した場合は、波形データの時
間軸位置の時間的変化状態を示す「タイムベクトル」を
更に組合わせて、奏法情報記憶部M3に記憶する。
クトルが調和ベクトル記憶部M1に存在していなかった
場合は、図3の処理S1、S2、S3と同様の処理を行
うことで、波形区間の分割とグループ化を行い、新規に
代表ベクトルを生成し、これを新規の調和ベクトルとし
て調和ベクトル記憶部M1に登録する。そして、この新
規の調和ベクトルを指示する「ベクトル情報」を生成
し、「区間情報」等と共に奏法情報記憶部M3に記憶す
る。
る様子の一例を示すグラフである。(a)は、原波形の
一例を振幅エンベロープによって概略的に示している。
(b)は、この原波形から分離した調和成分波形を複数
の「波形区間」に分割する一例を、各波形区間の区切り
を示す線図によって示している。(c)は、各「波形区
間」における代表ベクトルとして、1又は複数周期の波
形データからなる適切な調和ベクトルW0,W1,W
2,……W7が選定された状態を示すとともに、波形再
生時のループ再生例を示している。例えば、時点t0か
らt1までの波形区間については、調和ベクトルW0が
代表ベクトルとして使用され、再生時には、これが、時
点t0からt1までの間でループ再生される。なお、ル
ープ再生としては、次の区間の代表ベクトル(この場合
は調和ベクトルW1の先頭部の波形)との間でクロスフ
ェードループ再生する例を示している。時点t1からt
2までの波形区間については、比較的サイズの大きな
(多数周期波形からなる)調和ベクトルW1が代表ベク
トルとして使用され、再生時には、これが、時点t1か
らt2までの間の始まりの所定期間で1回再生され、残
りの期間で適宜ループ再生される(例えば調和ベクトル
W1の末尾の波形と次の区間の調和ベクトルW2との間
でクロスフェードループ再生される)。また、時点t2
からt3までの波形区間については、調和ベクトルW2
が代表ベクトルとして使用され、再生時には、これが、
時点t2からt3までの間でループ再生される(調和ベ
クトルW2と調和ベクトルW3との間でクロスフェード
ループ再生される)。以下、同様であり、最後の時点t
7以降の波形区間においては、調和ベクトルW8がが代
表ベクトルとして使用され、再生時には、これが単純ル
ープ再生される。図4の(d)、(e)、(f)は、そ
れぞれ(a)の調和成分波形からと抽出された「タイム
ベクトル」、「振幅ベクトル」、「ピッチベクトル」の
一例を示す。
6)の詳細例について説明する。この「調和外成分分
析」(プロセスP6)の処理手順は、基本的には、図3
に示された「調和成分分析」(プロセスP5)の処理手
順と略同様の手順を用いてよい。ただし、分析の対象と
なるのは、前記プロセスP4の「調和/調和外成分分
離」で分離・生成された1奏法区間分の調和外成分波形
であるから、「波形区間分割」処理(S1)や、「グル
ープ分け」処理(S2)、「各グループの代表ベクトル
生成」処理(S3)においては、分析対象たる調和外成
分波形それ自体の1周期とか複数周期とかいった概念が
適用されないのは勿論である。また、調和ベクトル記憶
部M1ではなく、調和外ベクトル記憶部M2を使用し、
「各グループの代表ベクトル生成」処理(S3)で調和
外成分波形の代表ベクトルを新規に生成した場合は、こ
れが新規の調和外ベクトルとして調和外ベクトル記憶部
M2に記憶され、登録されるのは言うまでもない。
「波形区間分割」処理S1と同様な「波形区間分割」処
理を行い、分割された各波形区間を対象にしてベクトル
量子化処理を施す。その場合、調和外成分波形を複数の
波形区間に分割するやり方は、一般的に言って、その特
徴が共通又は類似している若しくはそのように推測され
る部分毎に複数の波形区間に分割することを基本的手法
としてよいが、この実施例では、次の2通りの手法のい
ずれか一方又は両方を組合わせて行うことを提案する。
の調和成分の周期性を利用して、該調和成分の周期の整
数倍あるいは分数倍の期間で、調和外成分波形を複数の
波形区間に分割するものである。勿論、この場合も、分
割される各波形区間は、均等間隔である必要はなく、或
る波形区間は調和成分の2周期分の長さ、別の波形区間
は調和成分の10周期分の長さ、等々というように適宜
異なっていてよい。このように、調和成分の周期性に依
存して調和外成分波形の区間分割を行うやり方は、人の
手間を余りかけずに調和外成分波形の区間分割を行うこ
とができるので、分析作業が楽であるという利点があ
る。また、調和外成分波形の特徴が調和成分の周期性に
或る程度依存しているような場合においては、適切な波
形区間分割を容易に行えることになる。なお、調和成分
の周期性に依存して調和外成分波形の区間分割を行うと
言えども、調和外成分の波形区間分割形態は、それに対
応する調和成分の波形区間分割形態とは当然異なるもの
であり、調和成分及び調和外成分がそれぞれ独自に区間
分割されることは言うまでもない。
が共通又は類似している部分を具体的に個々に検索し、
その部分で複数の波形区間に分割することである。この
やり方は、調和外成分波形における比較的重要な部分を
抽出して、それに対応する代表ベクトルすなわち調和外
ベクトルを選定・生成するような場合に適している。逆
に、調和外成分波形におけるあまり重要でない部分を抽
出して、それらのあまり重要でない部分を適宜省略する
ことで、代表ベクトルすなわち調和外ベクトルを選定・
生成し、データ圧縮効率を上げるような場合にも適して
いる。また、後述するように、調和外ベクトルをループ
再生処理することで、データ圧縮を促進するような場合
にも、ループに適した区間を適宜選べるので適してい
る。上記第1の手法と第2の手法のどちらの場合も、ユ
ーザの手動操作によって行ってもよいし、CPU10に
よる自動処理によって行ってもよいし、また、手動操作
と自動処理とを組合わせて行ってもよい。
第2の手法のどちらに従って調和外成分波形の波形区間
分割を行うかによって、その後の当該波形区間について
の代表ベクトルの選定・生成処理の内容がいくぶん異な
るようになっている。この点を、フローチャートを参照
して更に詳しく説明する。図5は、上記第1の手法に従
って調和外成分波形の波形区間分割を行い、それから調
和外成分のデータ圧縮(ベクトル量子化)処理を行う場
合の、「調和外成分分析」(プロセスP6)の詳細例を
示す。また、図6は、上記第2の手法に従って調和外成
分波形の波形区間分割を行い、それから調和外成分のデ
ータ圧縮(ベクトル量子化)処理を行う場合の、「調和
外成分分析」(プロセスP6)の詳細例を示す。
5の(a)に示すフローにおいて、まず、圧縮すべき調
和外成分波形を準備する(ステップS10)。次に、当
該調和外成分波形に対応する調和成分の周期長に応じ
て、すなわち調和成分の波形の周期性に同期して、当該
調和外成分波形を複数の波形区間に分割する(ステップ
S11)。ここでは、前述のように、調和成分の周期の
整数倍あるいは分数倍の期間で、つまり、調和成分の波
形の周期性に適宜同期して、調和外成分波形を複数の波
形区間に分割する。分割される各波形区間は、均等間隔
である必要はなく、或る波形区間は調和成分の1/2周
期分の長さ、別の波形区間は調和成分の8周期分の長
さ、等々というように適宜異なっていてよい。
の位置を適宜調整する(ステップS12)。例えば、前
ステップS11では、調和成分の何周期毎に分割する、
というように一律の基準で分割しておき、このステップ
S12で、ユーザが前ステップS11での分割結果を表
示器15で確認しながら、或る波形区間の長さを調和成
分の何周期分かに増減修正したり、分割される箇所の調
和外波形の位相が区切りのよい位相(例えばゼロクロス
位相)となるように少し分割位置をずらしたりする修正
を行う。このステップでの調整若しくは修正処理は、ユ
ーザによる手動操作に限らず、所定の修正プログラムに
従う自動処理で行うようにしてもよいし、手動操作と自
動処理との組合わせで行うようにしてもよい。
外波形の特性を分析し、グループ分けを行う(ステップ
S13)。このグループ分けは、図3の「グループ分
け」処理S2と同様に、他の奏法区間(異なる楽器を含
む)についての調和外波形の各波形区間の波形データと
の間でも行い、代表ベクトルすなわち調和外ベクトルの
共用化を促進するものとする。ステップS13で実行す
る調和外波形の特性分析とグループ分けの処理の更に詳
しいフローチャート例が図5(b)に示されている。
(ステップS30)では、当該分割された波形区間にお
いて、調和外波形(つまりノイズ的波形)のピークレベ
ルがどこにあるかを分析する。次に、「存在場所分析」
(ステップS31)では、当該分割された波形区間にお
ける調和外波形のピークレベルが存在する場所は、該波
形区間に対応する調和成分の1周期又は所定複数周期区
間のうちどの部分(例えば前半部分とか、中間部分と
か、後半部分とか)に対応しているか、といったような
ことを分析する。次の「ゼロクロス回数分析」(ステッ
プS32)では、当該分割された波形区間において調和
外波形の振幅がゼロクロスする回数を分析する。このゼ
ロクロス回数によりノイズ的変化の激しさを分析するこ
とができる。次のステップS33では、前記ステップS
30〜S32で分析した各結果に基づいて、当該調和外
波形の当該波形区間を所要のグループに分類する。グル
ープ化の対象波形が、それ自体では周期性のない調和外
波形であるため、前記ステップS30〜S32のような
特殊な分析を行うことで、その分析結果をグループ化す
るための条件若しくは基準とし、グループ化のための計
量的評価を行うことができるように工夫している。この
種の調和外波形をグループ化するための条件若しくは評
価基準としては、前記ステップS30〜S32に示した
ものに限らず、例えば、当該波形区間における直流オフ
セットレベルの程度や、当該波形区間の波形微分値の符
号反転回数(これもノイズ的変化の激しさを示す指標と
なる)など、その他適宜の条件若しくは評価基準を用い
てよいし、これらの条件若しくは評価基準と前記ステッ
プS30〜S32で示された3つの条件若しくは評価基
準の中から、任意の数の条件若しくは評価基準を組み合
わせて用いてもよい。この図6の各ステップの処理は、
ユーザの手動操作に応じて対話形式で遂行するようにす
るとよい。勿論、所定のプログラムに従う全自動処理で
あってもよいし、手動操作と自動処理の組合わせで行わ
れてもよい。
今回の処理ルーチンでデータ圧縮処理を行うべき全ての
調和外成分波形について、ステップS11〜S13の処
理つまり波形区間分割とそのグループ分け処理を終了し
たかをチェックする。まだ、終了していなければ、ステ
ップS11に戻り、次の調和外成分波形について上記S
11〜S13の処理を行う。こうして、全ての調和外成
分波形について波形区間分割とそのグループ分け処理が
終了すると、ステップS15に行き、各グループの波形
の特性分析を行う。例えば、グループ内の各波形の振幅
エンベロープ特性等を分析する。次のステップS16で
は、前ステップS15での分析結果を利用して、当該グ
ループの代表ベクトルを決定する。例えば、当該グルー
プの内の各波形の振幅エンベロープ特性の平均的振幅エ
ンベロープ特性を有する波形を代表ベクトルとして決定
するようにしてよい。あるいは、当該グループの内の各
波形の周波数特性あるいはゼロクロス回数あるいはレベ
ル分布等が平均的なものを代表ベクトルとして決定する
ようにしてもよい。若しくは、振幅エンベロープ特性、
周波数特性、ゼロクロス回数、レベル分布、その他適宜
の特性のうちいずれか1又は複数に関して、平均的であ
ること若しくは代表とするに相応しいことを条件とし
て、代表ベクトルを選定又は決定するようにしてもよ
い。そして、決定された当該グループの代表ベクトルを
調和外ベクトルとして、調和外ベクトル記憶部M2に記
憶する。こうして、各グループの代表ベクトルが調和外
ベクトルとして調和外ベクトル記憶部M2に記憶・登録
される。なお、調和外ベクトル記憶部M2に記憶する調
和外ベクトルは、振幅レベルを規格化したものを用いる
ものとし、これに対する各波形区間の調和外成分波形の
振幅エンベロープを「振幅ベクトル」として抽出するも
のとする。あるいは、調和外ベクトル記憶部M2に記憶
する調和外ベクトルは、振幅レベルを規格化しなくても
よい。その場合は、低いレベルのデータは低いレベルの
まま記憶することになるが、低いレベルの部分では、限
られた記憶ビット割当てを行うことでメモリ記憶場所を
効率的に利用させることができる。調和外ベクトル記憶
部M2に記憶する調和外ベクトルの振幅レベルを規格化
しなかった場合は、各波形区間の調和外成分波形の振幅
エンベロープと調和外ベクトルの振幅エンベロープとの
差を「振幅ベクトル」として抽出するとよい。
奏法情報(各波形区間の「区間情報」と、代表ベクトル
である調和外ベクトルを指定する「ベクトル情報」、及
び「振幅ベクトル」等を含む)を奏法情報記憶部M3に
記憶する。なお、この場合、「区間情報」として、当該
調和外ベクトルつまり代表ベクトルに対応する調和成分
の周期数等の情報を併せて記憶しておくものとする。そ
うすれば、ピッチの異なる調和成分に対しても、調和外
成分の波形形状そのものに類似性若しくは共通性があれ
ば、共通の調和外ベクトルを使用することができる。勿
論、調和外ベクトル記憶部M2に記憶した調和外ベクト
ルは、調和ベクトルの場合と同様に、若しくはそれ以上
に、様々なケースで共用することができる。例えば、同
じ奏法区間における異なる波形区間(同じ調和外波形の
うちで時間軸位置が異なっているもの)において、共通
の調和外ベクトルを使用することができるし、異なる楽
器音あるいは異なる奏法区間についての調和外波形にお
いて、共通の調和外ベクトルを使用することもできる。
ず、圧縮すべき調和外成分波形を準備する(ステップS
20)。次に、ステップS21では、処理対象の調和外
成分波形の各部分ごとの特徴を観察、分析し、それぞれ
の部分的特徴に合った箇所で区切って、当該調和外成分
波形を複数の波形区間に分割する。その場合、調和外成
分波形の部分的特徴としては、波形の位置や奏法、ある
いは波形形状の特性等を考慮して分析を行い、分割すべ
き波形区間を決定する。例えば、位置としては、「アタ
ック」(音の立ち上がり部分)、「ボディ」(音の定常
部)、「ジョイント」(他の音とつながる部分)、「リ
リース」(音の減衰部分)などが考慮される。また、奏
法としては、各位置との関連性において、例えば、「ア
タック」では、「揺らぎ付き」奏法、「ノイズ付き」奏
法などが考慮され、「ボディ」では、「ビブラート」奏
法、「トレモロ」奏法などが考慮され、「ジョイント」
では、「スラー」奏法、「グリサンド」奏法、「ベン
ド」奏法などが考慮され、「リリース」では、「ミュー
ト」奏法、「サステイン」奏法などが考慮される。ま
た、波形形状の特性等としては、振幅エンベロープ形状
(その実効値やピーク値など)、前記ゼロクロス回数あ
るいはゼロクロス間の周期、ピーク回数あるいはピーク
間の周期、前記ピーク値の存在場所や、複数ピークレベ
ルの分布など、種々の要素を適宜考慮するとよい。
波形区間における調和外波形の特徴に基づき、類似の特
徴を持つ波形同士をグループ分けする。調和外波形の特
徴の類似性は、表示器で表示した波形の目視観察や、当
該波形区間についての調和外波形を発音して聴感によっ
て類似性を判定する等、適宜の基準で行ってよい。この
グループ分けは、前述と同様に、他の奏法区間(異なる
楽器を含む)についての調和外波形の各波形区間の波形
データとの間でも行い、代表ベクトルすなわち調和外ベ
クトルの共用化を促進するものとする。
ーチンでデータ圧縮処理を行うべき全ての調和外成分波
形について、ステップS21〜S22の処理つまり波形
区間分割とそのグループ分け処理を終了したかをチェッ
クする。まだ、終了していなければ、ステップS21に
戻り、次の調和外成分波形について上記S21〜S22
の処理を行う。こうして、全ての調和外成分波形につい
て波形区間分割とそのグループ分け処理が終了すると、
ステップS24に行き、各グループの波形の特性分析を
行う。例えば、グループ内の各波形の振幅エンベロープ
特性等を分析したり、その他種々の特性を考慮する。
4での分析結果を利用して、当該グループの代表ベクト
ルを決定する。決定された当該グループの代表ベクトル
は調和外ベクトルとして、調和外ベクトル記憶部M2に
記憶する。こうして、各グループの代表ベクトルが調和
外ベクトルとして調和外ベクトル記憶部M2に記憶・登
録される。なお、前述と同様に、調和外ベクトル記憶部
M2に記憶する調和外ベクトルは、振幅レベルを規格化
したものを用いてもよいし、規格化しなくてもよい。こ
こで、この実施例では、調和外成分波形を圧縮する手法
として、下記のような種々の異なる手法を適宜採用する
ことが考慮されており、代表ベクトルは、どの圧縮手法
を用いるのかを考慮して、それに応じた基準に従って決
定するものとする。
トルを一回再生することで当該波形区間をカバーするよ
うに圧縮を行う。これは、前記「ワンショット再生」に
対応する圧縮形態である。例えば、アタック部やジョイ
ント部など、調和外成分の波形形状も急激に変化するよ
うな部位の波形区間についての代表ベクトルを、この圧
縮例1に見合うように決定するとよい。 圧縮例2:比較的短い期間長の代表ベクトルを繰り返し
再生(ループ再生)することで当該波形区間をカバーす
るように圧縮を行う。これは、前記「ループ再生」に対
応する圧縮形態である。なお、ループ用の代表ベクトル
を、所定の順番で複数組合わせることにより、前記「シ
ーケンス再生」に利用することができる。また、この順
次組合わせをランダムに設定することにより、前記「ラ
ンダムシーケンス再生」に利用することができる。例え
ば、単調な減少をしている部分や、同じ状態の継続する
部分の波形区間についての代表ベクトルを、この圧縮例
2に見合うように決定するとよい。 圧縮例3:あまり重要でない部分の調和外成分波形は一
部省略してもよい。そのような省略する波形区間につい
ては、代表ベクトルを選定する必要がない。
波形の各波形区間毎に、再生時において、それぞれの代
表ベクトルとしてどの調和外ベクトルを使用し、その調
和外ベクトルをどのように貼り付けるべきかを決定す
る。このことは、上述の圧縮例のうちどのタイプを使用
するのかということとも関係してくる。貼付け方は、下
記の各種再生モードのいずれを採用すべきか、という調
和外成分再生モード情報(若しくは「貼り付け情報」)
として記述される。
に従う代表ベクトルを1つ使用し、この代表ベクトルを
一回貼り付ける(再生する)ことで当該波形区間の調和
外成分波形を再生する。 シーケンス再生:上述の通り、圧縮例2に従う代表ベク
トルを複数使用し、これらの代表ベクトルを所定の順番
で順次貼り付ける(再生する)ことで当該波形区間の調
和外成分波形を再生する。 ランダムシーケンス再生:上述の通り、圧縮例2に従う
代表ベクトルを複数使用し、これらの代表ベクトルをラ
ンダムな順番で順次貼り付ける(再生する)ことで当該
波形区間の調和外成分波形を再生する。 ループ再生:上述の通り、圧縮例2に従う代表ベクトル
を一つ使用し、これを繰り返し貼り付ける(再生する)
ことで当該波形区間の調和外成分波形を再生する。これ
を上記シーケンス再生又はランダムシーケンス再生に組
合わせてもよい。オルタネーティブループ再生:圧縮例
2に従う代表ベクトルを一つ使用し、これを交互に正逆
向きを変えながら繰り返し貼り付ける(再生する)こと
で当該波形区間の調和外成分波形を再生する。これを上
記シーケンス再生又はランダムシーケンス再生に組合わ
せてもよい。 デリート再生:上述の通り、圧縮例3に従うもので、代
表ベクトルを使用せず、当該波形区間における調和外成
分波形を削除する。従って、その部分では、調和成分波
形のみとなる。なお、1つの波形区間の全部をデリート
再生モードとせずに、その一部のみをデリート再生モー
ドとしてもよい。その場合、残りの部分について適宜代
表ベクトルを定める。
奏法情報(各波形区間の「区間情報」と、代表ベクトル
である調和外ベクトルを指定する「ベクトル情報」、上
記「貼り付け情報」及び「振幅ベクトル」等を含む)を
奏法情報記憶部M3に記憶する。なお、上記した各種の
調和外成分再生モードは、前記第2の手法に従う「調和
外成分分析」処理を行ったときのみに適用されるもので
はなく、前記第1の手法に従う「調和外成分分析」処理
を行ったときにも適宜適用されるものである。
する様子の一例を示すグラフである。(a)は、図4
(a)と同様に原波形の一例を振幅エンベロープによっ
て概略的に示している。(b)は、この原波形から分離
された調和外成分波形の一例を示している。(c)は、
(b)の調和外成分波形を複数の「波形区間」A1,B
1,C1,D1,C2,A2,C3に分割した一例を、
各波形区間の区切りを示す線図によって示している。こ
こで、波形区間A1及びA2は、前記第2の手法に従っ
て波形区間設定を行って前記ワンショット再生を適用す
るようにした区間である。波形区間B1は、前記第1の
手法に従って調和成分の周期に同期して代表ベクトルを
決定した区間である。この区間ではワンショット再生を
採用してもよいし、ループ再生を採用してもよい。波形
区間C1,C2,C3は、前記ループ再生に対応する区
間である。波形区間D1は、前記デリート再生に対応す
る区間である。
具体例を図8〜図13により示す。図8〜図10、図1
3において、上段の(a)は調和外成分波形の原波形例
を示し、下段の(b)はこれを上記の種々の手法に従っ
てベクトル量子化して、再生することによって得られる
波形例を示している。まず、図8は、原波形を「アタッ
ク」、「ボディ」、「リリース」の3区間に分割し、
「アタック」区間と「リリース」区間は、前記ワンショ
ット再生に対応する区間として相応の代表ベクトルを決
定し、「ボディ」区間は、前記デリート再生に対応する
区間として調和外成分波形をカットした圧縮例を示して
いる。これに基づく再生音を実際に聴くと、調和外成分
波形は「アタック」区間と「リリース」区間があれば、
定常的な音色安定部分(「ボディ」区間)が省略されて
いても、あまり違和感がないことが理解できる。
〜F4に分割し、それぞれの区間で所定サイズの代表ベ
クトルを決定し、これらをそれぞれループ再生するよう
にした圧縮例を示す。調和外成分といえども、その代表
ベクトルをループさせることにより周期性が多少なりと
も出てしまうが、レベルが低いために、調和成分の再生
波形と混合すると、違和感のないものとなる。図10
は、調和外成分波形を3つの区間F1,F2,F3に分
割し、変化に富んだ最初の区間F1では原波形をそのま
ま代表ベクトルとして使用し、次の各区間F2,F3で
は所定サイズの代表ベクトルをそれぞれ決定して、これ
らをそれぞれループ再生すると共に振幅エンベロープに
変化をつけた圧縮例を示す。このようにループ再生波形
に対して適切な振幅エンベロープを付加することによ
り、原波形に似た感じを出すことができる。
例を示す。(a)は、単純ループ再生例を示し、レベル
制御は行っていない。(b)は、ループさせる代表ベク
トルのピークレベルを減衰させて、周期性を弱めた例
(ピーク補正したループ再生例)を示す。(c)は、
(b)の再生例に対して更に振幅エンベロープの変化を
付加し、より一層周期性を弱めた例を示す。このよう
に、ループ再生にレベル制御を組合わせることは有効で
ある。図12(a)は通常のループ再生例を示し、
(b)はオルタネーティブループ再生例を示す。図から
理解できるように、オルタネーティブループ再生の周期
性は、通常のループ再生の周期性よりも長いものとなる
ので、代表ベクトルのサイズをより一層小さくしてもよ
いことになる。従って、一層のデータ圧縮に寄与する。
1〜F8に分割し、アタック区間F1、ビブラートを含
む区間F3、F5及びF7と、リリース区間F8は、原
波形から取り出した代表ベクトル(調和外ベクトル)f
1,f3,f5,f7,f8を使用して波形再生を行
い、他の区間F2,F4,F6については、他の原波形
から取り出した調和外ベクトルf2’,f4’,f6’
をその代表ベクトルとして使用して波形再生を行う圧縮
例を示している。各区間においては、ワンショット再生
あるいはループ再生等、それぞれに適切な再生モードが
採用される。例えば、ボディ区間F2については、他の
原波形から取り出した調和外ベクトルf2’を代表ベク
トルとしてこれをループ再生し、かつ振幅エンベロープ
を適切に付与することにより、原波形(図13(a)参
照)に近似させるようにしている。他の区間F4,F6
についても他の原波形から取り出した調和外ベクトルf
4’,f6’に振幅エンベロープを適切に付与し、かつ
必要に応じてループ等することにより、原波形(図13
(a))に近似する調和外成分波形を再生・生成するよ
うにしている。このように、異なる複数の原波形に関し
て、共通の調和外ベクトルを使用することができる。そ
の場合、再生時において様々な加工の仕方を制御するこ
とにより(振幅ベクトルや貼り付け情報等適切な再生の
仕方を記述するデータを圧縮データの中に含ませる
等)、それぞれの原波形に最適な調和外成分波形の再生
・生成を行うことができる。
分及び調和外成分の圧縮データを使用して、楽音生成処
理を行う場合の実施例について説明する。図14は、上
記のようにして作成された多数の奏法波形についての調
和成分及び調和外成分の圧縮データを、任意の楽曲演奏
にあたって十分に活用しうるようにするために、奏法付
き楽譜を準備する処理過程の一例を略示するものであ
る。まず、奏法付き楽譜を作成しようとする所望の楽曲
についての楽譜情報(例えばMIDIフォームからなる
演奏データ)を用意する(ステップS40)。次に、上
記用意された楽譜情報の各演奏パート毎に、それぞれの
曲の流れの過程でどのような奏法を使用したらよいのか
ということを分析する(ステップS41)。この奏法分
析は、人間が楽譜を読み、その音楽的知識に基づいて判
断することで行うようにしてよい。勿論、所定の楽譜解
析プログラムによってCPU10によって奏法分析を実
行させるようにしてもよいし、あるいは手動操作と自動
処理の組み合わせによって行うようにしてもよい。
ート毎に、それぞれの各演奏データに対して、該演奏デ
ータの時系列的流れのうち、分析された各奏法に対応す
る必要な演奏時点に対応する箇所で、上記ステップS4
1で分析された各奏法を指示する奏法データを付加する
(ステップS42)。例えば、ビブラートを付与する音
符またはフレーズの演奏時点に対応する箇所に、所要の
ビブラート奏法を指示する奏法データを付加する。ある
いは、スラーで演奏すべき音符またはフレーズの演奏時
点に対応する箇所に、所要のスラー奏法を指示する奏法
データを付加する。所要の奏法データを付加する箇所
は、1音に対応する箇所(例えばノートオンイベントと
同じ箇所)、あるいは1音の途中に対応する箇所(例え
ば当該音のノートオンイベントから所定時間後であっ
て、当該音のノートオフイベントが出る前の適宜の時点
に対応する箇所に奏法イベントを挿入する)、あるいは
複数音符からなる1フレーズに対応する箇所(例えば該
フレーズの始まりで所定の奏法のオンイベントを挿入
し、該フレーズの終わりで該奏法のオフイベントを挿入
する)等、適宜の箇所であってよい。また、付加する奏
法データの内容は、ビブラート、スラー、スタッカー
ト、グライド、ピッチベンド等、その他種々の奏法につ
いてその名称を指示する「奏法名」データと、該奏法の
程度を指示する「パラメータ」データとを含んでおり、
更に、その奏法を付与する期間若しくは範囲を示す「範
囲」データを含んでいる。「範囲」データとは、対応す
る1音のみに当該奏法を付与するとか、その前後の2音
に対して当該奏法を付与するとか、その奏法付与範囲を
具体的にを指示するデータである。長い範囲で奏法付与
する場合は、上記のように、奏法オンイベントとオフイ
ベントによって範囲指定を行うようにしてもよい。以上
のようにして、奏法データが付加された演奏データを奏
法付き楽譜情報として適宜のメモリに記憶する(ステッ
プS43)。
法付き楽譜情報に基づき、楽音再生すなわち波形生成を
行う処理過程の一例を機能的ブロック図によって略示す
るものである。この楽音再生すなわち波形生成処理は、
図1のハードウェア装置を用いて、CPU10による所
定のソフトウェアプログラムの実行によって行われる。
「再生制御」処理S50では、通常の自動演奏シーケン
ス制御で知られるように、所定のテンポクロックに従っ
て、演奏データを順次読み出し、該演奏データによって
指示されるピッチと音色等を持つ楽音波形を生成する。
ここで、通常の自動演奏シーケンス制御と異なる点は、
再生演奏の対象となる演奏データが、上記のようにして
作成された「奏法付き楽譜情報」からなっている点であ
り、そこに含まれる奏法データに応じた特有の奏法波形
再生・生成処理が行われる点である。
すると、まず、「奏法付き楽譜情報」の記憶部M5か
ら、各演奏パートの演奏データ(例えばMIDIデー
タ)及びそこに付加された奏法データをその演奏タイミ
ングに応じて順次再生読み出しする。「奏法付き楽譜」
の或る演奏パートについて奏法データが読み出されたと
き、該奏法データに対応する奏法波形を生成する処理を
行う。まず、該演奏パートについて指定されている「楽
器名」(音色)と、該奏法データに含まれる「奏法名」
及び「パラメータ」のデータに応じて、奏法情報記憶部
M3から、これらの情報によって指定される所定の奏法
波形についての「奏法情報」、すなわち調和成分及び調
和外成分についての圧縮データ(第1及び第2の圧縮デ
ータ)、を読み出す。前述のように、調和成分について
の圧縮データ(第1の圧縮データ)は、調和ベクトルを
指示する「ベクトル情報」と、「区間情報」、「ピッチ
ベクトル」、「振幅ベクトル」、「タイムベクトル」、
「クロスフェードループ再生形態を制御する情報」等を
含んでいる。また、調和外成分についての圧縮データ
(第2の圧縮データ)は、調和外ベクトルを指示する
「ベクトル情報」と、「区間情報」、その再生モードを
指示する「貼り付け情報」、「振幅ベクトル」、「タイ
ムベクトル」等を含んでいる。
ついての圧縮データ(第1の圧縮データ)のうち「ベク
トル情報」に基づき調和ベクトル記憶部M1から調和ベ
クトルを読み出す。「調和加工」処理S52では、調和
ベクトル記憶部M1から読み出した調和ベクトルと圧縮
データの他の情報(区間情報、ピッチベクトル、振幅ベ
クトル、タイムベクトル、クロスフェードループ再生形
態を制御する情報等)とに基づき、所要の調和成分波形
を再生・生成する。すなわち、調和ベクトルの波形を区
間情報に従って適宜ループし(繰り返し)、かつピッチ
ベクトルに従ってそのピッチを時間的に制御し(勿論、
その基本ピッチはMIDI演奏データに含まれるノート
データに応じて設定・制御することができる)、かつ振
幅ベクトルに従ってその振幅エンベロープを設定・制御
し、更にタイムベクトルに従って波形データの時間軸位
置を伸張又は圧縮制御し、また、クロスフェードループ
再生形態を制御する情報に応じて、フェードイン若しく
はフェードアウト特性で、クロスフェード用の振幅エン
ベロープ制御を行う。
和外成分についての圧縮データ(第2の圧縮データ)の
うち「ベクトル情報」に基づき調和外ベクトル記憶部M
2から調和外ベクトルを読み出す。「調和外加工」処理
S54では、調和外ベクトル記憶部M2から読み出した
調和外ベクトルと圧縮データの他の情報(区間情報、貼
り付け情報、振幅ベクトル、タイムベクトル等)とに基
づき、所要の調和外成分波形を再生・生成する。すなわ
ち、貼り付け情報及び区間情報の指示に応じて、前記ワ
ンショット再生あるいはループ再生、シーケンス再生
等、所定の前記調和外成分再生モードに従い、調和外ベ
クトルの波形を適宜ループして又は1回だけ所要区間に
貼り付ける。また、振幅ベクトルに従ってその振幅エン
ベロープを設定・制御し、更にタイムベクトルに従って
調和外成分波形データの時間軸位置を伸張又は圧縮制御
する。
データが前記第1の手法に従うもの(対応する調和成分
の周期性に同期させた区間分割を行ってベクトル量子化
したもの)である場合、「ベクトル情報」に基づき調和
外ベクトル記憶部M2から調和外ベクトルを読み出す際
に若しくは読み出した後に、該調和外ベクトルの時間長
を、今回同時に再生しようとする調和成分の周期に応じ
て、適宜伸縮制御するものとする。これは、該圧縮デー
タの圧縮方法(前記第1の手法)を考慮すると、再生し
ようとする調和成分の周期の伸縮に同期させて調和外ベ
クトルの時間長も伸縮させた方が、調和外成分波形の再
現性がよくなるからである。調和外ベクトルの時間長伸
縮制御は、対応する調和ベクトルの読出周期(読出レー
ト)の変化に連動させて調和外ベクトル記憶部M2の読
出レートを変化させる、といった単純なやりかたであっ
てもよいし、時間軸伸縮制御を採用して行ってもよい。
勿論、再生しようとする調和外成分の圧縮データが前記
第2の手法に従うもの(調和成分の周期性に無関係に区
間分割を行ってベクトル量子化したもの)である場合
は、基本的にこのような配慮は不要であるが、行っても
よい。また、上述した「ワンショット再生」、「ループ
再生」、「オルタネーティブループ再生」、「シーケン
ス再生」、「ランダムシーケンス再生」、「デリート再
生」等の各種再生モードは、再生しようとする調和外成
分の圧縮データが前記第1の手法に従うもの(対応する
調和成分の周期性に同期させた区間分割を行ってベクト
ル量子化したもの)である場合においても、適用され得
るものであることは勿論である。
て再生・生成された調和成分波形と調和外成分波形とを
混合し、両方の成分を混合してなる楽音波形データを生
成する。こうして楽音波形データが再生・提供される
(ステップS56)。再生された楽音波形データは、デ
ィジタルデータのまま他の利用装置に供給するようにし
てもよいし、あるいはアナログ変換し、適宜のサウンド
システムを介して空間的に発音させるようにしてもよ
い。なお、調和成分波形の信号と調和外成分波形の信号
とを別々に発音して、両者を空間で混合するようにして
もよい。以上により、圧縮したデータ構成を採用しなが
ら、原波形にかなり忠実な特徴を持つ楽音波形を、再生
・生成することができる。また、各加工処理S52,S
54での波形加工を可変制御することにより、原波形に
忠実な高品質な波形でありながら、制御性にも非常に富
んだ、極めて有用な、波形生成処理を遂行することがで
きる。
成分の波形形状に基づいて、該調和外成分を複数の区間
に分割し、分割した各区間毎にベクトル量子化を行うよ
うにしたので、当該調和外成分の波形形状から判断して
適切な箇所で調和外成分の波形を複数区間に分割するこ
とができ、調和外成分(非周期性成分)の波形それ自体
を分析して、独自にベクトル量子化処理を施すことが容
易に行えるようになる。また、非周期性波形成分のベク
トル量子化にあたっては、調和成分と共に原波形を構成
する固有の調和外成分に基づきベクトル量子化処理を行
うので、非周期性波形成分の再現精度が向上する。この
ように、この発明は、調和外成分の圧縮処理を容易に行
うことができるようにするものであり、調和外成分のベ
クトル量子化処理を実現するために極めて有用であり、
また、これによって波形圧縮効率を高めることに寄与
し、さらに、原波形の再現性、特に調和外成分の再現性
に大変優れている、等々種々の優れた効果を奏する。
の圧縮にあたっては調和外ベクトルを指定しないように
することにより、その区間では調和外成分なしに調和成
分の波形データで波形を生成するようにすることによ
り、音を特徴づける上で、重要度の低い区間に存在して
いる調和外成分を無視し、その区間の調和外成分は無音
として調和成分のみで再生波形を構成するようにするこ
とができ、その分、調和外成分のデータ圧縮効率を高め
ることができる、という優れた効果を奏する。また、或
る区間についての調和外成分波形の圧縮にあたっては所
定の調和外ベクトルを繰り返し使用するようにすること
により、音を特徴づける上での重要度を各区間毎に考慮
して調和外成分をループ再生するようにすることで、そ
の分、調和外成分のデータ圧縮効率を高めることができ
る、という優れた効果を奏する。また、複数の異なる奏
法のうち指定された奏法に対応して、調和成分の波形デ
ータを供給すると共に調和外成分用の圧縮データを供給
し、複数の調和外ベクトルを記憶したメモリから調和外
成分用の圧縮データに基づいて調和外ベクトルを選択
し、選択された調和外ベクトルに基づき調和外成分の波
形データを生成するようにしたので、複数の異なる奏法
のうち指定された奏法に対応して、調和外成分用の圧縮
データから、調和外成分の波形を独自に再生・生成する
ことができると共に、再生された調和外成分波形を調和
成分波形と混合することで、指定された奏法に対応する
特有の原波形を再現することができる、という優れた効
果を奏する。
波形生成方法を実施するために使用されるハードウェア
構成例の概略を示すブロック図。
波形圧縮処理の手順を略示する等価的ブロック図。
を示す等価的ブロック図。
例を示すグラフ。
を示すフローチャートであって、調和成分の周期性を利
用して調和外成分波形を複数の波形区間に分割し、分析
を行うようにした実施例を示すもの。
例を示すフローチャートであって、調和外成分波形の特
徴に基づき該調和外成分波形を複数の波形区間に分割
し、分析を行うようにした実施例を示すもの。
一例を示すグラフ。
を示すグラフ。
例を示すグラフ。
の具体例を示すグラフ。
体例を示すグラフ。
の具体例を示すグラフ。
体例を示すグラフ。
略示する等価的ブロック図。
る楽音再生すなわち波形生成処理の手順を略示する等価
的ブロック図。
Mドライブ若しくはMOドライブなど) 15 表示器 16 キーボード及びマウス等の入力操作装置 17 波形インタフェース 18 タイマ 19 MIDI及び通信ネットワーク等のインタフェー
ス 20 CPUバス
Claims (8)
- 【請求項1】 波形データの調和成分と調和外成分とを
供給する過程と、 前記調和外成分の波形形状に基づいて、該調和外成分を
複数の区間に分割する過程と、 調和外ベクトルを供給する過程と、 前記分割された各区間毎の調和外成分を前記調和外ベク
トルによりベクトル量子化し、調和外成分についての圧
縮データを生成する過程とを具えた波形圧縮方法。 - 【請求項2】 前記圧縮データを生成する過程は、前記
分割された各区間毎の調和外成分についての代表ベクト
ルにそれぞれ相当する調和外ベクトルを該各区間毎にそ
れぞれ選定し、該選定した調和外ベクトルを指示する指
示情報を含む前記圧縮データを生成するようにしたこと
を特徴とする請求項1に記載の波形圧縮方法。 - 【請求項3】 前記調和外ベクトルを供給する過程は、
複数の調和外ベクトルを記憶したメモリにより該調和外
ベクトルを供給するものであり、前記圧縮データを生成
する過程は、或る区間についての代表ベクトルとして使
用し得る調和外ベクトルが前記メモリ内に存在していれ
ば該調和外ベクトルを選定し、存在していなければ該代
表ベクトルを前記メモリに調和外ベクトルとして登録す
るようにしたことを特徴とする請求項2に記載の波形圧
縮方法。 - 【請求項4】 前記圧縮データを生成する過程では、所
要の区間について調和外成分を使用しないことを指示す
る情報を含む圧縮データを生成することを特徴とする請
求項1に記載の波形圧縮方法。 - 【請求項5】 前記調和外ベクトルを供給する過程は、
複数の異なる原波形から用意された複数の調和外ベクト
ルを供給することからなり、前記圧縮データを生成する
過程は、或る調和外成分を分割した複数の各区間につい
ての代表ベクトルとして使用する各調和外ベクトルとし
て、異なる原波形から用意された前記調和外ベクトルを
指定し得ることを特徴とする請求項1に記載の波形圧縮
方法。 - 【請求項6】 調和成分の波形データを供給する過程
と、 複数の区間についての調和外成分用の圧縮データをそれ
ぞれ供給する過程と、 調和外ベクトルを供給する過程と、 各区間毎の前記調和外成分用の圧縮データに基づいて調
和外ベクトルを選択し、選択された調和外ベクトルに基
づき各区間毎の調和外成分の波形データを生成する過程
とを具え、前記調和成分の波形データと調和外成分の波
形データとを組み合わせて波形を生成する方法であっ
て、或る区間の前記圧縮データには調和外ベクトルを使
用しないことを指示するものが含まれており、その区間
では調和外成分なしに調和成分の波形データで波形を生
成することを特徴とする波形生成方法。 - 【請求項7】 調和成分の波形データを供給する過程
と、 複数の区間についての調和外成分用の圧縮データをそれ
ぞれ供給する過程と、 調和外ベクトルを供給する過程と、 各区間毎の前記調和外成分用の圧縮データに基づいて調
和外ベクトルを選択し、選択された調和外ベクトルに基
づき各区間毎の調和外成分の波形データを生成する過程
とを具え、前記調和成分の波形データと調和外成分の波
形データとを組み合わせて波形を生成する方法であっ
て、或る区間の前記圧縮データには調和外ベクトルを繰
り返し使用することを指示するものが含まれており、そ
の区間では該調和外ベクトルを繰り返して調和外成分の
波形データを生成することを特徴とする波形生成方法。 - 【請求項8】 複数の異なる奏法のうち指定された奏法
に対応して、調和成分の波形データを供給する過程と、 前記奏法に対応して、調和外成分用の圧縮データを供給
する過程と、 複数の調和外ベクトルを記憶したメモリを用いて該調和
外ベクトルを供給する過程と、 前記調和外成分用の圧縮データに基づいて前記メモリか
ら調和外ベクトルを選択し、選択された調和外ベクトル
に基づき調和外成分の波形データを生成する過程とを具
え、前記調和成分の波形データと調和外成分の波形デー
タとを組み合わせて前記指定された奏法に対応する波形
を生成することを特徴とする波形生成方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08497299A JP3744247B2 (ja) | 1999-03-26 | 1999-03-26 | 波形圧縮方法及び波形生成方法 |
EP00106126A EP1039442B1 (en) | 1999-03-25 | 2000-03-21 | Method and apparatus for compressing and generating waveform |
DE60026189T DE60026189T2 (de) | 1999-03-25 | 2000-03-21 | Verfahren und Vorrichtung zur Wellenformkomprimierung und Erzeugung |
US09/536,007 US6584442B1 (en) | 1999-03-25 | 2000-03-23 | Method and apparatus for compressing and generating waveform |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08497299A JP3744247B2 (ja) | 1999-03-26 | 1999-03-26 | 波形圧縮方法及び波形生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000276174A true JP2000276174A (ja) | 2000-10-06 |
JP3744247B2 JP3744247B2 (ja) | 2006-02-08 |
Family
ID=13845553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08497299A Expired - Fee Related JP3744247B2 (ja) | 1999-03-25 | 1999-03-26 | 波形圧縮方法及び波形生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3744247B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7259315B2 (en) | 2001-03-27 | 2007-08-21 | Yamaha Corporation | Waveform production method and apparatus |
US7579545B2 (en) | 2001-09-13 | 2009-08-25 | Yamaha Corporation | Apparatus and method for synthesizing a plurality of waveforms in synchronized manner |
-
1999
- 1999-03-26 JP JP08497299A patent/JP3744247B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7259315B2 (en) | 2001-03-27 | 2007-08-21 | Yamaha Corporation | Waveform production method and apparatus |
US7579545B2 (en) | 2001-09-13 | 2009-08-25 | Yamaha Corporation | Apparatus and method for synthesizing a plurality of waveforms in synchronized manner |
Also Published As
Publication number | Publication date |
---|---|
JP3744247B2 (ja) | 2006-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3744216B2 (ja) | 波形形成装置及び方法 | |
US6687674B2 (en) | Waveform forming device and method | |
US6881888B2 (en) | Waveform production method and apparatus using shot-tone-related rendition style waveform | |
US6584442B1 (en) | Method and apparatus for compressing and generating waveform | |
CN1145679A (zh) | 用于改变音频信号音质和/或进行音调控制的方法和装置 | |
US6362409B1 (en) | Customizable software-based digital wavetable synthesizer | |
JP2001100760A (ja) | 波形生成方法及び装置 | |
JP3601371B2 (ja) | 波形生成方法及び装置 | |
US7718885B2 (en) | Expressive music synthesizer with control sequence look ahead capability | |
JP3654083B2 (ja) | 波形生成方法及び装置 | |
JP3654079B2 (ja) | 波形生成方法及び装置 | |
Jensen | The timbre model | |
JP3654080B2 (ja) | 波形生成方法及び装置 | |
JP3654082B2 (ja) | 波形生成方法及び装置 | |
JP3654084B2 (ja) | 波形生成方法及び装置 | |
JP4304934B2 (ja) | 合唱合成装置、合唱合成方法およびプログラム | |
JP2000276194A (ja) | 波形圧縮方法及び波形生成方法 | |
JP3744247B2 (ja) | 波形圧縮方法及び波形生成方法 | |
JP3788096B2 (ja) | 波形圧縮方法及び波形生成方法 | |
JP3904012B2 (ja) | 波形生成装置及び方法 | |
JP3552675B2 (ja) | 波形生成方法及び装置 | |
JP3613191B2 (ja) | 波形生成方法及び装置 | |
JP3933162B2 (ja) | 波形生成方法及び装置 | |
JP4007374B2 (ja) | 波形生成方法及び装置 | |
JP3674527B2 (ja) | 波形生成方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051114 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081202 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |