JP2023062914A - 楽音信号合成方法、楽音信号合成装置およびプログラム - Google Patents
楽音信号合成方法、楽音信号合成装置およびプログラム Download PDFInfo
- Publication number
- JP2023062914A JP2023062914A JP2021173099A JP2021173099A JP2023062914A JP 2023062914 A JP2023062914 A JP 2023062914A JP 2021173099 A JP2021173099 A JP 2021173099A JP 2021173099 A JP2021173099 A JP 2021173099A JP 2023062914 A JP2023062914 A JP 2023062914A
- Authority
- JP
- Japan
- Prior art keywords
- complex
- sound source
- coupled system
- musical
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 45
- 230000005236 sound signal Effects 0.000 title claims abstract description 34
- 230000015572 biosynthetic process Effects 0.000 title description 13
- 238000003786 synthesis reaction Methods 0.000 title description 13
- 230000004044 response Effects 0.000 claims abstract description 70
- 238000006073 displacement reaction Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000013016 damping Methods 0.000 claims description 39
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000005284 excitation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 description 15
- 230000008878 coupling Effects 0.000 description 14
- 238000010168 coupling process Methods 0.000 description 14
- 238000005859 coupling reaction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 238000004088 simulation Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005405 multipole Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 101150082208 DIABLO gene Proteins 0.000 description 1
- 102100033189 Diablo IAP-binding mitochondrial protein Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】弦と共鳴体からなる楽器(ピアノ、ハープシコード、ギター、バイオリンなど)の高品質でリアルな楽音信号を、計算コストを低く抑えて合成する。【解決手段】演奏情報に応じて、運動体が発音源に及ぼす力を示す第1情報と、発音源が運動体に及ぼす変位を示す第2情報と、発音源が本体と空気とから成る線形連成系に及ぼす力を示す第3情報と、当該線形連成系が発音源に及ぼす変位を示す第4情報と、を算出する楽器運動算出部(112)と、第3情報に基づいて観測点における音圧を算出する楽音信号算出部(113)と、を含み、当該線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、当該線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。【選択図】図3
Description
本開示は、楽音信号合成方法、楽音信号合成装置およびプログラムに関する。
自然楽器の発音メカニズムを物理法則に基づいてモデル化し、シミュレートすることで、リアルな楽音を疑似的(仮想的)に合成する方法が知られている。例えばピアノ音を例にとれば、非特許文献1には、弦に打撃を与えるハンマーと、当該弦との連成が考慮されて、詳細にいえば、ハンマーの振動と弦の振動とが互いに作用しあうことをコンピューターでシミュレートすることで楽音信号を合成する方法が記載されている。特許文献1には、ハンマーと弦との連成に加え、弦と楽器の本体との連成も考慮して、楽音信号を合成する方法が記載されている。また、非特許文献2には、ハンマーと弦との連成、および、弦と本体との連成に加え、本体と空気との連成も考慮して楽音信号を合成する方法が記載されている。
DISTRIBUTED PIANO SOUNDBOARD MODELING WITH COMMON-POLE PARALLEL FILTERS, Proceedings of the Stockholm Music Acoustics Conference 2013, SMAC 2013
Modeling and Simulation of a grand piano J. Acoust. Soc. Am. 134(1), July 2013
しかしながら、非特許文献2において高品質でリアルな楽音を合成する場合には、大規模なモデルを用いた演算が必要となり、結果として計算コストが極めて高くなってしまう。一方、計算コストを低く抑えることを優先させる場合には、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない、という課題がある。
本開示の一態様に係る楽音信号合成方法は、運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、コンピューターが、演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、前記コンピューターが、前記演奏情報に応じて、前記運動体が前記発音源に及ぼす力を示す第1情報と、前記発音源が前記運動体に及ぼす変位を示す第2情報と、前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第3情報と、前記線形連成系が前記発音源に及ぼす変位を示す第4情報と、を算出する楽器運動算出過程と、前記コンピューターが、前記第3情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、を含み、前記線形連成系は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、前記第4情報は、前記複素固有値および前記複素固有モードを用いて算出される。
以下、本開示の実施形態に係る楽音信号合成方法について図面を参照して説明する。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
なお、各図において、各部の寸法および縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
まず、実際形態に係る楽音信号合成方法の原理について説明する。
図1は、実施形態に係る楽音信号合成方法の前提となる各物理モデルと、これらの各物理モデル同士の連成を説明するための図である。ここで言う物理モデルとは、アコースティックピアノの構成部品を“その物理的挙動における本質を失うことなく”単純化したものを意味する。本実施形態において、物理モデルは、ハンマーHmと、弦Stと、本体
Bdおよび空気Arとに大別される。各物理モデル同士の連成とは、2つの物理モデルが、相互に影響を及ぼし合うことを意味する。
図1は、実施形態に係る楽音信号合成方法の前提となる各物理モデルと、これらの各物理モデル同士の連成を説明するための図である。ここで言う物理モデルとは、アコースティックピアノの構成部品を“その物理的挙動における本質を失うことなく”単純化したものを意味する。本実施形態において、物理モデルは、ハンマーHmと、弦Stと、本体
Bdおよび空気Arとに大別される。各物理モデル同士の連成とは、2つの物理モデルが、相互に影響を及ぼし合うことを意味する。
物理モデルのうち、ハンマーHmは、弦Stを打撃する運動体であるハンマーの運動を模倣するモデルである。弦Stは、ハンマーHmによって打撃されることで振動する発音源である弦の運動を模倣するモデルである。本体Bdとは、弦Stを支持し、かつ、音響を空気中に放射する役割を担うアコースティックピアノの本体のモデルであり、詳細には駒、響板、響棒、支柱、フレーム、屋根、脚などの各モデルから構成される。空気Arは、本体Bdの周辺に存在し、本体Bdから放射された音響を、マイクMcに伝達する媒体としての役割を有する。
なお、マイクMcは、アコースティックピアノにおける物理モデルではないが、生成する楽音信号の観測位置を仮想的に示すために記載してある。換言すれば、本実施形態では、マイクMcが設けられる位置で観測される音圧の楽音信号を合成(生成)する。マイクMcは、本体Bdが存在する空気中であれば、任意の位置に設けることが可能である。
なお、マイクMcは、アコースティックピアノにおける物理モデルではないが、生成する楽音信号の観測位置を仮想的に示すために記載してある。換言すれば、本実施形態では、マイクMcが設けられる位置で観測される音圧の楽音信号を合成(生成)する。マイクMcは、本体Bdが存在する空気中であれば、任意の位置に設けることが可能である。
実際のアコースティックピアノにおいて、ハンマーが弦に力を与えることで弦に生じた変位はハンマーの変位に影響を及ぼす。このようにハンマーと弦とが相互に影響を及ぼし合う、即ち連成する。ここで発生した弦の変位は、弦支持部(駒およびアグラフ、またはベアリング)を介して本体に力を与え、これによって生じた本体における弦支持部の変位は弦の変位に影響を及ぼす。このように弦と本体とが連成する。ここで発生した本体の変位は、空気を駆動し音響として放射される一方で、空気は本体に圧力を及ぼす。このように本体と空気とが連成する。
本実施形態では、このような各部の連成を図1に示される物理モデルで模倣することで、楽音信号を生成する。
本実施形態では、このような各部の連成を図1に示される物理モデルで模倣することで、楽音信号を生成する。
図1において、ハンマーHmが弦Stに力(1)を与えることで生じた弦Stの変位(2)は、ハンマーHmの変位に影響を及ぼす。ここで発生した弦Stの変位は、弦支持部を介して本体Bdに力(3)を与え、これによって生じた本体Bdにおける弦支持部の変位(4)は弦Stの変位に影響を与える。ここで発生した本体Bdの変位は、空気を駆動し音響として放射される一方で、空気は本体に圧力を及ぼす。即ち、ハンマーHmと弦
Stとの連成、弦Stと本体Bdとの連成、弦Stと本体Bdとの連成、および、本体
Bdと空気Arとの連成が考慮される。
Stとの連成、弦Stと本体Bdとの連成、弦Stと本体Bdとの連成、および、本体
Bdと空気Arとの連成が考慮される。
特許文献1に記載された技術では、ハンマーHmと弦Stとの連成は考慮されるが、弦Stと本体Bdとの連成は考慮されない。
非特許文献2に記載された技術では、ハンマーHmと弦Stとの連成、弦Stと本体
Bdとの連成、弦Stと本体Bdとの連成、および本体Bdと空気Arとの連成が考慮される。ところが、この技術では、「本体と空気との界面における相互作用」および「三次元空間における空気の運動」を時間軸上で逐次計算する必要があるため、実際のアコースティックピアノの挙動の詳細を記述した大規模なモデルを用いた場合、計算コストが極めて高くなってしまう。一方、計算コストを低く抑えようとすると、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない。このため、非特許文献2に記載された技術では、計算コストを低く抑える点と、高品質でリアルな楽音を合成する点とを両立することができない。
Bdとの連成、弦Stと本体Bdとの連成、および本体Bdと空気Arとの連成が考慮される。ところが、この技術では、「本体と空気との界面における相互作用」および「三次元空間における空気の運動」を時間軸上で逐次計算する必要があるため、実際のアコースティックピアノの挙動の詳細を記述した大規模なモデルを用いた場合、計算コストが極めて高くなってしまう。一方、計算コストを低く抑えようとすると、モデルの規模を小さくせざるを得ないため、高品質でリアルな楽音を合成できない。このため、非特許文献2に記載された技術では、計算コストを低く抑える点と、高品質でリアルな楽音を合成する点とを両立することができない。
そこで、本実施形態に係る楽音信号合成方法では、第1に、本体Bdと空気Arとの連成系を一般粘性減衰系モデルで表現することにした。詳細には、弦と上記連成系との結合部、即ち弦支持点における応答変位を「複素固有モードの重ね合わせ」として、より具体的には、「複素数のフィルタ係数を有する一次IIRフィルタの重ね合わせ」として表現することにした。
なお、本説明では、本体Bdと空気Arとの連成系を特に「線形連成系Lc」と呼ぶことにし、運動体と発音源からなる「非線形連成系」、さらにはそれら全てを包含した「非線形連成系」と区別することにする。
なお、本説明では、本体Bdと空気Arとの連成系を特に「線形連成系Lc」と呼ぶことにし、運動体と発音源からなる「非線形連成系」、さらにはそれら全てを包含した「非線形連成系」と区別することにする。
本体と空気とから成る連成系、即ち、音響構造連成系を一般粘性減衰系モデルで表現できることの理論的根拠は、構造変位と空気速度ポテンシャルとを「時間および空間に依存する変数」とした場合の有限要素法による音響構造連成運動方程式が、形式的に実対称の質量行列、減衰行列、剛性行列によって書き表せることにある。この3つの実対称行列から構成される運動方程式の形は、(比例粘性減衰ではない)一般的な粘性減衰を有する構造物のモデル、即ち一般粘性減衰系モデルの有限要素法による運動方程式の形と数学的に同じである。
なお、音響構造連成系を一般粘性減衰系モデルで表現することの利点は、このモデルの固有モードが広義の直交性を有することにある。このとき、モード合成法を用いた高速な時間領域シミュレーションが可能になるのである。
なお、音響構造連成系を一般粘性減衰系モデルで表現することの利点は、このモデルの固有モードが広義の直交性を有することにある。このとき、モード合成法を用いた高速な時間領域シミュレーションが可能になるのである。
一般粘性減衰系モデルにおけるインパルス応答(Impulse Response)は、次式(1)のように示される。
また、一般粘性減衰系モデルにおける周波数応答(Frequency Response)は、次式(2)のように示される。
インパルス応答と周波数応答との間には、インパルス応答のフーリエ変換が周波数応答であり、周波数応答の逆フーリエ変換がインパルス応答であるという関係がある。
また、一般粘性減衰系モデルにおける周波数応答(Frequency Response)は、次式(2)のように示される。
インパルス応答と周波数応答との間には、インパルス応答のフーリエ変換が周波数応答であり、周波数応答の逆フーリエ変換がインパルス応答であるという関係がある。
式(1)または式(2)において、jは虚数単位であり、*は複素共役であり、rはモード次数である。iは加振点のインデックスであり、lは応答点のインデックスである。
λrは複素固有値であり、λr=-σr+jωdrで示される。
σrはモード減衰率であり、ωdrは減衰固有角振動数である。
λrは複素固有値であり、λr=-σr+jωdrで示される。
σrはモード減衰率であり、ωdrは減衰固有角振動数である。
線形連成系Lcを一般粘性減衰系モデルで表現する場合に重要となる点は、当該一般粘性減衰系モデルのモーダルパラメータをいかに精度よく決定することができるか、という点にある。
このため、本実施形態では、第2に「例えば高速多重極境界要素法を用いて多点加振多点参照(Multi-Input Multi-Output)方式で算出した線形連成系の周波数応答」をリファレンス(参照)として、一般粘性減衰系モデルにフィットするようにモーダルパラメータである複素固有値と複素固有モードを同定することにした。
このため、本実施形態では、第2に「例えば高速多重極境界要素法を用いて多点加振多点参照(Multi-Input Multi-Output)方式で算出した線形連成系の周波数応答」をリファレンス(参照)として、一般粘性減衰系モデルにフィットするようにモーダルパラメータである複素固有値と複素固有モードを同定することにした。
図2は、本実施形態に係る楽音信号合成方法を実行するコンピューター10のブロック図である。本実施形態に係る楽音信号合成方法は、コンピューターとソフトウェアとの協働により実現される。
コンピューター10は、制御装置11と記憶装置12と演奏情報出力装置13と放音装置14とを含む。
コンピューター10は、制御装置11と記憶装置12と演奏情報出力装置13と放音装置14とを含む。
制御装置11は、例えばCPU(Central Processing Unit)等の単数または複数の処理回路で構成され、コンピューター10の各要素を統括的に制御する。なお、制御装置11は、CPUのほか、DSP(Digital Signal Processor)やASIC(Application Specific Integrated Circuit)等の回路によって構成されてもよい。
記憶装置12は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリーであり、制御装置11が実行するプログラムと制御装置11が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置12を構成してもよい。また、コンピューター10に対して着脱可能な可搬型の記録媒体、または、コンピューター10が通信網を介して通信可能な外部記録媒体(例えばオンラインストレージ)を、記憶装置12として利用してもよい。
演奏情報出力装置13は、楽音信号の生成に必要な演奏情報を出力する。必要な演奏情報とは、例えば楽音信号の生成開始から生成終了までを指定する情報、生成する楽音信号の音高を示す情報、生成する楽音信号の大きさ(音量)を示す情報などである。このような演奏情報を出力するために、演奏情報出力装置13は、鍵盤装置130を含む。
鍵盤装置130は、電子ピアノなどの鍵盤に相当し、複数の鍵(黒鍵131b、白鍵131w)が並べられた鍵盤を有する。また、鍵盤装置130における鍵131b、131wには、各鍵が押し込まれると、その鍵の押込量を表す情報を出力する鍵位置センサー132a、および、押鍵速度を表す情報を出力する鍵速度センサー132bが設けられる。
鍵盤装置130は、電子ピアノなどの鍵盤に相当し、複数の鍵(黒鍵131b、白鍵131w)が並べられた鍵盤を有する。また、鍵盤装置130における鍵131b、131wには、各鍵が押し込まれると、その鍵の押込量を表す情報を出力する鍵位置センサー132a、および、押鍵速度を表す情報を出力する鍵速度センサー132bが設けられる。
鍵盤装置130は、鍵の押込量、押鍵速度、および、押し込まれた鍵を示す情報(例えば鍵番号)を、デジタル形式でバスBを介して制御装置11にサンプリング周期で定期的に出力する。
なお、ハンマー速度は、制御装置11において、鍵盤装置130から出力される鍵の押込量を示す情報または押鍵速度を示す情報に基づいて算出される。なお、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー132bを設けなくて済む。鍵盤装置130から出力される情報には、押鍵の加速度を示す情報が含まれていてもよい。
なお、ハンマー速度は、制御装置11において、鍵盤装置130から出力される鍵の押込量を示す情報または押鍵速度を示す情報に基づいて算出される。なお、押鍵速度については、鍵の押込量を微分演算すれば、鍵速度センサー132bを設けなくて済む。鍵盤装置130から出力される情報には、押鍵の加速度を示す情報が含まれていてもよい。
楽音の発生は、押鍵によってハンマーが弦を打撃することで生じるので、楽音信号の生成開始を指定する情報は、押鍵速度の情報および鍵の押込量を示す情報から求めることができる。
生成する楽音信号の音高を示す情報は、押し込まれた鍵を示す情報であり、また、生成する楽音信号の大きさを示す情報は、上記ハンマー速度を示す情報である。
生成する楽音信号の音高を示す情報は、押し込まれた鍵を示す情報であり、また、生成する楽音信号の大きさを示す情報は、上記ハンマー速度を示す情報である。
このように鍵盤装置130から出力される情報と、当該情報に演算を施した情報とに基づいて、楽音信号の生成に必要な演奏情報を得ることができる。
なお、演奏情報出力装置13は、鍵盤装置130のほか、特に図示しないがペダル装置を設けてもよい。このペダル装置は、アコースティックピアノにおけるダンパーペダルやシフトペダルに相当する操作子を有し、これらの操作子の操作量をデジタル形式でバスBを介して制御装置11にサンプリング周期で定期的に出力する。
「鍵の押込量」と「ダンパーペダル踏み込み量」との両情報はダンパー(弦の振動を抑制する部品)のメカニズムを、ダンパーの物理モデルを用いてシミュレートする際に用いられる。なお、本件では、ダンパーの物理モデルについては省略する。
なお、演奏情報出力装置13は、鍵盤装置130のほか、特に図示しないがペダル装置を設けてもよい。このペダル装置は、アコースティックピアノにおけるダンパーペダルやシフトペダルに相当する操作子を有し、これらの操作子の操作量をデジタル形式でバスBを介して制御装置11にサンプリング周期で定期的に出力する。
「鍵の押込量」と「ダンパーペダル踏み込み量」との両情報はダンパー(弦の振動を抑制する部品)のメカニズムを、ダンパーの物理モデルを用いてシミュレートする際に用いられる。なお、本件では、ダンパーの物理モデルについては省略する。
放音装置14は、制御装置11からの指示に応じた音響を再生する。例えばスピーカまたはヘッドホンが放音装置14の典型例である。
なお、コンピューター10としては、他に表示装置や操作パネル装置などが設けられるが、本件では重要ではないので、省略する。
なお、コンピューター10としては、他に表示装置や操作パネル装置などが設けられるが、本件では重要ではないので、省略する。
図3は、制御装置11の機能的な構成を例示するブロック図である。制御装置11は、記憶装置12に記憶されたプログラムを実行することで、楽音信号を合成するための複数の要素(処理制御部110、前処理部111、楽器運動算出部112および楽音信号算出部)として機能する。
なお、制御装置11における機能の一部を他のコンピューター装置、例えばネットワークを介して接続されたサーバ装置に負担させる構成としてもよい。
なお、制御装置11における機能の一部を他のコンピューター装置、例えばネットワークを介して接続されたサーバ装置に負担させる構成としてもよい。
次に、コンピューター10において楽音信号を合成するまでの手順について説明する。 図4は、楽音信号合成処理の手順を例示するフローチャートである。
コンピューター10における処理制御部110は、前処理部111に対して次のステップS11からステップS15までの処理を実行させて、線形連成系Lcを表す一般粘性減衰系モデルのモーダルパラメータを決定する。なお、ステップS11からステップS15までの処理は、演奏情報に応じて楽音信号を算出する前に実行されるので、前処理と表現される。
まず、前処理部111は、本体Bdを構成する材料についての弾性係数およびヒステリシス減衰係数の三次元直交異方性を考慮した上で、本体Bdの三次元有限要素モデルを作成し、当該三次元有限要素モデルの質量行列、減衰行列および剛性行列を算出する(ステップS11)。
前処理部111は、当該三次元有限要素モデルに対し、接着、ボルト締め、張弦などの製造工程に伴う接触非線形と幾何学的非線形とを考慮して、非線形静解析を実施し、ステップS11で算出した剛性行列を修正する(ステップS12)。
前処理部111は、当該三次元有限要素モデルに対し、接着、ボルト締め、張弦などの製造工程に伴う接触非線形と幾何学的非線形とを考慮して、非線形静解析を実施し、ステップS11で算出した剛性行列を修正する(ステップS12)。
前処理部111は、ステップS11で算出した質量行列およびステップS12で修正した剛性行列をインプットとして、本体Bdの三次元有限要素モデルが真空中に存在する場合の、即ち空気が存在しない場合の、当該三次元有限要素モデルの実固有値および実固有モードを固有値解析により算出する(ステップS13)。
前処理部111は、ステップS11で算出した減衰行列とステップS13で算出した実固有モードとをインプットとして、当該本体Bdの三次元有限要素モデルが真空中に存在する場合のモード減衰行列を算出する(ステップS14)。
前処理部111は、ステップS11で算出した減衰行列とステップS13で算出した実固有モードとをインプットとして、当該本体Bdの三次元有限要素モデルが真空中に存在する場合のモード減衰行列を算出する(ステップS14)。
次に、前処理部111は、線形連成系Lcを一般粘性減衰系モデルとしてモデル化し、ステップS13で算出した実固有値および実固有モードと、ステップS14で算出したモード減衰行列とをインプットとして、当該一般粘性減衰系モデルのモーダルパラメータ(複素固有値および複素固有モード)を次のようにして同定する(ステップS15)。
図5は、図4におけるステップS15の手順を詳細に例示するフローチャートである。
前処理部111は、ステップS14までの処理で算出した真空中本体の実固有値、実固有モード、モード減衰行列をインプットとして、当該線形連成系Lcの周波数応答を、例えば高速多重境界法(Fast Multipole Boundary Element Method)または有限要素法を用いて算出する(ステップS151)。この解析で算出される周波数応答は、次の2種類であり、この2種類を区別する意味で周波数応答(a)および周波数応答(b)と表記する。2種類のうち、1つ目の周波数応答(a)は、入力、即ち「弦支持部(発音源Stと線形連成系Lcとの結合部)における力」のフーリエ変換で、出力、即ち「弦支持部(発音源Stと線形連成系Lcとの結合部)における変位」のフーリエ変換を割ったものである。
前処理部111は、ステップS14までの処理で算出した真空中本体の実固有値、実固有モード、モード減衰行列をインプットとして、当該線形連成系Lcの周波数応答を、例えば高速多重境界法(Fast Multipole Boundary Element Method)または有限要素法を用いて算出する(ステップS151)。この解析で算出される周波数応答は、次の2種類であり、この2種類を区別する意味で周波数応答(a)および周波数応答(b)と表記する。2種類のうち、1つ目の周波数応答(a)は、入力、即ち「弦支持部(発音源Stと線形連成系Lcとの結合部)における力」のフーリエ変換で、出力、即ち「弦支持部(発音源Stと線形連成系Lcとの結合部)における変位」のフーリエ変換を割ったものである。
ここでは、加振点iの総数をm個、応答点lの総数をn個とする。ある一つの加振位置において加振方向が例えばx方向、y方向およびz方向のように複数ある場合には、それぞれを1個の加振点として区別することにする。応答点lについても同様である。応答点lの集合は、加振点iの集合を含んでいるものとする。なお、mは、例えばアコースティックピアノにおける全88鍵の弦支持部(駒およびベアリング)のx、yおよびzの三方向のすべて、即ち、528 (=88×2×3) である必要はなく、2以上であって528以下の整数である。即ち、アコースティックピアノでは、mとnとは、2≦m≦n≦528を満たす整数である。
また、2種類の周波数応答のうち、2つ目の周波数応答(b)は、入力、即ち「弦支持部(発音源Stと線形連成系Lcとの結合部)における力」のフーリエ変換で、出力、即ち「空気中の任意観測点における音圧」のフーリエ変換を割ったものである。
また、2種類の周波数応答のうち、2つ目の周波数応答(b)は、入力、即ち「弦支持部(発音源Stと線形連成系Lcとの結合部)における力」のフーリエ変換で、出力、即ち「空気中の任意観測点における音圧」のフーリエ変換を割ったものである。
前処理部111は、算出した周波数応答(a)の逆高速フーリエ変換(Inverse Fast Fourier Transform)をリファレンスとして、線形連成系Lcにおける複素固有値λr(=-σr+jωdr)を例えばESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques)により同定する(ステップS152)。なお、複素固有値の同定に際し、例えば上記m点における自己インパルス応答が参照される。また、複素固有値の同定についてはProny法を用いてもよいが、ESPRITに比べ同定精度が劣る傾向がある。
前処理部111は、周波数応答(a)をリファレンスとして、線形連成系Lcの加振点iにおける複素固有モードを、非線形最適化法を用いて同定する(ステップS153)。非線形最適化法の例としては、BFGSアルゴリズム(Broyden Fletcher Goldfarb Shanno algorithm)を用いた、直線探索法を伴う準ニュートン法、または、信頼領域法を伴う修正ガウスニュートン法(Levenberg-Marquardt法とも呼ばれる)が挙げられる。大規模な問題に対しては、前者の方法の方がより強力である。加振点iにおける複素固有モードの実部および虚部は、具体的には、後述する式(5)の右辺第1項におけるxriおよびyriで表される。なお、加振点iにおける複素固有モードの同定に際し、例えばm・(m+1)/2点における自己および相互周波数応答が参照される。
前処理部111は、周波数応答(a)をリファレンスとして、線形連成系Lcにおいて加振点i以外の応答点lにおける複素固有モードを、線形最適化法を用いて同定する(ステップS154)。線形最適化法の例としては、QR分解法、または、特異値分解法が挙げられる。応答点lにおける複素固有モードの実部および虚部は、具体的には、後述する式(5)の右辺第1項におけるxrlおよびyrlで表される。なお、応答点lにおける複素固有モードの同定に際し、例えばm・(n-m)点における相互周波数応答が参照される。
なお、線形連成系Lcの規模がそれほど大きくない場合、あるいは、複素固有モードを出力したい点がそれほど多くない場合は、ステップS151における周波数応答解析の計算コストがそれほど大きくならないため、n=mとしてもよい。この場合、ステップS154は、スキップされる。
なお、線形連成系Lcの規模がそれほど大きくない場合、あるいは、複素固有モードを出力したい点がそれほど多くない場合は、ステップS151における周波数応答解析の計算コストがそれほど大きくならないため、n=mとしてもよい。この場合、ステップS154は、スキップされる。
ステップS151~S154によって線形連成系Lcを示す一般粘性減衰系モデルのモーダルパラメータ(複素固有値および複素固有モード)が同定されて、一次IIRのフィルタ係数が求められる。
同定とは、式(5)において左辺を、右辺第1項の 「モデルを用いて再合成した周波数応答」から右辺第2項の「リファレンスの周波数応答」を減じた残差、として表した場合に、式(4)の右辺で示されるように、当該残差の二乗和を最小とする値(実部、虚部)を求めることをいう。
前処理部111によって一般粘性減衰系モデルのモーダルパラメータが同定されると、演奏情報に応じて楽音信号を合成する準備が整ったことになる。このため、処理制御部110は、演奏情報出力装置13から演奏情報が出力されたとき、楽器運動算出部112に対してステップS16の処理を実行させ、この後、楽器運動算出部112に対してステップS17の処理を実行させる。
楽器運動算出部112は、演奏情報出力装置13から出力される演奏情報に基づいて、次のような楽器の運動情報を算出する(ステップS16)。具体的には、楽器運動算出部112は、力(1)を示す第1情報、変位(2)を示す第2情報、力(3)を示す第3情報、および、変位(4)を示す第4情報を算出する。
なお、ステップS16における運動情報の算出におけるインプットとしては、「物理パラメータ」と「演奏情報」とがある。このうち、「物理パラメータ」は、「線形連成系
Lcのモーダルパラメータ(複素固有値、複素固有モード)」を含んでいる。「物理パラメータ」にはこれ以外に、「弦の物理パラメータ」、「ハンマーの物理パラメータ」、「ダンパーの物理パラメータ」などがあるが、図4における説明では省略する。
「演奏情報」は「鍵盤とペダルのセンシング」から得られるリアルタイムデータでも良いし、記録済みのMIDIデータでも良い。なお、MIDIデータとは、MIDI(Musical Instrument Digital Interface)規格に準拠して演奏情報をデータ化したものである。
また、力(1)を示す第1情報、変位(2)を示す第2情報、力(3)を示す第3情報、および、変位(4)を示す第4情報の算出には、特許文献1に記載された技術を用いることができる。具体的には、楽器運動算出部112は、ハンマーの変位、弦の(物理座標上またはモード座標上の)変位、および、線形連成系におけるモード座標上の変位を未知数とする連立非線形代数方程式を離散時間軸上で逐次、数値的に解くことによって求める。
なお、ステップS16における運動情報の算出におけるインプットとしては、「物理パラメータ」と「演奏情報」とがある。このうち、「物理パラメータ」は、「線形連成系
Lcのモーダルパラメータ(複素固有値、複素固有モード)」を含んでいる。「物理パラメータ」にはこれ以外に、「弦の物理パラメータ」、「ハンマーの物理パラメータ」、「ダンパーの物理パラメータ」などがあるが、図4における説明では省略する。
「演奏情報」は「鍵盤とペダルのセンシング」から得られるリアルタイムデータでも良いし、記録済みのMIDIデータでも良い。なお、MIDIデータとは、MIDI(Musical Instrument Digital Interface)規格に準拠して演奏情報をデータ化したものである。
また、力(1)を示す第1情報、変位(2)を示す第2情報、力(3)を示す第3情報、および、変位(4)を示す第4情報の算出には、特許文献1に記載された技術を用いることができる。具体的には、楽器運動算出部112は、ハンマーの変位、弦の(物理座標上またはモード座標上の)変位、および、線形連成系におけるモード座標上の変位を未知数とする連立非線形代数方程式を離散時間軸上で逐次、数値的に解くことによって求める。
楽音信号算出部113は、ステップS16で算出された力(3)を示す第3情報と周波数応答(b)との高速畳み込み演算によって楽音信号を算出する(ステップS17)。
本実施形態では、ステップS15において、一般粘性減衰系モデルのモーダルパラメータが同定されると、変位(4)を示す第4情報の算出に必要な一次IIRの複素数のフィルタ係数が決定する。この係数を用いることで、ステップS16が、低コストで、精度良く、逐次、計算されるので、次のステップS17において必要な力(3)を示す第3情報も、低コストで、精度良く、逐次、算出することができることになる。
また、本実施形態によれば、一般粘性減衰系モデルのモーダルパラメータのうち、複素固有値の同定と複素固有モードの同定とが分離して実行されるので、多く点数で固有モードを同定することができ、大規模で複雑なモデルへの適用が容易になる。
したがって、本実施形態では、計算コストを低く抑えて、高品質でリアルな楽音信号を合成することが可能になる。
また、本実施形態によれば、一般粘性減衰系モデルのモーダルパラメータのうち、複素固有値の同定と複素固有モードの同定とが分離して実行されるので、多く点数で固有モードを同定することができ、大規模で複雑なモデルへの適用が容易になる。
したがって、本実施形態では、計算コストを低く抑えて、高品質でリアルな楽音信号を合成することが可能になる。
次に、本実施形態において一般粘性減衰系モデルにおいて同定されたモーダルパラメータが、どの程度までリファレンスに近づくか、について説明する。
図6乃至図8は、異なる3点(point 1~3)において、リファレンスとした周波数応答(実線)に対して、モード合成による周波数応答(○印)を示す図である。図6乃至図8では、周波数に対する位相および振幅の特性が左欄に、周波数に対する実部および虚部の特性が右欄に、それぞれ示される。
図6乃至図8に示されるように、リファレンスとした周波数応答に対して、モード合成による周波数応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
図6乃至図8に示されるように、リファレンスとした周波数応答に対して、モード合成による周波数応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
図9乃至図11は、上記3点(point 1~3)において、リファレンスとした周波数応答のIFFTとしてのインパルス応答(実線)に対して、モード合成によるインパルス応答(○印)を示す図である。
図9乃至図11に示されるように、リファレンスとしたインパルス応答に対して、モード合成によるインパルス応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
図9乃至図11に示されるように、リファレンスとしたインパルス応答に対して、モード合成によるインパルス応答が、ほぼ一致しており、高い精度で同定が成立していることが判る。
<変形例>
以上に例示した実施形態は多様に変形され得る。実施形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を、相互に矛盾しない範囲で併合してもよい。
以上に例示した実施形態は多様に変形され得る。実施形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を、相互に矛盾しない範囲で併合してもよい。
実施形態では、アコースティックピアノの楽音信号合成方法について説明したが、楽音信号を合成する楽器の対象は、アコースティックピアノに限られない。例えば、運動体と発音源とが相互に作用し、発音源と本体とが相互に作用し、本体と空気とが相互に作用するような発音機構を有する楽器であれば、当該発音機構を物理法則に基づいてモデル化し、シミュレートすることで適用可能である。具体的には、ハープシコードやギターなどの撥弦楽器や、バイオリンやチェロなどの擦弦楽器などにも適用可能である。なお、運動体は、撥弦楽器であればピックや爪になり、擦弦楽器であれば弓になる。
実施形態において、弦StがハンマーHmに与える変位(2)、あるいは、本体Bdが弦Stに与える変位(4)、あるいは、本体Bdが空気に与える変位については、当該変位の時間に関する導関数である速度、あるいは、当該速度の時間に関する導関数である加速度で置き換えてもよい。
楽音信号を合成するコンピューター10の機能は、上述した通り、制御装置11を構成する単数または複数のプロセッサと、記憶装置12に記憶されたプログラムとの協働により実現される。
このプログラムは、コンピューター10が読取可能な記録媒体に格納された形態で提供されてコンピューターにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置12が、前述の非一過性の記録媒体に相当する。
このプログラムは、コンピューター10が読取可能な記録媒体に格納された形態で提供されてコンピューターにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置12が、前述の非一過性の記録媒体に相当する。
上述したコンピューター10では、楽音信号を演奏情報出力装置13への演奏操作に応じてリアルタイムで合成したが、楽音信号の合成については非リアルタイムで合成する構成としてもよい。具体的には、実施形態のように物理モデルで合成した楽音信号をPCM(Pulse Code Modulation)でサンプリングして録音し、当該録音した信号を、演奏情報に応じて再生することで、楽音信号を合成する構成としてもよい。
従来のサンプリング録音では、アコースティック楽器の演奏やマイクの設置等のように多くの作業/工数が必要であったが、物理モデルで合成した楽音信号をPCMでサンプリングして録音する構成では、当該サンプリング録音の作業がコンピューター10での計算で済むので、作業の手間を大幅に削減することが可能になる。
また、従来のサンプリングでは、不要なノイズ(メカノイズ)も楽音とともに録音されてしまうので、後工程においてそれらのノイズを除去する必要になる。これに対して、物理モデルで合成した楽音信号をPCMでサンプリングして録音する構成では、不要なノイズを含まない楽音を録音することが可能になる。
従来のサンプリング録音では、アコースティック楽器の演奏やマイクの設置等のように多くの作業/工数が必要であったが、物理モデルで合成した楽音信号をPCMでサンプリングして録音する構成では、当該サンプリング録音の作業がコンピューター10での計算で済むので、作業の手間を大幅に削減することが可能になる。
また、従来のサンプリングでは、不要なノイズ(メカノイズ)も楽音とともに録音されてしまうので、後工程においてそれらのノイズを除去する必要になる。これに対して、物理モデルで合成した楽音信号をPCMでサンプリングして録音する構成では、不要なノイズを含まない楽音を録音することが可能になる。
楽音信号を合成する実質的な主体である制御装置11を、演奏情報を出力する演奏情報出力装置13や放音装置14とは別にして、クラウドに配置する構成としてもよい。詳細には、利用者が望む楽音の仕様を、クラウドに配置された制御装置11を含むコンピューターに送信し、当該コンピューターが上記仕様を満たす精緻な物理モデルを用いたシミュレーションにより楽音信号を合成し、当該利用者に提供する構成としてもよい。物理モデルを用いたシミュレーションにより楽音信号を合成する場合、マイクM(スピーカー)の位置が任意であることから、サービスの提供を受ける利用者の再生装置に合わせた楽音信号を合成することができる。例えば16チャンネルのスピーカ再生装置のような特殊な再生装置であっても、当該特殊な再生装置に合わせて楽音信号を合成することができる。
このように、利用者が望む仕様の楽音信号を、クラウドに配置されたコンピューターが合成する構成によれば、当該利用者の要求に応じてカスタマイズされや高音質の楽音信号を利用者に提供することが可能になる。
このように、利用者が望む仕様の楽音信号を、クラウドに配置されたコンピューターが合成する構成によれば、当該利用者の要求に応じてカスタマイズされや高音質の楽音信号を利用者に提供することが可能になる。
物理モデルを用いたシミュレーションによる楽音信号の合成を、アコースティック楽器の設計支援に用いてもよい。具体的には、物理モデルの設計を変更し、変更した物理モデルを用いて楽音信号を合成することにより、試作前の楽器の楽音をシミュレーションにより聴くことができる。したがって、例えば新規な楽器を効率良く開発することができる。 このように、物理モデルを用いたシミュレーションにより楽音信号を合成すれば、アコースティック楽器の仕様(原因)と発生楽音(結果)との因果関係が明確化されるので、楽器の設計効率を向上させることが可能になる。
また、アコースティック楽器の製造時には、材料や製造のバラツキなど、様々な誤差因子が含まれ得る。これに対して、物理モデルを用いたシミュレーションでは、上記誤差因子を排除することができる。
また、アコースティック楽器の製造時には、材料や製造のバラツキなど、様々な誤差因子が含まれ得る。これに対して、物理モデルを用いたシミュレーションでは、上記誤差因子を排除することができる。
<付記>
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本発明を図示の態様に限定する趣旨ではない。
以上の記載から、例えば以下のように本発明の好適な態様が把握される。なお、各態様の理解を容易にするために、以下では、図面の符号を便宜的に括弧書で併記するが、本発明を図示の態様に限定する趣旨ではない。
本開示のひとつの態様(態様1)に係る楽音信号合成方法は、運動体(Hm)と発音源(St)とが相互に作用し、発音源(Hm)と本体(Bd)とが相互に作用し、本体
(Bd)と空気(Ar)とが相互に作用する場合に、コンピューター(10)が、演奏情報に応じて、空気(Ar)中における任意の観測点(Mc)での音圧を示す楽音信号を合成する楽音信号合成方法であって、コンピューター(10)が、演奏情報に応じて、運動体(Hm)が発音源(St)に及ぼす力(1)を示す第1情報と、発音源(St)が運動体(Hm)に及ぼす変位(2)を示す第2情報と、発音源(St)が本体(Bd)と空気(Ar)とから成る線形連成系(Lc)に及ぼす力を示す第3情報と、線形連成系(Lc)が発音源(St)に及ぼす変位(4)を示す第4情報と、を算出する楽器運動算出過程(ステップS17)と、コンピューター(10)が、第3情報に基づいて観測点(Mc)における音圧を算出する楽音信号算出過程(ステップS18)と、を含み、線形連成系(Lc)は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系(Lc)の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。
この態様1によれば、線形連成系(Lc)の時間領域シミュレーションにモード合成法を適用できるため、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。
(Bd)と空気(Ar)とが相互に作用する場合に、コンピューター(10)が、演奏情報に応じて、空気(Ar)中における任意の観測点(Mc)での音圧を示す楽音信号を合成する楽音信号合成方法であって、コンピューター(10)が、演奏情報に応じて、運動体(Hm)が発音源(St)に及ぼす力(1)を示す第1情報と、発音源(St)が運動体(Hm)に及ぼす変位(2)を示す第2情報と、発音源(St)が本体(Bd)と空気(Ar)とから成る線形連成系(Lc)に及ぼす力を示す第3情報と、線形連成系(Lc)が発音源(St)に及ぼす変位(4)を示す第4情報と、を算出する楽器運動算出過程(ステップS17)と、コンピューター(10)が、第3情報に基づいて観測点(Mc)における音圧を算出する楽音信号算出過程(ステップS18)と、を含み、線形連成系(Lc)は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系(Lc)の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。
この態様1によれば、線形連成系(Lc)の時間領域シミュレーションにモード合成法を適用できるため、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。
態様1の具体例(態様2)において、変位(2)、(4)を、当該変位の時間に関する導関数で置き換えたものとする。この態様2おいても、高品質でリアルな楽音信号を、計算コストを低く抑えて合成することができる。
態様1または態様2の具体例(態様3)において、モーダルパラメータの同定は、コンピューター(10)が演算の前処理として実行する。この態様3によれば、楽音信号算出過程(ステップS18)を実行する際の計算コストを低く抑えることができる。
態様1乃至3のいずれの具体例(態様4)において、モーダルパラメータの同定は、コンピューター(10)が、線形連成系(Lc)の周波数応答を算出する第1過程と、コンピューター(10)が、周波数応答の逆フーリエ変換をリファレンスとして、複素固有値を同定する第2過程と、コンピューター(10)が、周波数応答をリファレンスとして、線形連成系(Lc)における加振点の複素固有モードを同定する第3過程とを含む。
この態様4によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点を多数として、本体と空気との連成系への適用が容易となる。
この態様4によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点を多数として、本体と空気との連成系への適用が容易となる。
態様4の具体例(態様5)において、第3過程の後に、コンピューター(10)が、周波数応答をリファレンスとして、線形連成系(Lc)における加振点とは異なる応答点の複素固有モードを同定する第4過程とを含む。
この態様5によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点および応答点を多数として、本体と空気との連成系への適用が容易となる。
この態様5によれば、複素固有値の同定と複素固有モードの同定とが同時ではなく、分離して実行される。したがって、加振点および応答点を多数として、本体と空気との連成系への適用が容易となる。
また、態様1に係る楽音信号合成方法は、次のようなプログラムとして把握することが可能である。即ち、態様6に係るプログラムは、運動体(Hm)と発音源(St)とが相互に作用し、発音源(Hm)と本体(Bd)とが相互に作用し、本体(Bd)と空気
(Ar)とが相互に作用する場合に、コンピューター(10)に、演奏情報に応じて、空気(Ar)中における任意の観測点での音圧を示す楽音信号を合成させるプログラムであって、コンピューター(10)を、演奏情報に応じて、運動体(Hm)が発音源(St)に及ぼす力(1)を示す第1情報と、発音源(St)が運動体(Hm)に及ぼす変位(2)を示す第2情報と、発音源(St)が本体(Bd)と空気(Ar)とから成る線形連成系(Lc)に及ぼす力を示す第3情報と、線形連成系(Lc)が発音源(St)に及ぼす変位(4)を示す第4情報と、を算出する楽器運動算出部(113)、および、第3情報に基づいて観測点(Mc)における音圧を算出する楽音信号算出部(114)、として機能させ、線形連成系(Lc)は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系
(Lc)の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。
(Ar)とが相互に作用する場合に、コンピューター(10)に、演奏情報に応じて、空気(Ar)中における任意の観測点での音圧を示す楽音信号を合成させるプログラムであって、コンピューター(10)を、演奏情報に応じて、運動体(Hm)が発音源(St)に及ぼす力(1)を示す第1情報と、発音源(St)が運動体(Hm)に及ぼす変位(2)を示す第2情報と、発音源(St)が本体(Bd)と空気(Ar)とから成る線形連成系(Lc)に及ぼす力を示す第3情報と、線形連成系(Lc)が発音源(St)に及ぼす変位(4)を示す第4情報と、を算出する楽器運動算出部(113)、および、第3情報に基づいて観測点(Mc)における音圧を算出する楽音信号算出部(114)、として機能させ、線形連成系(Lc)は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系
(Lc)の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。
なお、態様1に係る楽音信号合成方法は、次のような楽音信号合成装置として把握することが可能である。即ち、態様7に係る楽音信号合成装置は、運動体(Hm)と発音源
(St)とが相互に作用し、発音源(Hm)と本体(Bd)とが相互に作用し、本体
(Bd)と空気(Ar)とが相互に作用する場合に、演奏情報に応じて、空気(Ar)中における任意の観測点(Mc)での音圧を示す楽音信号を合成する楽音信号合成装置であって、演奏情報に応じて、運動体(Hm)が発音源(St)に及ぼす力(1)を示す第1情報と、発音源(St)が運動体(Hm)に及ぼす変位(2)を示す第2情報と、発音源(St)が本体(Bd)と空気(Ar)とから成る線形連成系(Lc)に及ぼす力を示す第3情報と、線形連成系(Lc)が発音源(St)に及ぼす変位(4)を示す第4情報と、を算出する楽器運動算出部(113)と、第3情報に基づいて観測点(Mc)における音圧を算出する楽音信号算出部(114)と、を含み、線形連成系(Lc)は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系(Lc)の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。
(St)とが相互に作用し、発音源(Hm)と本体(Bd)とが相互に作用し、本体
(Bd)と空気(Ar)とが相互に作用する場合に、演奏情報に応じて、空気(Ar)中における任意の観測点(Mc)での音圧を示す楽音信号を合成する楽音信号合成装置であって、演奏情報に応じて、運動体(Hm)が発音源(St)に及ぼす力(1)を示す第1情報と、発音源(St)が運動体(Hm)に及ぼす変位(2)を示す第2情報と、発音源(St)が本体(Bd)と空気(Ar)とから成る線形連成系(Lc)に及ぼす力を示す第3情報と、線形連成系(Lc)が発音源(St)に及ぼす変位(4)を示す第4情報と、を算出する楽器運動算出部(113)と、第3情報に基づいて観測点(Mc)における音圧を算出する楽音信号算出部(114)と、を含み、線形連成系(Lc)は、一般粘性減衰系モデルで表現され、当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、線形連成系(Lc)の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、第4情報は、複素固有値および複素固有モードを用いて算出される。
10…コンピューター、11…制御装置、12…記憶装置、13…演奏情報出力装置、14…放音装置、110…処理制御部、111…前処理部、112…楽器運動算出部、113…楽音信号算出部、Hm…ハンマー(運動体)、St…弦(発音源)、Bd…本体、Ar…空気、Lc…線形連成系。
Claims (7)
- 運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、
コンピューターが、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成方法であって、
前記コンピューターが、前記演奏情報に応じて、
前記運動体が前記発音源に及ぼす力を示す第1情報と、
前記発音源が前記運動体に及ぼす変位を示す第2情報と、
前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第3情報と、
前記線形連成系が前記発音源に及ぼす変位を示す第4情報と、
を算出する楽器運動算出過程と、
前記コンピューターが、前記第3情報に基づいて前記観測点における音圧を算出する楽音信号算出過程と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第4情報は、前記複素固有値および前記複素固有モードを用いて算出される
楽音信号合成方法。
- 前記変位を、当該変位の時間に関する導関数で置き換えた
請求項1に記載の楽音信号合成方法。
- 前記モーダルパラメータの同定は、
前記コンピューターが演算の前処理として実行する
請求項1または2に記載の楽音信号合成方法。
- 前記モーダルパラメータの同定は、
前記コンピューターが、前記線形連成系の周波数応答を算出する第1過程と、
前記コンピューターが、前記周波数応答の逆フーリエ変換をリファレンスとして、前記複素固有値を同定する第2過程と、
前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における加振点の複素固有モードを同定する第3過程と、
を含む請求項1乃至3のいずれかに記載の楽音信号合成方法。
- 前記第3過程の後に、
前記コンピューターが、前記周波数応答をリファレンスとして、前記線形連成系における前記加振点とは異なる応答点の複素固有モードを同定する第4過程、
を含む請求項4に記載の楽音信号合成方法。
- 運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、
コンピューターに、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成させるプログラムであって、
前記コンピューターを、
前記演奏情報に応じて、
前記運動体が前記発音源に及ぼす力を示す第1情報と、
前記発音源が前記運動体に及ぼす変位を示す第2情報と、
前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第3情報と、
前記本体が前記発音源に及ぼす変位を示す第4情報と、
を算出する楽器運動算出部、および、
前記第3情報に基づいて前記観測点における音圧を算出する楽音信号算出部、
として機能させ、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第4情報は、前記複素固有値および前記複素固有モードを用いて算出される
プログラム。
- 運動体と発音源とが相互に作用し、前記発音源と本体とが相互に作用し、前記本体と空気とが相互に作用する場合に、
演奏情報に応じて、前記空気中における任意の観測点での音圧を示す楽音信号を合成する楽音信号合成装置であって、
前記演奏情報に応じて、
前記運動体が前記発音源に及ぼす力を示す第1情報と、
前記発音源が前記運動体に及ぼす変位を示す第2情報と、
前記発音源が前記本体と前記空気とから成る線形連成系に及ぼす力を示す第3情報と、
前記線形連成系が前記発音源に及ぼす変位を示す第4情報と、
を算出する楽器運動算出部と、
前記第3情報に基づいて前記観測点における音圧を算出する楽音信号算出部と、
を含み、
前記線形連成系は、一般粘性減衰系モデルで表現され、
当該一般粘性減衰系モデルのモーダルパラメータである複素固有値および複素固有モードは、前記線形連成系の周波数応答あるいは周波数応答の逆フーリエ変換をリファレンスとして同定され、
前記第4情報は、前記複素固有値および前記複素固有モードを用いて算出される
楽音信号合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021173099A JP2023062914A (ja) | 2021-10-22 | 2021-10-22 | 楽音信号合成方法、楽音信号合成装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021173099A JP2023062914A (ja) | 2021-10-22 | 2021-10-22 | 楽音信号合成方法、楽音信号合成装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023062914A true JP2023062914A (ja) | 2023-05-09 |
Family
ID=86270497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021173099A Pending JP2023062914A (ja) | 2021-10-22 | 2021-10-22 | 楽音信号合成方法、楽音信号合成装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023062914A (ja) |
-
2021
- 2021-10-22 JP JP2021173099A patent/JP2023062914A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5261385B2 (ja) | 鍵盤弦楽器の音響を表す信号の生成装置 | |
CN101908333B (zh) | 用于合成音调信号的方法和音调信号生成*** | |
Wright | The acoustics and psychoacoustics of the guitar | |
JP2007193129A (ja) | 共鳴音音像生成装置および記憶媒体 | |
Bank et al. | Model-based digital pianos: from physics to sound synthesis | |
JP5810574B2 (ja) | 楽音合成装置 | |
US9293126B2 (en) | System to reproduce the sound of a stringed instrument | |
Debut et al. | Physical synthesis of six-string guitar plucks using the Udwadia-Kalaba modal formulation | |
Jiolat et al. | Toward a physical model of the clavichord | |
Holm | Virtual violin in the digital domain: physical modeling and model-based sound synthesis of violin and its interactive application in virtual environment | |
JP2023062914A (ja) | 楽音信号合成方法、楽音信号合成装置およびプログラム | |
Erkut | Aspects in analysis and model-based sound synthesis of plucked string instruments | |
JP2023143837A (ja) | 楽音信号合成方法、楽音信号合成装置およびプログラム | |
JP2023062930A (ja) | 楽音信号合成方法、楽音信号合成装置およびプログラム | |
RU2364956C1 (ru) | Синтезатор музыкального инструмента с физическим моделированием | |
JP6372124B2 (ja) | 楽音信号合成方法、プログラムおよび楽音信号合成装置 | |
JP6524837B2 (ja) | 楽器 | |
JP2023140426A (ja) | 楽音信号合成方法、楽音信号合成装置およびプログラム | |
JP5614109B2 (ja) | 楽音信号合成方法、プログラムおよび楽音信号合成装置 | |
JP5614108B2 (ja) | 楽音信号合成方法、プログラムおよび楽音信号合成装置 | |
JP5716369B2 (ja) | 楽音信号合成方法、プログラムおよび楽音信号合成装置 | |
Penttinen | Loudness and timbre issues in plucked stringed instruments: analysis, synthesis, and design | |
Südholt et al. | AReal-TIME INTERACTIVE PHYSICAL MODEL OF THE LANGELEIK USING FINITE DIFFERENCE SCHEMES AND WEB AUDIO | |
JP5605239B2 (ja) | 楽音信号合成方法、プログラムおよび楽音信号合成装置 | |
JP2023062922A (ja) | モーダルパラメータの同定方法、モーダルパラメータの同定装置およびプログラム |