JP7032837B1 - 音波伝播シミュレーションシステム - Google Patents

Abstract

【課題】音波伝播シミュレーションを簡易に実行できるシミュレーションシステムを提供する。【解決手段】音波伝播シミュレーションシステム１０は、携帯端末中に備えられる３次元モデル生成装置２０と、眼鏡型ディスプレイ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）又は携帯型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である表示装置３０と、コンピュータであるシミュレータ装置４０と、データベース装置５０と、で構成され、携帯端末が有する３Ｄスキャナとカメラを用いて対象物の3次元モデルを生成し、その構成要素をコンピュータが有する形状認識と画像認識の機能により認識して、各構成要素の音波伝播特性データをデータベース装置から取得し、3次元モデルの音波伝播シミュレーションを実行する。【選択図】図１

Description

本開示は、音波の伝播をシミュレーションするシステムに関する。

従来、音波の伝播や反射、透過の状況を知ることは遮音性の評価や音楽の音響効果を知る上で重要であり、従来から様々な方法で音波伝播シミュレーションが実施されてきた。音波の反射や吸収をシミュレーションする音波伝播シミュレーションでは、音源や受音点を取り囲む現実世界の３次元構造物に対応する 3次元モデルをコンピュータ内に構築する必要があり、かつ、その３次元構造物を構成する材料の音の反射・吸収特性を知る必要がある。特許文献１ではハウスメーカーが家の間取り構造と材料の吸音率を利用して音波伝播シミュレーションを実施しているが、家の設計図や材料に詳しくない一般の人にとっては家の間取りや家具などの配置を考慮した 3次元モデルを構築し、その材料の吸音率などの音波伝播特性データを収集して、それを3次元モデルに適用し、音波伝播シミュレーションを実施することは容易なことではなかった。また、音波伝播シミュレーションを実施して得た音響効果を、現実の音として聞いて評価することは容易ではなかった。

特開２０１４―１６７４４２号公報

このように一般の人が、現実世界の 3次元構造物に対応する３次元モデルをコンピュータ内に作成し、3次元構造物を構成する材料の音波伝播特性データをその 3次元モデルに適用して、音波伝播シミュレーションを行うことは容易ではないという問題があった。さらには、そのような音波伝播シミュレーションを行って得た音響効果を現実の音として聞いて評価することは容易なことではなかった。

本開示は、上記事情に鑑みてなされたものであり、一般の人が簡易に現実世界の 3次元構造物に対応する３次元モデルをコンピュータ内に構築し、3次元構造物を構成する音波伝播特性データを取得して、簡易に音波伝播シミュレーションを実施できるシステム、及び音波伝播シミュレーションの結果得た音響効果を現実の音として聞くことが出来るシステムを提供することを目的とする。

本開示の一態様は、３次元モデル生成装置と、データベース装置と、シミュレータ装置とを含んで構成される音波伝播シミュレーションシステムであって、前記３次元モデル生成装置は、物体をカメラで撮影して取得した画像、又は前記物体を３ Dスキャニングして取得した3次元形状及び前記画像、を用いて、前記物体の３次元モデルを生成し、前記データベース装置は、前記物体を構成する素材の音波伝播に関連する音波伝播特性データを有し、前記シミュレータ装置は、前記３次元モデル、及び前記音波伝播特性データを用いて、音波伝播シミュレーションを実施することを特徴とする音波伝播シミュレーションシステムである。

本開示によれば、現実世界の３次元構造やそれを構成する素材に詳しくない一般の人であっても簡易に現実世界に対応する３次元モデルを生成し、それを構成する素材の音波伝播特性データを簡易に取得して、音波伝播シミュレーションを簡易に実行することができ、現実世界の音響効果などを調査することができる。

第１の実施形態に係る音波伝播シミュレーションシステムの全体構成の例を示す図である。 第１の実施形態に係る各装置の機能構成の例を示す図である。 第１の実施形態に係る音波伝播特性データに関するデータベースの構成例を示す図である。 第１の実施形態に係る音の反射と透過を示す模式図である。 第１の実施形態に係る音波伝播シミュレーションを実行する手順を示したフローチャートである。 第１の実施形態に係る音波伝播シミュレーションの 3次元モデルを示した図である。 第１の実施形態に係る音波伝播シミュレーション結果を視覚的に表現した図である。 第２の実施形態に係る音波伝播シミュレーションを実行する手順を示したフローチャートである。 第２の実施形態に係る仮想音源と仮想受音点を配置した 3次元モデルの部屋を示した図である。 第３の実施形態に係る音波伝播シミュレーション結果を現実の音として聞く手順を示すフローチャートである。

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明は省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

実施形態で示される１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。

＜第1の実施形態＞
以下、本願発明の第1の実施形態について説明する。

[システム構成］
図１は、音波の伝播をシミュレーションする音波伝播シミュレーションシステム１０の構成例を示す図である。音波伝播シミュレーションシステム１０は 3次元モデル生成装置２０と表示装置３０とシミュレータ装置４０とデータベース装置５０を含んで構成される。 3次元モデル生成装置２０と表示装置３０とシミュレータ装置４０とデータベース装置５０は通信ネットワーク６０を介して通信可能に接続される。

3次元モデル生成装置２０は音波伝播シミュレーションを行う対象物の 3次元モデルを生成する。3次元モデルは、対象物の 3次元形状と画像を取得し、これらを3次元モデル生成装置２０に搭載した 3次元モデル生成部に入力して生成される。生成された3次元モデルは通信ネットワーク６０を経由してシミュレータ装置４０に送信される。 3次元モデル生成装置２０はスマートフォンやタブレット端末などの携帯端末や、携帯型コンピュータなどの情報処理装置であってよい。携帯可能であることで、どこででも利用できるという便利さを実現できる。

シミュレータ装置４０は3次元モデル生成装置２０で生成された 3次元モデルを受信し、3次元モデルの構成要素を検出して、各構成要素に対応する音波伝播特性データをデータベース装置５０から取得し、これらを用いて音波伝播シミュレーションを行う。音波伝播シミュレーションの結果は表示装置３０に送信される。シミュレータ装置４０はデスクトップ型コンピュータや演算処理に優れたＧＰＵ（ graphic processing unit）を有するコンピュータであってよい。また、シミュレータ装置４０は、ノート型コンピュータやスマートフォンやタブレット端末などの携帯端末であってよい。また、シミュレータ装置４０は、通信基地局に設置されたコンピュータや通信ネットワークに接続されたコンピュータであってよく、この場合には、 3次元モデル生成装置２０との通信距離を近くすることができ、高速のレスポンスが可能となる。

データベース装置５０は様々な素材の音波伝播特性データのデータベースを有する。データベース装置５０はシミュレータ装置４０の要求に応答して、データベースの中から対応する素材の音波伝播特性を検出して、それをシミュレータ装置４０に送信する。データベース装置５０は、例えば、サーバやコンピュータなどの情報処理装置、スマートフォンやタブレット端末などの携帯端末であってよい。

表示装置３０はシミュレータ装置４０が行った音波伝播シミュレーションの結果を表示する装置である。表示装置３０は眼鏡型ディスプレイやＨＭＤ（ Head Mount Display）、または携帯型ＰＣ（Personal Computer）であってよい。眼鏡型ディスプレイの場合は、その装着者に対して音波伝播シミュレーションの結果を現実世界の対象物に重ね合わせて表示することが可能で、より現実感を持たせて表示することができる。

通信ネットワーク６０は、その通信規格や有線／無線を特に限定するものではない。通信ネットワーク６０はシミュレータ装置４０と3次元モデル生成装置２０と表示装置３０とデータベース装置５０との間でのデータの送受信をすることができる。通信ネットワーク６０の例として、無線（Local Area Network）、有線LAN、移動体通信網（例えばLTE（Long Term Evolution）、インターネット網、ブルートゥース（Bluetooth）、赤外線通信があげられる。図１においては、各装置はそれぞれ1つずつが示されているが、複数の装置が含まれてもよい。

［機能構成］
図２は、音波伝播シミュレーションシステムを構成する各装置の機能構成を示す図である。

（3次元モデル生成装置）
図２（ａ）は3次元モデル生成装置２０の構成例を示す。 3次元モデル生成装置２０は持ち運び可能な端末であり、3次元モデル生成部２１、 3次元スキャナ２２、カメラ２３、記憶部２４、表示部２５、制御部２６、通信部２７を含んで構成される。 3次元モデル生成部２１は、3次元スキャナ２２が取得した 3次元形状と、カメラ２３が撮像した画像を用いて、3次元モデルを生成する。記憶部２４は 3次元形状、画像、3次元モデルを記憶する。表示部２５は 3次元スキャナ２２が取得した3次元形状やカメラ２３が撮像した画像を表示する。また、表示部２５は 3次元モデル生成部２１が生成した３次元モデルを表示する。通信部２７は、外部装置との通信を行う機能を有する。制御部２６は音波伝播シミュレーションを実行するために 3次元モデル生成装置２０を構成する各部を統括して制御する。以下で各部の詳細を説明する。

３Dスキャナ２２は、音波伝播シミュレーションの対象物の 3次元形状を取得し、記憶部２４に記憶する。３Dスキャナ２２は、ＴｏＦ（ Time of Flight）方式、ＬｉＤＡＲ（Light Detection and Ranging）、レーザ光切断方式、ステレオカメラ方式など公知の方法を用いてよく、測量対象に合わせて用いられてよい。ここでは、 3次元形状の取得方法の一例としてＴｏＦ方式ついて説明する。

ＴｏＦ方式は出射した光が対象物の対象点に当たって反射して戻って来るまでの時間、即ち飛行時間を測定して光の速度から対象点までの距離を測定する方式である。ＴｏＦ方式を採用した３ Dスキャナ２２は光を出射する発光素子（不図示）と受光点を2次元配列した受光素子（不図示）と光学系（不図示）を有する。発光素子が光を出射し、対象物で反射した光を受光素子が光学系を通して受光し、受光素子の各受光点に到達するまでの光の飛行時間を計測する。光学系の作用により、各受光点には特定の方角の光しか入射しないので、各受光点が捉えた光の入射角度は既知となる。光の入射角度と各受光点が検知した対象点までの距離から対象点の 3次元位置を算出することができる。一般には、2次元配列された受光点が検知する対象点までの距離を画像の濃淡で表した距離画像を一旦作成し、それから対象物の 3次元形状を取得することが多い。対象物の距離画像を様々な位置と角度から取得することで、対象物全体の 3次元形状を取得することができる。

カメラ２３は、音波伝播シミュレーションの対象物のカラー画像を撮像し、記憶部２４に記憶する。カラー画像は白黒画像やグレースケール画像でなどであってもよいが、以下ではカラー画像として説明する。通常、カメラ２３の光学系（不図示）の光軸は３ Dスキャナ２２の光学系の光軸と平行にし、かつこれら光軸間の距離が近接するように設定する。これにより、３ Dスキャナ２２が取得する距離画像とカメラ２３が撮像するカラー画像は、光軸間の距離だけ平行移動した画像となるため、距離画像の対象物とカラー画像の対象物との対応関係が分かり易く、距離画像から生成した 3次元形状とカラー画像との対応関係も分かり易いという特徴がでる。カメラ２３はミラーレスカメラ、一眼レフカメラ、二眼レフカメラなどであってよい。

３次元モデル生成部２１は、３Dスキャナ２２が取得した対象物の 3次元形状とカメラ２３が撮像した対象物のカラー画像を記憶部２４より取得して、３次元モデルを生成する。３次元モデル生成部２１は３ Dスキャナ２２の光学系とカメラ２３の光学系の光軸間の距離のデータ、３Dスキャナ２２が取得した距離画像の倍率、カメラ２３が撮像した画像の倍率、などのデータを記憶部２４より取得し、距離画像の倍率を画像の倍率に合わせ、各光学系の光軸間の距離だけ移動した位置にある同一対象点を検出する。検出した同一対象点の距離画像の画素位置とカラー画像の画素位置の対応関係を同一対象点の対応関係として記憶部２４に記憶する。距離画像から 3次元形状を作成し、距離画像とカラー画像の対応関係に基づいて、3次元形状にカラー画像を貼り付けて、３次元モデルを生成する。３次元モデルは記憶部２４に記憶する。

３次元モデル生成部２１は、３Dスキャナ２２が取得した対象物の 3次元形状を使わずに、カメラ２３が撮像した対象物のカラー画像だけを記憶部２４より取得し、３次元モデルを生成することも出来る。その場合、対象物を撮影した複数のカラー画像を用いて、 3次元復元技術により3次元形状を生成する。 3次元復元技術の手法としては、公知の技術であるフォトグラメトリーなどを利用することができる。フォトグラメトリーでは、対象物を異なる位置から撮影した複数の画像において、各画像の捉えた対象物上の同一点を多数検出して、各画像を撮影したカメラの 3次元位置を算出し、そのカメラの3次元位置を用いて、対象物の同一点の 3次元位置をステレオカメラの原理で算出する。対象物上の同一点を画像上で多数検出することで、対象物表面の多数の 3次元位置を算出することができる。これにより対象物の3次元形状を生成することができる。この手法では、画像と 3次元形状との位置がずれないというメリットがある。このようにカメラ２３が撮像した対象物のカラー画像だけから、 3次元形状を算出して、３次元モデルを生成して、３次元モデルを記憶部２４に記憶してもよい。

記憶部２４は３次元モデル生成部２１が生成した３次元モデルや３ Dスキャナ２２が取得した3次元形状やカメラ２３が撮像したカラー画像などを記憶する。これはフラッシュメモリやＨＤＤ（ Hard Disk Drive）などの不揮発性の記憶領域であってよい。また、記憶部２４はＲＡＭ（ Random Access Memory）などの揮発性の記憶領域であってもよい。

表示部２５は３次元モデル生成部２１が生成した３次元モデルや、３ Dスキャナ２２が取得した3次元形状や、カメラ２３が撮像したカラー画像などを表示する。また、表示部２５に表示された３次元モデルや 3次元形状は、制御部２５の機能により、3次元の回転、拡大、縮小、移動などを実施することができる。これにより３次元モデルや 3次元形状が正常であるかどうかをチェックすることができる。表示部２５に表示された画像は、制御部２５の機能により、 2次元の拡大縮小、移動、回転などができ、所望の画像が撮影できたかどうかをチェックすることができる。

制御部２６は、３次元モデル生成部２１、 3次元スキャナ２２、カメラ２３、記憶部２４、表示部２５、通信部２７を制御し、各々の機能を動作させる。

通信部２７は通信ネットワーク６０を介して外部と通信する機能を有する。通信部２７は３次元モデル生成部２１が生成し、記憶部２４が記憶する３次元モデルや、 3次元スキャナ２２が取得し、記憶部２４が記憶する3次元形状や、カメラ２３が撮像し、記憶部２４が記憶する画像などを、シミュレータ装置４０や表示装置３０に送信することができる。

（表示装置）
図２（ｂ）は表示装置３０の構成例を示す。表示装置３０は表示機能を有する携帯可能な端末であり、表示部３１、記憶部３２、制御部３３、通信部３４を含んで構成される。表示装置３０は眼鏡型ディスプレイやＶＲ（ Virtual Reality）ゴーグルや携帯型ＰＣなどであってよい。ここでは眼鏡型ディスプレイの例を取り上げて説明する。

表示部３１は、表示装置３０である眼鏡型ディスプレイの表示部である。表示部３１は表示装置３０の装着者の視野範囲を覆うように構成されたグラス部（不図示）を含んで構成される。グラス部は所定の位置に映像を投影する透過型であってもよいし、装着者の網膜に映像を投影する網膜投影型であってもよい。表示部３１は現実世界に重畳して制御部３３が提供する３次元モデル、 3次元形状、画像、テキストなどの情報を表示することができる。制御部３３が提供する情報の具体例については後述する。

通信部３４は通信ネットワーク６０を介して 3次元モデル生成装置２０やシミュレータ装置４０と通信しデータを送受信することができる。通信方法として、無線であってもよく、また有線であってもよい。

記憶部３２は通信部３４が受信した３次元モデル、 3次元形状、画像、テキスト、その他のデータを記憶する。これらのデータは3次元モデル生成装置２０の通信部２７か、シミュレータ装置４０の通信部４８が送信し、通信ネットワーク６０を経由して受信したデータである。

制御部３３は眼鏡型ディスプレイである表示装置３０を制御する機能を有する。制御部３３は、通信部３４が外部とデータを送受信する機能を制御し、通信部３４と記憶部３２との間でのデータ転送を制御し、記憶部３２のデータから表示部３１に表示する映像、画像を作成する、などの機能を有する。制御部３３は、表示した 3次元モデル、画像、テキスト、などを加工、修正、追加、表示／非表示などを行うユーザインターフェース機能を有する。制御部３３は、 3次元モデルの範囲内から注目する3次元領域を設定する機能を有する。

（シミュレータ装置）
図２（ｃ）はシミュレータ装置４０の構成例を示す。シミュレータ装置４０はシミュレーション部４１、構成要素認識部４２、素材推定部４３、記憶部４５、表示部４６、制御部４７、通信部４８を含んで構成される。これらの各部の働きにより、シミュレータ装置４０は、 3次元モデル生成装置２０から、３次元モデルと３次元モデルの生成に利用した3次元形状と画像を受信し、３次元モデルを構成する要素を抽出し、各要素の素材を推定し、各素材の音波伝播特性データを取得し、その音波伝播特性データを用いて、３次元モデルの音波伝播シミュレーションを実施する。以下、各部の詳細を説明する。

構成要素認識部４２は、通信部４８が 3次元モデル生成装置２０から受信した３次元モデルの構成要素を、３次元モデルの生成に利用した画像と 3次元形状を用いて、抽出する機能を有する。具体的には、先ず、画像の領域抽出手段により画像を構成要素の領域毎にラベル付け（番号づけ）したラベル画像に変換する。例えば、部屋の画像であれば、床、壁、天井、机、ソファーなどの領域を抽出し、領域名を、例えば、床＝１、壁＝２、天井＝３、などのラベル番号に変換したラベル画像を生成する。領域名とラベル番号の対応は記憶部４５に記憶される。画像の領域抽出手段としては、一般によく利用されている深層学習ニューラルネットワークのＵ－ＮｅｔやＳｅｇＮｅｔ（Semantic Segmentation）、Ｒ－ＣＮＮ (Regions with Convolutional Neural Networks)などを用いることができる。これらの深層学習ニューラルネットワークは、通常の画像を入力画像とし、この画像を構成要素毎に領域分けし、各領域にラベル付けしたラベル画像を教師画像として、事前に機械学習させておくことで、ラベル領域抽出手段として利用することができる。このように事前に機械学習させたニューラルネットワークなどは学習済みニューラルネットワークと呼ばれる。

構成要素認識部４２は、次に、画像の構成要素のラベル画像を利用して、３次元モデルの 3次元領域を領域名毎に抽出する。３次元モデルの生成に用いた3次元形状と画像はその位置の対応関係が既知であるので、３次元モデルに貼りつけられた画像の領域抽出ができれば、それを３次元モデルに適用して、 3次元モデルの3次元の領域抽出もできる。このようにして、３次元モデルの構成要素を抽出して、その領域名を取得することができる。

構成要素認識部４２は、３次元モデルの 3次元形状を形状認識して、3次元領域を領域名毎に抽出してもよい。形状認識は 2次元の画像認識と原理は同様であり、認識する対象物が3次元となり、それを認識する深層学習ＡＩも 3次元に対応できるように1次元増やした構造となる。一般によく利用される 3次元のニューラルネットワークとして、３Ｄ Ｕ－Ｎｅｔや３Ｄ Ｒ－ＣＮＮなどがある。これらは教師データを利用して事前に機械学習させておくことで、形状認識を行わせることができる。

素材推定部４３は、構成要素認識部４２が抽出した構成要素の品名に基づいて、 3次元形状認識や画像認識を行い、構成要素の素材名を推定する。素材名の推定は素材分類器となるニューラルネットワークが行う。 3次元形状認識と画像認識は、ニューラルネットワークを事前に機械学習させることで行う。構成要素の素材名の推定は、構成要素の品名と 3次元形状、または構成要素の品名と画像を入力データとし、その素材名を教師データとして機械学習させて実現してよい。または、構成要素の素材名の推定は、構成要素の品名毎に画像認識または 3次元形状認識のニューラルネットワークを作成し、画像または3次元形状を入力データとし、素材名を教師データとして機械学習させて実現してよい。素材名の推定は、分類器と呼ばれるＣＮＮ（Convolutional Neural Network）などで構成された深層学習ニューラルネットワークを利用することができる。

型番推定部４４は、構成要素認識部４２が抽出した構成要素の品名と素材推定部４３が推定した素材名に基づいて、 3次元形状認識や画像認識を行い、構成要素の型番を推定する。構成要素の型番の推定は、構成要素の品名と素材名と形状を入力データとし、型番を教師データとしてニューラルネットワークを機械学習させることで実現してよい。または、構成要素の型番の推定は、構成要素の品名と素材名毎にニューラルネットワークを作成し、 3次元形状認識か画像認識を入力データとし、型番を教師データとして機械学習させて実現してよい。このニューラルネットワークとしては、分類器と呼ばれるＣＮＮ（ Convolutional Neural Network）などで構成された深層学習ニューラルネットワークを利用することができる。

制御部４７は「型番に対応する音波伝播特性データを送信せよ」という要求を通信部４８を介してデータベース装置５０の制御部５３に送信する。制御部５３は通信部５４経由で受信したその要求に対応して、データベース部５１のレコードから素材名に対応する素材の音波伝播特性データを取得し、それを通信部５４経由でシミュレータ装置４０の通信部４８に送信する。制御部４７は通信部４８が受信した各素材に対応する音波伝播特性データを３次元モデルの構成要素に紐づけて記憶部４５に記憶する。

シミュレーション部４１は、３次元モデル生成部２１が生成した３次元モデルと、素材推定部４３が推定した３次元モデルの構成要素と、構成要素に紐づけられて記憶部４５に記憶された音波伝播特性データと、を用いて音波伝播シミュレーションを実施する。音波伝播シミュレーションは 3次元空間において音波がどのように伝播するかをシミュレーションするものであり、波動音響学的手法である、有限要素法、境界要素法、時間領域有限差分法などや、幾何音響学的手法である、虚像法、音線法などを用いることができる。本実施例では、時間領域有限差分法（以下、有限差分法と呼ぶ）を用いてインパルス応答特性をシミュレーションする例について説明する。

（データベース装置）
図２（ｄ）はデータベース装置５０の一例を示す。データベース装置５０は素材の音波伝播特性データのデータベースを有するデータベース部５１、記憶部５２、制御部５３、通信部５４を含んで構成される。

データベース部５１は、素材に関する音波伝播特性データのデータベースを有する。音波伝播特性データは素材の品名と紐づいて保存されており、例えば、図３のようなテーブル形式で保存されている。データベースは制御部データ５３の制御に基づいて、データを追加、修正、保存、削除などを行うことができる。音波伝播特性データのデータベースの詳細については後述する。

記憶部５２は、通信部５４が受信した内容を一時的に記憶したり、通信部５４が送信するデータを、データベース部５１から取り出して一時的に記憶したりする機能を有する。

制御部５３は、データベース部５１、記憶部５２、通信部５４を統括して制御する機能を有する。制御部５３は、通信部５４が受信したメッセージに対応して、データベース部５１からデータを順次抽出して記憶部５２に記憶した後、通信部５４経由で送信する。また、通信部５４が受信したメッセージに対応して、データベース部５１のデータを追加、修正、保存、削除することができる。

（音波伝播特性データのデータベース）
図３はデータベース部５１のデータ構造の一例を示す。データベース部５１の列には品名５１ａ、素材５１ｂ、型番５１ｃ、音響インピーダンス５１ｄ、密度５１ｅ、速度５１ｆ、吸収係数５１ｇ、周波数５１ｈが記録されている。吸収係数５１ｇは周波数５１ｈに依存して変化するデータである。制御部５３は、通信部５４が受信した要求に基づいて、品名５１ａと素材５１ｂと型番５１ｃに対応するデータベース部５１の行を検索し、その行の音響インピーダンス５１ｄ、密度５１ｅ、速度５１ｆ、吸収係数５１ｇを抽出し、記憶部５２に記憶し、通信部５４を介してシミュレータ装置４０に送信することができる。制御部５３は、通信部５４が受信した要求の中に周波数５１ｈが含まれている場合には、品名５１ａと素材５１ｂと型番５１ｃと周波数５１ｈに対応するデータベース部５１の行を検索し、該当するデータを通信部５４経由でシミュレータ装置４０に送信する。

品名５１ａは、音波伝播シミュレーションの対象物の構成要素の品名であり、構成要素認識部４２が、対象物の各構成要素を認識して、推定する。品名５１ａは、一例として、車のドアや車のタイヤ、あるいは家の部屋の壁や床などであってよい。素材５１ｂは、品名５１ａを構成する材料であり、素材推定部４３が推定する。素材５１ｂは、一例として、空気、水、鉄、ゴム、ガラス、木、などであってよい。型番５１ｃは製品の型番であり、製造者が付与した番号である。型番が判明することで、製品の詳細を特定することができる。密度５１ｅは素材の密度［ｋｇ／ｍ^３］を表す。吸収係数５１ｇは素材の音波の吸収係数［ｄ B／ｍ］を表す。速度５１ｆは素材を媒質として音波が伝番する場合の音の速度［ｍ／秒］を表す。音響インピーダンス５１ｄは単位として［ｋｇ／ｍ^３］で表され、速度５１ｆと密度５１ｅの掛け算で求められる。これらの音波伝播特性データを用いてシミュレータ装置４０のシミュレーション部４１は音波伝播シミュレーションを行う。以下に音波伝播シミュレーションの手法の一例を説明する。

［音波伝播シミュレーションの方法］
（波動方程式）
媒質中の音波の伝播は音圧Pに関する次の基本的な波動方程式で表すことができる。

ここで、ｔは時間、C₀は音の速度である。∇は

（ x、y、zは 3次元空間の直交座標）で表される演算子である。音圧Pは、媒質の体積弾性率を K、媒質の体積変化の割合をΔVとすると、 P＝―K・ΔＶで表される物理量である。音の速度C₀はテーブル５１の速度５１ｆで与えられるので、式１の未知数は音圧Ｐだけとなり、音圧Ｐの時間変化を 3次元空間ｘ、ｙ、ｚに関連付けて解くことができる。

（差分法）
式１の解法の一つに有限差分法がある。差分法は微分や偏微分を差分に置き換えて数値解析をする方法である。ここでは最もシンプルな差分法を説明するが、差分法には様々な手法があり、テイラー展開をして厳密な差分を定義する方法などもあり、それらを採用してもよい。時間ｔに関する微分の場合であれば、微小な時間間隔Δｔを用いて、 1階偏微分は式２のように、1階差分に変更される。

ここで、sは時間間隔Δｔの経過回数であり、

はΔｔがｓ回経過した時刻における音圧 Pを表している。さらに、2階偏微分は、式２で表した 1階差分を用いて、式３のような差分で表すことができる。

差分法は、式１の右辺の空間に関する∇で表される偏微分

にも同様に適用でき、式３のΔｔをΔｘ、Δｙ、Δｚに置き換えて差分法を適用することが出来る。このように時間の差分と空間座標の差分を持つ方程式は、時間領域有限差分法、あるいは単に有限差分法とよばれ、従来からよく利用されてきた。

有限差分法を用いる場合、音波伝播シミュレーションの対象となる 3次元空間を微小な直方体ΔｘΔｙΔｚの集合体として捉え、一つの直方体ΔｘΔｙΔｚに一つの格子点を設け、その格子点を 3次元空間に配列して、各格子点の音圧Ｐの時系列変化を式１に基づいた有限差分法で算出する。この計算で留意すべき事が三つある。一つは媒質による音波の吸収、即ち音圧の減衰であり、二つ目は媒質中を伝播する音波が異なる媒質に当たった場合の反射と透過の処理であり、三つ目はシミュレーション対象となる 3次元モデル領域とその外側との境界条件である。それらについて説明する。

（音圧の減衰）
まず留意すべき一つ目、音波の減衰について解説する。吸収係数αの媒質中を音波が伝播すると、その音圧は式５のように減衰する。

ここで、ｌは音波の伝播距離、P₀はある格子点の音圧、P_lはP₀から距離ｌ離れた位置にある格子点の音圧、ｅはオイラー数、即ち、自然対数の底を表す。音圧Ｐはその伝播距離ｌに対応して式４によって減衰する。このように媒質の吸収係数を設定することで、音波の減衰を算出することができる。

（音圧の反射と透過）
留意すべき二つ目、音波の反射と透過について解説する。図４は音波が異なる媒質に当たった場合の反射と透過を模式的に表した図である。音波７３は、空気媒質７０の中を縦波で伝播し、 A媒質７１に入射し、その境界面で一部が反射して反射波７４となり、残りが境界面を透過し、透過波７５となって媒質 Aに侵入する。媒質Aへの入射角をθi、反射波７４の反射角をθrとすると、θi＝θrとなる。媒質Aに侵入した音波７５の屈折角をθeとすると、スネルの法則により、音波の空気中での速度Ciと媒質Ａ中での速度Ceの比は同じであり、式５で表される。

境界面の左右において、音圧が等しいことと、境界に垂直な粒子速度が等しいことから、空気の音響インピーダンスと媒質 Aの音響インピーダンスをそれぞれZa、Zbとすると、境界面で反射した音圧の反射係数 Rpは式６で、音圧の透過係数Tpは式７で表される。

透過した音波は、A媒質を伝播し、再び空気媒質に到達するが、この場合にも式６と式７を用いて、反射率と透過率が計算できる。但し、入射角と透過角は、図４のθ eとθｔとした。

式５、式６、式７で表された公知の基本的な関係式を用いて、音波が異なる媒質に当たった場合に、その境界面でどのような角度で反射し、どのような角度で透過するか、また、反射率はいくらで透過率はいくらかを算出することができる。

空気媒質中を伝播する入射波と反射波の音圧は、式４に従って空気の吸収係数α 0で減衰し、透過率Tpで媒質Aに入った透過波の音圧もまた式４に従って媒質 Aの吸収係数αaで減衰する。同様に、媒質Aに入った透過波は媒質 Aを伝播し、再び空気媒質との境界面に当たり、反射と透過をするが、各々の媒質の吸収係数に応じて音圧は減衰する。

（シミュレーションの境界条件）
留意すべき三つ目、境界条件について説明する。本実施例では、簡単のために、シミュレーションの対象である 3次元空間とその外側との境界に到達した音波は、全て透過し、反射率はゼロと設定した。但し、その他の境界条件を設定しても同様にシミュレーションできることは言うまでもない。

このように、媒質中を伝播する音波の吸収と、異なる媒質との境界面での音波の反射、透過の挙動と、シミュレーション対象領域の境界条件を設定することで、複雑な 3次元形状の中を伝播する音波をシミュレーションすることができる。

［音波伝播シミュレーションの実施手順］
音波伝播シミュレーションの実施手順を図５に示したフローチャートと、図６に示した音波伝播シミュレーションの対象となる 3次元モデルと、図７に示した音波伝播シミュレーションの結果のビジュアル表示を用いて説明する。

（3次元モデルの生成）
音波伝播シミュレーションの最初の手順は、音波伝播シミュレーションの対象に関して、 3次元モデル生成装置２０が備える３Dスキャナ２２で 3次元形状を取得し、3次元モデル生成装置２０が備えるカメラ２３でカラー画像を撮影することである（Ｓ０１）。本実施例では、音波伝播シミュレーションの対象として、現実世界に存在する、床（不図示）の上に置かれた車（不図示）を選定した。現実の車の外周全体について、３ Dスキャナ２２で3次元形状を取得し、カメラ２３でカラー画像を撮影する。同様に、現実の床についても、 3次元形状とカラー画像を取得する。また、現実の車と現実の床を同時に収めた3次元形状とカラー画像も取得する。 3次元形状の取得とカラー画像の撮影は同時に行ってよいし、同時に行わなくてもよい。3次元形状の取得とそれに対応するカラー画像の撮影は、同一位置にある 3次元モデル生成装置２０から行ってよい。対象物の3次元形状とカラー画像は記憶部２４に記憶される。

記憶部に記憶された3次元形状とカラー画像は、制御部２６により 3次元モデル生成部２１に送られる。3次元モデル生成部２１はカラー画像を 3次元形状の表面にマッピングして3次元モデルを生成する（Ｓ０２）。図６に示すように、現実の車に対応する 3次元モデルの車１０１と、現実の床に対応する3次元モデルの床１０２が生成される。この段階ではまだ床や車などの認識はされておらず、単なる 3次元モデルとして生成される。生成された3次元モデルは 3次元モデル生成装置２０の通信部２７から表示装置３０の通信部３４へ送信され、表示部３１に表示され、 3次元モデルが正常に生成されたかどうかをユーザが確認する（Ｓ０３）。

3次元モデルが正常でない場合は、 3次元形状とカラー画像の取得（Ｓ０１）に戻る。正常である場合は、音波伝播シミュレーションの対象となる 3次元モデルが直方体の3次元モデル１０４となるように、制御部３３のユーザインターフェース機能を用いて設定し、音波伝播シミュレーションの対象とする（Ｓ０４）。

（3次元モデルの構成要素認識）
3次元モデル生成装置２０の 3次元モデル生成部２１が生成した3次元モデルは、通信部２７からシミュレータ装置４０の通信部４８を経て、構成要素認識部４２に送信される。構成要素認識部４２は、送られてきた 3次元モデルに対して、画像認識と形状認識を行い、これらを構成する要素を抽出し、その品名を特定する（Ｓ０５）。具体的には、 3次元モデルの表面のカラー画像を画像認識し、3次元モデルの３次元形状を形状認識して、構成要素の品名をその領域毎に推定する。 3次元モデルの車１０１は車のドアの領域と、車のタイヤの領域と、車の窓の領域などで構成されていることを認識する。 3次元モデルの床１０２は床であることを認識する。また、構成要素認識部４２は、3次元モデルの車１０１と 3次元モデルの床１０２以外の透明領域は3次元モデルの空気１０３であると認識する。領域毎に構成要素を画像認識する方法として、Ｕ－ＮｅｔやＲ－ＣＮＮ、ＳｅｇＮｅｔなどの深層学習ニューラルネットワークを利用することができる。また、領域毎に形状認識する方法は、画像という 2次元データに対応するＵ－ＮｅｔやＲ－ＣＮＮなどのニューラルネットワークを、3次元データに対応するように 1次元拡張した３Ｄ Ｕ－Ｎｅｔや３Ｄ－ＲＣＮＮなどを利用することができる。空気領域の認識も、透明領域は空気であるとラベリングした教師データを機械学習させることで実現できる。

素材推定部４３は、3次元モデルの構成要素の素材を推定し、型番推定部４４は構成要素の型番を推定する（Ｓ０６）。具体的には、素材推定部４３は、画像認識や形状認識を用いて、 3次元モデルの構成要素が鉄か胴かアルミニウムか、または、木か石か布かなど、素材の名前を推定する。型番推定部４４は、画像認識や形状認識を用いて、品名と素材に対応する複数の型番の中から、どれが正解であるかを事前に学習させることで、型番を推定する。品名と素材に対応する型番が 1つしか存在しない場合、型番推定部４４は、一義的に型番を選定する。

（3次元モデルの構成要素への音波伝播特性データ付与）
型番を推定した後、制御部４７は、通信部４８を経由して、その型番に対応する音波伝播特性データがデータベース装置５０のデータベース部５１にあるかどうかを問い合わせる。

データベース装置５０の制御部５３は、データベース部５１を検索する（Ｓ０７）。型番５１ｃに該当するデータがあれば全てのデータをシミュレータ装置４０の制御部４７に送付する。型番５１ｃに該当するデータが無い場合は、該当するデータがない旨を制御部４７に送付する。

該当するデータがない旨を受け取った制御部４７は、品名と素材が同じであるか、又は近いデータを抽出し、その型番を選定する（Ｓ０８）。品名と素材が同じであれば、型番が異なっても、音波伝播特性は近いことが予想できる。また、品名と素材が近いデータとは、品名が同じで素材が近いもの、例えば、鉄と胴のように同じ金属という種類に属するデータを意味する。また、品名と素材が近いデータとは、品名は異なるが素材が同じであるデータを意味する。素材が同じであれば、音波伝播特性データも近いことが予想できる。このような基準に基づいて音波伝播特性データを選定するための型番を決定する。

制御部４７は、新たに選定した型番のデータがあるかどうかをデータベース部５１に問い合わせ、Ｓ０７に戻る。

制御部４７は、型番に対応する全ての音波伝播特性データを受け取った後に、実験に用いる周波数のデータを選定して、 3次元モデルの構成要素に紐づけて（Ｓ０９）、シミュレータ装置４０の記憶部４５に記憶する。

3次元モデルを表示装置３０の表示部３１に表示し、制御部３３のユーザインターフェース機能を用いて、所望の位置に音波を発生する仮想音源２００（図６）を設置する（Ｓ１０）。

（音波伝播のシミュレーション実施）
シミュレーション部４１は、音波伝播シミュレーションの対象となる直方体の３次元モデル１０４に、微小な間隔で 3次元に配置された格子点を設定し（不図示）、仮想音源２００からインパルス音を発生させて、有限差分法による音波の伝播シミュレーションを開始する（Ｓ１１）。仮想音源２００から発せられたインパルス音は、空気（不図示）の中を減衰しながら伝播し、車１０１に到達し、一部は反射し、残りは透過する。

（シミュレーション結果の表示）
シミュレーション部４１が実施したシミュレーションの結果は、表示装置３０の表示部３１に送信され、表示される。図７は、仮想音源２００から発されたインパルス音が車１０１に当たり、反射した瞬間の音圧の強度と方向を矢印３００で模式的に描いた図である。

ユーザは、表示部３１に表示された３次元モデルやシミュレーション結果を、制御部３３が有するユーザインターフェース機能を用いて、自由に回転、拡大、縮小などが出来、また 3次元モデルやシミュレーション結果を選択的に表示したり、非表示にしたりできる。

表示部３１は、音波の伝播の様子を 3次元モデルと共に表示することで、音波と3次元モデルとの相互作用が分かり易く表示部３１に表示することができる。

表示装置３０の眼鏡型ディスプレイは、その表示部３１を透過型に設定することで、現実の世界を見ながら、シミュレーション結果を見ることができる。表示装置３０の装着者は、表示部３１に映った 3次元モデルの車１０１が、現実の車に重畳する位置に移動することで、現実の車で音波が反射される様子を、リアリティを持って観察することができる。

表示装置３０の眼鏡型ディスプレイが、現実の対象物から作成された３次元モデルを現実の対象物に自動で重畳して表示する機能を持つことで、眼鏡型ディスプレイの装着者が現実の車を見た時に、 3次元モデルの車１０１に反射された音波のシミュレーション結果を見ることが出来る。このように、眼鏡型ディスプレイが自動で重畳表示する機能は、 3次元モデルに対応する現実の対象物に関する、緯度経度情報と縦横高さなどの3次元形状情報を付与した後、眼鏡型ディスプレイの緯度経度情報と眼鏡型ディスプレイの装着者が向いている方角と上下角度をリアルタイムで計測して、これらを合わせることで実現されている。

本実施形態では、表示装置３０は3次元モデル生成装置２０とは別の装置として記載したが、 3次元モデル生成装置２０の表示機能を表示装置３０の代わりに利用してもよい。

本実施形態では、データベース装置５０はシミュレータ装置４０とは別の装置として記載したが、データベース装置５０の機能をシミュレータ装置４０の中に備えてもよい。

本実施形態では、3次元モデル生成装置２０はシミュレータ装置４０とは別の装置として記載したが、シミュレータ装置４０の機能を 3次元モデル生成装置２０の中に備えてもよい。

＜第２の実施形態＞
本願発明の第２の実施形態では、現実の部屋の 3次元モデルを作成し、その中の任意の位置に仮想音源と仮想受音点を配置し、現実の部屋の音響効果をシミュレーションで調査する方法について説明する。

［システム構成］
第1の実施形態と同じとした。

［機能構成］
第1の実施形態と同じとした。

［音波伝播シミュレーションの方法］
第1の実施形態と同じとした。

［音波伝播シミュレーションの実施手順］
図８は部屋の音響効果をシミュレーションで調べる方法を記載したフローチャートである。図９は現実世界の部屋を元にして作成した 3次元モデルの部屋１１０に、仮想音源２０１、仮想音源２０２と仮想受音点３０１を配置した図である。以下、これらの図を用いて、仮想音源２０１、仮想音源２０２から出た音が仮想受音点３０１でどのように聞こえるかを調べる音波伝播シミュレーションの手順について説明する。

（3次元モデルの生成）
音波伝播シミュレーションの対象として、ソファーが配置され、壁と床と天井で囲まれた現実世界に存在する部屋（不図示）を選んだ。

図８のフローチャートに基づいて手順を説明するが、途中までは、図５のＳ０１～Ｓ０８と同じ内容なので、図８にＳ０１～Ｓ０８を記載し、以下でもその記号を利用する。

この部屋の壁と床と家具の3次元形状とカラー画像を、 3次元モデル生成装置２０が備える３Dスキャナ２２とカメラ２３で取得する（Ｓ０１）。 3次元モデル生成装置２０の3次元モデル生成部２１により、図９に示す 3次元モデルの部屋１１０を生成する（S０２）。生成された 3次元モデルの部屋１１０は、床１１１、壁１１２、壁１１３、壁１１４、ソファー１１５で構成されている。ただし、図 9では部屋１１０の内部を見やすくするために、手前の壁と天井は図示していない。3次元モデルの床１１１、壁１１２、壁１１３、壁１１４、ソファー１１５は 3次元形状として配置されているだけで、まだ各々の属性は認識されていない。

部屋１１０を表示装置３０の表示部３１に表示し、正常に 3次元形状が生成されたかをユーザがチェックする（Ｓ０３）。正常に生成されていない場合（Ｓ０３のＮｏ）は、Ｓ０１に戻る。

（3次元モデルの構成要素認識）
図８のフローチャートS０３がＹｅｓの場合、 3次元モデルの部屋１１０は現実空間の部屋の内部を反映した直方体の3次元モデルとして生成されているため、壁や床や天井に相当する部分に厚みを持たない。この 3次元モデルの部屋１１０を現実の部屋に近づけるために、図９の厚み１２０に示すように、壁と床と天井に相当する 3次元モデルの外側に厚み１２０を設定する（Ｓ０４）。

構成要素認識部４２は部屋１１０の内部に対して、画像認識と形状認識を行い、 3次元モデルの構成要素の品名を認識する（Ｓ０５）。これにより、画像をマッピングした3次元形状として存在していた部屋１１０は、床１１１、壁１１２、壁１１３、壁１１４、ソファー１１５を品名とする構成要素で構成されていることが認識される。また、空間領域が空気（不図示）であることも認識される。

次に素材推定部４３は、事前に学習をさせた深層学習ニューラルネットワークを用いて、品名を利用した画像認識と形状認識を行い、ソファー１１５の素材が布であるか皮革であるか、壁１１４の素材が土壁であるかクロスであるかなどを推定し、型番推定部４４は、事前に学習させた深層学習ニューラルネットワークを用いて、品名と素材に基づいた画像認識と形状認識を行い、型番を推定する（Ｓ０６）。これにより、床１１１、壁１１２、壁１１３、壁１１４、ソファー１１５の型番が推定される。

（3次元モデルの構成要素への音波伝播特性データ付与）
制御部４７は、部屋１１０の構成要素である床１１１、壁１１２、壁１１３、壁１１４、ソファー１１５の型番をデータベース装置５０に送り、データベース部５１にその音波伝播特性データがあるかを問い合わせる（Ｓ０７）。該当する音波伝播特性データがあれば、データベース装置５０は、該当する全てのデータを制御部４７に送り（Ｓ０７のＹｅｓ）、無ければデータベース装置は該当する音波伝播特性データはない（Ｓ０７のＮｏ）、と返答する。該当する音波伝播特性データが無い場合、制御部４７は品名と素材が同じか近い素材の型番を検出して、再度該当する音波伝播特性データがデータベース装置にあるかを問い合わせ、データベース装置５０に該当するデータを要求する（Ｓ０８）。

（仮想音源と仮想受音点の設置）
本実施形態では、図９に示すように、 3次元モデルの部屋１１０に、２個の仮想音源２０１、２０２を設置する（Ｓ２１）。この設置は表示装置３０の表示部に表示された 3次元モデルの部屋１１０に対し、制御３３のユーザインターフェースを用いて行う。

次に、仮想受音点３０１を耳の位置に設定したアバター（ 3次元モデルの人）１３０を部屋１１０内に配置する（Ｓ２２）。これにより現実の部屋にいる人（不図示）の耳の位置に対応した位置に仮想受音点３０１を設置することができる。

アパター３０１は人の3次元モデルであり、その頭部、顔部、胴体部、足部はそれぞれ髪の毛、肌、服、ズボンの代表的な音響インピーダンスや吸収係数などの音波伝播特性データがあらかじめ紐づけられ、記憶部４５に記憶されている。これにより現実世界において人の存在が音響効果に及びス影響を精度よく取り入れることができる。

（周波数毎の音波伝播シミュレーション）
音響効果を調べるためには、幅広い周波数の音波伝播特性データが必要となる。人の可聴域は約２０Ｈｚ～２０ＫＨｚで、オーディオのＣＤ規格のサンプリング周波数が４４．１ＫＨｚであることを考慮し、周波数２０Ｈｚから開始して、毎回周波数を２倍にして最後は周波数が４０ＫＨｚになるまで（１２回）、各周波数において音波伝播シミュレーションを行う。最初に、周波数を初期値１０ＫＨｚに設定し（Ｓ２３）、次にその周波数を 2倍にする（Ｓ２４）。周波数を2倍にすることで、周波数２０ＫＨｚからスタートすることになる。制御部４７は、記憶部４５に記憶されている、型番に対応する音波伝播特性データの中から、その周波数のデータを選定し、 3次元モデルの構成要素に紐づける（Ｓ２５）。

データベース部５１の中に、幅広い周波数に対する音波伝播特性データがそろっているとは限らない。ある周波数の音波伝播特性データが無い場合には、一般的な周波数特性曲線を、他の周波数の音波伝播特性データに当てはめて、その周波数の音波伝播特性データを推定する。このようにして、各周波数に対応する音波伝播特性データを 3次元モデルの各構成要素に紐づけて記憶部４５に記憶する（Ｓ２５）。この時、構成要素の一つである空気に対しても音波伝播特性データが紐づけられて記憶部４５に記憶される（Ｓ２５）。

（残響減衰曲線と残響時間の算出）
シミュレーション部４１は、部屋１１０の各構成要素の 3次元形状に対して各々の音波伝播特性データを紐づける（Ｓ２５）。その後、部屋１１０に微小間隔の格子点を配置して、有限差分法により、仮想音源２０１と仮想音源２０２からインパルス音圧を同時に出力し、音圧の伝播をシミュレーションする（Ｓ２６）。仮想受音点３０１が受音する音圧を時系列に捉え、時系列音圧変化曲線として記憶する（Ｓ２７）。この時系列音圧変化曲線に、一般によく用いられるシュレーダ積分法を適用して、残響減衰曲線を算出する（Ｓ２８）。残響減衰曲線の傾きから残響時間を算出する（Ｓ２９）。周波数が４０ＫＨｚに到達したかどうかをチェックし（Ｓ３０）、到達していればシミュレーションを終了し、到達していなければＳ２４に戻り、周波数を倍に増加してＳ２４からＳ３０のステップを繰り返す。

このようにして、現実の部屋に基づいた音波伝播シミュレーションを行うことができ、その部屋の残響時間を調べることができる。残響時間は室内の音響効果を決める重要な要素であり、これを知ることで室内の音響設計に役立てることができる。

仮想受音点３０１はアバター１３０の耳に設置していることから、実際に人が音を聞く位置に仮想受音点３０１があり、人が感じる室内の音響をシミュレーションすることができ、精度よく音響を調査することができる。

本実施形態では、仮想音源の数を２、仮想受音点３０１の数を１に設定したが、この数は自由に設定できる。仮想音源の数を増やし、それらを任意の位置に配置することで、室内の音響効果をさらに詳しく調査することができる。

本実施形態では、アバター１３０の数は 1体としたが、複数にすることができる。これにより現実に複数人や多人数で音楽を聴く場合の音響効果を精度よくシミュレーションすることができる。

＜第３の実施形態＞
本願発明の第３の実施形態では、第 2の実施形態で算出した残響減衰曲線を用いて、仮想受音点で受音する音波を現実の音として発する方法を、図１０のフローチャートに基づいて説明する。

［システム構成］
本実施形態では、第２の実施形態に加えて、表示装置３０は更に音出力部（不図示）を有し、シミュレータ装置４０の制御部４７は更にフーリエ変換部を有する。音出力部は、Ｄ／Ａコンバータ（デジタル／アナログ変換器）、増幅器、ヘッドフォンで構成されている。

［機能構成］
本実施形態では、第２の実施形態に加えて、表示装置３０に音出力部（不図示）を有する。音出力部は音波形を読み込むソフトと、読み込んだデジタル音をアナログ音に変換するＤ／Ａコンバータと、Ｄ／Ａコンバータで変換されたアナログ出力を増幅する増幅器と、増幅されたアナログ出力を空気振動へ変換するヘッドフォンを有する。

本実施形態では、第２の実施形態に加えて、シミュレータ装置４０はフーリエ変換を更に有する。これは、周波数分解に関する機能であり、デジタル音波形に対しては、デジタルフーリエ変換やデジタル逆フーリエ変換、離散フーリエ変換や離散逆フーリエ変換などを計算する。

［音波伝播シミュレーションの方法］
第２の実施形態と同じとした。第2の実施形態の音波伝播シミュレーションで取得した残響減衰曲線を以下で利用する。

［音響効果の評価手順］
（時系列音波形の生成）
ある楽器の音をサンプリング周波数４４．１ＫＨｚ、 16ビット、１チャンネルでデジタル録音した音ファイルを利用して、音波形を時系列に生成する（Ｓ３１）。時系列に生成された音波形を時間Δｔでｎ個に分割し、時刻ｔ１からｔｎに分割された音波形を作成する（Ｓ３２）。ここでΔｔは人が可聴できる最も小さい周波数２０Ｈｚに対応した０．０５秒とする。また、音響効果を重畳した音波形を格納するために、強度０の周波数スペクトルを作成しておく（Ｓ３３）。

（残響減衰曲線の重畳）
時刻ｔ１からｔｎに分割された音波形を順次処理するために、時刻ｔを、初期値ｔ１、終り値ｔｎ、増加量Δｔでループさせる（Ｓ３４）。Δｔの時間幅を持つ時刻ｔの音波形を、シミュレータ装置４０が有するフーリエ変換部により周波数分解し、周波数スペクトルＳｔを生成する（Ｓ３５）。周波数スペクトルＳｔは横軸が２０Ｈｚから２０ＫＨｚまでの周波数、縦軸が強度Ａで表されたグラフであるが、横軸の周波数を、人が聞こえる最も小さい周波数２０Ｈｚの幅で、２０ＫＨｚ／２０Ｈｚ＝１０００個に区分けする、つまり、周波数ｆは周波数幅２０Ｈｚを持ち、初期値２０Ｈｚ、終り値２０ＫＨｚでループさせる（Ｓ３６）。時刻ｔにおける、周波数ｆの強度ＡをＡ（ｔ，ｆ）とし、Ａ（ｔ，ｆ）にインパルス応答シミュレーションで得た残響減衰曲線を乗じて残響減衰曲線Ａ‘（ｔ，ｆ）を算出する（Ｓ３７）。Ａ‘（ｔ，ｆ）を周波数スペクトルＳｔｔに加算する。Ａ（ｔ，ｆ）は時間Δｔの幅を持つ時刻ｔの音のみをフーリエ変換しているが、残響減衰曲線を乗じたＡ‘（ｔ，ｆ）は、一般には時間Δｔの幅には収まらず、その後の時刻に延々と残響する。これらの残響状態を周波数スペクトルＳｔｔに次々と加算する（Ｓ３８）。時刻ｔにおける全ての周波数のＳｔの処理を終了（Ｓ３９）すれば、次の時刻ｔに移行する。音波形を時刻ｔ１からｔｎまで全て処理すれば（Ｓ４０）、周波数スペクトルＳｔへ残響減衰曲線を重畳加算して作成したＳｔｔの作成は終了する。

（現実の音への変換）
周波数スペクトルＳｔｔは時間幅Δｔ（２０Ｈｚ）の周波数スペクトルのシリーズで構成されている。Ｓｔｔの終了時刻をｔｍとし、時刻ｔをｔ１からｔｍまで時間Δｔの幅を増加量として、順次変化させながら（Ｓ４１）、シミュレータ装置４０が有するフーリエ変換部により、Ｓｔｔを逆フーリエ変換して、音波形を生成する（Ｓ４２）。時刻ｔが時刻ｔｍに到達すれば終了する（Ｓ４３）。ｔｍは残響時間の影響から、ｔｍ＞ｔｎとなる。

周波数スペクトルＳｔｔから生成された音波形は、表示装置３０の音出力部が有する音波形読み込みソフト、Ｄ／Ａコンバータ（デジタル／アナログ変換）、増幅器とヘッドフォンを用いて、現実の音として再生することができる（Ｓ４４）。

本実施形態では、第2の実施形態で作成した 3次元モデルを元にして取得した残響減衰曲線を利用しており、図９に示した部屋のモデル１１０の音響効果を実際に聞くことで評価できる。つまり、音源２０１、２０２が発する音を、アバター１３０の位置で実際の音として聴くことができ、楽曲の種類を変えたり、音源の位置を変えたり、受音点の位置を変えながら、現実に音を聞いて、その音響効果を調べることができる。

本実施形態では、残響減衰曲線を利用して残響効果を取り入れたが、残響時間だけを利用して残響効果を算出してもよい。

本実施形態では、ある楽曲の音を録音した音ファイルを利用したが、マイクとＡ／Ｄコンバータと録音ソフトを利用して、時系列音波形を生成してもよい。

本実施形態で利用した音ファイルは、ＷＡＶ／ＡＡＣ／ＭＰ３／ＯＣＣなどのフォーマット形式であってよい。

本実施形態では現実に音を発するのにヘッドフォンを用いたが、イヤホンやスピーカなどであってよい。

上記の実施形態では、図やチャートを用いて説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

本開示は、ユーザが現実世界で起きている音響効果を、携帯端末などの簡易な装置を利用してシミュレーションすることで、視覚的あるいは聴覚的に知ることができる点で有用である。

１０ 音波伝播シミュレーションシステム
２０ 3次元モデル生成装置
２１ 3次元モデル生成部
２２ 3次元スキャナ
２３ カメラ
２４ 記憶部
２５ 表示部
２６ 制御部
２７ 通信部
３０ 表示装置
３１ 表示部
３２ 記憶部
３３ 制御部
４０ シミュレータ装置
４１ シミュレーション部
４２ 構成要素認識部
４３ 素材推定部
４５ 記憶部
４６ 表示部
４７ 制御部
４８ 通信部
５０ データベース装置
５１ データベース部
５１ａ 品名
５１ｂ 素材
５１ｃ 型番
５１ｄ 音響インピーダンス
５１ｅ 密度
５１ｆ 速度
５１ｇ 吸収係数
５１ｈ 周波数
５２ 記憶部
５３ 制御部
５４ 通信部
６０ 通信ネットワーク
１０１ 3次元モデルの車
１０２ 3次元モデルの床
１０３ 3次元モデルの空気
１０４ 直方体の3次元モデル
１１０ 3次元モデルの部屋
１１１ 3次元モデルの床
１１２、１１３、１１４ 3次元モデルの壁
１１５ 3次元モデルのソファー
１２０ 壁の厚み
１３０ アバター
２００、２０１、２０２ 仮想音源
３００ インパルス音圧の強度と方向を模した矢印
３０１ 仮想受音点

Claims (8)

1. ３次元モデル生成装置と、データベース装置と、構成要素認識部と、素材推定部と、型番推定部と、シミュレータ装置と、を含んで構成される音波伝播シミュレーションシステムであって、
   前記３次元モデル生成装置は、物体をカメラで撮影して取得した画像、又は前記物体を３Dスキャニングして取得した３次元形状及び前記画像、を用いて、前記物体の３次元モデルを生成し、
   前記データベース装置は、前記物体を構成する素材の音波伝播に関連する音波伝播特性データを有し、
   前記構成要素認識部は、前記画像又は前記３次元形状の少なくとも一方、に基づいて、前記３次元モデルを構成する構成要素の領域、及び前記構成要素の品名を認識し、
   前記素材推定部は、前記画像又は前記３次元形状のうち少なくとも一方、及び前記構成要素の品名に基づいて、前記構成要素の素材名を推定し、
   前記型番推定部は、前記構成要素に対応する前記画像又は前記構成要素に対応する前記３次元形状の少なくとも一方、前記構成要素の品名、及び前記構成要素の素材名、に基づいて、前記構成要素の型番を推定し、
   前記シミュレータ装置は、前記構成要素の素材名、及び前記構成要素の型番に関係する前記音波伝播特性データを前記データベース装置から取得し、前記音波伝播特性データを、前記構成要素の領域に紐づけ、
   音波伝播シミュレーションを実施することを特徴とする音波伝播シミュレーションシステム。
2. 前記構成要素認識部は、品名が既知の構成要素で構成された第２の物体をカメラで撮像して取得した画像、又は前記第２の物体を３Ｄスキャニングして取得した３次元形状、を入力データとし、
   前記品名が既知の構成要素の領域、及び前記品名が既知の構成要素の品名を教師データとして、機械学習させた学習済みニューラルネットワークを有することを特徴とする
   請求項１に記載の音波伝播シミュレーションシステム。
3. 前記素材推定部は、素材名が既知の構成要素で構成された第３の物体をカメラで撮影して取得した画像、又は前記第３の物体を３Ｄスキャニングして取得した３次元形状、を入力データとし、
   前記素材名が既知の構成要素の素材名を教師データとして、機械学習させた学習済みニューラルネットワークを有することを特徴とする
   請求項１に記載の音波伝播シミュレーションシステム。
4. 前記音波伝播シミュレーションシステムは、表示部を更に有し、
   前記表示部は、前記シミュレータ装置が実施した前記音波伝播シミュレーションの結果を、前記３次元モデルと共に表示することができ、
   前記音波伝播シミュレーションの結果と前記３次元モデルとの相互作用が分かるように表示することを特徴とする
   請求項１乃至３のいずれか一項に記載の音波伝播シミュレーションシステム。
5. 前記表示部は眼鏡型ディスプレイであり、前記音波伝播シミュレーションの結果を現実空間に重畳して表示できることを特徴とする
   請求項４に記載の音波伝播シミュレーションシステム。
6. 前記シミュレータ装置は、仮想の音源及び仮想の受音点を任意の位置に、任意の個数設置し、
   前記仮想の音源から音圧を発し、前記仮想の受音点が受音する前記音圧をシミュレーションすることを特徴とする
   請求項１乃至５のいずれか一項に記載の音波伝播シミュレーションシステム。
7. 前記仮想の音源から複数の周波数の音圧を発し、前記仮想の受音点が受音する前記複数の周波数の音圧をシミュレーションし、
   前記仮想の受音点が受音した前記複数の周波数の音圧を合成して、現実の音として発する装置を更に備えることを特徴とする
   請求項６に記載の音波伝播シミュレーションシステム。
8. 前記シミュレータ装置は、通信ネットワークに接続された無線基地局に設置されたコンピュータに備えられ、
   前記３次元モデル生成装置は、前記無線基地局と通信が可能な携帯端末の中に備えられ、
   前記データベース装置は前記通信ネットワークと通信可能なサーバに備えられることを特徴とする
   請求項１乃至７のいずれか一項に記載の音波伝播シミュレーションシステム。

Images