JP2022094582A - 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 - Google Patents
異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2022094582A JP2022094582A JP2020207541A JP2020207541A JP2022094582A JP 2022094582 A JP2022094582 A JP 2022094582A JP 2020207541 A JP2020207541 A JP 2020207541A JP 2020207541 A JP2020207541 A JP 2020207541A JP 2022094582 A JP2022094582 A JP 2022094582A
- Authority
- JP
- Japan
- Prior art keywords
- acoustic signal
- sound field
- reverberation
- reverberation characteristic
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 title abstract description 12
- 238000003786 synthesis reaction Methods 0.000 title abstract description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000001308 synthesis method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 4
- 230000001629 suppression Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000007423 decrease Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 235000006679 Mentha X verticillata Nutrition 0.000 description 1
- 235000002899 Mentha suaveolens Nutrition 0.000 description 1
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
大気中での音の速度を約340m/sとすると、5m離れた相手に音が届くには、15msの遅延が発生する。現実的に、この程度の遅延であれば、人間は問題なく合奏をすることができる。一方で、音の遅延が大きくなるほど、合奏が難しくなる。
非特許文献1に記載の技術は、ネットワーク接続時に接続コンディションを計測し、音声データのバッファサイズをできる限り小さくすることによって、遅延を小さくしている。接続後も、音声データの遅延幅を常に監視し、自動的に音声データを補正し、ネットワークの揺らぎを吸収する。これによって、ネットワークを介した音楽合奏環境を提供している。
ここで、本願の発明者らは、異なる音場で収音された音響信号について、各音場の残響特性の相違が、臨場感の低下につながっているのではないか、と考えた。
このように、異なる音場で収音された音響信号について、各音場の残響特性の相違が、臨場感の低下につながっていると考えられる。
所定残響特性hxを記憶する残響特性記憶手段と、
各音場の録音音響信号yn(=原音響信号xn*録音音場残響特性hn)について、録音音場残響特性hnが所定残響特性hxに一致するように、残響特性を整合する残響特性整合手段と、
整合された複数の音響信号y'nを、合成音響信号y'として合成する音響信号合成手段と
を有することを特徴とする。
所定残響特性hxは、
予め決定された残響特性、
複数の音場における録音音場残響特性における残響時間の中央値を持つ残響特性、又は、
複数の音場におけるいずれか1つの録音音場残響特性に設定した残響特性
とすることも好ましい。
残響特性は、
各音場で予め計測又は予測された残響特性であり、
インパルス信号をスピーカから発生させ、マイクによって録音した音響信号について、時間経過に対する振幅変位である、又は、
インパルス信号を時間軸に伸長させ、時間経過と共に周波数を変位させたSS(Swept-Sine)信号をスピーカから発生させ、マイクによって録音した音響信号について、逆フィルタによって抽出された時間経過に対する振幅変位である
ことも好ましい。
残響特性整合手段は、所定残響特性hxと、各音場の録音音場残響特性hnの逆フィルタ残響特性hn-1とを畳み込んだ差分残響特性hx*hn-1を、各音場の音響信号ynに畳み込む(y'n=yn*(x*hn-1))
ことも好ましい。
残響特性記憶手段は、スピーカから再生される音場における再生音場残響特性hmを更に記憶しており、
合成音響信号y'に、再生音場残響特性hmの逆フィルタ残響特性hm-1を畳み込むことによって再生音場音響信号y''(=y'*hm-1)を生成する再生音場音響信号生成手段
を更に有することも好ましい。
残響特性記憶手段は、ユーザ自ら所望する疑似音場残響特性hlを更に記憶しており、
再生音場音響信号y''に、疑似音場残響特性hlを畳み込むと共に、所定残響特性hxの逆フィルタ残響特性hx-1を畳み込むことによって、疑似音場音響信号y'''(=y''*hx-1*hl)を生成する疑似音場音響信号生成手段
を更に有することも好ましい。
複数の音響信号は、オンライン電話システム、ビデオ会議システム、Web会議システム、又は、リモートセッションシステムに基づくものである
ことも好ましい。
各音場に配置された複数の他の端末から受信した録音音響信号ynを同時に受信し、
各音場の端末から受信した録音音響信号ynを合成し、合成音響信号y'をスピーカから再生する
ことを特徴とする。
サーバは、各音場の端末から受信した録音音響信号ynを合成し、合成音響信号y'を任意の音場の端末へ送信する
ことを特徴とする。
所定残響特性hxを記憶する残響特性記憶手段と、
各音場の録音音響信号yn(=原音響信号xn*録音音場残響特性hn)について、録音音場残響特性hnが所定残響特性hxに一致するように、残響特性を整合する残響特性整合手段と、
整合された複数の音響信号y'nを、合成音響信号y'として合成する音響信号合成手段としてコンピュータを機能させることを特徴とする。
装置は、
所定残響特性hxを記憶しており、
各音場の録音音響信号yn(=原音響信号xn*録音音場残響特性hn)について、録音音場残響特性hnが所定残響特性hxに一致するように、残響特性を整合する第1のステップと、
整合された複数の音響信号y'nを、合成音響信号y'として合成する第2のステップと
を実行することを特徴とする。
これら端末は、自らの拠点の音響信号をマイクで収音し、その録音音響信号をネットワークを介して相手方端末へ送信する。これと同時に、自らの拠点の映像をカメラで取得し、その映像信号も相手方端末へ送信することもできる。
一方で、複数の端末から録音音響信号を受信した端末は、それら録音音響信号を合成し、スピーカから再生する。これと同時に、映像信号も受信した場合、アプリケーションによってディスプレイに各拠点の映像を映し出す。
サーバは、各音場に配置された複数の端末に対して、ネットワークを介して音響信号及び映像信号を同時に送受信するものである。サーバは、各音場の端末から受信した録音音響信号ynを合成し、その合成音響信号y'を任意の音場の端末へ送信する。
この場合、マイクには、ギターの原音響信号xnに、録音音場の残響特性hnが畳み込まれた録音音響信号ynが収音されることとなる。
録音音響信号yn=原音響信号xn*録音音場残響特性hn
*:畳み込み演算
勿論、録音音響信号ynは、演奏者自らの耳(聴覚)に入る音響信号と同じものである。
また、録音音場残響特性hnは、一般的にインパルス応答に基づくものである。
図5は、本発明におけるフローチャートである。
音響信号合成装置としての端末1は、残響特性記憶部10と、残響特性整合部11と、音響信号合成部12と、再生音場音響信号生成部13と、疑似音場音響信号生成部14と、音響信号再生部15と、映像再生部16と、メディア分離部17とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら機能構成部の処理の流れは、音響信号合成方法としても理解できる。
残響特性記憶部10は、所定残響特性hxを記憶するものである。
「残響特性」とは、部屋の形状や壁の材質などに由来する残響時間や周波数の変化を含めた音響変化をいう。部屋に残響が存在する環境下で、マイクから離れた音源からの音を収音する場合、音源からの直接音に加えて残響も一緒に収音され音が変形する。その拠点毎の残響特性に応じて、人間の聴覚的には異なる音響信号として聞こえる。
尚、収音された音響信号から残響特性を除去/抑圧するために、他の技術を適用することもできる(例えば非特許文献4参照)。
・「初期残響時間」 :残響減衰の初期10dB部分の減衰傾斜に基づく残響時間
・「時間重心」 :主観的に感じられる響きの量
・「Clarity」 :直接音と残響音とのエネルギー比[対数]で表される
音の明瞭度
・「直接音全エネルギー比」:直接音と全体(直接音+残響音)とのエネルギー比で
表される主にスピーチの明瞭度
・「初期側方反射音と直接音のエネルギー比」
・「初期側方反射音+後続反射音と直接音のエネルギー比」
・「両耳相互相関係数」
・「ダミーヘッド録音」
(1)予め決定された残響特性
(2)複数の音場における録音音場残響特性における残響時間の中央値を持つ残響特性
(3)複数の音場におけるいずれか1つの録音音場残響特性に設定した残響特性
所定残響特性hxを、いずれの残響特性にするかは、オペレータ又はユーザによって設定される。
残響特性整合部11は、各音場の録音音響信号ynについて、録音音場残響特性hnが所定残響特性hxに一致(統一化又は均質化)するように、残響特性を整合する。
整合された各音場の音響信号は、音響信号合成部12へ出力される。
具体的には、残響特性整合部11は、所定残響特性hxと、各音場の録音音場残響特性hnの逆フィルタ残響特性hn-1とを畳み込んだ差分残響特性hx*hn-1を、各音場の音響信号ynに畳み込む。
y'n=yn*(hx*hn-1)
=(xn*hn)*(hx*hn-1)
=xn*hx
逆フィルタとしては、例えばMINT法が一般的に用いられている。これは、部屋を入出力の線形システムでモデル化し、逆フィルタが安定となる条件を導き出し、その安定な逆フィルタによって残響特性を除去する。
y1=x1*h1 -> y'1=y1*(hx*h1-1)
=(x1*h1)*(hx*h1-1)
=x1*hx
y2=x2*h2 -> y'2=y2*(hx*h2-1)
=(x2*h2)*(hx*h2-1)
=x2*hx
y3=x3*h3 -> y'3=y3*(hx*h3-1)
=(x3*h3)*(hx*h3-1)
=x3*hx
音響信号合成部12は、整合された複数の音響信号y'nを、合成音響信号y'として合成する。複数の音響信号y'nは全て、所定残響特性hxに統一化されているので、合成音響信号y'も、所定残響特性hxに統一化されている。
そして、合成音響信号y'は、再生音場音響信号生成部13へ出力される。
y'=y'1+y'2+y'3
=(y1*hx)+(y2*hx)+(y3*hx)
=(y1+y2+y3)*hx
残響特性記憶部10は、スピーカから再生される音場における再生音場残響特性hmを更に記憶している。再生音場とは、例えば音楽合奏を試聴するユーザの自室である場合もれば、音楽合奏の演奏家それぞれの室内の場合もある。
ここで、再生音場音響信号生成部13は、合成音響信号y'に、再生音場残響特性hmの逆フィルタ残響特性hm-1を畳み込むことによって再生音場音響信号y''(=y'*hm-1)を生成する。
y''=y'*hm=((y1+y2+y3)*hx)*hm
そこで、更に、再生音場残響特性hmの逆フィルタ残響特性hm-1を畳み込むことによって再生音場音響信号y''(=y'*hm-1)を生成する。
y''=(y'*hm)*hm-1
=((y1+y2+y3)*hx)*hm*hm-1
=(y1+y2+y3)*hx
残響特性記憶部10は、ユーザ自ら所望する疑似音場残響特性hlを更に記憶している。疑似音場とは、例えばコンサートホールや野外ステージのような自室とは異なる、ユーザ所望の室内を意味する。
疑似音場残響特性hlを、いずれの残響特性にするかは、オペレータ又はユーザによって設定される。
最終的に生成された疑似音場音響信号y'''は、音響信号再生部16へ出力される。
y'''=((y1+y2+y3)*hx)*hl
ここでは、所定残響特性hxと疑似音場残響特性hlとが混在してしている。
そのために、所定残響特性hxの逆フィルタ残響特性hx-1を畳み込む。
y'''=((y1+y2+y3)*hx)*hl*hx-1
音響信号再生部15は、疑似音場音響信号生成部14から出力された音響信号を、スピーカから再生する。
勿論、音響信号再生部15は、音響信号合成部12又は再生音場音響信号生成部13から出力された音響信号を、スピーカから再生するものであってもよい。いずれの音響信号であっても、残響特性hが統一化(均質化されている。)
尚、スピーカは、サラウンドシステムに基づくものであってもよい。
10 残響特性記憶部
11 残響特性整合部
12 音響信号合成部
13 再生音場音響信号生成部
14 疑似音場音響信号生成部
15 音響信号再生部
16 映像再生部
17 メディア分離部
Claims (11)
- 異なる音場で収音された複数の録音音響信号yを合成する音響信号合成装置において、
所定残響特性hxを記憶する残響特性記憶手段と、
各音場の録音音響信号yn(=原音響信号xn*録音音場残響特性hn)について、録音音場残響特性hnが所定残響特性hxに一致するように、残響特性を整合する残響特性整合手段と、
整合された複数の音響信号y'nを、合成音響信号y'として合成する音響信号合成手段と
を有することを特徴とする音響信号合成装置。 - 所定残響特性hxは、
予め決定された残響特性、
複数の音場における録音音場残響特性における残響時間の中央値を持つ残響特性、又は、
複数の音場におけるいずれか1つの録音音場残響特性に設定した残響特性
とすることを特徴とする請求項1に記載の音響信号合成装置。 - 残響特性は、
各音場で予め計測又は予測された残響特性であり、
インパルス信号をスピーカから発生させ、マイクによって録音した音響信号について、時間経過に対する振幅変位である、又は、
インパルス信号を時間軸に伸長させ、時間経過と共に周波数を変位させたSS(Swept-Sine)信号をスピーカから発生させ、マイクによって録音した音響信号について、逆フィルタによって抽出された時間経過に対する振幅変位である
ことを特徴とする請求項2に記載の音響信号合成装置。 - 残響特性整合手段は、所定残響特性hxと、各音場の録音音場残響特性hnの逆フィルタ残響特性hn-1とを畳み込んだ差分残響特性hx*hn-1を、各音場の音響信号ynに畳み込む(y'n=yn*(x*hn-1))
ことを特徴とする請求項1から3のいずれか1項に記載の音響信号合成装置。 - 残響特性記憶手段は、スピーカから再生される音場における再生音場残響特性hmを更に記憶しており、
合成音響信号y'に、再生音場残響特性hmの逆フィルタ残響特性hm-1を畳み込むことによって再生音場音響信号y''(=y'*hm-1)を生成する再生音場音響信号生成手段
を更に有することを特徴とする請求項1から4のいずれか1項に記載の音響信号合成装置。 - 残響特性記憶手段は、ユーザ自ら所望する疑似音場残響特性hlを更に記憶しており、
再生音場音響信号y''に、疑似音場残響特性hlを畳み込むと共に、所定残響特性hxの逆フィルタ残響特性hx-1を畳み込むことによって、疑似音場音響信号y'''(=y''*hx-1*hl)を生成する疑似音場音響信号生成手段
を更に有することを特徴とする請求項5に記載の音響信号合成装置。 - 複数の音響信号は、オンライン電話システム、ビデオ会議システム、Web会議システム、又は、リモートセッションシステムに基づくものである
ことを特徴とする請求項1から6のいずれか1項に記載の音響信号合成装置。 - 請求項1から7のいずれか1項に記載された音響信号合成装置としての端末であって、
各音場に配置された複数の他の端末から受信した録音音響信号ynを同時に受信し、
各音場の端末から受信した録音音響信号ynを合成し、合成音響信号y'をスピーカから再生する
ことを特徴とする端末。 - 請求項1から7のいずれか1項に記載された音響信号合成装置としてのサーバと、各音場に配置された複数の端末とが、ネットワークを介して録音音響信号ynを同時に送受信するシステムであって、
サーバは、各音場の端末から受信した録音音響信号ynを合成し、合成音響信号y'を任意の音場の端末へ送信する
ことを特徴とするシステム。 - 異なる音場で収音された複数の録音音響信号yを合成するようにコンピュータを機能させるプログラムにおいて、
所定残響特性hxを記憶する残響特性記憶手段と、
各音場の録音音響信号yn(=原音響信号xn*録音音場残響特性hn)について、録音音場残響特性hnが所定残響特性hxに一致するように、残響特性を整合する残響特性整合手段と、
整合された複数の音響信号y'nを、合成音響信号y'として合成する音響信号合成手段としてコンピュータを機能させることを特徴とするプログラム。 - 異なる音場で収音された複数の録音音響信号yを合成する装置の音響信号合成方法において、
装置は、
所定残響特性hxを記憶しており、
各音場の録音音響信号yn(=原音響信号xn*録音音場残響特性hn)について、録音音場残響特性hnが所定残響特性hxに一致するように、残響特性を整合する第1のステップと、
整合された複数の音響信号y'nを、合成音響信号y'として合成する第2のステップと
を実行することを特徴とする音響信号合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020207541A JP7403436B2 (ja) | 2020-12-15 | 2020-12-15 | 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020207541A JP7403436B2 (ja) | 2020-12-15 | 2020-12-15 | 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022094582A true JP2022094582A (ja) | 2022-06-27 |
JP7403436B2 JP7403436B2 (ja) | 2023-12-22 |
Family
ID=82162435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020207541A Active JP7403436B2 (ja) | 2020-12-15 | 2020-12-15 | 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7403436B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003122378A (ja) | 2001-10-15 | 2003-04-25 | Sony Corp | オーディオ再生装置 |
JP7065801B2 (ja) | 2019-03-06 | 2022-05-12 | Kddi株式会社 | 音響信号の合成装置及びプログラム |
-
2020
- 2020-12-15 JP JP2020207541A patent/JP7403436B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7403436B2 (ja) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | On the importance of power compression and phase estimation in monaural speech dereverberation | |
JP6281493B2 (ja) | 信号処理装置、信号処理方法、測定方法、測定装置 | |
Coleman et al. | Object-based reverberation for spatial audio | |
JP6361809B2 (ja) | 信号処理装置、信号処理方法 | |
Pelegrín-García et al. | Measurement and prediction of voice support and room gain in school classrooms | |
JPWO2019216414A1 (ja) | 音響装置 | |
Reilly et al. | Convolution processing for realistic reverberation | |
Lubin | Getting great sounds: The microphone book | |
JP7403436B2 (ja) | 異なる音場の複数の録音音響信号を合成する音響信号合成装置、プログラム及び方法 | |
WO2022209171A1 (ja) | 信号処理装置、信号処理方法およびプログラム | |
Grazioli et al. | Preliminary evaluation of a sound system employing a cancelling auralizer for producing virtual rooms in a modern recording studio | |
Dutilleux et al. | AML: Architecture and Music Laboratory. A museum installation | |
Li et al. | Spatial sound rendering using measured room impulse responses | |
US20230005464A1 (en) | Live data distribution method, live data distribution system, and live data distribution apparatus | |
US20230007421A1 (en) | Live data distribution method, live data distribution system, and live data distribution apparatus | |
US10812902B1 (en) | System and method for augmenting an acoustic space | |
EP1424685A1 (en) | Method for generating speech data corpus | |
US11501745B1 (en) | Musical instrument pickup signal processing system | |
Brereton et al. | The Virtual Singing Studio: A loudspeaker-based room acoustics simulation for real-time musical performance | |
WO2022230450A1 (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
Woszczyk et al. | Convolution-based virtual concert hall acoustics using aural segmentation and selection of multichannel impulse responses | |
JP2012094945A (ja) | 音声通信システム、及び、音声通信装置 | |
Callery et al. | Synthesizing reverberation impulse responses from audio signals: Auto-reverberation and interactive environments | |
Gelen | Convolution An Approach For Pre-auralization Of A Performance Space | |
Logan | Recording the Classical Guitar: A Documentation and Sound Analysis of Great Classical Guitar Recordings with a Guide for Sonic Emulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7403436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |