JP6482880B2 - ミキシング装置、信号ミキシング方法、及びミキシングプログラム - Google Patents
ミキシング装置、信号ミキシング方法、及びミキシングプログラム Download PDFInfo
- Publication number
- JP6482880B2 JP6482880B2 JP2015007380A JP2015007380A JP6482880B2 JP 6482880 B2 JP6482880 B2 JP 6482880B2 JP 2015007380 A JP2015007380 A JP 2015007380A JP 2015007380 A JP2015007380 A JP 2015007380A JP 6482880 B2 JP6482880 B2 JP 6482880B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- gain
- power
- sound
- mixing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Amplifiers (AREA)
Description
(1)出力信号の対数強度を入力信号の対数強度の和を超えない範囲に限定する。これを「対数強度の和の原理」と称する。「対数強度の和の原理」によって、優先音が増強されすぎて混合音に違和感が生じることを抑制する。
(2)非優先音のパワーの減少を、優先音のパワー増加分を超えない範囲に制限する。これを「穴埋めの原理」と称する。「穴埋めの原理」によって、混合音において非優先音が抑制されすぎて違和感が生じることを抑制する。
時間領域の第1入力信号と第2入力信号をそれぞれ時間周波数平面上の第1信号と第2信号に展開する周波数解析部と、
前記第1信号と前記第2信号を混合した混合信号を生成する信号処理部と、
前記混合信号を時間領域の信号に変換する周波数時間変換部と、
前記変換された信号を出力する信号出力部と、
を有し、
前記信号処理部は、
前記時間周波数平面の各点ごとに、出力信号の対数強度が前記第1信号の対数強度と前記第2信号の対数強度の和を超えない範囲内で前記第1信号のパワーを調整する第1ゲインと、前記第1信号のパワーの増加分を超えない範囲内で前記第2信号のパワーを減少させる第2ゲインとを決定するゲイン決定部と、
前記第1ゲインで調整された前記第1信号と前記第2ゲインで調整された前記第2信号を加算する加算部と、
を有する。
(3)ゲイン決定に際して、(a)対数強度の和の原理により決定されるパワーの増加率に対して、入力音の単純加算値を一定倍したレベルを超えないように上限を設ける、(b)優先音のゲインに固定的な上限を設ける、(c)非優先音のゲインに固定的な下限を設ける、という3つの条件のうちの少なくとも1つを加える。これにより、混合音をさらに自然で穏やかにすることができる。
(4)極端に信号対雑音比が低下している時間区間では、上記(3)の上限や下限を緩和する。これにより、信号対雑音比が低い時間区間でも優先音を目立たせてリスナーにとって聴き取りやすい音にする。
(5)ミキシング処理におけるパラメータは、最適化問題の解として算出するのではなく逐次更新するように構成する。逐次更新の採用によって、「方程式を解く」ことを「不等式の真偽の判定」に置き換えることができ、指数関数、対数関数、乗算などの演算を排除して、乗算と加減算だけの高速アルゴリズムを構成することができる。これにより、FPGA(Field-programmable gate array)等のプログラマブルロジックデバイスへの実装や、DAW(digital audio workstation)用のプラグインとしての実装が容易になり、リアルタイム処理が実現する。
図3は、時間周波数平面のある時刻における優先音(太線)と非優先音(実線)のパワー[dB]を周波数の関数として模式的に示したものである。このパワーは、信号処理部15で平滑化されたパワー値Eである。点線は、このレベル以上であればリスナーが音を検知できる聴力限界を示す。
<追加条件>
対数強度の和の原理で求められる混合音は場合によって音量が強くなりすぎるという問題を解決するために、処理(3)の3つの条件(a)〜(c)の少なくともひとつを追加する。
<穴埋めの原理>
図8は、図7の信号加算の上限の範囲内でのゲインの設定を示す図である。優先音の聴き取りを向上させるためには、時間周波数平面上の必要な部分において、非優先音を抑制する必要がある。抑制量は多ければ多いほどよいというものではない。非優先音を無条件に抑制してしまうと、非優先音の音量変化が刺激的になりすぎて、違和感が増すだけでなく、優先音の聴き取りが妨害され得るからである。したがって、非優先音の抑制に対しても合理的な基準が必要になる。
<短時間FFT>
次に、周波数解析部12の処理の詳細を説明する。実施形態では、周波数解析部12はFFT点数として256程度の短時間FFTを実施する。この短時間FFTは、一次元の入力信号を、2次元の時間周波数(tf)平面上に展開する処理である。
次に、信号処理部15による平滑化パワーの計算を説明する。パワーの平滑化に先立って、時間周波数領域の信号Xj[i,k]の絶対値の2乗(|Xj[i,k]|2)を計算し、これを平滑化する。平滑化として、たとえば式(8)で示される指数平滑化を用いる。指数平滑化法は、計算量と必要なメモリ量が少ないので、FPGA化に適している。
<最小可聴パワーの計算>
入力信号のミキシングには、時間周波数平面上での各点の成分について、それが聴こえる成分なのか、聴こえない成分なのかを判定する必要がある。そのために、それぞれの音源jの各周波数ビンkについて、その成分が可聴であるための最小のパワーA[k]を定義する。
<聴感補正パワーの計算>
ゲインを決定するための聴感補正パワーの計算について説明する。聴感補正パワーの計算は図4の処理に該当する。平滑化後のパワーEj[i,k]を最小可聴パワーA[k]で除算した結果が1より大きければ可聴であり、その可聴のレベルは、Ej[i,k]/A[k]で表現される。たとえば、Ej[i,k]/A[k]=100であれば、最小可聴の音に比べて100倍のパワーを持っている。
<時区間の属性判定計算>
信号処理部15は、ミキシング処理を行う際に各時間区間において、有音判定、低SNR(Signal to Noise Ratio:信号対雑音比)判定、及びブースト判定を行う。これらの判定は、上述した処理(4)と関連する。
ゲインの生成は実施形態のミキシング処理の核心である。優先音のためのゲインα1[i,k]と、非優先音のためのゲインα2[i,k]を生成する。ミキシング装置1の動作開始時は、両ゲインを1に初期化しておく。すべてのkについて、α1[0,k]=α2[0,k]=1である。
(A)ゲイン調整信号の聴感補正パワーの計算
もし、ゲインの増減を行わず、ひとつ前のフレームのゲインαj[i−1,k]をそのまま用いた場合、すなわち、αj[i,k]=αj[i−1,k]とした場合、音源jに関する優先音と非優先音の聴感補正パワーは、それぞれ式(21)と式(22)で表される。
次に、ゲイン調整する帯域の制限について説明する。0Hzに相当する周波数ビンの信号ゲインを操作すると、音の自然感が損なわれる場合がある。また、高い周波数の信号ゲインを操作すると、聴き取り易さ向上のメリットよりも耳障りな音の付加というデメリットが大きくなる場合がある。
k1L=rd(NFf1L/Fs)
k1H=rd(NFf1H/Fs)
である。ここで、「rd()」は最も近い整数への丸め関数(四捨五入関数)を意味する。
(C)α1を増加するための条件
α1の増加、すなわちα1[i,k]=(1+Δ1)×α1[i−1,k]の演算を行うのは、式(28)〜(32)の条件がすべて満たされるときである。
(D) α1を減少するための条件
α1の減少、すなわちα1[i,k]=(1+Δ1)−1×α1[i−1,k]の演算を行うのは、式(33)〜(37)のいずれかが成り立ち、かつ式(38)が成り立つときである。
(E)α2を減少するための条件
α2の減少、すなわちα2[i,k]=α2[i−1,k]−Δ2の演算を行うのは、式(39)と式(40)の双方が満たされる場合である。
(F)α2を増加するための条件
α2の増加、すなわちα2[i,k]=α2[i−1,k]+Δ2の演算を行うのは、式(41)と式(42)の双方が満たされる場合である。
<動作例>
図10は、実施形態のミキシング装置1の動作例を示す図である。2つの音源セット(セット1、セット2)を用意し、各音源セットで音声を優先音とし、楽器音を非優先音とした。図10(A)はブーストが効いていない場合の例、図10(B)はブーストが効いている場合の例であり、ともに音源セット1を対象にしたものである。上述のように、優先音が有音であって、かつ低SNRのときにブースト処理が行われる。図10(A)と図10(B)はともに、修正前の各種変量をプロットしている。
<発展例1>
発展例1として、ゲインの平滑化による改良例を示す。上述した方法で、2つの音源セットのいずれに対しても良好な結果を得ることができたが、入力のSNRが低い部分で混合音がやや聴き取りにくくなることがわかった。
<発展例2>
上述した実施形態では、演算量を低減するために、方程式を解くのではなく、不等式の真偽判定による逐次更新を行っている(処理(5))。特に、FPGAの実装に際しては、極力処理を簡略化したい。そこで、70 phonと20 phonのラウドネス曲線を信号処理部15にセットして、式(10)〜(12)により順次CLp[k]、A[k]、B[k]を導出する方法に替えて、最初からB[k]を与える。たとえば出荷時に補正係数B[k](最小可聴パワーA[i]の逆数)を定数テーブルとして与えておく。動作中に一時的に合理性を無視しても特に強い優先感を与えたくなったりしたなどの場合、B[k]に強制的に任意の値を代入して自由に好みの特性を持たせることも可能である。
<処理フロー>
図13A及び図13Bは、ミキシング装置1の信号処理部15のゲイン決定部151で実行されるゲイン決定の処理の一例を示すフローである。この処理フローは、ゲインαを平滑化してゲインβを生成する発展例1に対応する。
11 信号入力部
12 周波数解析部
15 信号処理部
16 周波数時間変換部
17 信号出力部
151 ゲイン決定部
Claims (9)
- 時間領域の第1入力信号と第2入力信号をそれぞれ時間周波数平面上の第1信号と第2信号に展開する周波数解析部と、
前記第1信号と前記第2信号を混合した混合信号を生成する信号処理部と、
前記混合信号を時間領域の信号に変換する周波数時間変換部と、
前記変換された信号を出力する信号出力部と、
を有し、
前記信号処理部は、
前記時間周波数平面の各点ごとに、出力信号の対数強度が前記第1信号の対数強度と前記第2信号の対数強度の和を超えないという条件で決定されるゲインであって、前記第1信号のパワーを第1の方向に調整する第1ゲインと、前記第1信号のパワーの調整分を超えないという条件で決定されるゲインであって、前記第2信号のパワーを前記第1の方向と逆の第2の方向に変化させる第2ゲインとを決定するゲイン決定部と、
前記第1ゲインで調整された前記第1信号と前記第2ゲインで調整された前記第2信号を加算する加算部と、
を有することを特徴とするミキシング装置。 - 前記ゲイン決定部は、(a)前記第1信号と前記第2信号を単純加算したパワーの一定倍を超えないように前記第1ゲインの調整に第1上限を設定する、(b)前記第1ゲインに固定的な第2上限を設ける、または(c)前記第2ゲインに固定的な下限を設ける、の少なくとも1つの条件を追加し、前記追加された条件を満たす範囲で前記第1ゲインと前記第2ゲインを決定することを特徴とする請求項1に記載のミキシング装置。
- 前記ゲイン決定部は、前記第2信号のパワーに対する前記第1信号のパワーの比率が所定の比率以下である場合に、前記少なくとも1つの条件を緩和することを特徴とする請求項2に記載のミキシング装置。
- 前記ゲイン決定部は、前記第1信号のパワーと前記第2信号のパワーを、それぞれ聴力限界レベルを基準とする第1聴感補正パワーと第2聴感補正パワーに補正し、前記出力信号の対数強度が、前記第1聴感補正パワーの対数強度と前記第2聴感補正パワーの対数強度の和を超えない範囲で前記第1ゲイン及び前記第2ゲインを決定することを特徴とする請求項1に記載のミキシング装置。
- 前記ゲイン決定部は、前記第1ゲインを平滑化した第3ゲインと、前記第2ゲインを平滑化した第4ゲインを生成し、
前記加算部は、前記第3ゲインで調整された前記第1信号と、前記第4ゲインで調整された前記第2信号を加算することを特徴とする請求項1に記載のミキシング装置。 - 前記ゲイン決定部は、前記第1ゲインと前記第2ゲインを前記時間周波数平面上の各点について逐次更新することを特徴とする、請求項1〜5のいずれか1項に記載のミキシング装置。
- 前記第1入力信号はミキシング処理で優先的に明瞭化される優先音であり、前記第2入力信号は前記優先音以外の非優先音であることを特徴とする請求項1〜6のいずれか1項に記載のミキシング装置。
- 時間領域の第1入力信号と第2入力信号を受け取り、
前記第1入力信号と前記第2入力信号を、それぞれ時間周波数平面上の第1信号と第2信号に展開し、
前記時間周波数平面の各点ごとに、出力信号の対数強度が前記第1信号の対数強度と前記第2信号の対数強度の和を超えないという条件で決定されるゲインであって、前記第1信号のパワーを第1の方向に調整する第1ゲインと、前記第1信号のパワーの調整分を超えないという条件で決定されるゲインであって、前記第2信号のパワーを前記第1の方向と逆の第2の方向に変化させる第2ゲインとを決定し、
前記第1信号を前記第1ゲインで乗算した第1乗算結果と、前記第2信号を前記第2ゲインで乗算した第2乗算結果を加算して混合信号を生成し、
前記混合信号を時間領域の信号に変換して出力する、
ことを特徴とする信号ミキシング方法。 - 信号ミキシング処理をコンピュータに実行させるミキシングプログラムであって、前記コンピュータに、
時間領域の第1入力信号と第2入力信号を受け取らせる手順と、
前記第1入力信号と前記第2入力信号を、それぞれ時間周波数平面上の第1信号と第2信号に展開させる手順と、
前記時間周波数平面の各点ごとに、出力信号の対数強度が前記第1信号の対数強度と前記第2信号の対数強度の和を超えないという条件で決定されるゲインであって、前記第1信号のパワーを第1の方向に調整する第1ゲインと、前記第1信号のパワーの調整分を超えないという条件で決定されるゲインであって、前記第2信号のパワーを前記第1の方向と逆の第2の方向に変化させる第2ゲインとを決定させる手順と、
前記第1信号を前記第1ゲインで乗算した第1乗算結果と、前記第2信号を前記第2ゲインで乗算した第2乗算結果を加算して混合信号を生成させる手順と、
前記混合信号を時間領域の信号に変換して出力させる手順と、
を実行させることを特徴とするミキシングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015007380A JP6482880B2 (ja) | 2015-01-19 | 2015-01-19 | ミキシング装置、信号ミキシング方法、及びミキシングプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015007380A JP6482880B2 (ja) | 2015-01-19 | 2015-01-19 | ミキシング装置、信号ミキシング方法、及びミキシングプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016134706A JP2016134706A (ja) | 2016-07-25 |
JP6482880B2 true JP6482880B2 (ja) | 2019-03-13 |
Family
ID=56434636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015007380A Active JP6482880B2 (ja) | 2015-01-19 | 2015-01-19 | ミキシング装置、信号ミキシング方法、及びミキシングプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6482880B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3783912B1 (en) * | 2018-04-17 | 2023-08-23 | The University of Electro-Communications | Mixing device, mixing method, and mixing program |
EP3783913A4 (en) * | 2018-04-19 | 2021-06-16 | The University of Electro-Communications | MIXING DEVICE, MIXING PROCESS AND MIXING PROGRAM |
WO2019203127A1 (ja) | 2018-04-19 | 2019-10-24 | 国立大学法人電気通信大学 | 情報処理装置、これを用いたミキシング装置、及びレイテンシ減少方法 |
JP7352383B2 (ja) * | 2019-06-04 | 2023-09-28 | フォルシアクラリオン・エレクトロニクス株式会社 | ミキシング処理装置及びミキシング処理方法 |
CN113643719A (zh) * | 2021-08-26 | 2021-11-12 | Oppo广东移动通信有限公司 | 音频信号处理方法、装置、存储介质及终端设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101120412A (zh) * | 2005-02-14 | 2008-02-06 | 皇家飞利浦电子股份有限公司 | 一种用于将第一音频数据和第二音频数据混合的***和方法、一种程序单元以及一种计算机可读介质 |
JP4237768B2 (ja) * | 2006-02-17 | 2009-03-11 | 株式会社タイトー | 音声処理装置、音声処理プログラム |
JP5057518B2 (ja) * | 2007-12-25 | 2012-10-24 | 日本放送協会 | 聴覚特性模擬装置、ミキシングバランス表示システム及びそれらのプログラム |
US8804984B2 (en) * | 2011-04-18 | 2014-08-12 | Microsoft Corporation | Spectral shaping for audio mixing |
JP5057535B1 (ja) * | 2011-08-31 | 2012-10-24 | 国立大学法人電気通信大学 | ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法 |
-
2015
- 2015-01-19 JP JP2015007380A patent/JP6482880B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016134706A (ja) | 2016-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5057535B1 (ja) | ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法 | |
JP6482880B2 (ja) | ミキシング装置、信号ミキシング方法、及びミキシングプログラム | |
US9280986B2 (en) | Acoustic signal processing device and acoustic signal processing method | |
EP2278707B1 (en) | Dynamic enhancement of audio signals | |
US10242692B2 (en) | Audio coherence enhancement by controlling time variant weighting factors for decorrelated signals | |
JP5453740B2 (ja) | 音声強調装置 | |
US9454956B2 (en) | Sound processing device | |
JP2012235310A (ja) | 信号処理装置および方法、プログラム、並びにデータ記録媒体 | |
JP2013102411A (ja) | 音声信号処理装置、および音声信号処理方法、並びにプログラム | |
CN107331403A (zh) | 一种基于算法的音频优化方法、智能终端及存储装置 | |
JPWO2014129233A1 (ja) | 音声強調装置 | |
JP2007243709A (ja) | 利得調整方法及び利得調整装置 | |
RU2589298C1 (ru) | Способ повышения разборчивости и информативности звуковых сигналов в шумовой обстановке | |
JP2018072723A (ja) | 音響処理方法および音響処理装置 | |
Mu | Perceptual quality improvement and assessment for virtual bass system | |
CN108182947B (zh) | 一种声道混合处理方法及装置 | |
US11380345B2 (en) | Real-time voice timbre style transform | |
US11308975B2 (en) | Mixing device, mixing method, and non-transitory computer-readable recording medium | |
CN117153192B (zh) | 音频增强方法、装置、电子设备和存储介质 | |
JP5745453B2 (ja) | 音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム | |
JP2016050995A (ja) | 音響処理装置 | |
JP2016050994A (ja) | 音響処理装置 | |
JP2016099606A (ja) | 信号処理装置、信号処理方法及びプログラム | |
JP2016148818A (ja) | 信号処理装置 | |
JP2016153820A (ja) | 音声処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6482880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |