JP7314280B2 - パルス処理を使用して周波数拡張オーディオ信号を生成するためのオーディオプロセッサおよび方法 - Google Patents
パルス処理を使用して周波数拡張オーディオ信号を生成するためのオーディオプロセッサおよび方法 Download PDFInfo
- Publication number
- JP7314280B2 JP7314280B2 JP2021536022A JP2021536022A JP7314280B2 JP 7314280 B2 JP7314280 B2 JP 7314280B2 JP 2021536022 A JP2021536022 A JP 2021536022A JP 2021536022 A JP2021536022 A JP 2021536022A JP 7314280 B2 JP7314280 B2 JP 7314280B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- envelope
- audio signal
- temporal
- pulses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims description 79
- 238000000034 method Methods 0.000 title claims description 60
- 238000012545 processing Methods 0.000 title claims description 18
- 230000002123 temporal effect Effects 0.000 claims description 83
- 230000003595 spectral effect Effects 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 238000012805 post-processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 125000000524 functional group Chemical group 0.000 claims 1
- 238000011049 filling Methods 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 229910001369 Brass Inorganic materials 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000541 pulsatile effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
● 高調波のミスマッチ:高調波コンポーネントの配置場所の誤りによる拍動のミスマッチ
● 位相のミスマッチ:音声スピーチまたはブラス信号における鳴音の知覚される喪失につながる、パルス状励起信号の分散
● 調性のミスマッチ:過剰または過小な調性
・ 粗さと拍動のアーチファクトの軽減
・ 信号の調和的な継続
・ パルスの維持
・ 音声BWEとして適格
・ 音楽も扱うことができる。
・ 調性、ピッチ整列、位相に関して自動調整するBWEである。
コアデコーダ20から得られるLF信号がバンドパス信号の集合に分割される(105)。次に、それぞれのバンドパス信号について時間エンベロープが決定される(120)。任意で、個々のエンベロープの正規化またはフィルタ処理が適用されることがある。そのうえで、すべての時間エンベロープが共通のエンベロープに結合される(130)。好ましくは、結合作業は平均化プロセスである。
工程1で導出された共通のエンベロープは、好ましくは極大の位置のための弧長積分の適用によって解析される(205)。得られた極大候補は任意で後選択されるまたは時間距離(210)に対して固定されることがある。ディラックパルスがそれぞれの極大位置におけるHF生成のための推定された「生」信号に配置される(305)。任意で、このプロセスは副情報のサポートを受けることがある。
前の工程2で集められたパルス列が、共通のエンベロープから導出された時間的重みによって加重される(315)。
工程3で生成された「生」信号が任意で、例えばノイズ付加によって後処理され(320)、BWEにおいてHFとして、もしくは間隙充填ターゲットタイル信号として使用するために、フィルタ処理される(325)。
工程4からのフィルタ処理された信号のスペクトルエネルギー分布は、BWEにおいてHFとして、もしくは間隙充填ターゲットタイル信号として使用するために、調整される(330)。ここで、ビットストリームからの所望のエネルギー分布に関する副情報40が使用される。
最後に、工程5からの調整された信号が、通常のBWEまたは間隙充填原則に従って、すなわちHPフィルタを通してLFを補足すること、あるいは間隙充填スペクトル領域におけるスペクトルホールを充填することによって、コアコーダ出力30とミックスされる(400)。
以上Cを挿入のこと
修正;例えば関数x^0.75を使用した圧縮;そのうえでの、エンベロープのLFエンベロープおよびHFエンベロープへの分割160。LFエンベロープはローパスフィルタ処理を通じて得られ、その時クロスオーバー周波数は例えば2~6kHzである。ある実施態様においては、HFエンベロープは元のエンベロープと、好ましくは遅延調整されたLFエンベロープとの差分である。
上記工程で導出されたLFエンベロープは、例えば弧長積分によって解析され、LFエンベロープの極値の位置にパルス配置が行われる。
上記工程において集められたパルス列が、LFエンベロープから導出された時間的重みによって加重される。
上記の工程においてブロック335の出力に生成された「生」信号は、例えばノイズ付加によって任意で後処理(320)され、BWEにおいてHFとして使用するため、または間隙充填ターゲットタイル信号として使用するためにフィルタ処理(325)される。
上記の工程に説明されるエネルギー推定からのフィルタ済み信号のスペクトルエネルギー分布は、BWEにおいてHFとして使用するため、または間隙充填ターゲットタイル信号として使用するために調整される。ここで、所望のエネルギー分布に関するビットストリームからの情報が好ましくは使用される。
最後に、工程5の調整された信号は通常のBWWまたは間隙充填原則に従って、すなわちHPフィルタを通し、LFを補完すること、または間隙充填スペクトル領域におけるスペクトルホールを充填することによってコアコーダ出力とミックスされる。
[1] Dietz, M., Liljeryd, L., Kjoerling, K., and Kunz, 0., "Spectral Band Replication, a Novel Approach in Audio Coding," in Audio Engineering Society Convention 112, 2002.
[2] Disch, S., Niedermeier, A., Helmrich, C. R., Neukam, C., Schmidt, K., Geiger, R., Lecomte, J., Ghido, F., Nagel, F., and Edler, B., "Intelligent Gap Filling in Perceptual Transform Coding of Audio," in Audio Engineering Society Convention 141, 2016.
[3] Laitinen M-V., Disch S., Oates C., Pulkki V. "Phase derivative correction of bandwidth extended signals for perceptual audio codecs." In 140th Audio Engineering Society International Convention 2016, AES 2016. Audio Engineering Society. 2016.
[4] Atti, Venkatraman, Venkatesh Krishnan, Duminda A. Dewasurendra, Venkata Chebiyyam, Shaminda Subasingha, Daniel J. Sinder, Vivek Rajendran, Imre Varga, Jon Gibbs, Lei Miao, Volodya Grancharov and Harald Pobloth. "Super-wideband bandwidth extension for speech in the 3GPP EVS codec." 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (2015): 5927-5931.
Claims (20)
- ソースオーディオ信号(30)から周波数拡張オーディオ信号(420)を生成するためのオーディオプロセッサであって、
前記ソースオーディオ信号の少なくとも一部分の時間エンベロープを決定するためのエンベロープ決定器(100)と、
前記時間エンベロープを解析して前記時間エンベロープの所定の特徴の時間値を決定するための解析器(200)と、
合成信号を生成するための信号合成器(300)であって、前記合成信号の生成には、決定された前記時間値に関連してのパルスの配置を含み、前記パルスは、前記パルスが配置されている、前記時間値に関連する前記時間エンベロープの振幅から導出される重みを使用して加重される、信号合成器(300)と、
前記ソースオーディオ信号に含まれていない前記合成信号の少なくとも1つの帯域と前記ソースオーディオ信号とを結合して前記周波数拡張オーディオ信号(420)を得るための結合器(400)と、
を備える、オーディオプロセッサ。 - 前記解析器(200)は極大または極小の前記時間値を前記所定の特徴として決定するように構成される、請求項1に記載のオーディオプロセッサ。
- 前記エンベロープ決定器(100)は、
前記ソースオーディオ信号を複数のサブバンド信号に分解(105)し、
前記複数のサブバンド信号のうちの選択されたサブバンド信号の選択された時間エンベロープを計算(120)し、ここで前記選択された時間エンベロープは前記時間エンベロープである、または、
前記複数のサブバンド信号のうちの少なくとも2つのサブバンド信号から少なくとも2つの時間エンベロープを計算(120)し、前記少なくとも2つのサブバンド信号を結合(130)して、前記時間エンベロープとしての結合時間エンベロープを得る
ように構成される、請求項1または請求項2に記載のオーディオプロセッサ。 - 前記エンベロープ決定器(100)は、結合(130)する前に前記選択されたサブバンド信号または前記時間エンベロープを正規化(115、125)またはフィルタ処理するように構成される、または、
前記結合は平均化プロセスを含む、または
前記エンベロープ決定器(100)は、前記複数のサブバンド信号のうちの全てのサブバンド信号から時間エンベロープを計算するように構成される、または、
前記エンベロープ決定器(100)は、前記ソースオーディオ信号の単一のブロードバンド時間エンベロープを前記時間エンベロープとして決定するように構成される、
請求項3に記載のオーディオプロセッサ。 - 前記エンベロープ決定器(100)は、前記時間エンベロープを、
波形を修正(145)し、修正された前記波形をローパスフィルタ処理(150)するように構成されたエンベロープフォロワーを使用して、または、
デジタル波形の絶対値または絶対値のべき乗を計算し、そのうえで計算結果をローパスフィルタ処理して、または
規定のウィンドウ幅のスライディングウィンドウを通した前記波形の瞬間的な二乗平均平方根値の計算を使用して、または
波形の区分的線形近似を決定することであって、ここで前記時間エンベロープは、前記区分的線形近似の結果間を移動するスライディングウィンドウ内の前記波形のピークを検出、結合して決定される、波形の区分的線形近似を決定することによって、または、
前記波形のための解析信号を生成するためのヒルベルト変換を使用して、且つ前記ソースオーディオ信号および前記解析信号から平方演算、加算演算および平方根演算を用いて前記時間エンベロープを計算して、
決定するように構成される、請求項1ないし請求項4のいずれかに記載のオーディオプロセッサ。 - 前記解析器(200)は、
前記所定の特徴の初期時間値を決定(205)し、
前記初期時間値から、最適化関数を使用して、または前記ソースオーディオ信号に関連付けられた副情報を使用して、あるいは処理規則に従って付加値を選択または操作して、前記時間値を導出(210)する
ように構成される、請求項1ないし請求項5のいずれかに記載のオーディオプロセッサ。 - 前記処理規則または前記最適化関数は、前記時間値がラスタ内にラスタ間隔(T)をもって配置されるように実装され、前記ラスタ間隔(T)および前記ラスタの前記時間エンベロープ内での位置は、前記時間値と前記初期時間値との偏差値が既定の特性を持つようになっている、請求項6に記載のオーディオプロセッサ。
- 前記偏差値は差分の二乗の和であり、前記既定の特性は最小限の特性である、請求項7に記載のオーディオプロセッサ。
- 前記信号合成器(300)は、
正のパルスのみまたは負のパルスのみを配置(305)してパルス列を取得し、
次いで前記パルス列内の前記パルスを加重(315)、または
パルス列内の前記パルスの前記時間値に関連付けられた対応する重みを使用して、負のパルスのみまたは正のパルスのみを加重し、
加重された前記パルスをそれぞれの前記時間値に配置して前記パルス列を取得する
ように構成される、請求項1ないし請求項8のいずれかに記載のオーディオプロセッサ。 - 前記信号合成器(300)は、圧縮関数を使用して前記振幅から前記重みを導出(310)するように構成され、前記圧縮関数は、
1乗未満のべき関数、対数関数、平方根関数、およびより高い値を低減し、より低い値を増大させるように構成された非線形関数
を含む関数グループからの関数である、請求項1ないし請求項9に記載の装置。 - 前記信号合成器(300)は後処理機能(320)を実行するように構成され、前記後処理機能は、ノイズ付加、欠損した高調波の追加、逆フィルタ処理、およびエンベロープ調整(330)から成る機能グループのうちの少なくとも1つを含む、請求項1ないし請求項10に記載のオーディオプロセッサ。
- 前記エンベロープ決定器(100)は前記時間エンベロープを低周波数部分と高周波数部分に分解(160)するように構成され、
前記解析器(200)は解析のために前記時間エンベロープの前記低周波数部分を使用するように構成される、
請求項1ないし請求項11に記載のオーディオプロセッサ。 - 前記信号合成器(300)は、エネルギー調整済み(180)ノイズを生成(170)し、前記エネルギー調整済み(180)ノイズを加重されたまたは非加重のパルスを含む信号に付加(335)して、前記合成信号を得るように構成される、請求項12に記載のオーディオプロセッサ。
- 前記信号合成器(300)は配置され加重された前記パルスを含む信号をハイパスフィルタ処理(325)またはバンドパスフィルタ処理(325)して、前記ソースオーディオ信号に含まれない前記合成信号の前記少なくとも1つの帯域を得て、前記合成信号の前記帯域のスペクトルエンベロープ調整(330)を行うように構成される、もしくは前記スペクトルエンベロープ調整は、前記ソースオーディオ信号に関連付けられた副情報から導出されたエンベロープ調整値を使用して、または前記ソースオーディオ信号から導出された、または既定のエンベロープ調整関数に従って導出されたエンベロープ調整値を使用して行われる、
請求項1ないし請求項13のいずれかに記載のオーディオプロセッサ。 - 前記ソースオーディオ信号は時間領域オーディオ信号であり、
前記合成信号の前記少なくとも1つの帯域は時間領域オーディオ信号であり、
前記結合器(400)は前記合成信号の前記少なくとも1つの帯域のサンプルと前記ソースオーディオ信号(30)の対応するサンプルとのサンプル毎の付加を使用して、時間領域結合を実施するように構成される、
請求項1ないし請求項14のいずれかに記載のオーディオプロセッサ。 - 前記ソースオーディオ信号はLPC(LPC=線形予測符号化)領域の励起信号であり、
前記合成信号の前記少なくとも1つの帯域はLPC領域の励起信号であり、
前記結合器(400)は前記ソースオーディオ信号と前記少なくとも1つの帯域とをLPC領域におけるサンプル毎の付加によって結合(405)するように構成され、
前記結合器(400)は前記サンプル毎の付加の結果を、LPC合成フィルタを使用してフィルタ処理(410)して前記周波数拡張オーディオ信号を得るように構成され、
前記LPC合成フィルタ(410)は、副情報として前記ソースオーディオ信号に関連付けられたLPCデータ(40a)によって制御され、前記LPC合成フィルタ(410)は前記合成信号の前記少なくとも1つの帯域のためのエンベロープ情報(40b)によってさらに制御される、
請求項1ないし請求項15のいずれかに記載のオーディオプロセッサ。 - 前記解析器(200)、前記信号合成器(300)および前記結合器(400)は、時間領域またはLPC時間領域で動作する、請求項1ないし請求項16のいずれかに記載のオーディオプロセッサ。
- 前記エンベロープ決定器(100)はスペクトル変換(105)を適用して、フレームのシーケンスについて複数のバンドパス信号を抽出するように構成され、
前記信号合成器(300)はスペクトル変換を適用して前記合成信号の前記少なくとも1つの帯域を抽出(325)し、前記少なくとも1つの帯域にエンベロープ調整を施す(330)ように構成され、
前記結合器(400)は、スペクトル領域において結合し、時間領域への変換を適用して前記周波数拡張オーディオ信号(420)を得るように構成される、
請求項1ないし請求項16のいずれかに記載のオーディオプロセッサ。 - ソースオーディオ信号(30)から周波数拡張オーディオ信号(420)を生成する方法であって、
前記ソースオーディオ信号の少なくとも一部分の時間エンベロープを決定するステップ(100)と、
前記時間エンベロープの所定の特徴の時間値を決定するために、前記時間エンベロープを解析するステップ(200)と、
前記決定された時間値との関連で合成信号内にパルスを配置するステップ(305)であって、前記合成信号において、配置された前記パルスは、前記時間値に関連した前記時間エンベロープの振幅から導出された重みを使用して加重される、配置するステップと、 前記周波数拡張オーディオ信号(420)を得るために、前記ソースオーディオ信号に含まれていない前記合成信号の少なくとも1つの帯域と、前記ソースオーディオ信号とを結合するステップ(400)と、
を含む、方法。 - コンピュータまたはプロセッサ上で動作する時に、請求項19に記載の生成する方法を実行するためのコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18215691.9 | 2018-12-21 | ||
EP18215691 | 2018-12-21 | ||
EP19166643.7A EP3671741A1 (en) | 2018-12-21 | 2019-04-01 | Audio processor and method for generating a frequency-enhanced audio signal using pulse processing |
EP19166643.7 | 2019-04-01 | ||
PCT/EP2019/084974 WO2020126857A1 (en) | 2018-12-21 | 2019-12-12 | Audio processor and method for generating a frequency enhanced audio signal using pulse processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022516604A JP2022516604A (ja) | 2022-03-01 |
JP7314280B2 true JP7314280B2 (ja) | 2023-07-25 |
Family
ID=65011752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536022A Active JP7314280B2 (ja) | 2018-12-21 | 2019-12-12 | パルス処理を使用して周波数拡張オーディオ信号を生成するためのオーディオプロセッサおよび方法 |
Country Status (14)
Country | Link |
---|---|
US (2) | US11776554B2 (ja) |
EP (2) | EP3671741A1 (ja) |
JP (1) | JP7314280B2 (ja) |
KR (1) | KR102619434B1 (ja) |
CN (1) | CN113272898B (ja) |
AU (1) | AU2019409071B2 (ja) |
BR (1) | BR112021011312A2 (ja) |
CA (1) | CA3124158C (ja) |
ES (1) | ES2934964T3 (ja) |
MX (1) | MX2021007331A (ja) |
SG (1) | SG11202105709WA (ja) |
TW (1) | TWI751463B (ja) |
WO (1) | WO2020126857A1 (ja) |
ZA (1) | ZA202103742B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022205345A1 (zh) * | 2021-04-01 | 2022-10-06 | 深圳市韶音科技有限公司 | 一种语音增强方法和*** |
CN115985333A (zh) * | 2021-10-15 | 2023-04-18 | 广州视源电子科技股份有限公司 | 一种音频信号对齐方法、装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001521648A (ja) | 1997-06-10 | 2001-11-06 | コーディング テクノロジーズ スウェーデン アクチボラゲット | スペクトル帯域複製を用いた原始コーディングの強化 |
JP2009104015A (ja) | 2007-10-25 | 2009-05-14 | Yamaha Corp | 帯域拡張再生装置 |
JP2016541012A (ja) | 2013-10-31 | 2016-12-28 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 周波数領域における時間的予備整形雑音の挿入によるオーディオ帯域幅拡張 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2903533B2 (ja) * | 1989-03-22 | 1999-06-07 | 日本電気株式会社 | 音声符号化方式 |
JP2798003B2 (ja) * | 1995-05-09 | 1998-09-17 | 松下電器産業株式会社 | 音声帯域拡大装置および音声帯域拡大方法 |
JP2008502022A (ja) * | 2004-06-08 | 2008-01-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符号化 |
EP1974587B1 (en) | 2006-01-03 | 2010-06-02 | SL Audio A/S | Me thod and system for equalizing a loudspeaker in a room |
US8135047B2 (en) * | 2006-07-31 | 2012-03-13 | Qualcomm Incorporated | Systems and methods for including an identifier with a packet associated with a speech signal |
CN101496099B (zh) * | 2006-07-31 | 2012-07-18 | 高通股份有限公司 | 用于对有效帧进行宽带编码和解码的***、方法和设备 |
DE102008015702B4 (de) | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
RU2443028C2 (ru) * | 2008-07-11 | 2012-02-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен | Устройство и способ расчета параметров расширения полосы пропускания посредством управления фреймами наклона спектра |
US8352279B2 (en) * | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
CN101642399B (zh) | 2008-12-16 | 2011-04-06 | 中国科学院声学研究所 | 一种基于频率调制信息的人工耳蜗语音处理方法及处理器 |
EP2234103B1 (en) * | 2009-03-26 | 2011-09-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Device and method for manipulating an audio signal |
BRPI1004215B1 (pt) | 2009-04-08 | 2021-08-17 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para upmixagem de sinal de áudio downmix utilizando uma atenuação de valor de fase |
EP2362375A1 (en) * | 2010-02-26 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for modifying an audio signal using harmonic locking |
JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
PL2676268T3 (pl) * | 2011-02-14 | 2015-05-29 | Fraunhofer Ges Forschung | Urządzenie i sposób przetwarzania zdekodowanego sygnału audio w domenie widmowej |
JP2013016908A (ja) | 2011-06-30 | 2013-01-24 | Rohm Co Ltd | 正弦波発生装置、デジタル信号プロセッサ、および音声出力装置 |
EP2737479B1 (en) * | 2011-07-29 | 2017-01-18 | Dts Llc | Adaptive voice intelligibility enhancement |
BR112015017632B1 (pt) * | 2013-01-29 | 2022-06-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. | Aparelho e método para gerar um sinal melhorado da frequência utilizando nivelamento temporal de sub-bandas |
EP2830061A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
EP2980792A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an enhanced signal using independent noise-filling |
EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
KR102125410B1 (ko) * | 2015-02-26 | 2020-06-22 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 타깃 시간 도메인 포락선을 사용하여 처리된 오디오 신호를 얻도록 오디오 신호를 처리하기 위한 장치 및 방법 |
EP4134953A1 (en) * | 2016-04-12 | 2023-02-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding an audio signal, method for encoding an audio signal and computer program under consideration of a detected peak spectral region in an upper frequency band |
EP3288031A1 (en) * | 2016-08-23 | 2018-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding an audio signal using a compensation value |
-
2019
- 2019-04-01 EP EP19166643.7A patent/EP3671741A1/en not_active Withdrawn
- 2019-12-12 MX MX2021007331A patent/MX2021007331A/es unknown
- 2019-12-12 WO PCT/EP2019/084974 patent/WO2020126857A1/en unknown
- 2019-12-12 KR KR1020217023155A patent/KR102619434B1/ko active IP Right Grant
- 2019-12-12 CA CA3124158A patent/CA3124158C/en active Active
- 2019-12-12 JP JP2021536022A patent/JP7314280B2/ja active Active
- 2019-12-12 AU AU2019409071A patent/AU2019409071B2/en active Active
- 2019-12-12 SG SG11202105709WA patent/SG11202105709WA/en unknown
- 2019-12-12 CN CN201980081356.3A patent/CN113272898B/zh active Active
- 2019-12-12 BR BR112021011312-6A patent/BR112021011312A2/pt unknown
- 2019-12-12 ES ES19816780T patent/ES2934964T3/es active Active
- 2019-12-12 EP EP19816780.1A patent/EP3899937B1/en active Active
- 2019-12-19 TW TW108146768A patent/TWI751463B/zh active
-
2021
- 2021-05-27 US US17/332,283 patent/US11776554B2/en active Active
- 2021-05-31 ZA ZA2021/03742A patent/ZA202103742B/en unknown
-
2023
- 2023-08-17 US US18/451,416 patent/US20230395085A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001521648A (ja) | 1997-06-10 | 2001-11-06 | コーディング テクノロジーズ スウェーデン アクチボラゲット | スペクトル帯域複製を用いた原始コーディングの強化 |
JP2009104015A (ja) | 2007-10-25 | 2009-05-14 | Yamaha Corp | 帯域拡張再生装置 |
JP2016541012A (ja) | 2013-10-31 | 2016-12-28 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 周波数領域における時間的予備整形雑音の挿入によるオーディオ帯域幅拡張 |
Also Published As
Publication number | Publication date |
---|---|
MX2021007331A (es) | 2021-07-15 |
TW202030723A (zh) | 2020-08-16 |
BR112021011312A2 (pt) | 2021-08-31 |
TWI751463B (zh) | 2022-01-01 |
EP3899937B1 (en) | 2022-11-02 |
US11776554B2 (en) | 2023-10-03 |
CN113272898A (zh) | 2021-08-17 |
US20230395085A1 (en) | 2023-12-07 |
US20210287687A1 (en) | 2021-09-16 |
EP3899937A1 (en) | 2021-10-27 |
CN113272898B (zh) | 2024-05-31 |
ZA202103742B (en) | 2022-06-29 |
SG11202105709WA (en) | 2021-07-29 |
ES2934964T3 (es) | 2023-02-28 |
JP2022516604A (ja) | 2022-03-01 |
CA3124158C (en) | 2024-01-16 |
AU2019409071A1 (en) | 2021-06-24 |
WO2020126857A1 (en) | 2020-06-25 |
KR102619434B1 (ko) | 2023-12-29 |
AU2019409071B2 (en) | 2023-02-02 |
CA3124158A1 (en) | 2020-06-25 |
EP3671741A1 (en) | 2020-06-24 |
KR20210107773A (ko) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2009210303B2 (en) | Device and method for a bandwidth extension of an audio signal | |
JP6229957B2 (ja) | 音声信号を再生するための装置および方法、符号化音声信号を生成するための装置および方法、コンピュータプログラム、および符号化音声信号 | |
JP6458060B2 (ja) | オーディオ信号のための位相訂正データを決定するための計算器および方法 | |
CN105453175B (zh) | 对编码音频信号进行解码的设备、方法及计算机可读介质 | |
JP5970014B2 (ja) | オーディオエンコーダおよび帯域幅拡張デコーダ | |
US20230395085A1 (en) | Audio processor and method for generating a frequency enhanced audio signal using pulse processing | |
EP2820647A1 (en) | Phase coherence control for harmonic signals in perceptual audio codecs | |
JP4313993B2 (ja) | オーディオ復号化装置およびオーディオ復号化方法 | |
RU2786712C1 (ru) | Аудиопроцессор и способ генерирования аудиосигнала с улучшенной частотной характеристикой с использованием импульсной обработки | |
AU2015203736B2 (en) | Audio encoder and bandwidth extension decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |