JP6545815B2 - 音声デコーダ、およびその動作方法およびその方法を記憶したコンピュータ可読記憶デバイス - Google Patents
音声デコーダ、およびその動作方法およびその方法を記憶したコンピュータ可読記憶デバイス Download PDFInfo
- Publication number
- JP6545815B2 JP6545815B2 JP2017551621A JP2017551621A JP6545815B2 JP 6545815 B2 JP6545815 B2 JP 6545815B2 JP 2017551621 A JP2017551621 A JP 2017551621A JP 2017551621 A JP2017551621 A JP 2017551621A JP 6545815 B2 JP6545815 B2 JP 6545815B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- band
- mode
- audio frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 148
- 230000004044 response Effects 0.000 claims description 79
- 230000000670 limiting effect Effects 0.000 claims description 26
- 239000000872 buffer Substances 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 18
- 230000007774 longterm Effects 0.000 claims description 10
- 238000010295 mobile communication Methods 0.000 claims description 6
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 62
- 238000009499 grossing Methods 0.000 description 58
- 230000003595 spectral effect Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101100409194 Rattus norvegicus Ppargc1b gene Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Telephone Function (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Description
本出願は、その全体が参照により本明細書に明確に組み込まれる、2016年3月29日に出願された「AUDIO BANDWIDTH SELECTION」と題する米国特許出願第15/083,717号、および2015年4月5日に出願された「AUDIO BANDWIDTH SELECTION」と題する米国仮特許出願第62/143,158号の利益を主張する。
if(st->VAD == 1) /*VADが1に等しい場合、これは受信オーディオフレームがアクティブであることを示し、VADは図1のVAD140に対応し得る*/
{
st->flag_NB = 1;
/*bandstoZeroを決定するために主検出器論理を入力する*/
}
else
{
st->flag_NB = 0;
/*これは、受信オーディオフレームが非アクティブであることを示す(st-> VAD == 0)の場合に発生する。主検出器論理を入力せず、代わりにbandstoZeroが最後のbandstoZeroに設定される(すなわち、以前の出力モード選択を使用する)。*/
}
IF(st->flag_NB == 1) /*アクティブフレームの主検出器論理*/
{
/*変数を設定する*/
Word32 nrgQ31;
Word32 nrg_band[20], tempQ31, max_nrg;
Word16 realQ1, imagQ1, flag, offset, WBcnt;
Word16 perc_detect, perc_miss;
Word16 tmp1, tmp2, tmp3, tmp;
realQ1 = 0;
imagQ1 = 0;
set32_fx(nrg_band, 0, 20); /*広帯域範囲を20帯域に分割することと関連付けられる*/
max_nrg = 0;
offset = 50; /*帯域制限コンテンツを有するものとして分類されるフレームの割合を計算する前に受信されるべきフレームの閾数*/
WBcnt = 20; /*広帯域コンテンツと関連付けられる分類を有する、連続的に受信されているフレームの数と比較するために使用されるべき閾値*/
perc_miss = 80; /*図1のシステム100を参照して説明されているような第2の適応的閾値*/
perc_detect = 90; /*図1のシステム100を参照して説明されているような第1の適応的閾値*/
st->active_frame_counter=st->active_frame_counter+1;
if(st ->active_frame_cnt_bwddec > 99)
{/*active_frame_cntの上限を100以下になるように定める*/
st ->active_frame_cnt_bwddec = 100;
}
FOR (i = 0; i < 20; i++) /*図1の分類器126と関連付けられるエネルギーベースの帯域幅検出*/
{
nrgQ31 = 0; /* nrgQ31はエネルギー値と関連付けられる*/
FOR (k = 0; k < nTimeSlots; k++)
{
/*直交ミラーフィルタ(QMF)分析を使用して帯域内のエネルギーをバッファリングする*/
realQ1 = rAnalysis[k][i];
imagQ1 = iAnalysis[k][i];
nrgQ31 = (nrgQ31 + realQ1*realQ1);
nrgQ31 = (nrgQ31 + imagQ1*imagQ1);
}
nrg_band[i] = (nrgQ31);
}
for(i = 2; i < 9; i++)
/*低帯域と関連付けられる平均エネルギーを計算する。800Hz〜3600Hzのサブセットが使用される。高帯域と関連付けられる最大エネルギーと比較する。512の係数が使用される(たとえば、エネルギー比閾値を決定するために)。*/
{
tempQ31 = tempQ31 + w[i]*nrg_band[i]/7.0;
}
for(i = 11; i < 20; i++) /*max_nrgはHB帯域のサブセット内の最大帯域エネルギーをデータ投入される。4.4kHz〜8kHzの帯域のみが考慮される*/
{
max_nrg = max(max_nrg, nrg_band[i]);
}
if(max_nrg < tempQ31/512.0) /*平均低帯域エネルギーをピーク高帯域エネルギーと比較する*/
flag = 1; /*帯域制限モードに分類される*/
else
flag = 0; /*広帯域モードに分類される*/
/* このパラメータフラグは分類器126の決定を保持する*/
/*フラグバッファを最新のフラグで更新する。最新のフラグをflag_bufferの最上位位置にプッシュし、残りの値を1だけシフトする、したがって、flag_bufferは最新20フレームのフラグ情報を有する。フラグバッファは、広帯域コンテンツを有するものとして分類される、連続するフレームの数を追跡するために使用することができる。*/
FOR(i = 0; i < WBcnt-1; i++)
{
st->flag_buffer[i] = st->flag_buffer[i+1];
}
st->flag_buffer[WBcnt-1] = flag;
st->avg_nrg_LT = 0.99*avg_nrg_LT + 0.01*tempQ31;
if(st->VAD == 0 || tempQ31 < st->avg_nrg_LT/200)
{
update_perc = 0;
}
else
{
update_perc = 1;
}
if(update_perc == 1) /*信頼性基準が満たされる場合。帯域制限コンテンツと関連付けられると分類されるフレームの割合を決定する*/
{
if(flag == 1) /*瞬間的な判定が満たされる場合、percを増大させる*/
{
st->perc_bwddec = st->perc_bwddec + (100-st->perc_bwddec)/(active_frame_cnt_bwddec); /*アクティブフレームの数*/
}
else /*そうでなければpercを低減する*/
{
st->perc_bwddec = st->perc_bwddec - st->perc_bwddec/(active_frame_cnt_bwddec);
}
}
if( (st->active_frame_cnt_bwddec > 50) )
/* アクティブカウントが50未満になるまで、出力モードをNBに変更しない。これは、出力モードを広帯域モードとするというデフォルトの決定が採用されることを意味する*/
{
if ((st->perc_bwddec >= perc_detect) || (st->perc_bwddec >= perc_miss && st->last_flag_filter_NB == 1) && (sum(st->flag_buffer, WBcnt) > WBcnt_thr))
{
/*最終決定(出力モード)はNB(帯域制限モード)である*/
st->cldfbSyn_fx->bandsToZero = st->cldfbSyn fx-> total_bands - 10;
/*16kHzのサンプリングレートにおける合計帯域は20である。実際には、スペクトル雑音漏れを除去するために狭帯域コンテンツに対応する最初の10帯域を上回るすべての帯域を減衰させることができる*/
st->last_flag_filter_NB = 1;
}
else
{
/*最終決定はWBである*/
st->last_flag_filter_NB = 0;
}
}
if(sum_s(st->flag_buffer, WBcnt) == 0)
/*連続するWBフレームの数がWBcntを超えるときはいつでも、出力モードをNBに変更しない。実際には、デフォルトのWBモードが出力モードとして採用される。「WBである連続するフレームの数に起因して」WBモードが採用されるときはいつでも、active_frame_cntおよびperc_bwddecをリセットする(たとえば、初期値に設定する)*/
{
st->perc_bwddec = 0.0f;
st->active_frame_cnt_bwddec = 0;
st->last_flag_filter_NB = 0;
}
}
else if (st->flag_NB == 0)
/*非アクティブフレームの検出器論理、決定を最後のフレームと同じままにする*/
{
st->cldfbSyn_fx->bandsToZero = st->last_frame_bandstoZero;
}
/*bandstoZeroが決定された後*/
if(st->cldfbSyn_fx->bandsToZero == st->cldfbSyn_fx->total_bands - 10)
{
/*4000Hzを上回るすべての帯域を0に設定する*/
}
/*QMF合成を実施して帯域幅検出器後の最終的な復号スピーチを得る*/
102 第1のデバイス
104 エンコーダ
110 入力オーディオデータ
112 オーディオフレーム
114 第1の復号スピーチ
116 第2の復号スピーチ
120 第2のデバイス
122 デコーダ
123 第1の復号段
124 検出器
126 分類器
128 トラッカ
130 平滑化論理
131 閾値
132 第2の復号段
134 出力モード
140 音声活性判定
150 グラフ
160 グラフ
170 グラフ
200 第1のグラフ
250 第2のグラフ
300 第1の表
350 第2の表
400 第3の表
450 第4の表
500 方法
600 方法
700 方法
800 方法
900 デバイス
902 デジタル-アナログ変換器
904 アナログ-デジタル変換器
906 プロセッサ
908 CODEC
910 プロセッサ
922 システムインパッケージデバイスまたはシステムオンチップデバイス
926 ディスプレイコントローラ
928 ディスプレイ
930 入力デバイス
932 メモリ
934 CODEC
936 スピーカ
938 マイクロフォン
940 ワイヤレスコントローラ
942 アンテナ
944 電源
950 送受信機
960 命令
992 デコーダ
994 検出器
1000 基地局
1006 プロセッサ
1008 スピーチおよび音楽CODEC
1010 トランスコーダ
1014 データストリーム
1016 トランスコードデータストリーム
1032 メモリ
1036 エンコーダ
1038 デコーダ
1042 第1のアンテナ
1044 第2のアンテナ
1052 第1の送受信機
1054 第2の送受信機
1060 ネットワーク接続
1062 復調器
1064 受信機データプロセッサ
1066 送信データプロセッサ
1068 送信多入力多出力プロセッサ
Claims (55)
- オーディオストリームのオーディオフレームを受信するように構成される受信機と、
デコーダであって、
前記オーディオフレームに関連付けられる第1の復号スピーチを生成することと、
前記オーディオフレームの狭帯域に関連付けられる第1のエネルギーメトリックと、前記オーディオフレームの広帯域に関連付けられる第2のエネルギーメトリックとを決定することと、
前記第1のエネルギーメトリックおよび前記第2のエネルギーメトリックに基づいて、前記オーディオフレームが帯域制限コンテンツに関連付けられるとして分類すべきかどうかを判定することと、
前記帯域制限コンテンツに関連付けられると分類されるオーディオフレームのカウントと、受信アクティブフレームのカウントとに少なくとも部分的に基づいて前記デコーダの出力モードを決定することと、
前記第1の復号スピーチに基づいて第2の復号スピーチを出力することであって、前記第2の復号スピーチは、前記出力モードに従って生成される、出力することと
を行うように構成される、デコーダと
を備える、デバイス。 - 前記デコーダは、前記オーディオフレームを狭帯域フレームまたは広帯域フレームとして分類するように構成され、狭帯域フレームの分類は、前記帯域制限コンテンツに関連付けられることに対応する、請求項1に記載のデバイス。
- 前記出力モードが広帯域モードを含むとき、前記第2の復号スピーチは前記第1の復号スピーチに対応する、請求項1に記載のデバイス。
- 前記出力モードが狭帯域モードを含むとき、前記第2の復号スピーチは前記第1の復号スピーチの一部分である、請求項1に記載のデバイス。
- 前記デコーダは、帯域制限コンテンツに関連付けられると分類される前記オーディオフレームのカウントに関連付けられるメトリック値に基づき、かつ広帯域コンテンツに関連付けられると分類される連続するオーディオフレームの数に基づいて前記出力モードを選択するように構成される検出器を含む、請求項1に記載のデバイス。
- 前記デコーダは、
前記オーディオフレームを広帯域コンテンツまたは前記帯域制限コンテンツに関連付けられると分類するように構成される分類器と、
前記分類器によって生成される1つまたは複数の分類のレコードを維持するように構成されるトラッカであって、バッファ、メモリ、または1つもしくは複数のカウンタのうちの少なくとも1つを含む、トラッカと
を含む、請求項1に記載のデバイス。 - 前記受信機および前記デコーダは、モバイル通信デバイスまたは基地局に組み込まれる、請求項1に記載のデバイス。
- 前記受信機に結合される復調器であって、前記オーディオストリームを復調するように構成される、復調器と、
前記復調器に結合されるプロセッサと、
エンコーダと
をさらに備える、請求項1に記載のデバイス。 - 前記受信機、前記復調器、前記プロセッサ、および前記エンコーダは、モバイル通信デバイスに組み込まれる、請求項8に記載のデバイス。
- 前記受信機、前記復調器、前記プロセッサ、および前記エンコーダは、基地局に組み込まれる、請求項8に記載のデバイス。
- 前記デコーダは、帯域制限コンテンツに関連付けられると分類される前記オーディオフレームのカウントと、前記受信アクティブフレームのカウントとに基づきメトリック値を決定するようにさらに構成され、前記メトリック値は、帯域制限コンテンツに関連付けられると分類される受信アクティブフレームの割合として決定され、前記デコーダの前記出力モードは、前記メトリック値に基づいてさらに選択される、請求項1に記載のデバイス。
- デコーダを動作させる方法であって、
デコーダにおいて、オーディオストリームのオーディオフレームに関連付けられる第1の復号スピーチを生成するステップと、 前記オーディオフレームの狭帯域に関連付けられる第1のエネルギーメトリックと、前記オーディオフレームの広帯域に関連付けられる第2のエネルギーメトリックとを決定するステップと、
前記第1のエネルギーメトリックおよび前記第2のエネルギーメトリックに基づいて、前記オーディオフレームが帯域制限コンテンツに関連付けられるとして分類すべきかどうかを判定するステップと、
前記帯域制限コンテンツに関連付けられると分類されるオーディオフレームの数と、受信アクティブフレームのカウントとに少なくとも部分的に基づいて前記デコーダの出力モードを決定するステップと、
前記第1の復号スピーチに基づいて第2の復号スピーチを出力するステップであって、前記第2の復号スピーチは、前記出力モードに従って生成される、ステップと
を含む、方法。 - 前記第1の復号スピーチは低帯域成分および高帯域成分を含む、請求項12に記載の方法。
- 前記第1のエネルギーメトリックおよび前記第2のエネルギーメトリックに基づく比の値を決定するステップと、
前記比の値を分類閾値と比較するステップと、
前記比の値が前記分類閾値よりも大きいことに応答して、前記オーディオフレームを前記帯域制限コンテンツに関連付けられると分類するステップと
をさらに含む、請求項13に記載の方法。 - 前記オーディオフレームが前記帯域制限コンテンツに関連付けられるとき、前記第2の復号スピーチを生成するために前記第1の復号スピーチの前記高帯域成分を減衰させるステップをさらに含む、請求項14に記載の方法。
- 前記オーディオフレームが前記帯域制限コンテンツに関連付けられるとき、前記第2の復号スピーチを生成するために前記高帯域成分に関連付けられる1つまたは複数の帯域のエネルギー値をゼロに設定するステップをさらに含む、請求項14に記載の方法。
- 前記第1の復号スピーチの低帯域成分に関連付けられる複数の周波数帯域の第1のセットに関連付けられる第1のエネルギーメトリックを決定するステップをさらに含む、請求項12に記載の方法。
- 前記第1のエネルギーメトリックを決定するステップは、前記複数の周波数帯域の第1のセットの帯域のサブセットの平均エネルギー値を決定するステップと、前記第1のエネルギーメトリックを前記平均エネルギー値に等しく設定するステップとを含む、請求項17に記載の方法。
- 前記第1の復号スピーチの高帯域成分に関連付けられる複数の周波数帯域の第2のセットに関連付けられる第2のエネルギーメトリックを決定するステップをさらに含む、請求項17に記載の方法。
- 前記複数の周波数帯域の第2のセットの最高の検出エネルギー値を有する前記複数の周波数帯域の第2のセットの特定の周波数帯域を決定するステップと、
前記第2のエネルギーメトリックを前記最高の検出エネルギー値に等しく設定するステップと
をさらに含む、請求項19に記載の方法。 - 前記第1のセットおよび前記第2のセットは相互に排他的であり、前記複数の周波数帯域の第2のセットの各帯域は同じ帯域幅を有する、請求項19に記載の方法。
- 前記第1のセットおよび前記第2のセットは、前記オーディオフレームに関連付けられる周波数範囲の遷移帯域によって分離される、請求項21に記載の方法。
- 前記出力モードが広帯域モードを含むとき、前記第2の復号スピーチは実質的に前記第1の復号スピーチと同じである、請求項12に記載の方法。
- 前記出力モードが狭帯域モードを含むとき、前記第2の復号スピーチを生成するために、前記第1の復号スピーチの低帯域成分を維持し、かつ前記第1の復号スピーチの高帯域成分を減衰させるステップをさらに含む、請求項12に記載の方法。
- 前記出力モードが狭帯域モードを含むとき、前記第2の復号スピーチを生成するために、前記第1の復号スピーチの高帯域成分に関連付けられる周波数帯域の1つまたは複数のエネルギー値を減衰させるステップをさらに含む、請求項12に記載の方法。
- 前記オーディオフレームがアクティブフレームであるかどうかを判定するステップであって、前記デコーダの前記出力モードを決定するステップは、前記オーディオフレームが前記アクティブフレームであるという判定に応答して実施される、ステップを含む、請求項12に記載の方法。
- 前記デコーダにおいて前記オーディオストリームの第2のオーディオフレームを受信するステップと、
前記第2のオーディオフレームが非アクティブフレームであるかどうかを判定するステップと、
前記第2のオーディオフレームが前記非アクティブフレームであるという判定に応答して、前記デコーダの前記出力モードを維持するステップと
をさらに含む、請求項12に記載の方法。 - 前記デコーダにおいて前記オーディオストリームの複数のオーディオフレームを受信するステップであって、前記複数のオーディオフレームは、前記オーディオフレームおよび第2のオーディオフレームを含む、ステップと、
前記デコーダにおいて、前記第2のオーディオフレームの受信に応答して、前記帯域制限コンテンツに関連付けられる前記複数のオーディオフレームの相対オーディオフレームカウントに対応するメトリック値を決定するステップと、
前記デコーダの前記出力モードの第1のモードに基づいて閾値を選択するステップであって、前記第1のモードは、前記第2のオーディオフレームの前に受信される前記オーディオフレームに関連付けられる、ステップと、
前記メトリック値と前記閾値との比較に基づいて前記出力モードを前記第1のモードから第2のモードへと更新するステップであって、前記第2のモードは前記第2のオーディオフレームに関連付けられる、ステップと
をさらに含む、請求項12に記載の方法。 - 前記メトリック値は、帯域制限コンテンツに関連付けられると分類される前記複数のオーディオフレームの割合として決定され、前記閾値は、第1の値を有する広帯域閾値または第2の値を有する狭帯域閾値として選択され、前記第1の値は前記第2の値よりも大きい、請求項28に記載の方法。
- 前記第1のモードは広帯域モードを含み、前記方法は、
前記閾値を選択する前に、前記出力モードが前記広帯域モードであることを判定するステップと、
前記出力モードが前記広帯域モードであるという判定に応答して、前記閾値として広帯域閾値を選択するステップと
をさらに含む、請求項28に記載の方法。 - 前記メトリック値が前記広帯域閾値以上であるとき、前記出力モードは狭帯域モードに更新される、請求項30に記載の方法。
- 前記第1のモードは狭帯域モードを含み、前記方法は、
前記閾値を選択する前に、前記出力モードが前記狭帯域モードであることを判定するステップと、
前記出力モードが前記狭帯域モードであるという判定に応答して、前記閾値として狭帯域閾値を選択するステップと
をさらに含む、請求項28に記載の方法。 - 前記メトリック値が前記狭帯域閾値以下であるとき、前記出力モードは広帯域モードに更新される、請求項32に記載の方法。
- 前記メトリック値を決定する前に、
前記第2のオーディオフレームがアクティブフレームであることを判定するステップと、
前記第2のオーディオフレームの低帯域成分に関連付けられる平均エネルギー値を決定するステップと、
前記平均エネルギー値がエネルギー閾値よりも大きいという判定に応答して、かつ前記第2のオーディオフレームが前記アクティブフレームであるという判定に応答して、前記メトリック値を第1の値から第2の値へと更新するステップであって、前記第2のオーディオフレームの前記受信に応答して前記メトリック値を決定するステップは、前記第2の値を識別するステップを含む、ステップと
をさらに含む、請求項28に記載の方法。 - 前記第2のオーディオフレームの前記低帯域成分に関連付けられる前記平均エネルギー値は、前記第2のオーディオフレームの前記低帯域成分の帯域のサブセットに関連付けられる特定の平均エネルギーを含む、請求項34に記載の方法。
- 前記エネルギー閾値は長期的メトリックであり、前記エネルギー閾値は前記複数のオーディオフレームの低帯域成分に関連付けられる平均エネルギー値の平均である、請求項34に記載の方法。
- 前記メトリック値を決定する前に、
前記第2のオーディオフレームがアクティブフレームであることを判定するステップと、
前記第2のオーディオフレームの低帯域成分に関連付けられる平均エネルギー値を決定するステップと、
前記平均エネルギー値がエネルギー閾値以下という判定に応答して、かつ前記第2のオーディオフレームが前記アクティブフレームであるという判定に応答して、前記メトリック値を維持するステップと
をさらに含む、請求項28に記載の方法。 - アクティブフレームとして示される前記複数のオーディオフレームのうちの少なくとも1つのオーディオフレームについて、前記デコーダにおいて前記少なくとも1つのオーディオフレームが前記帯域制限コンテンツに関連付けられるかどうかを判定するステップをさらに含む、請求項28に記載の方法。
- 前記デコーダにおいて、帯域制限コンテンツに関連付けられると分類される前記オーディオフレームの数に対応するメトリック値を決定するステップと、
前記デコーダの以前の出力モードに基づいて閾値を選択するステップであって、前記デコーダの前記出力モードを決定するステップは、前記メトリック値と前記閾値との比較にさらに基づく、ステップと
をさらに含む、請求項12に記載の方法。 - 前記デコーダにおいて前記オーディオストリームの第2のオーディオフレームを受信するステップと、
前記デコーダにおいて受信され、かつ広帯域コンテンツに関連付けられると分類される、前記第2のオーディオフレームを含む連続するオーディオフレームの数を決定するステップと、
前記連続するオーディオフレームの数が閾値以上であることに応答して、前記第2のオーディオフレームに関連付けられる第2の出力モードを広帯域モードであると選択するステップと
をさらに含む、請求項12に記載の方法。 - 前記第2のオーディオフレームの受信に応答して、
前記第2のオーディオフレームがアクティブフレームであることを判定するステップと、
受信オーディオフレームのカウントを増分するステップと、
前記第2のオーディオフレームの分類を広帯域フレームまたは狭帯域フレームとして決定するステップと
をさらに含む、請求項40に記載の方法。 - 前記受信アクティブフレームのカウントが第2の閾値以上であるかどうかを判定するステップであって、前記第2のオーディオフレームの前記分類が決定した後に前記連続するオーディオフレームの数が決定される、ステップをさらに含む、請求項41に記載の方法。
- 前記受信アクティブフレームのカウントが前記第2の閾値未満であるという判定に応答して、前記第2のオーディオフレームに関連付けられる前記出力モードを前記広帯域モードであると判定するステップをさらに含む、請求項42に記載の方法。
- 前記第2の出力モードを選択するステップは、前記第2のオーディオフレームに関連付けられる前記出力モードを第1のモードから前記広帯域モードへと更新するステップを含み、前記出力モードが前記第1のモードから前記広帯域モードへと更新されるのに応答して、受信オーディオフレームのカウントを第1の初期値に設定すること、帯域制限コンテンツに関連付けられる前記オーディオストリームのオーディオフレームの相対カウントに対応するメトリック値を第2の初期値に設定すること、またはその両方を行うステップをさらに含む、請求項40に記載の方法。
- 前記デコーダにおいて受信され、かつ広帯域コンテンツに関連付けられると分類される、前記オーディオフレームを含む連続するオーディオフレームの数を決定するステップをさらに含み、前記デコーダの前記出力モードを決定することは、前記連続するオーディオフレームの数と閾値との比較にさらに基づく、請求項12に記載の方法。
- 前記デコーダは、モバイル通信デバイスまたは基地局を含むデバイスに含まれる、請求項12に記載の方法。
- 比の値に基づいて前記帯域制限コンテンツに関連付けられると前記オーディオフレームを分類するステップであって、前記比の値は、前記第1の復号スピーチの低帯域成分に関連付けられる第1のエネルギーメトリックと、前記第1の復号スピーチの高帯域成分に関連付けられる第2のエネルギーメトリックとに基づく、請求項12に記載の方法。
- オーディオストリームのオーディオフレームに関連付けられる第1の復号スピーチを生成するための手段と、
前記オーディオフレームの狭帯域に関連付けられる第1のエネルギーメトリックと、前記オーディオフレームの広帯域に関連付けられる第2のエネルギーメトリックとを決定するための手段と、
前記第1のエネルギーメトリックおよび前記第2のエネルギーメトリックに基づいて、前記オーディオフレームが帯域制限コンテンツに関連付けられるとして分類すべきかどうかを判定するための手段と、
帯域制限コンテンツに関連付けられると分類されるオーディオフレームの数と、受信アクティブフレームのカウントとに少なくとも部分的に基づいてデコーダの出力モードを決定するための手段と、
前記第1の復号スピーチに基づいて第2の復号スピーチを出力するための手段であって、前記第2の復号スピーチは、前記出力モードに従って生成される、手段と
を備える、装置。 - 第1の復号スピーチを前記生成するための手段はスピーチモデルを含み、前記第1のエネルギーメトリックと前記第2のエネルギーメトリックとを前記決定するための手段、前記判定するための手段、出力モードを前記決定するための手段、および第2の復号スピーチを前記出力するための手段は各々、プロセッサおよび前記プロセッサによって実行可能な命令を記憶するメモリを含む、請求項48に記載の装置。
- 前記帯域制限コンテンツに関連付けられる複数のオーディオフレームのオーディオフレームカウントに対応するメトリック値を決定するための手段と、
前記メトリック値と前記出力モードとに基づいて閾値を選択するための手段と、
前記メトリック値と前記閾値との比較に基づいて前記出力モードを第1のモードから第2のモードへと更新するための手段と
をさらに備える、請求項48に記載の装置。 - 前記第1の復号スピーチを前記生成するための手段において受信され、広帯域コンテンツに関連付けられると分類される、連続するオーディオフレームの数を決定するための手段をさらに備える、請求項48に記載の装置。
- 前記生成するための手段、前記決定するための手段、および前記出力するための手段はモバイル通信デバイスまたは基地局に組み込まれる、請求項48に記載の装置。
- プロセッサによって実行されると、前記プロセッサに、
オーディオストリームのオーディオフレームに関連付けられる第1の復号スピーチを生成するステップと、
前記オーディオフレームの狭帯域に関連付けられる第1のエネルギーメトリックと、前記オーディオフレームの広帯域に関連付けられる第2のエネルギーメトリックとを決定するステップと、
前記第1のエネルギーメトリックおよび前記第2のエネルギーメトリックに基づいて、前記オーディオフレームが帯域制限コンテンツに関連付けられるとして分類すべきかどうかを判定するステップと、
前記帯域制限コンテンツに関連付けられると分類されるオーディオフレームのカウントと、受信アクティブフレームのカウントとに少なくとも部分的に基づいてデコーダの出力モードを決定するステップと、
前記第1の復号スピーチに基づいて第2の復号スピーチを出力するステップであって、前記第2の復号スピーチは前記出力モードに従って生成される、ステップと
を含む動作を実施させる命令を記憶する、コンピュータ可読記憶デバイス。 - 前記命令は、前記プロセッサに、
前記オーディオフレームを狭帯域フレームまたは広帯域フレームとして分類するステップと、
前記帯域制限コンテンツに関連付けられる複数のオーディオフレームの第2のオーディオフレームカウントに対応するメトリック値を決定するステップと、
前記メトリック値に基づいて閾値を選択するステップと
をさらに含む動作を実施させる、請求項53に記載のコンピュータ可読記憶デバイス。 - 前記命令は、前記プロセッサに、
前記オーディオストリームの第2のオーディオフレームの受信に応答して、広帯域コンテンツを有すると分類される、前記デコーダにおいて受信される連続するオーディオフレームの第3のカウントを決定するステップと、
前記連続するオーディオフレームの第3のカウントが閾値以上であるのに応答して、前記出力モードを広帯域モードに更新するステップと
をさらに含む動作を実施させる、請求項53に記載のコンピュータ可読記憶デバイス。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562143158P | 2015-04-05 | 2015-04-05 | |
US62/143,158 | 2015-04-05 | ||
US15/083,717 | 2016-03-29 | ||
US15/083,717 US10049684B2 (en) | 2015-04-05 | 2016-03-29 | Audio bandwidth selection |
PCT/US2016/025053 WO2016164232A1 (en) | 2015-04-05 | 2016-03-30 | Audio bandwidth selection |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018513411A JP2018513411A (ja) | 2018-05-24 |
JP2018513411A5 JP2018513411A5 (ja) | 2018-12-20 |
JP6545815B2 true JP6545815B2 (ja) | 2019-07-17 |
Family
ID=57017020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017551621A Active JP6545815B2 (ja) | 2015-04-05 | 2016-03-30 | 音声デコーダ、およびその動作方法およびその方法を記憶したコンピュータ可読記憶デバイス |
Country Status (9)
Country | Link |
---|---|
US (2) | US10049684B2 (ja) |
EP (1) | EP3281199B1 (ja) |
JP (1) | JP6545815B2 (ja) |
KR (2) | KR102047596B1 (ja) |
CN (1) | CN107408392B (ja) |
AU (1) | AU2016244808B2 (ja) |
BR (1) | BR112017021351A2 (ja) |
TW (2) | TWI693596B (ja) |
WO (1) | WO2016164232A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016017238A1 (ja) * | 2014-07-28 | 2016-02-04 | 日本電信電話株式会社 | 符号化方法、装置、プログラム及び記録媒体 |
US10049684B2 (en) * | 2015-04-05 | 2018-08-14 | Qualcomm Incorporated | Audio bandwidth selection |
JP6501259B2 (ja) * | 2015-08-04 | 2019-04-17 | 本田技研工業株式会社 | 音声処理装置及び音声処理方法 |
KR102398124B1 (ko) * | 2015-08-11 | 2022-05-17 | 삼성전자주식회사 | 음향 데이터의 적응적 처리 |
US11054884B2 (en) * | 2016-12-12 | 2021-07-06 | Intel Corporation | Using network interface controller (NIC) queue depth for power state management |
CN117037804A (zh) * | 2017-01-10 | 2023-11-10 | 弗劳恩霍夫应用研究促进协会 | 音频解码器和编码器、提供解码的音频信号的方法、提供编码的音频信号的方法、使用流标识符的音频流、音频流提供器和计算机程序 |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
EP3483882A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483878A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
TWI748215B (zh) * | 2019-07-30 | 2021-12-01 | 原相科技股份有限公司 | 聲音輸出之調整方法及執行該調整方法之電子裝置 |
US11172294B2 (en) * | 2019-12-27 | 2021-11-09 | Bose Corporation | Audio device with speech-based audio signal processing |
CN112530454B (zh) * | 2020-11-30 | 2024-07-23 | 厦门亿联网络技术股份有限公司 | 一种窄带语音信号检测方法、装置、***和可读存储介质 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4308345B2 (ja) * | 1998-08-21 | 2009-08-05 | パナソニック株式会社 | マルチモード音声符号化装置及び復号化装置 |
AU2003260958A1 (en) * | 2002-09-19 | 2004-04-08 | Matsushita Electric Industrial Co., Ltd. | Audio decoding apparatus and method |
WO2004090870A1 (ja) * | 2003-04-04 | 2004-10-21 | Kabushiki Kaisha Toshiba | 広帯域音声を符号化または復号化するための方法及び装置 |
DE602006018618D1 (de) * | 2005-07-22 | 2011-01-13 | France Telecom | Verfahren zum umschalten der raten- und bandbreitenskalierbaren audiodecodierungsrate |
US8032370B2 (en) * | 2006-05-09 | 2011-10-04 | Nokia Corporation | Method, apparatus, system and software product for adaptation of voice activity detection parameters based on the quality of the coding modes |
US8532984B2 (en) * | 2006-07-31 | 2013-09-10 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of active frames |
CN101496099B (zh) * | 2006-07-31 | 2012-07-18 | 高通股份有限公司 | 用于对有效帧进行宽带编码和解码的***、方法和设备 |
US8032359B2 (en) * | 2007-02-14 | 2011-10-04 | Mindspeed Technologies, Inc. | Embedded silence and background noise compression |
US8990073B2 (en) * | 2007-06-22 | 2015-03-24 | Voiceage Corporation | Method and device for sound activity detection and sound signal classification |
DE102008009720A1 (de) | 2008-02-19 | 2009-08-20 | Siemens Enterprise Communications Gmbh & Co. Kg | Verfahren und Mittel zur Dekodierung von Hintergrundrauschinformationen |
US8645129B2 (en) * | 2008-05-12 | 2014-02-04 | Broadcom Corporation | Integrated speech intelligibility enhancement system and acoustic echo canceller |
US8548460B2 (en) * | 2010-05-25 | 2013-10-01 | Qualcomm Incorporated | Codec deployment using in-band signals |
WO2011148230A1 (en) * | 2010-05-25 | 2011-12-01 | Nokia Corporation | A bandwidth extender |
US8924200B2 (en) * | 2010-10-15 | 2014-12-30 | Motorola Mobility Llc | Audio signal bandwidth extension in CELP-based speech coder |
US8868432B2 (en) * | 2010-10-15 | 2014-10-21 | Motorola Mobility Llc | Audio signal bandwidth extension in CELP-based speech coder |
CN102800317B (zh) * | 2011-05-25 | 2014-09-17 | 华为技术有限公司 | 信号分类方法及设备、编解码方法及设备 |
ES2805308T3 (es) * | 2011-11-03 | 2021-02-11 | Voiceage Evs Llc | Mejora del contenido insonoro para decodificador CELP de tasa baja |
US8666753B2 (en) * | 2011-12-12 | 2014-03-04 | Motorola Mobility Llc | Apparatus and method for audio encoding |
US20130282372A1 (en) * | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
PL3067890T3 (pl) * | 2013-01-29 | 2018-06-29 | Fraunhofer Ges Forschung | Koder audio, dekoder audio, sposób dostarczania zakodowanej informacji audio, sposób dostarczania zdekodowanej informacji audio, program komputerowy i zakodowana reprezentacja, wykorzystujące adaptacyjne względem sygnału powiększanie szerokości pasma |
US9711156B2 (en) | 2013-02-08 | 2017-07-18 | Qualcomm Incorporated | Systems and methods of performing filtering for gain determination |
US9842598B2 (en) * | 2013-02-21 | 2017-12-12 | Qualcomm Incorporated | Systems and methods for mitigating potential frame instability |
CN106169297B (zh) * | 2013-05-30 | 2019-04-19 | 华为技术有限公司 | 信号编码方法及设备 |
CN104217727B (zh) * | 2013-05-31 | 2017-07-21 | 华为技术有限公司 | 信号解码方法及设备 |
CN104347067B (zh) * | 2013-08-06 | 2017-04-12 | 华为技术有限公司 | 一种音频信号分类方法和装置 |
CN104269173B (zh) * | 2014-09-30 | 2018-03-13 | 武汉大学深圳研究院 | 切换模式的音频带宽扩展装置与方法 |
US10049684B2 (en) * | 2015-04-05 | 2018-08-14 | Qualcomm Incorporated | Audio bandwidth selection |
-
2016
- 2016-03-29 US US15/083,717 patent/US10049684B2/en active Active
- 2016-03-30 KR KR1020177028193A patent/KR102047596B1/ko active IP Right Grant
- 2016-03-30 CN CN201680017331.3A patent/CN107408392B/zh active Active
- 2016-03-30 AU AU2016244808A patent/AU2016244808B2/en not_active Ceased
- 2016-03-30 EP EP16720214.2A patent/EP3281199B1/en active Active
- 2016-03-30 KR KR1020197033630A patent/KR102308579B1/ko active IP Right Grant
- 2016-03-30 JP JP2017551621A patent/JP6545815B2/ja active Active
- 2016-03-30 BR BR112017021351A patent/BR112017021351A2/pt not_active IP Right Cessation
- 2016-03-30 WO PCT/US2016/025053 patent/WO2016164232A1/en active Search and Examination
- 2016-04-01 TW TW108112945A patent/TWI693596B/zh active
- 2016-04-01 TW TW105110643A patent/TWI661422B/zh active
-
2018
- 2018-08-03 US US16/054,931 patent/US10777213B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10777213B2 (en) | 2020-09-15 |
AU2016244808A1 (en) | 2017-09-14 |
KR20190130669A (ko) | 2019-11-22 |
JP2018513411A (ja) | 2018-05-24 |
KR20170134461A (ko) | 2017-12-06 |
TWI693596B (zh) | 2020-05-11 |
TW201703026A (zh) | 2017-01-16 |
US10049684B2 (en) | 2018-08-14 |
CN107408392A8 (zh) | 2018-01-12 |
US20160293174A1 (en) | 2016-10-06 |
EP3281199B1 (en) | 2023-10-04 |
US20180342255A1 (en) | 2018-11-29 |
CN107408392B (zh) | 2021-07-30 |
KR102047596B1 (ko) | 2019-11-21 |
CN107408392A (zh) | 2017-11-28 |
EP3281199C0 (en) | 2023-10-04 |
TWI661422B (zh) | 2019-06-01 |
EP3281199A1 (en) | 2018-02-14 |
TW201928946A (zh) | 2019-07-16 |
BR112017021351A2 (pt) | 2018-07-03 |
AU2016244808B2 (en) | 2019-08-22 |
WO2016164232A1 (en) | 2016-10-13 |
KR102308579B1 (ko) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6545815B2 (ja) | 音声デコーダ、およびその動作方法およびその方法を記憶したコンピュータ可読記憶デバイス | |
US11729079B2 (en) | Selecting a packet loss concealment procedure | |
JP6377862B2 (ja) | エンコーダ選択 | |
JP6779280B2 (ja) | ハイバンド目標信号制御 | |
US9972334B2 (en) | Decoder audio classification | |
JP2017503192A (ja) | 帯域幅拡張モード選択 | |
RU2419172C2 (ru) | Системы и способы динамической нормализации для уменьшения потери точности для сигналов с низким уровнем | |
WO2014000559A1 (zh) | 语音频信号处理方法和编码装置 | |
JP6522781B2 (ja) | 利得フレームパラメータを生成するための装置、方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181107 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6545815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |