JP3871347B2 - スペクトル帯域複製を用いた原始コーディングの強化 - Google Patents
スペクトル帯域複製を用いた原始コーディングの強化 Download PDFInfo
- Publication number
- JP3871347B2 JP3871347B2 JP50196299A JP50196299A JP3871347B2 JP 3871347 B2 JP3871347 B2 JP 3871347B2 JP 50196299 A JP50196299 A JP 50196299A JP 50196299 A JP50196299 A JP 50196299A JP 3871347 B2 JP3871347 B2 JP 3871347B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- subband
- frequency
- signals
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 84
- 230000010076 replication Effects 0.000 title abstract description 17
- 230000002708 enhancing effect Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 124
- 230000001052 transient effect Effects 0.000 claims description 60
- 238000004458 analytical method Methods 0.000 claims description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000003111 delayed effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000002829 reductive effect Effects 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000017105 transposition Effects 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 21
- 230000036961 partial effect Effects 0.000 description 20
- 238000006467 substitution reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 2
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 2
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 2
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/667—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Luminescent Compositions (AREA)
- Pyridine Compounds (AREA)
- Spectrometry And Color Measurement (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Cosmetics (AREA)
Description
技術分野
原始コーディング装置では、必要なビットレートや記憶容量を減らすためにディジタルデータを圧縮して伝送または記憶する。本発明は、スペクトル帯域複製（ＳＢＲ）により原始コーディング（source coding）を改善する新規な方法と装置に関するものである。同じ知覚品質を保持してビットレートを実質的に下げ、逆に所定のビットレートで知覚品質を高める。これは、エンコーダ側でスペクトル帯域幅を縮小し、デコーダ側で後のスペクトル帯域を複製することにより行う。本発明はスペクトル領域での信号冗長度の新しい概念を活用する。
発明の背景
オーディオ原始コーディング技術は２種類ある。すなわち、自然オーディオコーディングと音声コーディングである。自然オーディオコーディングは中位のビットレートの音楽や任意の信号に共通に用いられており、オーディオ帯域幅は一般に広い。音声コーダは基本的に音声の再生に限られるが、他方では非常に低いビットレートで用いることができる。ただしオーディオ帯域幅は狭い。広帯域音声は狭帯域音声に比べて主な主観的品質が優れている。帯域幅を広くすると、音声の明瞭度と自然さが増すだけでなく、話す人を識別しやすくなる。このように広帯域音声コーディングは次世代電話システムにとって重要な課題である。更に、マルチメディア分野が非常に成長したので、音楽や非音声信号を電話システムにより高品質で伝送することが望ましい。
高忠実度の線形ＰＣＭ信号は、ビットレート対知覚エントロピーに関して非常に効率が悪い。ＣＤの標準は４４．１ｋＨｚのサンプリング周波数と、サンプル当たり１６ビットの分解能と、ステレオである。これは１４１１キロビット／ｓのビットレートに等しい。ビットレートを大幅に下げるため、分割帯域知覚オーディオコーデックを用いて原始コーディングを行うことができる。これらの自然オーディオコーデックは信号内の知覚無関係性と統計的冗長度を用いる。最高のコーデック技術を用いると、標準のＣＤフォーマット信号のデータを約９０％縮小しても実際上は劣化したと感じない。このように、ステレオでは約９６キロビット／ｓ、すなわち約１５：１の圧縮率で、非常に高い音質が得られる。或る知覚コーデックは更に高い圧縮率を用いる。このためには、サンプリングレート（したがってオーディオ帯域幅）を下げるのが普通である。また量子化レベルの数を減らし（量子化歪みが聞こえることがある）、また強化コーディングによるステレオフィールドの劣化を用いるのが普通である。このような方法を余り用いると、耳障りな知覚劣化を生じる。現在のコーデック技術は飽和点に近く、符号化利得が更に進むことは期待できない。符号化性能を高めるには、新しい方式が必要である。
人の声や殆どの楽器は、振動システムから発生する準定常信号を生成する。フーリエ理論によると、周期的信号は周波数ｆ、２ｆ、３ｆ、４ｆ、５ｆなどの正弦波の和で表される。ただし、ｆは基本周波数である。これらの周波数は調波系列を形成する。この信号の帯域幅を制限することは、調波系列を切り捨てることに相当する。切捨てを行うと楽器や音声の音色が変わり、オーディオ信号は「弱い」または「鈍い」音になり、明瞭度が下がる。音質の主観的印象にとって高周波はこのように重要である。
従来の方法は、音声コーデック性能を高めることが主体で、特に音声符号化における問題である高周波再生（ＨＦＲ）を目的としている。従来の方法は広帯域直線周波数シフトや、非線形性や、エイリアシングを用いて［米国特許番号第５，１２７，０５４号］相互変調やその他の非調波周波数成分を生成するので、これを音楽信号に適用するとひどい不協和音を生じた。この不協和音を音声符号化関係の文献では「耳障り」または「調子はずれ」の音と呼ぶ。他の合成音声ＨＦＲ法は基本ピッチ推定に基づく正弦高調波を生成するので、定常音に限られる［米国特許番号第４，７７１，４６５号］。これらの従来の方法は低品質の音声応用には有用であるが、高品質音声または音楽信号には使えない。高品質のオーディオ原始コーデックの性能を高める方法がいくつかある。その１つは、デコーダで生成された合成雑音信号を用いて、以前はエンコーダで捨てられていた音声または音楽内の雑音的信号に代える（「雑音代替によるオーディオコーデックの改善(Improving Audio Codecs by Noise Substitution)」、D. Schulz, JAES, Vol. 44, No. 7/8, 1996）。これは雑音信号があるときに、本来正常に伝送される高帯域内で断続的に行われる。別の方法は、符号化の過程で失われた或る高帯域の高調波を再現する（「オーディオスペクトルコーダ（Audio Spectral Coder）」、A. J. S. Ferreira, AES Preprint 4201, 100th Convention, May 11-14, 1996, Copenhagen）。これも音信号とピッチ検出に依存する。この２つの方法は低いデューティサイクルで動作し、比較的限定された符号化または性能の利得が得られる。
発明の概要
本発明はディジタル原始コーディング装置を実質的に改善する、より特定するとオーディオコーデックを改善する、新しい方法と装置を提供する。目的は、ビットレートの低下、または知覚品質の向上、またはその両方を含む。本発明は調波冗長度を活用した新しい方法により、伝送または記憶を行う前に信号の通過帯域を廃棄する可能性を提供する。本発明によりデコーダが高品質のスペクトル複製を行う場合は、知覚劣化は起こらない。廃棄ビットは一定の知覚品質における符号化利得を表す。または、一定のビットレートにおいて低帯域情報の符号化に更に多くのビットを割り当てて、より高い知覚品質を得ることができる。
本発明は、廃棄された調波系列は低帯域スペクトル成分と高帯域スペクトル成分の間の直接の関係に基づいて伸張することができると仮定する。この伸張された系列は、次の規則に従っていれば初めの系列と似ていると知覚される。第１に、不協和音に関係する人工音が出ないようにするために、外挿されるスペクトル成分は廃棄された調波系列と調波的に関係していなければならない。本発明はスペクトル複製プロセスの手段として置換を用いる。これは確かにこの判定基準を満たす。しかし優れた動作をするためには低帯域スペクトル成分が調波系列を形成する必要はない。その理由は、低帯域成分と調波的に関係する新しい複製成分は信号の雑音的または過渡的な性質を変えないからである。置換とは、部分音の周波数比を保ちながら部分音を音階上の１つの位置から別の位置に移すことである。第２に、複製された高帯域のスペクトル包絡線（すなわち、粗いスペクトル分布）は初めの信号と十分似ていなければならない。本発明は２つの動作モードＳＢＲ−１とＳＢＲ−２を提供する。この２つは、スペクトル包絡線を調整する方法が異なる。
ＳＢＲ−１は中間品質コーデック応用を改善するシングルエンド形のプロセスであって、デコーダが受ける低帯域信号すなわち低域信号に含まれる情報に完全に依存する。この信号のスペクトル包絡線は、例えば多項式と規則の集合すなわちコードブックを用いて決定され、外挿される。この情報を用いて、複製された高帯域を絶えず調整し等化する。このＳＢＲ−１法は後処理の利点を持つ。すなわちエンコーダ側では修正する必要がない。放送業者はチャンネルの利用度を高め、または知覚品質を高め、またはその両者が得られる。既存のビットストリーム構文と標準を修正せずに用いることができる。
ＳＢＲ−２は高品質コーデック応用を改善するダブルエンド形のプロセスであって、ＳＢＲ−１により伝送される低帯域信号の他に、高帯域のスペクトル包絡線を符号化して伝送する。スペクトル包絡線の変動速度は高帯域信号成分よりかなり低いので、限られた量の情報だけを伝送すればスペクトル包絡線を十分表すことができる。ＳＢＲ−２を用いれば、既存の構文やプロトコルを全くまたは殆ど修正せずに現在のコーデック技術の性能を高めることができるので、今後のコーデックの開発の貴重なツールである。
ＳＢＲ−１もＳＢＲ−２も、音響心理学モデルにより規定されたエンコーダがビット欠乏状態の下で低帯域の小さな通過帯域を停止したとき、これらを複製するのに用いられる。低帯域内のスペクトル複製と低帯域外のスペクトル複製により、知覚品質が高まる。更に、ＳＢＲ−１とＳＢＲ−２はビットレートスケーラビリティを用いるコーデックにも用いることができる。この場合、受信器での信号の知覚品質は伝送チャンネルの状態によって変わる。通常は、これは受信器でのオーディオ帯域幅の厄介な変動を意味する。この状態でＳＢＲ法を用いると常に高い帯域幅を保持するので、やはり知覚品質を高めることができる。
本発明は連続的に動作し、どんな種類の信号内容、すなわち音または非音（雑音的信号や過渡信号）も複製する。更に、本発明のスペクトル複製法はデコーダで利用できる周波数帯域から、廃棄された帯域を知覚的に正確に複製することができる。したがってＳＢＲ法を用いると、従来の方法に比べて実質的に高いレベルで符号化利得が得られ、または知覚品質を高めることができる。本発明を従来のコーデック改善法と組み合わせることはできるが、組み合わせても性能が高まることは期待できない。
ＳＢＲ法は次のステップを含む。
・ 初めの信号から得た信号を符号化し、信号の周波数帯域を廃棄する。廃棄は符号化の前か途中に行い、第１信号を形成する。
・ 第１信号の復号中またはその後で、第１信号の周波数帯域を置換して第２信号を形成する。
・ スペクトル包絡線を調整する。
・ 復号された信号と第２信号を組み合わせて出力信号を形成する。
第２信号の通過帯域は第１信号の通過帯域と重ならないようにまたは部分的に重なるように設定してよく、初めの信号および／または第１信号の時間特性、または伝送チャンネルの状態に従って設定する。スペクトル包絡線の調整は、前記第１信号から初めのスペクトル包絡線を推定したもの、または初めの信号の伝送された包絡線情報に基づいて行う。
本発明は２つの基本型のトランスポーザ（置換装置）を含む。すなわち、多帯域トランスポーザと時変パターン探索予測トランスポーザであって、これらは異なる特性を有する。本発明では基本的な多帯域置換を次のように行う。
・ 置換される信号を、それぞれ周波数［ｆ1，．．．，ｆN］を含む通過帯域を持つＮ（≧２）個の通過帯域フィルタの集合で濾波して、Ｎ個の帯域信号を形成する。
・ 帯域信号の周波数を周波数Ｍ［ｆ1，．．．，ｆN］を含む領域にシフトする。ただし、Ｍ≠１は置換係数である。
・ シフトされた帯域信号を結合して置換信号を形成する。
または、本発明ではこの基本的多帯域置換を次のように行う。
・ 置換される信号を、低域型の実数値または複素値サブバンド信号を生成する性質の分析フィルタバンクまたは変換を用いて帯域濾波する。
・ 任意のチャンネル数ｋの前記分析フィルタバンクまたは変換を、合成フィルタバンクまたは変換内のＭｋ（Ｍ≠１）チャンネルに接続する。
・ 合成フィルタバンクまたは変換を用いて、置換された信号を形成する。
本発明の１つの改善された多帯域置換は位相調整を含み、基本的な多帯域置換の性能を強化する。
本発明では時変パターン探索予測置換を次のように行う。
・ 第１信号の過渡検出を行う。
・ 過渡検出の結果に従って、第１信号の一部を複写／廃棄するときに、第１信号のどのセグメントを用いるかを決定する。
・ 過渡検出の結果に従って、状態ベクトルとコードブック特性を調整する。
・ 前の同期点探索で見出された同期点に基づいて、第１信号の選択されたセグメント内の同期点を探す。
本発明のＳＢＲ法は次の特徴を有する。
１． この方法と装置はスペクトル領域内の信号冗長性の新しい概念を活用する。
２． この方法と装置は任意の信号に適用することができる。
３． 各調波集合は個々に作成して制御することができる。
４． 全ての複製された高調波は既存の調波系列の延長を形成するようにして生成する。
５． スペクトル複製プロセスは置換に基づくもので、人工音は全くまたは殆ど知覚されない。
６． スペクトル複製は多数の小帯域および／または広い周波数範囲をカバーすることができる。
７． ＳＢＲ−１法では、処理はデコーダ側だけで行う。すなわち、全ての標準およびプロトコルを修正せずに用いることができる。
８． ＳＢＲ−２法は修正を全くまたは殆どせずに、殆どの標準やプロトコルに従って実現することができる。
９． ＳＢＲ−２法はコーデック設計者に新しい強力な圧縮ツールを提供する。
１０． 符号化利得は顕著である。
最も魅力的な応用は、各種の低ビットレートコーデック、例えば、ＭＰＥＧ１／２層Ｉ／ＩＩ／ＩＩＩ［米国特許番号第５，０４０，２１７号］や、ＭＰＥＧ２／４ ＡＡＣ、Ｄｏｌｂｙ ＡＣ−２／３、ＮＴＴ ＴｗｉｎＶＱ［米国特許番号第５，６８４，９２０号］や、ＡＴ＆Ｔ／Ｌｕｃｅｎｔ ＰＡＣなど、の改善に関する。。またこの発明は知覚品質を高めるための、高帯域ＣＥＬＰやＳＢ−ＡＤＰＣＭ Ｇ．７２２などの、高品質音声コーデックにも有用である。上記のコーデックはマルチメディアや、電話産業や、インターネットや、専門的な応用に広く用いられている。Ｔ−ＤＡＢ（地上ディジタルオーディオ放送）システムは低ビットレートプロトコルを用いており、本方法を用いるとチャンネル使用度が上がり、またはＦＭやＡＭ ＤＡＢの品質を高めることができる。衛星Ｓ−ＤＡＢはシステムコストが非常に高いので、本方法を用いてＤＡＢマルチプレクスのプログラムチャンネル数を増やすことにより大きな利益を得る。更に、低ビットレート電話モデムを用いて、インターネットにより初めて全帯域幅オーディオ実時間ストリーミングを達成することができる。
【図面の簡単な説明】
以下に本発明について添付の図面を参照して例を用いて説明するが、これは本発明の範囲や精神を制限するものではない。
図１は、本発明の符号化装置内に挿入されたＳＢＲである。
図２は、本発明の上部高調波のスペクトル複製を示す。
図３は、本発明の帯域内高調波のスペクトル複製を示す。
図４は、本発明のトランスポーザの時間領域実現のブロック図である。
図５は、本発明のパターン探索予測トランスポーザの動作のサイクルを表す流れ図である。
図６は、本発明の同期点の探索を表す流れ図である。
図７ａ−図７ｂは、本発明の過渡状態中のコードブック位置決めを示す。
図８は、本発明のＳＢＲ動作のための、適当なフィルタバンクに関するいくつかの時間領域トランスポーザの実現のブロック図である。
図９ａ−図９ｃは、２次高調波を生成するよう構成された本発明のＳＴＦＴ分析および合成用の装置を表すブロック図である。
図１０ａ−図１０ｂは、本発明のＳＴＦＴ装置内の直線周波数シフトを持つ１つのサブバンドのブロック図である。
図１１は、本発明の位相乗算器を用いる１つのサブバンドを示す。
図１２は、本発明の３次高調波を生成する方法を示す。
図１３は、本発明の２次および３次高調波を同時に生成する方法を示す。
図１４は、本発明のいくつかの次数の高調波の重ならない組合わせの生成を示す。
図１５は、本発明のいくつかの次数の高調波の交互配置組合わせの生成を示す。
図１６は、高帯域の直線周波数シフトの生成を示す。
図１７は、本発明の分数調波を生成する方法を示す。
図１８ａ−図１８ｂは、知覚コーデックのブロック図である。
図１９は、最大１０進化フィルタバンクの基本構造を示す。
図２０は、本発明の最大１０進化フィルタバンクの２次高調波の生成を示す。
図２１は、本発明のサブバンド信号上で動作する最大１０進化フィルタバンク内の改善された多帯域置換のブロック図である。
図２２は、本発明のサブバンド信号上で動作する最大１０進化フィルタバンク内の改善された多帯域置換を表す流れ図である。
図２３は、一般的なコーデックのサブバンドサンプルと換算係数を示す。
図２４は、本発明のＳＢＲ−２用のサブバンドサンプルと包絡線情報を示す。
図２５は、本発明のＳＢＲ−２内の包絡線の隠された伝送を示す。
図２６は、本発明のＳＢＲ−２内の冗長度符号化を示す。
図２７は、本発明のＳＢＲ−１法を用いたコーデックの実現を示す。
図２８は、本発明のＳＢＲ−２法を用いたコーデックの実現を示す。
図２９は、本発明の「疑似ステレオ」発生器のブロック図である。
好ましい実施の形態の説明
実施の形態の説明を通じて、自然オーディオ原始コーディング応用に重点を置いて述べる。しかし理解されるように、本発明はオーディオ信号の符号化や復号の応用の他に広範囲の原始コーディング応用に適用できるものである。
置換の基礎
本発明で述べる置換はスペクトル複製の理想的な方法であって、従来の方法に比べていくつかの大きな利点を持つ。すなわち、ピッチ検出は必要なく、単一ピッチで多音のプログラム材料において同じ高性能が得られ、置換は音信号にも非音信号にも同じように良く適用できる。他の方法とは異なり、本発明の置換は任意の信号の種類において任意のオーディオ原始コーディング装置に用いることができる。
時変振幅を持つコサインの和の形の離散時間信号ｘ（ｎ）の正確な置換係数Ｍは、次の関係で定義される。
ただしＮは正弦波の数（以後は部分音と呼ぶ）、ｆiとｅi（ｎ）とαiはそれぞれ個々の入力周波数と時間包絡線と位相定数、βiは任意の出力位相定数、ｆｓはサンプリング周波数、そして０≦Ｍｆi≦ｆs／２である。
図２にＭ次高調波の生成を示す。ただし、Ｍは整数≧２である。Ｍ次高調波という語は簡単のために用いた。実際は、このプロセスは或る周波数領域で全ての信号にＭ次高調波を生成するが、多くの場合は次数の分からない高調波である。周波数領域の表現Ｘ（ｆ）を持つ入力信号２０１の帯域は０からｆmaxの範囲に限定される。ｆmax／ＭからＱｆmax／Ｍ（Ｑは望ましい帯域幅伸張係数で１＜Ｑ≦Ｍ）の範囲内の信号内容を帯域フィルタで取り出して、スペクトルＸBP（ｆ）を持つ帯域信号２０３を形成する。帯域信号を係数Ｍで置換して、ｆｍａｘからＱｆｍａｘの範囲をカバーするスペクトルＸT（ｆ）を持つ第２帯域信号２０５を形成する。この信号のスペクトル包絡線をプログラム制御の等化器で調整して、スペクトルＸE（ｆ）を持つ信号２０７を形成する。次にこの信号と遅延させた入力信号とを結合して、帯域フィルタとトランスポーザにより生じる遅れを補償して、０からＱｆmaxの範囲をカバーするスペクトルＹ（ｆ）を持つ出力信号２０９を形成する。または帯域濾波は、遮断周波数ｆmaxとＱｆmaxを用いて置換Ｍの後で行う。多重トランスポーザを用いて、異なる調波次数を同時に生成することはもちろん可能である。図３に示すように入力信号がｆ0からＱｆ0にわたる通過帯域３０１を有する場合、上記の方式を用いて入力信号内の通過帯域を「充填する」こともできる。この場合は通過帯域［ｆ0／Ｍ，Ｑｆ0／Ｍ］を取り出し（３０３）、係数Ｍで［ｆ0，Ｑｆ0］に置換し（３０５）、包絡線を調整し（３０７）、遅延入力信号と結合してスペクトルＹ（ｆ）を持つ出力信号３０９を形成する。
正確な置換の近似を用いてもよい。本発明では、このような近似の質を不協和音理論を用いて決定する。不協和音の判定基準はPlompにより示されており［「音の協和と臨界帯域幅（Tonal Consonance and Critical Bandwidth）」、R. Plomp, W. J. M. Levelt JASA, Vol. 38, 1965］、２つの部分音の周波数の差がそれらが存在する臨界帯域の帯域幅の約５乃至５０％以内である場合は、２つの部分音は不協和と見なされる。例えば、所定の周波数の臨界(critical)帯域幅は次式で近似できる。
ただしｆとｃｂはＨｚで表す。更にPlompは、２つの部分音の周波数の差がそれが存在する臨界帯域幅の約５％以下である場合は、人の聴覚システムはこの２つを識別することができないと述べている。式２の正確な置換を次式で近似することができる。
ただし、Δｆiは正確な置換からの偏差である。入力部分音が調波系列を形成する場合は、本発明の仮説によると、置換された部分音の調波系列からの偏差はそれらが存在する臨界帯域幅の５％を超えてはならない。従来の方法が不快な「耳障り」や「調子はずれ」を生じるのは、広帯域直線周波数シフトにより許容できないほど大きな偏差を生じるからである。従来の方法が１入力部分音に対して２以上の部分音を生成するとき、１部分音として知覚されるためには部分音はやはり上述の偏差限界内になければならない。非線形性などを用いる従来の方法は偏差限界内にない相互変調部分音を作るので、良い結果が得られない。
本発明のスペクトル複製法に基づく上記の置換を用いると、次の重要な性質が得られる。
・ 通常は、複製された高調波と既存の部分音の間に周波数領域の重なりが起こらない。
・ 複製された部分音は入力信号の部分音と調波的に関係があり、耳障りな不協和音すなわち人工音を一切生じない。
・ 複製された高調波のスペクトル包絡線は入力信号スペクトル包絡線の滑らかな継続を形成し、初めの包絡線と知覚的に一致する。
時変パターン探索予測に基づく置換
必要なトランスポーザを設計するには種々の方法がある。一般的な時間領域実現では、ピッチ周期に基づいて信号セグメントを複製することにより信号を時間的に伸張する。次にこの信号を異なる速度で読み出す。残念ながらこの方法は、信号セグメントを正確に時間接続するのにピッチ検出に厳密に依存する。更に、ピッチ周期に基づく信号セグメントには制約があるので、過渡信号に敏感になる。検出されたピッチ周期は実際の過渡信号よりかなり長いことがあるので、全過渡信号を単に時間的に伸張するのではなく複写するという危険が大きいことは明らかである。別の種類の時間領域アルゴリズムでは、出力信号のパターン探索予測を用いて音声信号の時間伸張／圧縮を得る［「音声のパターン探索予測(Pattern Search Prediction of Speech)」、R. Bogner, T. Li, Proc. ICASS,'89, Vol. 1, May 1989や、「非線形発振器モデルに基づく音声のタイムスケール修正(Time-Scale Modification of Speech based on a nonlinear Oscillator Model)」、G. Kubin, W. B. Kleijin, IEEE, 1994］。これは粒状合成(granular synthesis）の１つの形であって、入力信号を小さな部分（細粒）に分割し、これを用いて出力信号を合成する。この合成には通常は信号セグメントの相関を取って、最良の接続点を決定する。これは、出力信号を形成するのに用いるセグメントがピッチ周期に依存しないのでピッチ検出という厄介なタスクを必要としないことを意味する。しかしこの方法にも信号振幅が急速に変わるときの問題がまだあり、高品質の置換のためには高速計算が必要になる。しかし改善された時間領域のピッチシフタ／トランスポーザをここに提示する。この方式は過渡検出と動的システムパラメータを用いることにより、定常音（音または非音）でも過渡音でも、高い置換係数の一層正確な置換を低い計算コストで行うことができる。
次に図面を参照する。各図面の同じ要素は同じ番号で示す。図４に９個の別個のモジュールを示す。すなわち、過渡検出器４０１と、窓位置調整器４０３と、コードブック発生器４０５と、同期信号選択器４０７と、同期位置メモリ４０９と、最小差推定器４１１と、出力セグメントメモリ４１３と、混合ユニット４１５と、ダウンサンプラ４１７である。入力信号はコードブック発生器４０５と過渡検出器４０１に入る。過渡信号を検出すると、その位置を窓位置モジュール４０３に送る。このモジュールは窓の大きさと位置を規定し、コードブックを作るとき入力信号と掛け算する。別のトランスポーザに接続している場合は、コードブック発生器４０５は同期選択モジュール４０７から同期位置を受ける。この同期位置がコードブック内にある場合は、これを用いて出力セグメントを生成する。ない場合は、コードブックを最小差推定器４１１に送り、最小差推定器４１１は新しい同期位置を返す。新しい出力セグメントと前の出力セグメントを共に混合モジュール４１５で窓に入れ、モジュール４１７でダウンサンプリングする。
説明を明確にするために状態空間表現を用いる。ここで状態ベクトルすなわち細粒は、入力信号と出力信号を表す。入力信号を次の状態ベクトルｘ（ｎ）で表す。
これは入力信号のＮ個の遅延サンプルから得られる。ただし、Ｎは状態ベクトルの次元、Ｄはベクトルを作るのに用いる入力サンプル間の遅れである。粒状マッピングにより各状態ベクトルｘ（ｎ−１）の後のサンプルｘ（ｎ）が得られる。これを式６で表す。ただし、ａ（＊）はマッピングである。
本方法では、状態遷移コードブックを用いて、粒状マッピングにより前の出力に基づいて次の出力を決定する。長さＬのコードブックは絶えず再構築され、状態ベクトルと各状態ベクトルに続く次のサンプルを含む。各状態ベクトルはその隣接状態ベクトルからＫサンプル離れている。これによりこの装置は、現在処理中の信号の特性に従って時間分解能を調整することができる。ただし、Ｋは最大分解能を表すものに等しい。コードブックを作成するのに用いる入力信号セグメントは、起こり得る過渡信号の位置と前のコードブック内の同期位置に基づいて選択する。
これは理論的には、マッピングａ（＊）はコードブックに含まれる全ての遷移について評価することを意味する。
この遷移コードブックを用いて、現在の状態ベクトルｙ（ｎ−１）に最も近いコードブック内の状態ベクトルを探して新しい出力ｙ（ｎ）を計算する。この最も近い隣接状態ベクトルの探索は最小差を計算することにより行い、新しい出力サンプルを得る。すなわち、
しかしこの装置はサンプル毎に作用するよう制限されているわけではなく、好ましくはセグメント毎に作用する。新しい出力セグメントを窓に入れ、前の出力セグメントと加算し混合した後、ダウンサンプリングする。ピッチ置換係数は、コードブックで表される入力セグメントの長さと、コードブックから読み出される出力セグメントの長さの比で決まる。
図面に戻って、図５と図６はトランスポーザの動作のサイクルを示す流れ図である。５０１に入力データが入り、５０３で入力信号のセグメントの過渡検出を行う。過渡信号の探索は出力セグメントの長さに等しいセグメントの長さについて行う。５０５で過渡信号が見つかると、５０７で過渡信号の位置を記憶し、５０９でパラメータＬ（コードブックの長さを表す）と、Ｋ（サンプル内の各状態ベクトル間の距離を表す）と、Ｄ（各状態ベクトル内のサンプル間の遅れを表す）を調整する。５１１で過渡信号の位置と前の出力セグメントの位置を比較して、過渡信号の処理が済んだかどうか判定する。５１３で処理が済んだ場合は、５１５でコードブックの位置（窓Ｌ）と、パラメータＫとＬとＤを調整する。必要なパラメータ調整が終わると、５１７で過渡検出の結果に基づいて新しい同期点すなわち接続点を探す。この手続きを図６に示す。６０１でまず前の同期点に基づいて、次式により新しい同期点を計算する。
ただし、Ｓｙｎｃ＿ｐｏｓとＳｙｎｃ＿ｐｏｓ＿ｏｌｄはそれぞれ新および旧の同期位置、Ｓは処理した入力セグメントの長さ、Ｍは置換係数である。６０３でこの同期点を用いて新しい接続点の精度と旧い接続点の精度を比較する。６０５でこれが前と同じまたは一層良く一致していて、しかもコードブック内にある場合は、６０７で新しい同期点を返す。一致が良くない場合は、６０９で新しい同期点をループで探す。これは類似性測度（この場合は６１１の最小差関数）を用いて行うが、時間領域または周波数領域の相関を用いることも可能である。６１３で前の位置より良く一致する位置がある場合は、６１５で同期位置を記憶する。６１７で全ての位置を調べる終わると、６１９でこのシステムは図５の流れ図に戻る。得られた新しい同期点を５１９で記憶し、５２１でコードブックから新しいセグメントを、所定の同期点から順番に読み出す。５２３でこのセグメントを窓に入れて前のセグメントと加算し、５２５で置換係数によりダウンサンプリングし、５２７で出力バッファに記憶する。
図７は、コードブックの位置に関して過渡状態にあるシステムの行動を示す。過渡信号の前には、入力セグメント１を表すコードブック１は、セグメント１の「左に」位置する。相関セグメント１は前の出力の一部を表し、これを用いてコードブック１内の同期点１を見つける。過渡信号を検出して過渡信号の点を処理すると、コードブックを図７ａに従って動き、現在処理中の入力セグメントが再びコードブックの「右に」なるまで静止する。このシステムは過渡信号より前の同期点を探すことができないので、これにより過渡信号を複写することは不可能になる。
パターン探索予測に基づく多くのピッチトランスポーザまたは時間エキスパンダは音声および単一ピッチ材料に満足できる結果を与える。しかし音楽のような高度に複雑な信号では、特に置換係数が大きい場合は、その性能は急速に悪化する。本発明は性能を高めるいくつかの解決法を提案するので、どんな種類の信号でも優れた結果が得られる。他の設計とは異なって本システムは時変的であり、システムパラメータは入力信号の性質と前の動作サイクル中に用いられたパラメータに基づく。過渡検出器は、コードブックの大きさと位置だけでなく含まれる状態ベクトルの性質も制御する。したがってこれを用いることは、信号セグメントが急速に変化しているときに、聞こえるほどの劣化を起こさない非常に強くて計算が効率的になる方法である。更に、処理中の信号セグメントの長さを変えると非常に計算が多くなるが、本方法は長さを変える必要がない。また本発明は、前の探索の結果に基づく精密なコードブック探索を用いる。つまり、パターン探索予測に基づいて時間領域システムで通常行われているのは２つの信号セグメントの通常の相関を取る方法であるが、本方法はこれとは異なり、全ての位置を順次にチェックするのではなく、最も可能性のある同期位置をまずチェックするものである。コードブック探索を減らすこの新しい方法により、システムの計算の複雑さは大幅に減る。更に、いくつかのトランスポーザを用いるときは、同期位置情報をトランスポーザの間で共有して計算の複雑さを更に減らすことができる。これについては後の実施例で示す。
すでに述べた時間領域トランスポーザを用いて、以下の例のようにＳＢＲ−１とＳＢＲ−２を実現する。これは例示であって制限するものではない。図８では、３つの時間伸張モジュールを用いて２次、３次、４次の高調波を生成する。この例では各時間領域伸張／トランスポーザは広帯域信号に作用するので、置換の後では手段がないことを考慮して、別の等化器装置を追加せずに置換の前に原始周波数範囲のスペクトル包絡線を調整するとよい。スペクトル包絡線調整器８０１、８０３、８０５はそれぞれいくつかのフィルタバンクチャンネルに作用する。包絡線調整器内の各チャンネルの利得は、置換後に出力での和８１３、８１５、８１７が所望のスペクトル包絡線を生成するように設定しなければならない。トランスポーザ８０７、８０９、８１１は相互に接続され、同期位置情報を共有する。これは、或る条件下では、別個の置換ユニット内で相関中にコードブック内で見出される同期位置の間に高い相関が起こる、という事実に基づいている。やはり例であって本発明の範囲を制限するものではないが、４次の調波トランスポーザは２次の調波トランスポーザに比べて、時間フレームでは半分で動作するがデューティサイクルでは２倍で動作すると仮定する。更に、２つのエキスパンダに用いられるコードブックは同じと仮定し、２つの時間領域エキスパンダの同期位置をそれぞれｓｙｎｃ＿ｐｏｓ４とｓｙｎｃ＿ｐｏｓ２で表すと次の関係がある。
ただし、
またＳはコードブックで表される入力セグメントの長さである。どちらの同期位置ポインタもコードブックの終わりに到達していなければこれは有効である。通常の動作中は、２次調波トランスポーザが処理する時間フレーム毎にｎは１ずつ増加し、ポインタのどちらかが結局コードブックの終わりに到達すると、カウンタｎをｎ＝０に設定し、ｓｙｎｃ＿ｐｏｓ２とｓｙｎｃ＿ｐｏｓ４を個別に計算する。４次の調波トランスポーザに接続すると、３次の調波トランスポーザについても同じ結果が得られる。
上に述べたようにいくつかの相互接続された時間領域トランスポーザを高次の高調波の生成に用いると、計算が大幅に減る。更に、ここに述べたように時間領域トランスポーザを適当なフィルタバンクと共に用いると、生成されたスペクトルの包絡線を調整することができて、しかも時間領域トランスポーザの簡単さと低い計算コストを保つことができる。それは、これらが多少でも固定点計算と加算／減算の演算だけを用いて実現できるからである。
例示であって制限的でないこの発明の他の例は、
・ サブバンドフィルタバンク内の各サブバンド内で時間領域トランスポーザを用いて、各トランスポーザの信号の複雑さを減らす。
・ 時間領域トランスポーザと周波数領域トランスポーザを共に用いて、処理中の入力信号の特性に従ってシステムが異なる置換法を用いることができるようにする。
・ 広帯域音声コーデック内で時間領域トランスポーザを用いて、例えば直線予測の後に得られる残留信号に作用する。
認識すべきことは、上に述べた方法は、サンプルレート変換を単に省略してタイムスケール修正に用いるときだけ優れているということである。更に理解すべきことは、上述の方法はより高いピッチへのピッチ置換（すなわち時間伸張）に焦点を当てているが、当業者に明らかなように、同じ原理はより低いピッチへの置換（すなわち時間圧縮）にも適用できることである。
フィルタバンクを用いた置換
種々の新しい革新的なフィルタバンクを用いた置換技術について以下に説明する。置換される信号を一連のＢＰ信号またはサブバンド信号に分割する。次にサブバンド信号を正確にまたは近似的に置換する。これを行うには、分析サブバンドと合成サブバンドを再接続する（以後、「パッチ」と呼ぶ）とよい。この方法について、まず短時間フーリエ変換（ＳＴＦＴ）を用いて説明する。
離散時間信号ｘ（ｎ）のＮ点ＳＴＦＴを次のように定義する。
ただし、ｋ＝０，１，．．．，Ｎ−１、ωk＝２πｋ／Ｎ、ｈ（ｎ）は窓である。窓が次の条件
を満たす場合は逆変換が存在して次式で与えられる。
正変換は分析器と見なしてよく（図９ａ参照）、インパルス応答ｈ（ｎ）ｅｘｐ（ｊωkｎ）９０１を持つＮ個のＢＰフィルタのバンクの後に、キャリヤｅｘｐ（−ｊωkｎ）９０３を持つＮ個の乗算器のバンクがあり、ＢＰ信号を０Ｈｚ付近の領域にシフトダウンして、Ｎ個の分析信号Ｘk（ｎ）を形成する。窓はプロトタイプＬＰフィルタとして動作する。Ｘk（ｎ）は小さな帯域幅を持ち、通常は９０５でダウンサンプリングされる。したがって式１２はｎ＝ｒＲのときだけ計算すればよい。ただしＲは１０進化係数、ｒは新しい時間変数である。Ｘk（ｎ）はアップサンプリングによりＸk（ｒＲ）から回復することができる（図９ｂ参照）。すなわち、９０７でゼロを挿入した後、９０９でＬＰ濾波する。逆変換は合成器と見なされ、その構成は、信号Ｘk（ｎ）を初めの周波数にまでシフトするキャリヤ（１／Ｎ）ｅｘｐ（ｊωkｎ）９１１を持つＮ個の乗算器のバンクの後に、全てのチャンネルからの貢献ｙk（ｎ）を加算する段９１３（図９ｃ参照）がある。ＳＴＦＴおよびＩＳＴＦＴを再配列してＤＦＴおよびＩＤＦＴを用いてよく、これによりＦＦＴアルゴリズムを用いることができる［「高速フーリエ変換を用いた位相ボコーダの実現（Implementaion of the Phase Vocoder using the Fast Fourier Transform）」、M. R. Portnoff, IEEE ASSP, Vol. 24, No. 3, 1976］。
図９ｃはＮ＝３２を持つ２次高調波（Ｍ＝２）を生成するパッチ９１５を示す。簡単のために、チャンネル０乃至１６だけを示す。ＢＰ１６の中心周波数はナイキスト周波数に等しく、チャンネル１７乃至３１は負の周波数に相当する。Ｐ９１７および利得ブロック９１９で示すブロックについては後で説明するので、とりあえずは除いて考える。この例の入力信号は帯域が制限されており、チャンネル０乃至７だけが信号を含む。分析チャンネル８乃至１６は空であって、合成器にマッピングする必要はない。分析チャンネル０乃至７は、入力信号遅延路に相当する合成チャンネル０乃至７に接続する。また分析チャンネルｋ（４≦ｋ≦７）は合成チャンネルＭｋ（Ｍ＝２）にも接続し、ＢＰフィルタｋの中心周波数の２倍の周波数領域に信号をシフトする。したがって、信号は初めの範囲にアップシフトされるだけでなく、１オクターブ上に置換される。調波生成を実数値フィルタ応答および変調器に関して調べるには、負の周波数も考慮しなければならない（図１０ａの下側の分岐を参照）。したがって、再マッピングｋ→Ｍｋ１００１とＮ−ｋ→Ｎ−Ｍｋ１００３（４≦ｋ≦７）の組合わせ出力を評価しなければならない。
これから次が得られる。
ただし、Ｍ＝２である。式１５は、入力信号のＢＰ濾波の後に、直線周波数シフトすなわち上側波帯（ＵＳＢ）変調、すなわち上側波帯を用いる単側波帯変調（図１０ｂ参照）が続くと考えてよい。ただし１００５と１００７はヒルベルト変成器を形成し、１００９と１０１１はコサインおよびサインキャリヤを持つ乗算器であり、１０１３は上側波帯を選択する差分段である。明らかに、このような多帯域ＢＰおよびＳＳＢ法は明示的に、すなわちフィルタバンクパッチングなしに、時間領域または周波数領域で実現され、個々の通過帯域と発振器周波数を任意に選択することができる。
式１５では、分析チャンネルｋの通過帯域内の周波数ωiを持つ正弦波は周波数Ｍωk＋（ωi−ωk）で調波を生成する。したがって、基本的多帯域置換と呼ぶ方法だけが、周波数ωi＝ωk（４≦ｋ≦７）を持つ入力信号の正確な高調波を生成する。しかし、フィルタの数が十分大きい場合は、正確な置換からの偏差は無視できる（式４参照）。更に、各分析チャンネルが最大１部分音を含む場合は、Ｐ９１７（図９ｃ）で示すブロックを挿入することにより任意の周波数の準定常音信号は正確に置換される。この場合、Ｘk（ｒＲ）は、部分音周波数ωiと分析フィルタの中心周波数ωkの差に等しい周波数を持つ複素指数関数である。正確な置換Ｍを得るには、これらの周波数は上の周波数関係を係数Ｍだけ増加させて、ωi→Ｍωk＋Ｍ（ωi−ωk）＝Ｍωiに修正しなければならない。Ｘk（ｒＲ）の周波数はそれぞれの重ならない位相角の時間微分に等しく、連続した位相角の１次差分を用いて推定してよい。周波数の推定にＭを掛けて、これらの新しい周波数を用いて合成位相角を計算する。しかし、位相定数を除いて、分析引数にＭを直接掛けるという簡易法で同じ結果が得られ、周波数を推定する必要がなくなる。これを、ブロック９１７を表す図１１に示す。まず、Ｘk（ｒＲ）（この例では４≦ｋ≦７）を直角座標から極座標に変換する。これをブロックＲ→Ｐ，１１０１で示す。１１０３で引数にＭ＝２を掛け、絶対値は変えない。次に１１０５で信号を変換して直角座標に戻して（Ｐ→Ｒ）信号ＹMk（ｒＲ）を形成し、図９ｃの合成チャンネルに与える。この改善された多帯域置換法には２つの段がある。基本的方法と同様にパッチにより粗い置換を行い、位相乗算器により微細な周波数訂正を行う。上の多帯域置換法はＳＴＦＴを用いる従来のピッチシフト法とは異なる。ＳＴＦＴでは合成にルックアップテーブル発振器を用いる。またはＩＳＴＦＴを合成に用いる時は信号の時間を伸ばして１０進化する、すなわちパッチを用いない。
図９ｃの調波パッチは、置換係数が２でない場合は容易に修正される。図１２は３次高調波を生成するパッチ１２０３を示す。１２０１は分析チャンネル、１２０５は合成チャンネルである。異なる次数の高調波も図１３に示すように同時に作ることができる（ここでは２次と３次の高調波を用いる）。図１４は、２次と３次と４次の高調波が重ならない組合わせを示す。最低の可能な調波数をできるだけ高い周波数で用いる。調波Ｍの宛先範囲の上限を超えると、調波Ｍ＋１を用いる。図１５は、全ての合成チャンネル（Ｎ＝６４、チャンネル０−３２を示す）にマッピングする方法を示す。非素数指数を持つ全ての高帯域チャンネルは、原始チャンネル番号と宛先チャンネル番号の関係ｋdest＝Ｍｋsourceに従ってマッピングする。ただし、Ｍはｋsourceが低帯域にありｋdestが高帯域にあるという条件を満たす最小整数≧２である。したがって、どの合成チャンネルも２つ以上の分析チャンネルから信号を受けない。素数の高帯域チャンネルはｋsource＝１または低帯域チャンネルｋsource＞１にマッピングしてよく、これは上述の関係のよい近似を作る（図１５にはＭ＝２，３，４，５における非素数接続だけを示す）。
異なる分析チャンネルからの振幅情報と位相情報を組み合わせることも可能である。振幅信号｜Ｘk（ｒＲ）｜は図１６のように接続してよい。位相信号ａｒｇ｛Ｘk（ｒＲ）｝は図１６の原理に従って接続する。このようにして、低帯域周波数を置換し、図２の置換から得られる伸張包絡線ではなく原始領域包絡線の周期的繰返しを生成する。「空の」原始チャンネルを増幅しないようにするため、ゲートや他の手段を用いてよい。図１７は別の応用であって、高位のサブバンドから低位のサブバンドへの接続を用いて、高域濾波信号または低音限定信号に分数高調波を生成する。上記の置換を用いるとき、信号の特性に基づいてパッチの適応切替えを用いるとよい。
上の説明では、入力信号に含まれる最高周波数はナイキスト周波数よりかなり低いと仮定した。したがってサンプルレートを増やさずに帯域幅を伸張することができた。しかしこれはいつでもできるわけではなく、事前のアップサンプリングが必要な場合がある。置換にフィルタバンク法を用いるときは、アップサンプリングをプロセスに統合することが可能である。
多くの知覚コーデックは、時間から周波数へのマッピングに最大１０進化フィルタバンクを用いる［「知覚コーディング入門（Introduction to Perceptual Coding）、K. Brandenburg, AES，ディジタルオーディオのビットレート減少に関する論文集（Collected Papers on Digital Audio Bitrate Reduction), 1996］。図１８ａは知覚エンコーダ装置の基本構造を示す。分析フィルタバンク１８０１は入力信号をいくつかのサブバンド信号に分割する。１８０３で、減らしたビット数を用いてサブバンドサンプルを個別に量子化する。量子化レベル数は、最小マスキングしきい値を推定する知覚モデル１８０７から決定する。サブバンドサンプルを基準化し、任意の冗長度符号化法で符号化し、１８０５で基準化係数やビット割当て情報やその他のコーデック特定データから成る脇情報と組み合わせて、直列ビットストリームを形成する。次にこのビットストリームを記憶しまたは伝送する。図１８ｂのデコーダでは、１８０９で符号化ビットストリームのデマルチプレクシングを行い、復号して、１８１１でサブバンドサンプルを等しい数のビットに再量子化する。１８１３で、合成フィルタバンクはサブバンドサンプルを組み合わせて初めの信号を再生する。最大１０進化フィルタバンクを用いて実現すると計算コストが大幅に減る。以下の説明では、コサイン変調フィルタバンクに焦点を当てる。しかし理解すべきことは、本発明は、ウェーブレット変換のフィルタバンク解釈や、他の不等帯域幅フィルタバンクまたは変換や、多次元フィルタバンクまたは変換などの他の種類のフィルタバンクまたは変換を用いて実現することができることである。
例であって制限するものではないが、以下の説明ではＬチャンネルコサイン変調フィルタバンクは入力信号ｘ（ｎ）をＬ個のサブバンド信号に分割すると仮定する。最大１０進化フィルタバンクの一般構造を図１９に示す。分析フィルタをＨk（ｚ）１９０１（ｋ＝０，１，．．．，Ｌ−１）で示す。１９０３でサブバンド信号ｖk（ｎ）を最大１０進化する。各サンプル周波数はｆs／Ｌである。ただし、ｆsはｘ（ｎ）のサンプリング周波数である。合成部では１９０５で内挿し１９０７で濾波した後、サブバンド信号を再組立てして
を生成する。合成フィルタをＦk（ｚ）で示す。更に、本発明は
にスペクトル複製を行い、強化信号ｙ（ｎ）を生じる。
サブバンド信号をＱＬチャンネルフィルタバンクで合成するときは、Ｌ個の低帯域チャンネルだけを用い、また帯域幅伸張係数ＱはＱＬが整数値になるように選択するが、この合成によりサンプリング周波数Ｑｆsを持つ出力ビットストリームが得られる。したがって、拡大フィルタバンクはＬチャンネルフィルタバンクの後にアップサンプラがあるかのように動作する。この場合はＬ（Ｑ−１）個の高帯域フィルタは用いない（ゼロを与える）ので、オーディオ帯域幅は変わらない。フィルタバンクは単に
をアップサンプリングしたものを再構築するだけである。しかしＬ個のサブバンド信号を高帯域フィルタにパッチングした場合は、
の帯域幅は係数Ｑだけ増えてｙ（ｎ）を生成する。これは本発明の基本的多帯域トランスポーザの最大１０進化フィルタバンク版である。この方式を用いると、アップサンプリングプロセスは前に説明した合成濾波に統合される。注意したいのは、どんな大きさのフィルタバンクを用いても、出力信号のサンプルレートは異なり、したがって帯域幅伸張係数は異なることである。整数置換係数Ｍを持つ本発明の基本的多帯域置換法を用いて
にスペクトル複製を行うには、次式でサブバンド信号をパッチングする。
ただし、ｋ∈[0,Ｌ−１］であってＭｋ∈［Ｌ，ＱＬ−１］になるように選択され、ｅMk（ｎ）は包絡線訂正、（−１）(M-1)knはスペクトル反転サブバンドの訂正係数である。スペクトル反転はサブバンド信号の１０進化の結果であり、反転信号はこれらのチャンネル内の１つ置きのサンプルの符号を変えることにより再反転する。図２０は１６チャンネルの合成フィルタバンクであって、２００９で置換係数Ｍ＝２、Ｑ＝２についてパッチングされている。ブロック２００１と２００３はそれぞれ図１９の分析フィルタＨk（ｚ）とデシメータである。同様に、２００５と２００７は補間回路と合成フィルタＦk（ｚ）である。これにより式１６は、受信データの４つの上位周波数サブバンド信号を、合成フィルタバンク内の８つの最上位チャンネルの１つ置きのチャンネルにパッチングすることに簡単化される。スペクトル反転を行ったので、１つ置きのパッチングされたサブバンド信号は合成する前に周波数を反転しなければならない。更に２０１１で、パッチングされた信号の振幅をＳＢＲ−１またはＳＢＲ−２の原理に従って調整しなければならない。
本発明の基本的多帯域置換法を用いると、生成される高調波は一般に基本波の正確な倍数にならない。各サブバンドの最低周波数を除く全ての周波数は正確な置換とは或る程度異なる。更に、ターゲット間隔は原始間隔より広い周波数範囲をカバーするので、複製スペクトルはゼロを含む。更に、サブバンド信号の周波数はターゲット間隔に分離されるので、コサイン変調フィルタバンクのエイリアス打消し特性はなくなる。すなわち、隣接サブバンド信号は高帯域領域で重ならない。しかし、当業者に知られているエイリアス削減法を用いればこの種の人工音を減らすことができる。この置換法の利点は、実現が容易なことと、計算コストが非常に低いことである。
正弦波を完全に置換するため、改善された多帯域置換法の効果的な最大１０進化フィルタバンクを用いた解決法を以下に提示する。このシステムは追加の修正分析フィルタバンクを用い、合成フィルタバンクはVaidyanathanにより述べられている方法でコサイン変調する［「マルチレートシステムとフィルタバンク(Multirate Systems and Filter Banks)」、P. P. Vaidyanathan, Prentice Hall, Englewood Cliffs, New Jersey, 1993, ISBN 0-13-605718-7］。最大１０進化フィルタバンクに基づいて、本発明の改善された多帯域置換法を用いた操作のステップを図２１の略図と、図２２の流れ図で以下に示す。
１． Ｌ個の受信サブバンド信号をＱＬチャンネルのフィルタバンク２１０１、２２０１、２２０３で合成して信号ｘ1（ｎ）を形成する（Ｌ（Ｑ−１）上部チャンネルにはゼロを与える）。したがって、信号ｘ1（ｎ）は帯域幅伸張係数Ｑでオーバーサンプリングされる。
２． ２１０３、２２０５でｘ1（ｎ）を係数Ｑでダウンサンプリングして信号ｘ2（ｎ’）を形成する。すなわち、ｘ2（ｎ’）＝ｘ1（Ｑｎ’）である。
３． ２２０７、２２０９、２２１１で、Ｔ＝ＫＭ／Ｑで整数になるように整数値Ｋを合成フィルタバンクの大きさとして選択する。ただし、Ｔは修正された分析フィルタバンクの大きさ、Ｍは置換係数である。好ましくは、Ｋは定常（音）信号では大きく、動的（過渡的）信号では小さくなるように選ぶ。
４． ２１０７、２２１３で、Ｔチャンネルの修正された分析フィルタバンクでｘ2（ｎ’）を濾波し（Ｔ分析フィルタは指数関数的に変調される）、複素値のサブバンド信号の集合を生成する。サブバンド信号を係数Ｔ／Ｍでダウンサンプリングし、サブバンド信号ｖk (M)（ｎ”）（ｋ＝０，１，．．．，Ｔ−１）を生成する。したがって、フィルタバンクは係数Ｍでオーバーサンプリングされる。
５． サンプルｖk (M)（ｎ”）を極座標表現（振幅と位相角）に変換する。２１０９、２２１５で、位相角に係数Ｍを掛けて、サンプルを図１１の方法で変換して直角座標表現に戻す。複素値サンプルの実数部を取り、信号ｓk (M)（ｎ”）を生成する。この操作の後、信号ｓk (M)（ｎ”）を厳密にサンプリングする。
６． ２１１１、２２１７で、ＳＢＲ−１またはＳＢＲ−２の原理に従って信号ｓk (M)（ｎ”）の利得を調整する。
７． ２１０５、２２２１で、サブバンド信号ｓk (M)（ｎ”）（ただし、ｋ∈［Ｔ／Ｍ，ｍｉｎ（Ｋ，Ｔ）−１］）を通常のコサイン変調Ｋチャンネルフィルタバンクで合成して、チャンネル０乃至Ｔ／Ｍ−１にゼロを与える。これにより、信号ｘ3 (M)（ｎ）を生成する。
８． ２２２３で、最終的にｘ3 (M)（ｎ）とｘ1（ｎ）を加算してｙ（ｎ）を得る。これが所望のスペクトル複製信号である。
置換係数Ｍの異なる値についてステップ３乃至６を繰り返して、ｘ1（ｎ）に多重高調波を加える。この動作モードを図２１の点線で示し、また図２２の２２１１−２２１９のループの繰り返しで示す。この場合、Ｍの全ての選択値（Ｍは整数値）に対してＴが整数値になるようにＫを選ぶ。好ましくは、Ｋ／Ｑが正の整数になるようにＫを選ぶ。全てのサブバンド信号ｓk (Mi)（ｎ”）（ただし、ｉ＝１，２，．．．，ｍ、またｍは置換係数の数）を、式
を用いて全ての適用可能なｋについて加算する。図２２のループの第１繰返しでは、信号ｓk（ｎ”）（ただし、ｋ＝０，１，．．．，Ｋ−１）はゼロだけのサブバンドサンプルと考えてよい。全てのループにおいて、２２１９で次式により新しいサンプルをｓk（ｎ”）に加える。
ただし、ｋ＝Ｋ／Ｑ，Ｋ／Ｑ＋１，．．．，ｍｉｎ（Ｋ，Ｔi）−１。ステップ７に従って、サブバンド信号ｓk（ｎ”）をＫチャンネルフィルタバンクで１度に合成する。
ステップ４の修正された分析フィルタバンクは、コサイン変調フィルタバンクの理論から得られる。ここで、変調重ね合わせ変換（ＭＬＴ）［「効率的変換／サブバンド符号化のための重ね合わせ変換（Lapped Transform for Efficient Transform/Subband Coding）」、H. S. Malvar, IEEE Trans ASSP, vol. 38, no. 6, 1990］は特殊なケースである。Ｔチャンネルのコサイン変調フィルタバンク内のフィルタのインパルス応答ｈk（ｎ）は次のように書かれる。
ただし、ｋ＝０，１，．．．，Ｔ−１、Ｎは低域プロトタイプフィルタｐo（ｎ）の長さ、Ｃは定数、Φkは隣接チャンネル間のエイリアスを打ち消す位相角である。Φｋの制約は次式で表され、
これを簡単化すると次の閉じた形式表現になる。
Φkをこのように選ぶと、インパルス応答を持つ合成フィルタバンク
を用いて、完全な再構成システムまたは近似的な再構成システム（疑似ＱＭＦシステム）が得られる。
次のフィルタを考える。
ただし、ｈ’k（ｎ）はプロトタイプフィルタｐo（ｎ）をサイン変調したものである。フィルタＨ’k（ｚ）とＨk（ｚ）は、同じ通過帯域支援を有するが位相応答が異なる。フィルタの通過帯域は実際は相互のヒルベルト変換である（これはω＝０およびω＝πに近い周波数では有効でない）。式１９と式２３を結合すると次式になり、
正の周波数ではＨk（ｚ）と同じ形の振幅応答を持ち負の周波数ではゼロであるフィルタを生成する。式２４のインパルス応答を持つフィルタバンクを用いると、式１９のインパルス応答を持つフィルタバンクから得られるサブバンド信号に対応する、分析（複素）信号と見なしてよいサブバンド信号の集合が得られる。複素値サンプルは極座標形式でｚ（ｎ）＝ｒ（ｎ）＋ｊｉ（ｎ）＝｜ｚ（ｎ）｜ｅｘｐ｛ｊａｒｇ（ｚ（ｎ））｝と書くことができるので、分析信号は扱いやすい。しかし置換に複素フィルタバンクを用いると、エイリアス打消し特性を保つためにΦkの制約を一般化しなければならない。エイリアス打消しと式２２のインパルス応答を持つ合成フィルタバンクを保証するΦkの新しい制約は
であって、Ｍ＝１のときは式２１のように簡単になる。このように選択すると、置換された部分音はＭ＝１（置換なし）のときと同じ相対位相を有する。
式２４と式２５を結合すると次式が得られる。
これは本発明のステップ４の修正されたフィルタバンクに用いるフィルタである。
ステップ５について少し説明する。係数Ｔ／Ｍで複素値のサブバンド信号をダウンサンプリングするとＭだけオーバーサンプリングされる。これは、後で位相角に置換係数Ｍを掛けるときの重要な判定基準である。オーバーサンプリングにより、ターゲット範囲に置換した後の帯域幅当たりのサブバンドサンプルの数は原始範囲の数に等しくなる。置換されたサブバンド信号の個々の帯域幅は、位相乗算器のために原始範囲内の帯域幅のＭ倍になる。このため、ステップ５の後でサブバンド信号は厳密にサンプリングされ、更に、音信号を置換するときスペクトル内にゼロがなくなる。
三角法計算を避けるために、すなわち新しいサブバンド信号を次式
ただし、｜ｖk (M)（ｎ”）｜はｖk (M)（ｎ”）の絶対値、で計算しなければならないので、次の三角法関係を用いる。
ここで
とし、また
および
であって、ステップ５の計算を三角法計算によらずに行うことができるので、計算は簡単になる。
Ｍが偶数のときに置換を用いると、低域プロトタイプフィルタｐo（ｎ）の特性によっては位相乗算器に障害が起こることがある。全ての適用可能なプロトタイプフィルタは、ｚ平面内の単位円上にゼロを有する。単位円上のゼロはフィルタの位相応答を１８０°シフトする。Ｍが偶数のとき、位相乗算器はこのシフトを３６０°シフト（すなわち位相シフトが消える）と解釈する。このように位相シフトが消える周波数に位置する部分音は合成信号にエイリアシングを起こす。最悪の場合は、部分音が分析フィルタの第１サイドローブの頂点に対応する周波数の点にあるときである。振幅応答でのこのローブの拒否に従って、エイリアシングの聞こえかたが変わる。一例として、ＩＳＯ／ＭＰＥＧ層１および２標準に用いるプロトタイプフィルタの第１サイドローブは９６ｄＢ拒否されるが、ＩＳＯ／ＭＰＥＧ層３標準のＭＤＣＴ方式に用いるサイン窓の第１サイドローブでは拒否は２３ｄＢに過ぎない。サイン窓を用いると、この種のエイリアシングが聞こえることは明らかである。この問題の解決を以下に示す。これを相対的位相同期と呼ぶ。
フィルタｈa k（ｎ）は全て直線位相応答を有する。位相角Φkは隣接チャンネルの間に相対的位相差を生じさせ、単位円上のゼロはチャンネル間で異なる周波数の位置に１８０°位相シフトを起こす。位相乗算器を活動化する前に隣接サブバンド信号の間の位相差を監視すれば、位相反転情報を含むチャンネルを検出するのは容易である。音信号の場合は式２５から、位相差は非反転信号では約π／２Ｍであり、したがってどちらかの信号が反転している信号では約π（１−１／２Ｍ）である。反転信号の検出は、隣接サブバンド内のサンプルの点乗積
を計算することにより簡単に行うことができる。式３２の積が負の場合は位相差は９０°より大きく、位相反転条件が存在する。ステップ５に従って複素値サブバンド信号の位相角にＭを掛けると、最後に反転と印した信号は打ち消される。このように相対位相同期法を用いると１８０°シフトしたサブバンド信号は位相掛け算を行った後このシフトを保持して、エイリアシング打消し特性を維持する。
スペクトル包絡線調整
Stockham［「自動利得制御への一般化された線形性の適用（Application of Generalized Linearity to Automatic Gain Control）」、T. G. Stockham, Jr, IEEE Trans. on Audio and Electroacoustics, Vol. AU-16, No. 2, June 1968］および式１によると、音声や音楽など殆どの音は緩やかに変化する包絡線と急速に変化する一定振幅のキャリヤの積で特徴づけられる。
分割帯域知覚オーディオコーダでは、オーディオ信号をフレームに区切り、サブバンドフィルタすなわち時間周波数領域変換を用いて多数の周波数帯域に分割する。殆どの型のコーデックでは、伝送または記憶のために信号をその後２つの主な信号成分であるスペクトル包絡線表現と基準化サブバンドサンプルまたは係数に分離する。以下の説明を通して「サブバンドサンプル」または「係数」とは、サブバンドフィルタから得られるサンプル値と、時間周波数変換から得られる係数を言う。「スペクトル包絡線」または「換算係数」は時間フレームにおけるサブバンドの値（各サブバンド内の平均または最大振幅など）を表し、サブバンドサンプルの基準化に用いる。しかし、スペクトル包絡線は直線予測ＬＰＣを用いて得ることもできる［米国特許番号第５，６８４，９２０号］。一般的なコーデックでは、基準化されたサブバンドサンプルは、緩やかに変化する時間包絡線、したがって非常に低いビットレート（利用可能なビットレートの約１０％を用いる）で符号化されるスペクトル包絡線、に比べて高いビットレート（利用可能なビットレートの約９０％を用いる）で符号化する必要がある。
初めの信号の音色の質を保存する場合は、複製された帯域幅の正確なスペクトル包絡線が重要である。楽器または音声の知覚される音色は主に聴覚の最高オクターブにある周波数ｆlimより低いスペクトル分布で決まる。したがってｆlimより高いスペクトルの詳細は余り重要でないので、上記の置換法により得られる高帯域の微細構造は調整する必要がない。しかし粗構造は一般に調整する必要がある。この調整を行うには、信号のスペクトル表現を濾波して包絡線の粗構造と微細構造を分離するとよい。
本発明のＳＢＲ−１実現では、高帯域の粗いスペクトル包絡線はデコーダで利用可能な低帯域情報から推定する。この推定は、低帯域の包絡線を絶えず監視して、特定の規則に従って高帯域スペクトル包絡線を調整することにより行う。包絡線推定を行う新規な方法は、対数の周波数振幅空間内で漸近線を用いる。これは線形空間内で種々の次数の多項式により曲線の当てはめを行うことに相当する。低帯域スペクトルの上部のレベルと傾斜を推定し、この推定を用いて新しい高帯域包絡線を表す１つまたはいくつかのセグメントのレベルと傾斜を定義する。漸近線の交差点は周波数で固定され、ピボット点の役目をする。しかし必ずしも必要ではないが、制約を設けて高帯域包絡線軌跡を現実的な境界内に保つのは有益である。スペクトル包絡線を推定する別の方法は、多数の代表的スペクトル包絡線のベクトル量子化ＶＱを用いて、これをルックアップテーブルまたはコードブックに記憶することである。ベクトル量子化は大量の訓練データ（この場合はオーディオスペクトル包絡線）上の所望の数のベクトルを訓練することにより行う。この訓練は通常は一般化されたロイド(Lloyd)アルゴリズムで行い［「ベクトル量子化と信号圧縮（Vector Qantization and Signal Compression）」、A. Gersho, R. M. Gray, Kluwer Academic Publishers, USA 1992, ISBN 0-7923-9181-0］、訓練データの内容を最適にカバーするベクトルを生成する。Ｂ包絡線で訓練されたＡスペクトル包絡線（Ｂ＞＞Ａ）から成るＶＱコードブックを考えると、Ａ包絡線は、多くの種類の音のＢ個の観察に基づく、低帯域包絡線から高帯域包絡線へのＡ個の最も可能性のある遷移を表す。これは理論的には、Ｂ個の観察に基づいて包絡線を予測するためのＡ個の最適規則である。新しい高帯域スペクトル包絡線を推定するときは、初めの低帯域包絡線を用いてコードブックを探し、コードブックの最も合致する項目の高帯域部を適用して新しい高帯域スペクトルを作成する。
図２３に、基準化されたサブバンドサンプルを２３０１で表し、スペクトル包絡線を換算係数２３０５で表す。例示のために、デコーダ２３０３への伝送を並列形式で示す。ＳＢＲ−２法の図２４では、図２３と同様にスペクトル包絡線情報を生成して伝送するが、サブバンドサンプルは低帯域だけを伝送する。したがって伝送される換算係数は全周波数範囲にわたるが、サブバンドサンプルは高帯域を除く限られた周波数範囲だけである。デコーダで低帯域サブバンドサンプル２４０１を２４０３のように置換し、受信した高帯域スペクトル包絡線情報２４０５と結合する。このようにすれば、合成高帯域スペクトル包絡線は初めのスペクトル包絡線と同じであるがビットレートは大幅に下がる。
或るコーデックでは、図２４に示すように全スペクトル包絡線の換算係数を伝送し、高帯域サブバンドサンプルは省略することができる。他のコーデック標準では、換算係数とサブバンドサンプルが同じ周波数範囲をカバーするよう規定しなければならない。すなわち、サブバンドサンプルを省略した場合は換算係数を伝送することはできない。この場合はいくつかの解決法がある。例えば、高帯域スペクトル包絡線情報を別のフレームで伝送してよい。このフレームは、自身のヘッダと任意の誤り保護を持ち、その後にデータが続く。本発明を利用しない普通のデコーダはヘッダを認識しないので、余分なフレームは廃棄する。第２の解決法では高帯域スペクトル包絡線情報を、符号化されたビットストリーム内の補助データとして伝送する。しかし利用可能な補助データフィールドは包絡線情報を保持するだけ十分大きくなければならない。この２つの解決法が適用できない場合は、第３の解決法、すなわち高帯域スペクトル包絡線情報をサブバンドサンプルとして隠す方法を適用してよい。サブバンド換算係数は、一般に１００ｄＢを超える大きな動的範囲をカバーする。任意の数のサブバンド換算係数（図２５の２５０５）を非常に低い値に設定して、高帯域換算係数をサブバンドサンプルとして「偽装し」て２５０１のように伝送することができる。このように高帯域換算係数をデコーダ２５０３に伝送することにより、ビットストリーム構文と両立させることができる。任意のデータをこの方法で伝送してよい。これに関連して、情報を符号化してサブバンドサンプルストリームにする方法がある［米国特許番号第５，６８７，１９１号］。図２６に示す第４の解決法は、符号化システムがハフマンまたは他の冗長度符号化２６０３を用いるときに適用することができる。高い冗長度を達成するには、高帯域のサブバンドサンプルをゼロ（２６０１）にまたは一定値に設定する。
過渡応答の改善
過渡信号に関連する人工音はオーディオコーデックの共通の問題であり、同様な人工音は本発明でも発生する。一般に、パッチングを行うと時間領域の前エコーと後エコー（すなわち「真の」過渡信号の前か後の疑似過渡信号）に相当するスペクトル「ゼロ」すなわちノッチを生成する。Ｐブロックはゆっくり変化する音信号の「ゼロを埋める」が、前エコーと後エコーは残る。改善された多帯域法は、正弦波の数がサブバンド当たり１個に制限された離散的正弦波に作用するものである。サブバンド内の過渡信号すなわち雑音は、そのサブバンド内の多数の離散的正弦波と見ることができる。これは相互変調歪みを生成する。これらの人工音は、複製された高帯域チャンネルに過渡期間中に接続された追加の量子化雑音源と考えられる。したがって、知覚オーディオコーダ内の前エコーおよび後エコー人工音を避ける従来の方法（例えば適応窓切替え）を用いえば、改善された多帯域法の主観的品質を高めることができる。コーデックまたは別個の検出器による過渡検出を用い、また過渡状態にあるチャンネル数を減らせば、「量子化雑音」は時間に依存するマスキングしきい値を超えない。過渡信号の通過中は少数のチャンネルを用い、音の通過中は多数のチャンネルを用いる。このような適応的な窓切替えはコーデック内で普通に用いられており、周波数分解能と時間分解能の間で取引する。フィルタバンク大きさが固定されている応用には別の方法を用いてよい。１つの方法は、スペクトル領域内の直線予測により「量子化雑音」を時間で成形することである。次に残留信号に置換を行う。これが直線予測フィルタの出力である。その後で反転予測フィルタを、初めのチャンネルとスペクトル複製チャンネルに同時にかける。別の方法はコンパンダシステム（すなわち、置換または符号化の前の過渡信号の動的振幅圧縮と、置換の後の補足的な伸張）を用いる。また、信号に依存して置換法の間で切り替えることもできる。例えば定常信号に高分解能フィルタバンク置換法を用い、過渡信号に時変パターン探索予測法を用いる。
実際的な応用
標準の信号プロセッサまたは強力ＰＣを用いると、ＳＢＲ強化コーデックを実時間で動作させることができる。ＳＢＲ強化コーデックはカスタムチップにハードで符号化してもよい。また図２７や図２８のように任意のコーデックを用いて種々のシステムでこれを実現して、アナログ信号またはディジタル信号の記憶または伝送に用いてよい。ＳＢＲ−１法は、デコーダに組み込んでも、付加的なハードウエアまたはソフトウエア後処理モジュールとして供給してもよい。ＳＢＲ−２法はエンコーダを更に修正する必要がある。図２７において、アナログ入力信号がＡ／Ｄ変換器２７０１に入り、ディジタル信号を形成して任意のエンコーダ２７０３に与え、ここで原始コーディングを行う。この装置に入る信号は、聴覚範囲内のスペクトル帯域をすでに廃棄した、またはスペクトル帯域を任意のエンコーダ内で廃棄した低域信号でよい。得られる低帯域信号をマルチプレクサ２７０５に与えて直列ビットストリームを形成し、２７０７で伝送または記憶する。デマルチプレクサ２７０９は信号を回復して任意のデコーダ２７１１に与える。スペクトル包絡線情報２７１５をデコーダ２７１１で評価してＳＢＲ−１ユニット２７１３に与える。ユニット２７１３は低帯域信号を高帯域信号に置換して、包絡線を調整した広帯域信号を生成する。最後に、２７１７でディジタル広帯域信号をアナログ出力信号に変換する。
ＳＢＲ−２法はエンコーダを更に修正する必要がある。図２８において、アナログ入力信号がＡ／Ｄ変換器２８０１に入り、ディジタル信号を形成して任意のエンコーダ２８０３に与え、ここで原始コーディングを行う。２８０５でスペクトル包絡線情報を取り出す。得られる信号は低帯域サブバンドサンプルまたは係数と広帯域包絡線情報で、これをマルチプレクサ２８０７に与えて直列ビットストリームを形成し、２８０９で伝送または記憶する。デマルチプレクサ２８１１は信号や低帯域サブバンドサンプルまたは係数や広帯域包絡線情報を回復して、任意のデコーダ２８１５に与える。スペクトル包絡線情報２８１３をデマルチプレクサ２８１１からＳＢＲ−２ユニット２８１７に送り、低帯域信号を高帯域信号に置換して、包絡線を調整した広帯域信号を生成する。最後に、２８１９でディジタル広帯域信号をアナログ出力信号に変換する。
非常に低いビットレートだけしか利用できないときは（インターネットや、遅い電話モデム、ＡＭ放送など）、オーディオプログラム材料のモノコーディングが避けられない。知覚品質を高めて、より快適な音をプログラムするには、タップ付き遅延線２９０１を導入すれば図２９に示す簡単な「疑似ステレオ」発生器が得られる。これは、１０ｍｓと１５ｍｓの遅延信号を２９０３で約−６ｄＢにして各出力チャンネルに与え、２９０５で初めのモノ信号に加える。疑似ステレオ発生器を用いると、低い計算コストで大きな知覚改善が得られる。
上述の実施の形態は、オーディオ原始コーディングを改善するための本発明の原理を示すものに過ぎない。理解されるように、ここに述べた装置や詳細の修正や変更は当業者には明らかである。したがって、課せられる制約は特許請求の範囲だけによるものであって、ここで実施の形態の記述や説明により示した特定の詳細によるものではない。
原始コーディング装置では、必要なビットレートや記憶容量を減らすためにディジタルデータを圧縮して伝送または記憶する。本発明は、スペクトル帯域複製（ＳＢＲ）により原始コーディング（source coding）を改善する新規な方法と装置に関するものである。同じ知覚品質を保持してビットレートを実質的に下げ、逆に所定のビットレートで知覚品質を高める。これは、エンコーダ側でスペクトル帯域幅を縮小し、デコーダ側で後のスペクトル帯域を複製することにより行う。本発明はスペクトル領域での信号冗長度の新しい概念を活用する。
発明の背景
オーディオ原始コーディング技術は２種類ある。すなわち、自然オーディオコーディングと音声コーディングである。自然オーディオコーディングは中位のビットレートの音楽や任意の信号に共通に用いられており、オーディオ帯域幅は一般に広い。音声コーダは基本的に音声の再生に限られるが、他方では非常に低いビットレートで用いることができる。ただしオーディオ帯域幅は狭い。広帯域音声は狭帯域音声に比べて主な主観的品質が優れている。帯域幅を広くすると、音声の明瞭度と自然さが増すだけでなく、話す人を識別しやすくなる。このように広帯域音声コーディングは次世代電話システムにとって重要な課題である。更に、マルチメディア分野が非常に成長したので、音楽や非音声信号を電話システムにより高品質で伝送することが望ましい。
高忠実度の線形ＰＣＭ信号は、ビットレート対知覚エントロピーに関して非常に効率が悪い。ＣＤの標準は４４．１ｋＨｚのサンプリング周波数と、サンプル当たり１６ビットの分解能と、ステレオである。これは１４１１キロビット／ｓのビットレートに等しい。ビットレートを大幅に下げるため、分割帯域知覚オーディオコーデックを用いて原始コーディングを行うことができる。これらの自然オーディオコーデックは信号内の知覚無関係性と統計的冗長度を用いる。最高のコーデック技術を用いると、標準のＣＤフォーマット信号のデータを約９０％縮小しても実際上は劣化したと感じない。このように、ステレオでは約９６キロビット／ｓ、すなわち約１５：１の圧縮率で、非常に高い音質が得られる。或る知覚コーデックは更に高い圧縮率を用いる。このためには、サンプリングレート（したがってオーディオ帯域幅）を下げるのが普通である。また量子化レベルの数を減らし（量子化歪みが聞こえることがある）、また強化コーディングによるステレオフィールドの劣化を用いるのが普通である。このような方法を余り用いると、耳障りな知覚劣化を生じる。現在のコーデック技術は飽和点に近く、符号化利得が更に進むことは期待できない。符号化性能を高めるには、新しい方式が必要である。
人の声や殆どの楽器は、振動システムから発生する準定常信号を生成する。フーリエ理論によると、周期的信号は周波数ｆ、２ｆ、３ｆ、４ｆ、５ｆなどの正弦波の和で表される。ただし、ｆは基本周波数である。これらの周波数は調波系列を形成する。この信号の帯域幅を制限することは、調波系列を切り捨てることに相当する。切捨てを行うと楽器や音声の音色が変わり、オーディオ信号は「弱い」または「鈍い」音になり、明瞭度が下がる。音質の主観的印象にとって高周波はこのように重要である。
従来の方法は、音声コーデック性能を高めることが主体で、特に音声符号化における問題である高周波再生（ＨＦＲ）を目的としている。従来の方法は広帯域直線周波数シフトや、非線形性や、エイリアシングを用いて［米国特許番号第５，１２７，０５４号］相互変調やその他の非調波周波数成分を生成するので、これを音楽信号に適用するとひどい不協和音を生じた。この不協和音を音声符号化関係の文献では「耳障り」または「調子はずれ」の音と呼ぶ。他の合成音声ＨＦＲ法は基本ピッチ推定に基づく正弦高調波を生成するので、定常音に限られる［米国特許番号第４，７７１，４６５号］。これらの従来の方法は低品質の音声応用には有用であるが、高品質音声または音楽信号には使えない。高品質のオーディオ原始コーデックの性能を高める方法がいくつかある。その１つは、デコーダで生成された合成雑音信号を用いて、以前はエンコーダで捨てられていた音声または音楽内の雑音的信号に代える（「雑音代替によるオーディオコーデックの改善(Improving Audio Codecs by Noise Substitution)」、D. Schulz, JAES, Vol. 44, No. 7/8, 1996）。これは雑音信号があるときに、本来正常に伝送される高帯域内で断続的に行われる。別の方法は、符号化の過程で失われた或る高帯域の高調波を再現する（「オーディオスペクトルコーダ（Audio Spectral Coder）」、A. J. S. Ferreira, AES Preprint 4201, 100th Convention, May 11-14, 1996, Copenhagen）。これも音信号とピッチ検出に依存する。この２つの方法は低いデューティサイクルで動作し、比較的限定された符号化または性能の利得が得られる。
発明の概要
本発明はディジタル原始コーディング装置を実質的に改善する、より特定するとオーディオコーデックを改善する、新しい方法と装置を提供する。目的は、ビットレートの低下、または知覚品質の向上、またはその両方を含む。本発明は調波冗長度を活用した新しい方法により、伝送または記憶を行う前に信号の通過帯域を廃棄する可能性を提供する。本発明によりデコーダが高品質のスペクトル複製を行う場合は、知覚劣化は起こらない。廃棄ビットは一定の知覚品質における符号化利得を表す。または、一定のビットレートにおいて低帯域情報の符号化に更に多くのビットを割り当てて、より高い知覚品質を得ることができる。
本発明は、廃棄された調波系列は低帯域スペクトル成分と高帯域スペクトル成分の間の直接の関係に基づいて伸張することができると仮定する。この伸張された系列は、次の規則に従っていれば初めの系列と似ていると知覚される。第１に、不協和音に関係する人工音が出ないようにするために、外挿されるスペクトル成分は廃棄された調波系列と調波的に関係していなければならない。本発明はスペクトル複製プロセスの手段として置換を用いる。これは確かにこの判定基準を満たす。しかし優れた動作をするためには低帯域スペクトル成分が調波系列を形成する必要はない。その理由は、低帯域成分と調波的に関係する新しい複製成分は信号の雑音的または過渡的な性質を変えないからである。置換とは、部分音の周波数比を保ちながら部分音を音階上の１つの位置から別の位置に移すことである。第２に、複製された高帯域のスペクトル包絡線（すなわち、粗いスペクトル分布）は初めの信号と十分似ていなければならない。本発明は２つの動作モードＳＢＲ−１とＳＢＲ−２を提供する。この２つは、スペクトル包絡線を調整する方法が異なる。
ＳＢＲ−１は中間品質コーデック応用を改善するシングルエンド形のプロセスであって、デコーダが受ける低帯域信号すなわち低域信号に含まれる情報に完全に依存する。この信号のスペクトル包絡線は、例えば多項式と規則の集合すなわちコードブックを用いて決定され、外挿される。この情報を用いて、複製された高帯域を絶えず調整し等化する。このＳＢＲ−１法は後処理の利点を持つ。すなわちエンコーダ側では修正する必要がない。放送業者はチャンネルの利用度を高め、または知覚品質を高め、またはその両者が得られる。既存のビットストリーム構文と標準を修正せずに用いることができる。
ＳＢＲ−２は高品質コーデック応用を改善するダブルエンド形のプロセスであって、ＳＢＲ−１により伝送される低帯域信号の他に、高帯域のスペクトル包絡線を符号化して伝送する。スペクトル包絡線の変動速度は高帯域信号成分よりかなり低いので、限られた量の情報だけを伝送すればスペクトル包絡線を十分表すことができる。ＳＢＲ−２を用いれば、既存の構文やプロトコルを全くまたは殆ど修正せずに現在のコーデック技術の性能を高めることができるので、今後のコーデックの開発の貴重なツールである。
ＳＢＲ−１もＳＢＲ−２も、音響心理学モデルにより規定されたエンコーダがビット欠乏状態の下で低帯域の小さな通過帯域を停止したとき、これらを複製するのに用いられる。低帯域内のスペクトル複製と低帯域外のスペクトル複製により、知覚品質が高まる。更に、ＳＢＲ−１とＳＢＲ−２はビットレートスケーラビリティを用いるコーデックにも用いることができる。この場合、受信器での信号の知覚品質は伝送チャンネルの状態によって変わる。通常は、これは受信器でのオーディオ帯域幅の厄介な変動を意味する。この状態でＳＢＲ法を用いると常に高い帯域幅を保持するので、やはり知覚品質を高めることができる。
本発明は連続的に動作し、どんな種類の信号内容、すなわち音または非音（雑音的信号や過渡信号）も複製する。更に、本発明のスペクトル複製法はデコーダで利用できる周波数帯域から、廃棄された帯域を知覚的に正確に複製することができる。したがってＳＢＲ法を用いると、従来の方法に比べて実質的に高いレベルで符号化利得が得られ、または知覚品質を高めることができる。本発明を従来のコーデック改善法と組み合わせることはできるが、組み合わせても性能が高まることは期待できない。
ＳＢＲ法は次のステップを含む。
・ 初めの信号から得た信号を符号化し、信号の周波数帯域を廃棄する。廃棄は符号化の前か途中に行い、第１信号を形成する。
・ 第１信号の復号中またはその後で、第１信号の周波数帯域を置換して第２信号を形成する。
・ スペクトル包絡線を調整する。
・ 復号された信号と第２信号を組み合わせて出力信号を形成する。
第２信号の通過帯域は第１信号の通過帯域と重ならないようにまたは部分的に重なるように設定してよく、初めの信号および／または第１信号の時間特性、または伝送チャンネルの状態に従って設定する。スペクトル包絡線の調整は、前記第１信号から初めのスペクトル包絡線を推定したもの、または初めの信号の伝送された包絡線情報に基づいて行う。
本発明は２つの基本型のトランスポーザ（置換装置）を含む。すなわち、多帯域トランスポーザと時変パターン探索予測トランスポーザであって、これらは異なる特性を有する。本発明では基本的な多帯域置換を次のように行う。
・ 置換される信号を、それぞれ周波数［ｆ1，．．．，ｆN］を含む通過帯域を持つＮ（≧２）個の通過帯域フィルタの集合で濾波して、Ｎ個の帯域信号を形成する。
・ 帯域信号の周波数を周波数Ｍ［ｆ1，．．．，ｆN］を含む領域にシフトする。ただし、Ｍ≠１は置換係数である。
・ シフトされた帯域信号を結合して置換信号を形成する。
または、本発明ではこの基本的多帯域置換を次のように行う。
・ 置換される信号を、低域型の実数値または複素値サブバンド信号を生成する性質の分析フィルタバンクまたは変換を用いて帯域濾波する。
・ 任意のチャンネル数ｋの前記分析フィルタバンクまたは変換を、合成フィルタバンクまたは変換内のＭｋ（Ｍ≠１）チャンネルに接続する。
・ 合成フィルタバンクまたは変換を用いて、置換された信号を形成する。
本発明の１つの改善された多帯域置換は位相調整を含み、基本的な多帯域置換の性能を強化する。
本発明では時変パターン探索予測置換を次のように行う。
・ 第１信号の過渡検出を行う。
・ 過渡検出の結果に従って、第１信号の一部を複写／廃棄するときに、第１信号のどのセグメントを用いるかを決定する。
・ 過渡検出の結果に従って、状態ベクトルとコードブック特性を調整する。
・ 前の同期点探索で見出された同期点に基づいて、第１信号の選択されたセグメント内の同期点を探す。
本発明のＳＢＲ法は次の特徴を有する。
１． この方法と装置はスペクトル領域内の信号冗長性の新しい概念を活用する。
２． この方法と装置は任意の信号に適用することができる。
３． 各調波集合は個々に作成して制御することができる。
４． 全ての複製された高調波は既存の調波系列の延長を形成するようにして生成する。
５． スペクトル複製プロセスは置換に基づくもので、人工音は全くまたは殆ど知覚されない。
６． スペクトル複製は多数の小帯域および／または広い周波数範囲をカバーすることができる。
７． ＳＢＲ−１法では、処理はデコーダ側だけで行う。すなわち、全ての標準およびプロトコルを修正せずに用いることができる。
８． ＳＢＲ−２法は修正を全くまたは殆どせずに、殆どの標準やプロトコルに従って実現することができる。
９． ＳＢＲ−２法はコーデック設計者に新しい強力な圧縮ツールを提供する。
１０． 符号化利得は顕著である。
最も魅力的な応用は、各種の低ビットレートコーデック、例えば、ＭＰＥＧ１／２層Ｉ／ＩＩ／ＩＩＩ［米国特許番号第５，０４０，２１７号］や、ＭＰＥＧ２／４ ＡＡＣ、Ｄｏｌｂｙ ＡＣ−２／３、ＮＴＴ ＴｗｉｎＶＱ［米国特許番号第５，６８４，９２０号］や、ＡＴ＆Ｔ／Ｌｕｃｅｎｔ ＰＡＣなど、の改善に関する。。またこの発明は知覚品質を高めるための、高帯域ＣＥＬＰやＳＢ−ＡＤＰＣＭ Ｇ．７２２などの、高品質音声コーデックにも有用である。上記のコーデックはマルチメディアや、電話産業や、インターネットや、専門的な応用に広く用いられている。Ｔ−ＤＡＢ（地上ディジタルオーディオ放送）システムは低ビットレートプロトコルを用いており、本方法を用いるとチャンネル使用度が上がり、またはＦＭやＡＭ ＤＡＢの品質を高めることができる。衛星Ｓ−ＤＡＢはシステムコストが非常に高いので、本方法を用いてＤＡＢマルチプレクスのプログラムチャンネル数を増やすことにより大きな利益を得る。更に、低ビットレート電話モデムを用いて、インターネットにより初めて全帯域幅オーディオ実時間ストリーミングを達成することができる。
【図面の簡単な説明】
以下に本発明について添付の図面を参照して例を用いて説明するが、これは本発明の範囲や精神を制限するものではない。
図１は、本発明の符号化装置内に挿入されたＳＢＲである。
図２は、本発明の上部高調波のスペクトル複製を示す。
図３は、本発明の帯域内高調波のスペクトル複製を示す。
図４は、本発明のトランスポーザの時間領域実現のブロック図である。
図５は、本発明のパターン探索予測トランスポーザの動作のサイクルを表す流れ図である。
図６は、本発明の同期点の探索を表す流れ図である。
図７ａ−図７ｂは、本発明の過渡状態中のコードブック位置決めを示す。
図８は、本発明のＳＢＲ動作のための、適当なフィルタバンクに関するいくつかの時間領域トランスポーザの実現のブロック図である。
図９ａ−図９ｃは、２次高調波を生成するよう構成された本発明のＳＴＦＴ分析および合成用の装置を表すブロック図である。
図１０ａ−図１０ｂは、本発明のＳＴＦＴ装置内の直線周波数シフトを持つ１つのサブバンドのブロック図である。
図１１は、本発明の位相乗算器を用いる１つのサブバンドを示す。
図１２は、本発明の３次高調波を生成する方法を示す。
図１３は、本発明の２次および３次高調波を同時に生成する方法を示す。
図１４は、本発明のいくつかの次数の高調波の重ならない組合わせの生成を示す。
図１５は、本発明のいくつかの次数の高調波の交互配置組合わせの生成を示す。
図１６は、高帯域の直線周波数シフトの生成を示す。
図１７は、本発明の分数調波を生成する方法を示す。
図１８ａ−図１８ｂは、知覚コーデックのブロック図である。
図１９は、最大１０進化フィルタバンクの基本構造を示す。
図２０は、本発明の最大１０進化フィルタバンクの２次高調波の生成を示す。
図２１は、本発明のサブバンド信号上で動作する最大１０進化フィルタバンク内の改善された多帯域置換のブロック図である。
図２２は、本発明のサブバンド信号上で動作する最大１０進化フィルタバンク内の改善された多帯域置換を表す流れ図である。
図２３は、一般的なコーデックのサブバンドサンプルと換算係数を示す。
図２４は、本発明のＳＢＲ−２用のサブバンドサンプルと包絡線情報を示す。
図２５は、本発明のＳＢＲ−２内の包絡線の隠された伝送を示す。
図２６は、本発明のＳＢＲ−２内の冗長度符号化を示す。
図２７は、本発明のＳＢＲ−１法を用いたコーデックの実現を示す。
図２８は、本発明のＳＢＲ−２法を用いたコーデックの実現を示す。
図２９は、本発明の「疑似ステレオ」発生器のブロック図である。
好ましい実施の形態の説明
実施の形態の説明を通じて、自然オーディオ原始コーディング応用に重点を置いて述べる。しかし理解されるように、本発明はオーディオ信号の符号化や復号の応用の他に広範囲の原始コーディング応用に適用できるものである。
置換の基礎
本発明で述べる置換はスペクトル複製の理想的な方法であって、従来の方法に比べていくつかの大きな利点を持つ。すなわち、ピッチ検出は必要なく、単一ピッチで多音のプログラム材料において同じ高性能が得られ、置換は音信号にも非音信号にも同じように良く適用できる。他の方法とは異なり、本発明の置換は任意の信号の種類において任意のオーディオ原始コーディング装置に用いることができる。
時変振幅を持つコサインの和の形の離散時間信号ｘ（ｎ）の正確な置換係数Ｍは、次の関係で定義される。
図２にＭ次高調波の生成を示す。ただし、Ｍは整数≧２である。Ｍ次高調波という語は簡単のために用いた。実際は、このプロセスは或る周波数領域で全ての信号にＭ次高調波を生成するが、多くの場合は次数の分からない高調波である。周波数領域の表現Ｘ（ｆ）を持つ入力信号２０１の帯域は０からｆmaxの範囲に限定される。ｆmax／ＭからＱｆmax／Ｍ（Ｑは望ましい帯域幅伸張係数で１＜Ｑ≦Ｍ）の範囲内の信号内容を帯域フィルタで取り出して、スペクトルＸBP（ｆ）を持つ帯域信号２０３を形成する。帯域信号を係数Ｍで置換して、ｆｍａｘからＱｆｍａｘの範囲をカバーするスペクトルＸT（ｆ）を持つ第２帯域信号２０５を形成する。この信号のスペクトル包絡線をプログラム制御の等化器で調整して、スペクトルＸE（ｆ）を持つ信号２０７を形成する。次にこの信号と遅延させた入力信号とを結合して、帯域フィルタとトランスポーザにより生じる遅れを補償して、０からＱｆmaxの範囲をカバーするスペクトルＹ（ｆ）を持つ出力信号２０９を形成する。または帯域濾波は、遮断周波数ｆmaxとＱｆmaxを用いて置換Ｍの後で行う。多重トランスポーザを用いて、異なる調波次数を同時に生成することはもちろん可能である。図３に示すように入力信号がｆ0からＱｆ0にわたる通過帯域３０１を有する場合、上記の方式を用いて入力信号内の通過帯域を「充填する」こともできる。この場合は通過帯域［ｆ0／Ｍ，Ｑｆ0／Ｍ］を取り出し（３０３）、係数Ｍで［ｆ0，Ｑｆ0］に置換し（３０５）、包絡線を調整し（３０７）、遅延入力信号と結合してスペクトルＹ（ｆ）を持つ出力信号３０９を形成する。
正確な置換の近似を用いてもよい。本発明では、このような近似の質を不協和音理論を用いて決定する。不協和音の判定基準はPlompにより示されており［「音の協和と臨界帯域幅（Tonal Consonance and Critical Bandwidth）」、R. Plomp, W. J. M. Levelt JASA, Vol. 38, 1965］、２つの部分音の周波数の差がそれらが存在する臨界帯域の帯域幅の約５乃至５０％以内である場合は、２つの部分音は不協和と見なされる。例えば、所定の周波数の臨界(critical)帯域幅は次式で近似できる。
本発明のスペクトル複製法に基づく上記の置換を用いると、次の重要な性質が得られる。
・ 通常は、複製された高調波と既存の部分音の間に周波数領域の重なりが起こらない。
・ 複製された部分音は入力信号の部分音と調波的に関係があり、耳障りな不協和音すなわち人工音を一切生じない。
・ 複製された高調波のスペクトル包絡線は入力信号スペクトル包絡線の滑らかな継続を形成し、初めの包絡線と知覚的に一致する。
時変パターン探索予測に基づく置換
必要なトランスポーザを設計するには種々の方法がある。一般的な時間領域実現では、ピッチ周期に基づいて信号セグメントを複製することにより信号を時間的に伸張する。次にこの信号を異なる速度で読み出す。残念ながらこの方法は、信号セグメントを正確に時間接続するのにピッチ検出に厳密に依存する。更に、ピッチ周期に基づく信号セグメントには制約があるので、過渡信号に敏感になる。検出されたピッチ周期は実際の過渡信号よりかなり長いことがあるので、全過渡信号を単に時間的に伸張するのではなく複写するという危険が大きいことは明らかである。別の種類の時間領域アルゴリズムでは、出力信号のパターン探索予測を用いて音声信号の時間伸張／圧縮を得る［「音声のパターン探索予測(Pattern Search Prediction of Speech)」、R. Bogner, T. Li, Proc. ICASS,'89, Vol. 1, May 1989や、「非線形発振器モデルに基づく音声のタイムスケール修正(Time-Scale Modification of Speech based on a nonlinear Oscillator Model)」、G. Kubin, W. B. Kleijin, IEEE, 1994］。これは粒状合成(granular synthesis）の１つの形であって、入力信号を小さな部分（細粒）に分割し、これを用いて出力信号を合成する。この合成には通常は信号セグメントの相関を取って、最良の接続点を決定する。これは、出力信号を形成するのに用いるセグメントがピッチ周期に依存しないのでピッチ検出という厄介なタスクを必要としないことを意味する。しかしこの方法にも信号振幅が急速に変わるときの問題がまだあり、高品質の置換のためには高速計算が必要になる。しかし改善された時間領域のピッチシフタ／トランスポーザをここに提示する。この方式は過渡検出と動的システムパラメータを用いることにより、定常音（音または非音）でも過渡音でも、高い置換係数の一層正確な置換を低い計算コストで行うことができる。
次に図面を参照する。各図面の同じ要素は同じ番号で示す。図４に９個の別個のモジュールを示す。すなわち、過渡検出器４０１と、窓位置調整器４０３と、コードブック発生器４０５と、同期信号選択器４０７と、同期位置メモリ４０９と、最小差推定器４１１と、出力セグメントメモリ４１３と、混合ユニット４１５と、ダウンサンプラ４１７である。入力信号はコードブック発生器４０５と過渡検出器４０１に入る。過渡信号を検出すると、その位置を窓位置モジュール４０３に送る。このモジュールは窓の大きさと位置を規定し、コードブックを作るとき入力信号と掛け算する。別のトランスポーザに接続している場合は、コードブック発生器４０５は同期選択モジュール４０７から同期位置を受ける。この同期位置がコードブック内にある場合は、これを用いて出力セグメントを生成する。ない場合は、コードブックを最小差推定器４１１に送り、最小差推定器４１１は新しい同期位置を返す。新しい出力セグメントと前の出力セグメントを共に混合モジュール４１５で窓に入れ、モジュール４１７でダウンサンプリングする。
説明を明確にするために状態空間表現を用いる。ここで状態ベクトルすなわち細粒は、入力信号と出力信号を表す。入力信号を次の状態ベクトルｘ（ｎ）で表す。
これは理論的には、マッピングａ（＊）はコードブックに含まれる全ての遷移について評価することを意味する。
図面に戻って、図５と図６はトランスポーザの動作のサイクルを示す流れ図である。５０１に入力データが入り、５０３で入力信号のセグメントの過渡検出を行う。過渡信号の探索は出力セグメントの長さに等しいセグメントの長さについて行う。５０５で過渡信号が見つかると、５０７で過渡信号の位置を記憶し、５０９でパラメータＬ（コードブックの長さを表す）と、Ｋ（サンプル内の各状態ベクトル間の距離を表す）と、Ｄ（各状態ベクトル内のサンプル間の遅れを表す）を調整する。５１１で過渡信号の位置と前の出力セグメントの位置を比較して、過渡信号の処理が済んだかどうか判定する。５１３で処理が済んだ場合は、５１５でコードブックの位置（窓Ｌ）と、パラメータＫとＬとＤを調整する。必要なパラメータ調整が終わると、５１７で過渡検出の結果に基づいて新しい同期点すなわち接続点を探す。この手続きを図６に示す。６０１でまず前の同期点に基づいて、次式により新しい同期点を計算する。
図７は、コードブックの位置に関して過渡状態にあるシステムの行動を示す。過渡信号の前には、入力セグメント１を表すコードブック１は、セグメント１の「左に」位置する。相関セグメント１は前の出力の一部を表し、これを用いてコードブック１内の同期点１を見つける。過渡信号を検出して過渡信号の点を処理すると、コードブックを図７ａに従って動き、現在処理中の入力セグメントが再びコードブックの「右に」なるまで静止する。このシステムは過渡信号より前の同期点を探すことができないので、これにより過渡信号を複写することは不可能になる。
パターン探索予測に基づく多くのピッチトランスポーザまたは時間エキスパンダは音声および単一ピッチ材料に満足できる結果を与える。しかし音楽のような高度に複雑な信号では、特に置換係数が大きい場合は、その性能は急速に悪化する。本発明は性能を高めるいくつかの解決法を提案するので、どんな種類の信号でも優れた結果が得られる。他の設計とは異なって本システムは時変的であり、システムパラメータは入力信号の性質と前の動作サイクル中に用いられたパラメータに基づく。過渡検出器は、コードブックの大きさと位置だけでなく含まれる状態ベクトルの性質も制御する。したがってこれを用いることは、信号セグメントが急速に変化しているときに、聞こえるほどの劣化を起こさない非常に強くて計算が効率的になる方法である。更に、処理中の信号セグメントの長さを変えると非常に計算が多くなるが、本方法は長さを変える必要がない。また本発明は、前の探索の結果に基づく精密なコードブック探索を用いる。つまり、パターン探索予測に基づいて時間領域システムで通常行われているのは２つの信号セグメントの通常の相関を取る方法であるが、本方法はこれとは異なり、全ての位置を順次にチェックするのではなく、最も可能性のある同期位置をまずチェックするものである。コードブック探索を減らすこの新しい方法により、システムの計算の複雑さは大幅に減る。更に、いくつかのトランスポーザを用いるときは、同期位置情報をトランスポーザの間で共有して計算の複雑さを更に減らすことができる。これについては後の実施例で示す。
すでに述べた時間領域トランスポーザを用いて、以下の例のようにＳＢＲ−１とＳＢＲ−２を実現する。これは例示であって制限するものではない。図８では、３つの時間伸張モジュールを用いて２次、３次、４次の高調波を生成する。この例では各時間領域伸張／トランスポーザは広帯域信号に作用するので、置換の後では手段がないことを考慮して、別の等化器装置を追加せずに置換の前に原始周波数範囲のスペクトル包絡線を調整するとよい。スペクトル包絡線調整器８０１、８０３、８０５はそれぞれいくつかのフィルタバンクチャンネルに作用する。包絡線調整器内の各チャンネルの利得は、置換後に出力での和８１３、８１５、８１７が所望のスペクトル包絡線を生成するように設定しなければならない。トランスポーザ８０７、８０９、８１１は相互に接続され、同期位置情報を共有する。これは、或る条件下では、別個の置換ユニット内で相関中にコードブック内で見出される同期位置の間に高い相関が起こる、という事実に基づいている。やはり例であって本発明の範囲を制限するものではないが、４次の調波トランスポーザは２次の調波トランスポーザに比べて、時間フレームでは半分で動作するがデューティサイクルでは２倍で動作すると仮定する。更に、２つのエキスパンダに用いられるコードブックは同じと仮定し、２つの時間領域エキスパンダの同期位置をそれぞれｓｙｎｃ＿ｐｏｓ４とｓｙｎｃ＿ｐｏｓ２で表すと次の関係がある。
上に述べたようにいくつかの相互接続された時間領域トランスポーザを高次の高調波の生成に用いると、計算が大幅に減る。更に、ここに述べたように時間領域トランスポーザを適当なフィルタバンクと共に用いると、生成されたスペクトルの包絡線を調整することができて、しかも時間領域トランスポーザの簡単さと低い計算コストを保つことができる。それは、これらが多少でも固定点計算と加算／減算の演算だけを用いて実現できるからである。
例示であって制限的でないこの発明の他の例は、
・ サブバンドフィルタバンク内の各サブバンド内で時間領域トランスポーザを用いて、各トランスポーザの信号の複雑さを減らす。
・ 時間領域トランスポーザと周波数領域トランスポーザを共に用いて、処理中の入力信号の特性に従ってシステムが異なる置換法を用いることができるようにする。
・ 広帯域音声コーデック内で時間領域トランスポーザを用いて、例えば直線予測の後に得られる残留信号に作用する。
認識すべきことは、上に述べた方法は、サンプルレート変換を単に省略してタイムスケール修正に用いるときだけ優れているということである。更に理解すべきことは、上述の方法はより高いピッチへのピッチ置換（すなわち時間伸張）に焦点を当てているが、当業者に明らかなように、同じ原理はより低いピッチへの置換（すなわち時間圧縮）にも適用できることである。
フィルタバンクを用いた置換
種々の新しい革新的なフィルタバンクを用いた置換技術について以下に説明する。置換される信号を一連のＢＰ信号またはサブバンド信号に分割する。次にサブバンド信号を正確にまたは近似的に置換する。これを行うには、分析サブバンドと合成サブバンドを再接続する（以後、「パッチ」と呼ぶ）とよい。この方法について、まず短時間フーリエ変換（ＳＴＦＴ）を用いて説明する。
離散時間信号ｘ（ｎ）のＮ点ＳＴＦＴを次のように定義する。
図９ｃはＮ＝３２を持つ２次高調波（Ｍ＝２）を生成するパッチ９１５を示す。簡単のために、チャンネル０乃至１６だけを示す。ＢＰ１６の中心周波数はナイキスト周波数に等しく、チャンネル１７乃至３１は負の周波数に相当する。Ｐ９１７および利得ブロック９１９で示すブロックについては後で説明するので、とりあえずは除いて考える。この例の入力信号は帯域が制限されており、チャンネル０乃至７だけが信号を含む。分析チャンネル８乃至１６は空であって、合成器にマッピングする必要はない。分析チャンネル０乃至７は、入力信号遅延路に相当する合成チャンネル０乃至７に接続する。また分析チャンネルｋ（４≦ｋ≦７）は合成チャンネルＭｋ（Ｍ＝２）にも接続し、ＢＰフィルタｋの中心周波数の２倍の周波数領域に信号をシフトする。したがって、信号は初めの範囲にアップシフトされるだけでなく、１オクターブ上に置換される。調波生成を実数値フィルタ応答および変調器に関して調べるには、負の周波数も考慮しなければならない（図１０ａの下側の分岐を参照）。したがって、再マッピングｋ→Ｍｋ１００１とＮ−ｋ→Ｎ−Ｍｋ１００３（４≦ｋ≦７）の組合わせ出力を評価しなければならない。
これから次が得られる。
式１５では、分析チャンネルｋの通過帯域内の周波数ωiを持つ正弦波は周波数Ｍωk＋（ωi−ωk）で調波を生成する。したがって、基本的多帯域置換と呼ぶ方法だけが、周波数ωi＝ωk（４≦ｋ≦７）を持つ入力信号の正確な高調波を生成する。しかし、フィルタの数が十分大きい場合は、正確な置換からの偏差は無視できる（式４参照）。更に、各分析チャンネルが最大１部分音を含む場合は、Ｐ９１７（図９ｃ）で示すブロックを挿入することにより任意の周波数の準定常音信号は正確に置換される。この場合、Ｘk（ｒＲ）は、部分音周波数ωiと分析フィルタの中心周波数ωkの差に等しい周波数を持つ複素指数関数である。正確な置換Ｍを得るには、これらの周波数は上の周波数関係を係数Ｍだけ増加させて、ωi→Ｍωk＋Ｍ（ωi−ωk）＝Ｍωiに修正しなければならない。Ｘk（ｒＲ）の周波数はそれぞれの重ならない位相角の時間微分に等しく、連続した位相角の１次差分を用いて推定してよい。周波数の推定にＭを掛けて、これらの新しい周波数を用いて合成位相角を計算する。しかし、位相定数を除いて、分析引数にＭを直接掛けるという簡易法で同じ結果が得られ、周波数を推定する必要がなくなる。これを、ブロック９１７を表す図１１に示す。まず、Ｘk（ｒＲ）（この例では４≦ｋ≦７）を直角座標から極座標に変換する。これをブロックＲ→Ｐ，１１０１で示す。１１０３で引数にＭ＝２を掛け、絶対値は変えない。次に１１０５で信号を変換して直角座標に戻して（Ｐ→Ｒ）信号ＹMk（ｒＲ）を形成し、図９ｃの合成チャンネルに与える。この改善された多帯域置換法には２つの段がある。基本的方法と同様にパッチにより粗い置換を行い、位相乗算器により微細な周波数訂正を行う。上の多帯域置換法はＳＴＦＴを用いる従来のピッチシフト法とは異なる。ＳＴＦＴでは合成にルックアップテーブル発振器を用いる。またはＩＳＴＦＴを合成に用いる時は信号の時間を伸ばして１０進化する、すなわちパッチを用いない。
図９ｃの調波パッチは、置換係数が２でない場合は容易に修正される。図１２は３次高調波を生成するパッチ１２０３を示す。１２０１は分析チャンネル、１２０５は合成チャンネルである。異なる次数の高調波も図１３に示すように同時に作ることができる（ここでは２次と３次の高調波を用いる）。図１４は、２次と３次と４次の高調波が重ならない組合わせを示す。最低の可能な調波数をできるだけ高い周波数で用いる。調波Ｍの宛先範囲の上限を超えると、調波Ｍ＋１を用いる。図１５は、全ての合成チャンネル（Ｎ＝６４、チャンネル０−３２を示す）にマッピングする方法を示す。非素数指数を持つ全ての高帯域チャンネルは、原始チャンネル番号と宛先チャンネル番号の関係ｋdest＝Ｍｋsourceに従ってマッピングする。ただし、Ｍはｋsourceが低帯域にありｋdestが高帯域にあるという条件を満たす最小整数≧２である。したがって、どの合成チャンネルも２つ以上の分析チャンネルから信号を受けない。素数の高帯域チャンネルはｋsource＝１または低帯域チャンネルｋsource＞１にマッピングしてよく、これは上述の関係のよい近似を作る（図１５にはＭ＝２，３，４，５における非素数接続だけを示す）。
異なる分析チャンネルからの振幅情報と位相情報を組み合わせることも可能である。振幅信号｜Ｘk（ｒＲ）｜は図１６のように接続してよい。位相信号ａｒｇ｛Ｘk（ｒＲ）｝は図１６の原理に従って接続する。このようにして、低帯域周波数を置換し、図２の置換から得られる伸張包絡線ではなく原始領域包絡線の周期的繰返しを生成する。「空の」原始チャンネルを増幅しないようにするため、ゲートや他の手段を用いてよい。図１７は別の応用であって、高位のサブバンドから低位のサブバンドへの接続を用いて、高域濾波信号または低音限定信号に分数高調波を生成する。上記の置換を用いるとき、信号の特性に基づいてパッチの適応切替えを用いるとよい。
上の説明では、入力信号に含まれる最高周波数はナイキスト周波数よりかなり低いと仮定した。したがってサンプルレートを増やさずに帯域幅を伸張することができた。しかしこれはいつでもできるわけではなく、事前のアップサンプリングが必要な場合がある。置換にフィルタバンク法を用いるときは、アップサンプリングをプロセスに統合することが可能である。
多くの知覚コーデックは、時間から周波数へのマッピングに最大１０進化フィルタバンクを用いる［「知覚コーディング入門（Introduction to Perceptual Coding）、K. Brandenburg, AES，ディジタルオーディオのビットレート減少に関する論文集（Collected Papers on Digital Audio Bitrate Reduction), 1996］。図１８ａは知覚エンコーダ装置の基本構造を示す。分析フィルタバンク１８０１は入力信号をいくつかのサブバンド信号に分割する。１８０３で、減らしたビット数を用いてサブバンドサンプルを個別に量子化する。量子化レベル数は、最小マスキングしきい値を推定する知覚モデル１８０７から決定する。サブバンドサンプルを基準化し、任意の冗長度符号化法で符号化し、１８０５で基準化係数やビット割当て情報やその他のコーデック特定データから成る脇情報と組み合わせて、直列ビットストリームを形成する。次にこのビットストリームを記憶しまたは伝送する。図１８ｂのデコーダでは、１８０９で符号化ビットストリームのデマルチプレクシングを行い、復号して、１８１１でサブバンドサンプルを等しい数のビットに再量子化する。１８１３で、合成フィルタバンクはサブバンドサンプルを組み合わせて初めの信号を再生する。最大１０進化フィルタバンクを用いて実現すると計算コストが大幅に減る。以下の説明では、コサイン変調フィルタバンクに焦点を当てる。しかし理解すべきことは、本発明は、ウェーブレット変換のフィルタバンク解釈や、他の不等帯域幅フィルタバンクまたは変換や、多次元フィルタバンクまたは変換などの他の種類のフィルタバンクまたは変換を用いて実現することができることである。
例であって制限するものではないが、以下の説明ではＬチャンネルコサイン変調フィルタバンクは入力信号ｘ（ｎ）をＬ個のサブバンド信号に分割すると仮定する。最大１０進化フィルタバンクの一般構造を図１９に示す。分析フィルタをＨk（ｚ）１９０１（ｋ＝０，１，．．．，Ｌ−１）で示す。１９０３でサブバンド信号ｖk（ｎ）を最大１０進化する。各サンプル周波数はｆs／Ｌである。ただし、ｆsはｘ（ｎ）のサンプリング周波数である。合成部では１９０５で内挿し１９０７で濾波した後、サブバンド信号を再組立てして
サブバンド信号をＱＬチャンネルフィルタバンクで合成するときは、Ｌ個の低帯域チャンネルだけを用い、また帯域幅伸張係数ＱはＱＬが整数値になるように選択するが、この合成によりサンプリング周波数Ｑｆsを持つ出力ビットストリームが得られる。したがって、拡大フィルタバンクはＬチャンネルフィルタバンクの後にアップサンプラがあるかのように動作する。この場合はＬ（Ｑ−１）個の高帯域フィルタは用いない（ゼロを与える）ので、オーディオ帯域幅は変わらない。フィルタバンクは単に
本発明の基本的多帯域置換法を用いると、生成される高調波は一般に基本波の正確な倍数にならない。各サブバンドの最低周波数を除く全ての周波数は正確な置換とは或る程度異なる。更に、ターゲット間隔は原始間隔より広い周波数範囲をカバーするので、複製スペクトルはゼロを含む。更に、サブバンド信号の周波数はターゲット間隔に分離されるので、コサイン変調フィルタバンクのエイリアス打消し特性はなくなる。すなわち、隣接サブバンド信号は高帯域領域で重ならない。しかし、当業者に知られているエイリアス削減法を用いればこの種の人工音を減らすことができる。この置換法の利点は、実現が容易なことと、計算コストが非常に低いことである。
正弦波を完全に置換するため、改善された多帯域置換法の効果的な最大１０進化フィルタバンクを用いた解決法を以下に提示する。このシステムは追加の修正分析フィルタバンクを用い、合成フィルタバンクはVaidyanathanにより述べられている方法でコサイン変調する［「マルチレートシステムとフィルタバンク(Multirate Systems and Filter Banks)」、P. P. Vaidyanathan, Prentice Hall, Englewood Cliffs, New Jersey, 1993, ISBN 0-13-605718-7］。最大１０進化フィルタバンクに基づいて、本発明の改善された多帯域置換法を用いた操作のステップを図２１の略図と、図２２の流れ図で以下に示す。
１． Ｌ個の受信サブバンド信号をＱＬチャンネルのフィルタバンク２１０１、２２０１、２２０３で合成して信号ｘ1（ｎ）を形成する（Ｌ（Ｑ−１）上部チャンネルにはゼロを与える）。したがって、信号ｘ1（ｎ）は帯域幅伸張係数Ｑでオーバーサンプリングされる。
２． ２１０３、２２０５でｘ1（ｎ）を係数Ｑでダウンサンプリングして信号ｘ2（ｎ’）を形成する。すなわち、ｘ2（ｎ’）＝ｘ1（Ｑｎ’）である。
３． ２２０７、２２０９、２２１１で、Ｔ＝ＫＭ／Ｑで整数になるように整数値Ｋを合成フィルタバンクの大きさとして選択する。ただし、Ｔは修正された分析フィルタバンクの大きさ、Ｍは置換係数である。好ましくは、Ｋは定常（音）信号では大きく、動的（過渡的）信号では小さくなるように選ぶ。
４． ２１０７、２２１３で、Ｔチャンネルの修正された分析フィルタバンクでｘ2（ｎ’）を濾波し（Ｔ分析フィルタは指数関数的に変調される）、複素値のサブバンド信号の集合を生成する。サブバンド信号を係数Ｔ／Ｍでダウンサンプリングし、サブバンド信号ｖk (M)（ｎ”）（ｋ＝０，１，．．．，Ｔ−１）を生成する。したがって、フィルタバンクは係数Ｍでオーバーサンプリングされる。
５． サンプルｖk (M)（ｎ”）を極座標表現（振幅と位相角）に変換する。２１０９、２２１５で、位相角に係数Ｍを掛けて、サンプルを図１１の方法で変換して直角座標表現に戻す。複素値サンプルの実数部を取り、信号ｓk (M)（ｎ”）を生成する。この操作の後、信号ｓk (M)（ｎ”）を厳密にサンプリングする。
６． ２１１１、２２１７で、ＳＢＲ−１またはＳＢＲ−２の原理に従って信号ｓk (M)（ｎ”）の利得を調整する。
７． ２１０５、２２２１で、サブバンド信号ｓk (M)（ｎ”）（ただし、ｋ∈［Ｔ／Ｍ，ｍｉｎ（Ｋ，Ｔ）−１］）を通常のコサイン変調Ｋチャンネルフィルタバンクで合成して、チャンネル０乃至Ｔ／Ｍ−１にゼロを与える。これにより、信号ｘ3 (M)（ｎ）を生成する。
８． ２２２３で、最終的にｘ3 (M)（ｎ）とｘ1（ｎ）を加算してｙ（ｎ）を得る。これが所望のスペクトル複製信号である。
置換係数Ｍの異なる値についてステップ３乃至６を繰り返して、ｘ1（ｎ）に多重高調波を加える。この動作モードを図２１の点線で示し、また図２２の２２１１−２２１９のループの繰り返しで示す。この場合、Ｍの全ての選択値（Ｍは整数値）に対してＴが整数値になるようにＫを選ぶ。好ましくは、Ｋ／Ｑが正の整数になるようにＫを選ぶ。全てのサブバンド信号ｓk (Mi)（ｎ”）（ただし、ｉ＝１，２，．．．，ｍ、またｍは置換係数の数）を、式
ステップ４の修正された分析フィルタバンクは、コサイン変調フィルタバンクの理論から得られる。ここで、変調重ね合わせ変換（ＭＬＴ）［「効率的変換／サブバンド符号化のための重ね合わせ変換（Lapped Transform for Efficient Transform/Subband Coding）」、H. S. Malvar, IEEE Trans ASSP, vol. 38, no. 6, 1990］は特殊なケースである。Ｔチャンネルのコサイン変調フィルタバンク内のフィルタのインパルス応答ｈk（ｎ）は次のように書かれる。
次のフィルタを考える。
式２４と式２５を結合すると次式が得られる。
ステップ５について少し説明する。係数Ｔ／Ｍで複素値のサブバンド信号をダウンサンプリングするとＭだけオーバーサンプリングされる。これは、後で位相角に置換係数Ｍを掛けるときの重要な判定基準である。オーバーサンプリングにより、ターゲット範囲に置換した後の帯域幅当たりのサブバンドサンプルの数は原始範囲の数に等しくなる。置換されたサブバンド信号の個々の帯域幅は、位相乗算器のために原始範囲内の帯域幅のＭ倍になる。このため、ステップ５の後でサブバンド信号は厳密にサンプリングされ、更に、音信号を置換するときスペクトル内にゼロがなくなる。
三角法計算を避けるために、すなわち新しいサブバンド信号を次式
Ｍが偶数のときに置換を用いると、低域プロトタイプフィルタｐo（ｎ）の特性によっては位相乗算器に障害が起こることがある。全ての適用可能なプロトタイプフィルタは、ｚ平面内の単位円上にゼロを有する。単位円上のゼロはフィルタの位相応答を１８０°シフトする。Ｍが偶数のとき、位相乗算器はこのシフトを３６０°シフト（すなわち位相シフトが消える）と解釈する。このように位相シフトが消える周波数に位置する部分音は合成信号にエイリアシングを起こす。最悪の場合は、部分音が分析フィルタの第１サイドローブの頂点に対応する周波数の点にあるときである。振幅応答でのこのローブの拒否に従って、エイリアシングの聞こえかたが変わる。一例として、ＩＳＯ／ＭＰＥＧ層１および２標準に用いるプロトタイプフィルタの第１サイドローブは９６ｄＢ拒否されるが、ＩＳＯ／ＭＰＥＧ層３標準のＭＤＣＴ方式に用いるサイン窓の第１サイドローブでは拒否は２３ｄＢに過ぎない。サイン窓を用いると、この種のエイリアシングが聞こえることは明らかである。この問題の解決を以下に示す。これを相対的位相同期と呼ぶ。
フィルタｈa k（ｎ）は全て直線位相応答を有する。位相角Φkは隣接チャンネルの間に相対的位相差を生じさせ、単位円上のゼロはチャンネル間で異なる周波数の位置に１８０°位相シフトを起こす。位相乗算器を活動化する前に隣接サブバンド信号の間の位相差を監視すれば、位相反転情報を含むチャンネルを検出するのは容易である。音信号の場合は式２５から、位相差は非反転信号では約π／２Ｍであり、したがってどちらかの信号が反転している信号では約π（１−１／２Ｍ）である。反転信号の検出は、隣接サブバンド内のサンプルの点乗積
スペクトル包絡線調整
Stockham［「自動利得制御への一般化された線形性の適用（Application of Generalized Linearity to Automatic Gain Control）」、T. G. Stockham, Jr, IEEE Trans. on Audio and Electroacoustics, Vol. AU-16, No. 2, June 1968］および式１によると、音声や音楽など殆どの音は緩やかに変化する包絡線と急速に変化する一定振幅のキャリヤの積で特徴づけられる。
分割帯域知覚オーディオコーダでは、オーディオ信号をフレームに区切り、サブバンドフィルタすなわち時間周波数領域変換を用いて多数の周波数帯域に分割する。殆どの型のコーデックでは、伝送または記憶のために信号をその後２つの主な信号成分であるスペクトル包絡線表現と基準化サブバンドサンプルまたは係数に分離する。以下の説明を通して「サブバンドサンプル」または「係数」とは、サブバンドフィルタから得られるサンプル値と、時間周波数変換から得られる係数を言う。「スペクトル包絡線」または「換算係数」は時間フレームにおけるサブバンドの値（各サブバンド内の平均または最大振幅など）を表し、サブバンドサンプルの基準化に用いる。しかし、スペクトル包絡線は直線予測ＬＰＣを用いて得ることもできる［米国特許番号第５，６８４，９２０号］。一般的なコーデックでは、基準化されたサブバンドサンプルは、緩やかに変化する時間包絡線、したがって非常に低いビットレート（利用可能なビットレートの約１０％を用いる）で符号化されるスペクトル包絡線、に比べて高いビットレート（利用可能なビットレートの約９０％を用いる）で符号化する必要がある。
初めの信号の音色の質を保存する場合は、複製された帯域幅の正確なスペクトル包絡線が重要である。楽器または音声の知覚される音色は主に聴覚の最高オクターブにある周波数ｆlimより低いスペクトル分布で決まる。したがってｆlimより高いスペクトルの詳細は余り重要でないので、上記の置換法により得られる高帯域の微細構造は調整する必要がない。しかし粗構造は一般に調整する必要がある。この調整を行うには、信号のスペクトル表現を濾波して包絡線の粗構造と微細構造を分離するとよい。
本発明のＳＢＲ−１実現では、高帯域の粗いスペクトル包絡線はデコーダで利用可能な低帯域情報から推定する。この推定は、低帯域の包絡線を絶えず監視して、特定の規則に従って高帯域スペクトル包絡線を調整することにより行う。包絡線推定を行う新規な方法は、対数の周波数振幅空間内で漸近線を用いる。これは線形空間内で種々の次数の多項式により曲線の当てはめを行うことに相当する。低帯域スペクトルの上部のレベルと傾斜を推定し、この推定を用いて新しい高帯域包絡線を表す１つまたはいくつかのセグメントのレベルと傾斜を定義する。漸近線の交差点は周波数で固定され、ピボット点の役目をする。しかし必ずしも必要ではないが、制約を設けて高帯域包絡線軌跡を現実的な境界内に保つのは有益である。スペクトル包絡線を推定する別の方法は、多数の代表的スペクトル包絡線のベクトル量子化ＶＱを用いて、これをルックアップテーブルまたはコードブックに記憶することである。ベクトル量子化は大量の訓練データ（この場合はオーディオスペクトル包絡線）上の所望の数のベクトルを訓練することにより行う。この訓練は通常は一般化されたロイド(Lloyd)アルゴリズムで行い［「ベクトル量子化と信号圧縮（Vector Qantization and Signal Compression）」、A. Gersho, R. M. Gray, Kluwer Academic Publishers, USA 1992, ISBN 0-7923-9181-0］、訓練データの内容を最適にカバーするベクトルを生成する。Ｂ包絡線で訓練されたＡスペクトル包絡線（Ｂ＞＞Ａ）から成るＶＱコードブックを考えると、Ａ包絡線は、多くの種類の音のＢ個の観察に基づく、低帯域包絡線から高帯域包絡線へのＡ個の最も可能性のある遷移を表す。これは理論的には、Ｂ個の観察に基づいて包絡線を予測するためのＡ個の最適規則である。新しい高帯域スペクトル包絡線を推定するときは、初めの低帯域包絡線を用いてコードブックを探し、コードブックの最も合致する項目の高帯域部を適用して新しい高帯域スペクトルを作成する。
図２３に、基準化されたサブバンドサンプルを２３０１で表し、スペクトル包絡線を換算係数２３０５で表す。例示のために、デコーダ２３０３への伝送を並列形式で示す。ＳＢＲ−２法の図２４では、図２３と同様にスペクトル包絡線情報を生成して伝送するが、サブバンドサンプルは低帯域だけを伝送する。したがって伝送される換算係数は全周波数範囲にわたるが、サブバンドサンプルは高帯域を除く限られた周波数範囲だけである。デコーダで低帯域サブバンドサンプル２４０１を２４０３のように置換し、受信した高帯域スペクトル包絡線情報２４０５と結合する。このようにすれば、合成高帯域スペクトル包絡線は初めのスペクトル包絡線と同じであるがビットレートは大幅に下がる。
或るコーデックでは、図２４に示すように全スペクトル包絡線の換算係数を伝送し、高帯域サブバンドサンプルは省略することができる。他のコーデック標準では、換算係数とサブバンドサンプルが同じ周波数範囲をカバーするよう規定しなければならない。すなわち、サブバンドサンプルを省略した場合は換算係数を伝送することはできない。この場合はいくつかの解決法がある。例えば、高帯域スペクトル包絡線情報を別のフレームで伝送してよい。このフレームは、自身のヘッダと任意の誤り保護を持ち、その後にデータが続く。本発明を利用しない普通のデコーダはヘッダを認識しないので、余分なフレームは廃棄する。第２の解決法では高帯域スペクトル包絡線情報を、符号化されたビットストリーム内の補助データとして伝送する。しかし利用可能な補助データフィールドは包絡線情報を保持するだけ十分大きくなければならない。この２つの解決法が適用できない場合は、第３の解決法、すなわち高帯域スペクトル包絡線情報をサブバンドサンプルとして隠す方法を適用してよい。サブバンド換算係数は、一般に１００ｄＢを超える大きな動的範囲をカバーする。任意の数のサブバンド換算係数（図２５の２５０５）を非常に低い値に設定して、高帯域換算係数をサブバンドサンプルとして「偽装し」て２５０１のように伝送することができる。このように高帯域換算係数をデコーダ２５０３に伝送することにより、ビットストリーム構文と両立させることができる。任意のデータをこの方法で伝送してよい。これに関連して、情報を符号化してサブバンドサンプルストリームにする方法がある［米国特許番号第５，６８７，１９１号］。図２６に示す第４の解決法は、符号化システムがハフマンまたは他の冗長度符号化２６０３を用いるときに適用することができる。高い冗長度を達成するには、高帯域のサブバンドサンプルをゼロ（２６０１）にまたは一定値に設定する。
過渡応答の改善
過渡信号に関連する人工音はオーディオコーデックの共通の問題であり、同様な人工音は本発明でも発生する。一般に、パッチングを行うと時間領域の前エコーと後エコー（すなわち「真の」過渡信号の前か後の疑似過渡信号）に相当するスペクトル「ゼロ」すなわちノッチを生成する。Ｐブロックはゆっくり変化する音信号の「ゼロを埋める」が、前エコーと後エコーは残る。改善された多帯域法は、正弦波の数がサブバンド当たり１個に制限された離散的正弦波に作用するものである。サブバンド内の過渡信号すなわち雑音は、そのサブバンド内の多数の離散的正弦波と見ることができる。これは相互変調歪みを生成する。これらの人工音は、複製された高帯域チャンネルに過渡期間中に接続された追加の量子化雑音源と考えられる。したがって、知覚オーディオコーダ内の前エコーおよび後エコー人工音を避ける従来の方法（例えば適応窓切替え）を用いえば、改善された多帯域法の主観的品質を高めることができる。コーデックまたは別個の検出器による過渡検出を用い、また過渡状態にあるチャンネル数を減らせば、「量子化雑音」は時間に依存するマスキングしきい値を超えない。過渡信号の通過中は少数のチャンネルを用い、音の通過中は多数のチャンネルを用いる。このような適応的な窓切替えはコーデック内で普通に用いられており、周波数分解能と時間分解能の間で取引する。フィルタバンク大きさが固定されている応用には別の方法を用いてよい。１つの方法は、スペクトル領域内の直線予測により「量子化雑音」を時間で成形することである。次に残留信号に置換を行う。これが直線予測フィルタの出力である。その後で反転予測フィルタを、初めのチャンネルとスペクトル複製チャンネルに同時にかける。別の方法はコンパンダシステム（すなわち、置換または符号化の前の過渡信号の動的振幅圧縮と、置換の後の補足的な伸張）を用いる。また、信号に依存して置換法の間で切り替えることもできる。例えば定常信号に高分解能フィルタバンク置換法を用い、過渡信号に時変パターン探索予測法を用いる。
実際的な応用
標準の信号プロセッサまたは強力ＰＣを用いると、ＳＢＲ強化コーデックを実時間で動作させることができる。ＳＢＲ強化コーデックはカスタムチップにハードで符号化してもよい。また図２７や図２８のように任意のコーデックを用いて種々のシステムでこれを実現して、アナログ信号またはディジタル信号の記憶または伝送に用いてよい。ＳＢＲ−１法は、デコーダに組み込んでも、付加的なハードウエアまたはソフトウエア後処理モジュールとして供給してもよい。ＳＢＲ−２法はエンコーダを更に修正する必要がある。図２７において、アナログ入力信号がＡ／Ｄ変換器２７０１に入り、ディジタル信号を形成して任意のエンコーダ２７０３に与え、ここで原始コーディングを行う。この装置に入る信号は、聴覚範囲内のスペクトル帯域をすでに廃棄した、またはスペクトル帯域を任意のエンコーダ内で廃棄した低域信号でよい。得られる低帯域信号をマルチプレクサ２７０５に与えて直列ビットストリームを形成し、２７０７で伝送または記憶する。デマルチプレクサ２７０９は信号を回復して任意のデコーダ２７１１に与える。スペクトル包絡線情報２７１５をデコーダ２７１１で評価してＳＢＲ−１ユニット２７１３に与える。ユニット２７１３は低帯域信号を高帯域信号に置換して、包絡線を調整した広帯域信号を生成する。最後に、２７１７でディジタル広帯域信号をアナログ出力信号に変換する。
ＳＢＲ−２法はエンコーダを更に修正する必要がある。図２８において、アナログ入力信号がＡ／Ｄ変換器２８０１に入り、ディジタル信号を形成して任意のエンコーダ２８０３に与え、ここで原始コーディングを行う。２８０５でスペクトル包絡線情報を取り出す。得られる信号は低帯域サブバンドサンプルまたは係数と広帯域包絡線情報で、これをマルチプレクサ２８０７に与えて直列ビットストリームを形成し、２８０９で伝送または記憶する。デマルチプレクサ２８１１は信号や低帯域サブバンドサンプルまたは係数や広帯域包絡線情報を回復して、任意のデコーダ２８１５に与える。スペクトル包絡線情報２８１３をデマルチプレクサ２８１１からＳＢＲ−２ユニット２８１７に送り、低帯域信号を高帯域信号に置換して、包絡線を調整した広帯域信号を生成する。最後に、２８１９でディジタル広帯域信号をアナログ出力信号に変換する。
非常に低いビットレートだけしか利用できないときは（インターネットや、遅い電話モデム、ＡＭ放送など）、オーディオプログラム材料のモノコーディングが避けられない。知覚品質を高めて、より快適な音をプログラムするには、タップ付き遅延線２９０１を導入すれば図２９に示す簡単な「疑似ステレオ」発生器が得られる。これは、１０ｍｓと１５ｍｓの遅延信号を２９０３で約−６ｄＢにして各出力チャンネルに与え、２９０５で初めのモノ信号に加える。疑似ステレオ発生器を用いると、低い計算コストで大きな知覚改善が得られる。
上述の実施の形態は、オーディオ原始コーディングを改善するための本発明の原理を示すものに過ぎない。理解されるように、ここに述べた装置や詳細の修正や変更は当業者には明らかである。したがって、課せられる制約は特許請求の範囲だけによるものであって、ここで実施の形態の記述や説明により示した特定の詳細によるものではない。
Claims (29)
- エンコードされた信号のデコード方法であって、該エンコードされた信号は、原信号から導き出されたものでしかも該原信号に含まれる周波数帯域の一部のみを表すものであって、前記方法は、
該エンコードされた信号の周波数成分を表す複数のサブバンドあるいは複数のスペクトル係数のサブバンドサンプルを提供し、
該原信号の周波数を表すサブバンドサンプルあるいはスペクトル係数を前記原信号には含まれるが前記エンコードされた信号には含まれない再構成周波数帯域の対応する目標周波数に変換し、
前記目標周波数は次の式
ｆ dest ＝ｆ source ・Ｍ±Δｆ source
で示される対応する原信号の周波数に関連しており、ここでｆ dest は目標周波数であり、ｆ source は目標周波数に対応する原信号の周波数であり、Ｍは１ではない変換係数であり、Δｆ source が正確な変換からの偏差でゼロに等しいか大きく、かつ臨界帯域５％よりも小さい値であり、目標周波数がその中に含まれ、
ある目標周波数のサブバンドあるいは周波数係数の各々で、それぞれのサブバンドサンプルあるいは各々の周波数係数の位相情報が、前記ある目標周波数に対応するある原信号周波数のサブバンドサンプルあるいは周波数係数からの位相情報からのみ得られ
前記変換のステップの前あるいは後で、前記原信号あるいは前記エンコードされた信号から抽出されたスペクトル包絡線を使って前記帯域通過信号に含まれる該選択されたサブバンドサンプルあるいはスペクトル係数を調整して、調整された変換サブバンドサンプルあるいは調整された変換スペクトル係数を求め、
前記サブバンドサンプルと調整された変換サンプルか、あるいはスペクトル係数と調整された変換スペクトル係数とを結合してデコードされた出力信号を得て、該デコードされた出力信号がエンコードされた信号の周波数成分と前記再構成周波数帯域の周波数成分とを含む周波数成分を有する
ステップを含むエンコードされた信号のデコード方法。 - 前記調整された変換サブバンドサンプルあるいは調整された変換スペクトル係数の通過帯域は、該エンコードされた信号の周波数成分を表すサブバンドサンプルあるいはスペクトル係数の通過帯域と重ならないかまたは一部だけ重なるように設定する、請求項１に記載のエンコードされた信号のデコード方法。
- さらに、エンコードされた信号を使用して前記再構成周波数帯域のスペクトル包絡線情報を推定するステップを含む、請求項１に記載のエンコードされた信号のデコード方法。
- エンコードされた信号はさらに、前記原信号のコーディングの際に廃棄された再構成周波数帯域上の伝送されたスペクトル包絡線情報を含み、さらに前記方法は、前記原信号の廃棄された周波数帯域の伝送された包絡線情報を抽出するステップを有する、請求項１に記載のエンコードされた信号のデコード方法。
- 前記スペクトル包絡線情報は、エンコードされた信号の任意の数のサブバンドチャンネル内のサブバンドサンプルとして伝送され、前記サブバンドチャンネルの利得が低レベルに設定された、請求項４に記載のエンコードされた信号のデコード方法。
- 前記スペクトル包絡線情報を変換係数として伝送し、エンコードされた信号内の対応するサブバンドサンプルは伝送しない、請求項４に記載のエンコードされた信号のデコード方法。
- 前記包絡線情報を変換係数として伝送し、前記エンコードされた信号で前記対応するサブバンドサンプルをゼロまたは一定値に設定する、請求項４に記載のエンコードされた信号のデコード方法。
- デコードされた出力信号がモノフォニックオーディオ信号であり、前記方法はさらに、前記デコードされた出力信号を、前記出力信号とそれを遅延した信号をそれぞれ含む２つの信号に分割して疑似ステレオ信号を得るステップを有する、請求項１に記載のエンコードされた信号のデコード方法。
- 前記提供するステップはさらに、
信号を、それぞれ周波数［ｆ1，．．．，ｆN］を含む通過帯域を持つＮ個（Ｎ≧２）の帯域通過フィルタの集合で濾波して、Ｎ個の帯域信号を形成するステップを有し、
前記変換するステップが、帯域通過信号の周波数を、周波数Ｍ［ｆ1，．．．，ｆN］を含む領域にシフト（ただし、Ｍ≠１は変換係数）するステップを有する、請求項１に記載のエンコードされた信号のデコード方法。 - 前記シフトするステップは、上側帯域（ＵＳＢ）変調により得る、請求項９に記載のエンコードされた信号のデコード方法。
- 前記提供するステップは、信号を、低域通過型の実数値または複素値のサブバンド信号を生成する性質の分析フィルタバンクまたは変換を用いて帯域濾波するステップを有し、
前記変換するステップは、前記合成フィルタバンクまたは変換内で、前記分析フィルタバンクまたは変換の任意の数のチャンネルｋをチャンネルＭｋ（Ｍ≠１）にパッチングするステップを有し、該Ｍは変換係数であって、
前記フィルタバンクまたは変換は、濾波あるいは逆変換を実行するステップで使用される、請求項１に記載のエンコードされた信号のデコード方法。 - 前記フィルタバンクを最大１０進化し、前記パッチングするステップを次の関係により行い、
ただし、（−１）(M-1)knは訂正係数、ｖk（ｎ）はチャンネルｋのサブバンド信号、ｖMK（ｎ）はチャンネルＭｋのサブバンド信号であり、これによりスペクトル反転サブバンド信号の補正が得られる、請求項１１に記載のエンコードされた信号のデコード方法。 - 前記変換するステップは、前記分析フィルタバンクまたは変換のチャンネルｋからの選択されたサブバンドサンプルあるいは周波数係数の位相を、合成チャンネルＭｋに関連するサブバンドサンプルの位相としてパッチングし、該Ｍが変換係数であって１でない整数であるステップと、
前記分析フィルタバンクまたは変換の連続的なチャンネルｌからのサブバンドサンプルあるいは周波数係数の振幅を、連続的な合成チャンネルｌ＋Ｓ（Ｓは１でない整数で、ｌはチャンネル数）に関連するサブバンドサンプルあるいは周波数係数の振幅としてパッチングする、請求項１に記載のエンコードされた信号のデコード方法。 - 前記変換するステップは、前記合成フィルタバンクまたは変換を用いる前に、チャンネルｋの選択されたサブバンドサンプルの位相に係数Ｍを掛ける、請求項１３に記載のエンコードされた信号のデコード方法。
- Ｍ＝Ｋ±1（ただし、Ｋは整数＞１）である、請求項１３に記載のエンコードされた信号のデコード方法。
- 前記パッチングするステップにおいて、変換係数Ｍの多値を用いる、請求項１１に記載のエンコードされた信号のデコード方法。
- 入力信号から少なくとも１つの周波数帯域を削除し、変換係数Ｍで変換された変換信号を得る方法であって、
インパルス応答
ただし、ｋ＝０，１，．．．，Ｌ−１、Ｋは定数、Ｍは１と等しくない整数、ｐo（ｎ）は長さＮの低域通過プロトタイプフィルタ、を持つＬ個のフィルタの並列バンクで入力信号を濾波して、Ｌ個の複素値信号の集合を生成するステップと、
係数Ｌ／Ｍを持つ前記Ｌ個の集合の信号をダウンサンプリングして、Ｌ個の複素値サブバンド信号の集合を生成するステップと、
前記集合の複素値サブバンド信号の位相角にＭを掛けて、サブバンド信号の新しい集合を生成するステップと、
前記サブバンド信号の新しい集合の実数部を選択して、Ｌ個の実数値サブバンド信号の集合を生成するステップと、
係数Ｌ’を持つ前記実数値サブバンド信号の部分集合をアップサンプリングして、実数値信号の集合を生成するステップと、
インパルス応答
ただし、ｋ＝０，１，．．．，Ｌ’−１、Ｋ’は定数、ｐ’0（ｎ）は長さＮ’の低域プロトタイプフィルタで、Ｌ’個の濾波信号を形成し、Ｌ‘＝ＬＱ／Ｍであって、ここでＱが帯域幅拡大係数でありＬ個の複素数値化した信号の集合でカバーされる周波数帯域とＬ’個の濾波信号の集合でカバーされる周波数帯域との間の関係を表すものであり、
前記Ｌ’個の濾波信号の集合と入力信号とを加算して変換信号を生成するステップと、
を有する、変換信号を得る方法。 - 前記位相角にＭを掛けて、サブバンド信号の新しい集合を生成するステップと、前記実数部を選択してＬ個の実数値サブバンド信号の集合を生成するステップとは、
前記複素値サブバンド信号の集合を次式で定義するステップと、
ただし、Ｒk（ｎ）とＩk（ｎ）はそれぞれＺk（ｎ）の実数部と虚数部であり、
前記実数値サブバンド信号Ｗk（ｎ）の集合を次式で計算するステップとを有し、
ただし、｜Ｚk（ｎ）｜＝ｓｑｒｔ｛Ｒk（ｎ）2＋Ｉk（ｎ）2｝、Ｍは正の整数の変換係数であり、次の三角恒等式
ただし、α＝ａｒｃｔａｎ｛Ｉk（ｎ）／Ｒk（ｎ）｝、と次の関係である
請求項１７に記載の変換信号を得る方法。 - 変換方法であって、少なくとも一つの周波数帯域が削除された第１信号を、前記第１信号のセグメントを複写およびダウンサンプリングすることにより時間的に伸張するか、または前記第１の信号のセグメントを廃棄しアップサンプリングすることにより該第１信号を時間的に圧縮する該変換方法であって、
前記第１信号の一部であって、入力セグメントを含んでいる該一部に対し過渡信号検出を行うステップと、
前記過渡信号検出を行うステップの結果によって、コードブックを決定し、それに基いて前記第１信号の一部の複写あるいは廃棄を行うときに前記第１信号の信号セグメントが使用されて出力セグメントを得る決定ステップ（４０３，４０５）と、
を有し、前記決定ステップ（４０３，４０５）は、さらに、
入力信号の現在の部分の過渡信号が検出されない場合（５０５）か、あるいは入力信号の以前の部分で検出された過渡信号が未処理の場合（５１３）には、コードブックについて、コードブックの時間的な最後が前記第１信号の現在の入力セグメントの左になると決定するステップと、
入力信号の部分における過渡信号が検出された場合（５０５）、及び入力信号の検出された過渡信号が処理済みの場合（５１３）には、コードブックについて、時間的に、コードブックが前記第１信号の現在の入力セグメントの右に延在していると決定し、過渡信号の前に決定したコードブックの中の同期点すなわち接続点を捜すことを許可しないステップと、
以前の出力セグメントの比較セグメントを前記決定ステップで決定されたコードブックと関連づけることによって、前記決定ステップで決定されたコードブックにおける同期点を捜すステップ（５１７）と、
前記同期点を捜すステップで得られた同期点から始まる現在の入力セグメントのためのコードブックからサンプルを使用して現在の出力セグメントを生成し（４１３，５２１）、現在の入力セグメントの長さと現在の出力セグメントの長さにより置換係数を決定するステップと
を含む変換方法。 - いくつかのトランスポーザを相互接続して同期点情報を共有している、請求項１９に記載の変換方法。
- トランスポーザを適当なフィルタバンクに接続し、前記いくつかのトランスポーザの各々に与える信号を濾波して、トランスポーザに供給されている信号の和である新しい信号の任意のスペクトル包絡線を得る、請求項１９に記載の変換方法。
- 前記入力信号の現在の部分における過渡信号が検出されない場合（５０５）か、あるいは前記入力信号の以前の部分における検出された過渡信号が未処理の場合（５１３）、コードブックについて、コードブックの最後が現在の入力セグメントの開始と一致していると決定される請求項１９に記載の変換方法。
- 前記入力信号の部分における過渡信号が検出た場合（５０５）で、また前記入力信号の検出された過渡信号が処理済みの場合（５１３）、コードブックについて、コードブックの最後が現在の入力セグメントの最後と一致していて、かつコードブックの最初が以前の入力セグメントの最初と一致していると決定される請求項１９に記載の変換方法。
- 過渡信号検出のために使用される入力信号の部分の長さが出力セグメントの長さと等しい請求項１９に記載の変換方法。
- 前記捜すステップは、以前に捜して見つけた同期点を現在の捜すステップで使用して行う請求項１９に記載の変換方法。
- エンコードされた信号をデコードするデコーダであって、該エンコードされた信号は、原信号から導き出されたものでしかも該原信号に含まれる周波数帯域の一部のみを表すものであって、前記デコーダは、
該エンコードされた信号の周波数成分を表す複数のサブバンドあるいは複数のスペクトル係数のサブバンドサンプルを提供する提供部と、
目標周波数に対応する原信号周波数を表す選択されたサブバンドサンプルあるいはスペクトル係数を前記原信号には含まれるが前記エンコードされた信号には含まれない再構成周波数帯域に変換する変換部とを有し、
前記目標周波数は次の式
ｆ dest ＝ｆ source ・Ｍ±Δｆ source
で示される対応する原信号の周波数に関連しており、ここでｆ dest は目標周波数であり、ｆ source は目標周波数に対応する原信号の周波数であり、Ｍは１ではない変換係数であり、Δｆ source が正確な変換からの偏差でゼロに等しいか大きく、かつ臨界帯域５％よりも小さい値であり、目標周波数がその中に含まれ、
ある目標周波数のサブバンドあるいは周波数係数の各々で、それぞれのサブバンドサンプルあるいは各々の周波数係数の位相情報が、前記ある目標周波数に対応するある原信号周波数のサブバンドサンプルあるいは周波数係数からの位相情報からのみ得られ
前記変換のステップの前あるいは後で、前記原信号あるいは前記エンコードされた信号から抽出されたスペクトル包絡線を使って該選択されたサブバンドサンプルあるいはスペクトル係数を調整して、調整された変換サブバンドサンプルあるいは調整された変換スペクトル係数を求め、さらに
前記サブバンドサンプルと調整された変換サンプルか、あるいはスペクトル係数と調整された変換スペクトル係数とを結合してデコードされた出力信号を得る合成部であって、該デコードされた出力信号がエンコードされた信号の周波数成分と前記再構成周波数帯域の周波数成分とを含む周波数成分を有する
該合成部を含む
デコーダ。 - デコードされた出力信号がモノフォニックオーディオ信号であって、前記デコーダはさらに、
第１遅延信号を形成するための第１の遅延部と第１の減衰部と、
第２遅延信号を形成するための、第１の遅延部とは異なる第２の遅延部と第２の減衰部と、
前記デコードされた出力信号と前記第１遅延信号を加算して左チャンネル出力信号を形成する第１の加算部と、
前記デコードされた出力と前記第２遅延信号を加算して右チャンネル出力信号を形成して、疑似ステレオフォニック信号を得る第２の加算部、
とを有する、請求項２６に記載のデコーダ。 - 入力信号から少なくとも１つの周波数帯域を削除し、変換係数Ｍで変換された変換信号を得る装置であって、
インパルス応答
ただし、ｋ＝０，１，．．．，Ｌ−１、Ｋは定数、ｐo（ｎ）は長さＮの低域通過プロトタイプフィルタ、Ｍは１に等しくない整数、を持つＬ個のフィルタの並列バンクで信号を濾波して、Ｌ個の複素値信号の集合を生成するフィルタと、
係数Ｌ／Ｍを持つ前記Ｌ個の集合の信号をダウンサンプリングして、Ｌ個の複素値のサブバンド信号の集合を生成するダウンサンプラーと、
前記集合の複素値サブバンド信号の位相角にＭを掛けて、サブバンド信号の新しい集合を生成するマルチプレクサと、
前記サブバンド信号の新しい集合の実数部を選択して、Ｌ個の実数値サブバンド信号の集合を生成するセレクタと、
係数Ｌ’を持つ前記実数値サブバンド信号の部分集合をアップサンプリングして、実数値信号の集合を生成するアップサンプラーと、
インパルス応答
ただし、ｋ＝０，１，．．．，Ｌ’−１、Ｋ’は定数、ｐ’o（ｎ）は長さＮ’の低域プロトタイプフィルタで、Ｌ’個の濾波信号を形成し、Ｌ‘＝ＬＱ／Ｍであって、ここでＱが帯域幅拡大係数でありＬ個の複素数値化した信号の集合でカバーされる周波数帯域とＬ’個の濾波信号の集合でカバーされる周波数帯域との間の関係を表すものであり、
前記Ｌ’個の濾波信号の集合と入力信号とを加算して変換信号を生成する加算部と、
を有する装置。 - 変換装置であって、少なくとも一つの周波数帯域が削除された第１信号を、前記第１信号のセグメントを複写およびダウンサンプリングすることにより時間的に伸張するか、または前記第１の信号のセグメントを廃棄しアップサンプリングすることにより該第１信号を時間的に圧縮する該変換装置において、
前記第１信号の一部に対し過渡検出を行う過渡検出器であり、該一部が入力セグメントを含んでいる該過渡検出器と、
前記過渡検出を行うステップの結果によって、コードブックを決定し、それに基いて前記第１信号の一部の複写あるいは廃棄を行うときに前記第１信号の信号セグメントが使用されて出力セグメントを得るプロセッサ（４０３，４０５）と、
を有し、前記プロセッサ（４０３，４０５）は、
入力信号の現在の部分の過渡が検出されない場合（５０５）か、あるいは入力信号の以前の部分で検出された過渡が未処理の場合（５１３）には、コードブックについて、コードブックの時間的な最後が前記第１信号の現在の入力セグメントの左になると決定し、
入力信号の部分における過渡が検出された場合（５０５）、及び入力信号の検出された過渡が処理済みの場合（５１３）には、コードブックについて、時間的に、コードブックが前記第１信号の現在の入力セグメントの右に延在していると決定し、過渡の前に決定したコードブックの中の同期点を捜すことを許可せず、
以前の出力セグメントの比較セグメントを前記決定ステップで決定されたコードブックと関連づけることによって、前記決定ステップで決定されたコードブックにおける同期点を捜す探索部（５１７）と、
前記同期点を捜すステップで得られた同期点から始まる現在の入力セグメントのためのコードブックからサンプルを使用して現在の出力セグメントを生成し（４１３，５２１）、現在の入力セグメントの長さと現在の出力セグメントの長さにより置換係数を決定する生成部と
を含む変換装置。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE9702213A SE9702213D0 (sv) | 1997-06-10 | 1997-06-10 | A method and a device for bit-rate reduction using synthetic bandwidth expansion |
| SE9702213-1 | 1997-06-10 | ||
| SE9704634A SE9704634D0 (sv) | 1997-12-12 | 1997-12-12 | Synthetic bandwidth expansion of audio signals |
| SE9704634-6 | 1997-12-12 | ||
| SE9800268A SE512719C2 (sv) | 1997-06-10 | 1998-01-30 | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| SE9800268-6 | 1998-01-30 | ||
| PCT/IB1998/000893 WO1998057436A2 (en) | 1997-06-10 | 1998-06-09 | Source coding enhancement using spectral-band replication |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004355011A Division JP4220461B2 (ja) | 1997-06-10 | 2004-12-08 | 時間的に離散した音声信号のアップサンプリングした信号を発生する方法と装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001521648A JP2001521648A (ja) | 2001-11-06 |
| JP2001521648A5 JP2001521648A5 (ja) | 2004-07-15 |
| JP3871347B2 true JP3871347B2 (ja) | 2007-01-24 |
Family
ID=27355877
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50196299A Expired - Lifetime JP3871347B2 (ja) | 1997-06-10 | 1998-06-09 | スペクトル帯域複製を用いた原始コーディングの強化 |
| JP2004355011A Expired - Lifetime JP4220461B2 (ja) | 1997-06-10 | 2004-12-08 | 時間的に離散した音声信号のアップサンプリングした信号を発生する方法と装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004355011A Expired - Lifetime JP4220461B2 (ja) | 1997-06-10 | 2004-12-08 | 時間的に離散した音声信号のアップサンプリングした信号を発生する方法と装置 |
Country Status (14)
| Country | Link |
|---|---|
| US (4) | US6680972B1 (ja) |
| EP (2) | EP1367566B1 (ja) |
| JP (2) | JP3871347B2 (ja) |
| CN (2) | CN1206816C (ja) |
| AT (2) | ATE257987T1 (ja) |
| AU (1) | AU7446598A (ja) |
| BR (1) | BR9805989B1 (ja) |
| DE (2) | DE69821089T2 (ja) |
| DK (2) | DK0940015T3 (ja) |
| ES (2) | ES2213901T3 (ja) |
| HK (2) | HK1030843A1 (ja) |
| PT (2) | PT940015E (ja) |
| SE (1) | SE512719C2 (ja) |
| WO (1) | WO1998057436A2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010114123A1 (ja) * | 2009-04-03 | 2010-10-07 | 株式会社エヌ・ティ・ティ・ドコモ | 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、音声符号化プログラム及び音声復号プログラム |
| US9070373B2 (en) | 2011-12-15 | 2015-06-30 | Fujitsu Limited | Decoding device, encoding device, decoding method, and encoding method |
| US9384750B2 (en) | 2009-10-21 | 2016-07-05 | Dolby International Ab | Oversampling in a combined transposer filterbank |
| US10192565B2 (en) | 2009-01-16 | 2019-01-29 | Dolby International Ab | Cross product enhanced harmonic transposition |
Families Citing this family (412)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1179348C (zh) * | 1996-11-07 | 2004-12-08 | 皇家菲利浦电子有限公司 | 比特流信号的数据处理 |
| JP4193243B2 (ja) * | 1998-10-07 | 2008-12-10 | ソニー株式会社 | 音響信号符号化方法及び装置、音響信号復号化方法及び装置並びに記録媒体 |
| SE9903552D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Efficient spectral envelope coding using dynamic scalefactor grouping and time/frequency switching |
| SE9903553D0 (sv) | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| US7085377B1 (en) * | 1999-07-30 | 2006-08-01 | Lucent Technologies Inc. | Information delivery in a multi-stream digital broadcasting system |
| US6978236B1 (en) * | 1999-10-01 | 2005-12-20 | Coding Technologies Ab | Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching |
| US7061992B2 (en) * | 2000-01-18 | 2006-06-13 | National Researc Council Of Canada | Parallel correlator architecture |
| FI119576B (fi) * | 2000-03-07 | 2008-12-31 | Nokia Corp | Puheenkäsittelylaite ja menetelmä puheen käsittelemiseksi, sekä digitaalinen radiopuhelin |
| EP1190415B1 (en) * | 2000-03-15 | 2007-08-08 | Koninklijke Philips Electronics N.V. | Laguerre function for audio coding |
| FR2807897B1 (fr) * | 2000-04-18 | 2003-07-18 | France Telecom | Methode et dispositif d'enrichissement spectral |
| US7742927B2 (en) | 2000-04-18 | 2010-06-22 | France Telecom | Spectral enhancing method and device |
| US7330814B2 (en) * | 2000-05-22 | 2008-02-12 | Texas Instruments Incorporated | Wideband speech coding with modulated noise highband excitation system and method |
| SE0001926D0 (sv) | 2000-05-23 | 2000-05-23 | Lars Liljeryd | Improved spectral translation/folding in the subband domain |
| US6718300B1 (en) * | 2000-06-02 | 2004-04-06 | Agere Systems Inc. | Method and apparatus for reducing aliasing in cascaded filter banks |
| JP3538122B2 (ja) * | 2000-06-14 | 2004-06-14 | 株式会社ケンウッド | 周波数補間装置、周波数補間方法及び記録媒体 |
| JP3576935B2 (ja) * | 2000-07-21 | 2004-10-13 | 株式会社ケンウッド | 周波数間引き装置、周波数間引き方法及び記録媒体 |
| JP3576941B2 (ja) * | 2000-08-25 | 2004-10-13 | 株式会社ケンウッド | 周波数間引き装置、周波数間引き方法及び記録媒体 |
| US20020049586A1 (en) * | 2000-09-11 | 2002-04-25 | Kousuke Nishio | Audio encoder, audio decoder, and broadcasting system |
| SE0004163D0 (sv) | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
| SE0004187D0 (sv) * | 2000-11-15 | 2000-11-15 | Coding Technologies Sweden Ab | Enhancing the performance of coding systems that use high frequency reconstruction methods |
| SE0004818D0 (sv) * | 2000-12-22 | 2000-12-22 | Coding Technologies Sweden Ab | Enhancing source coding systems by adaptive transposition |
| US20020087315A1 (en) * | 2000-12-29 | 2002-07-04 | Lee Victor Wai Leung | Computer-implemented multi-scanning language method and system |
| US6845170B2 (en) | 2001-01-11 | 2005-01-18 | Sony Corporation | Watermark resistant to resizing and rotation |
| US20020128839A1 (en) * | 2001-01-12 | 2002-09-12 | Ulf Lindgren | Speech bandwidth extension |
| ATE319162T1 (de) * | 2001-01-19 | 2006-03-15 | Koninkl Philips Electronics Nv | Breitband-signalübertragungssystem |
| US7660424B2 (en) | 2001-02-07 | 2010-02-09 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
| FR2821475B1 (fr) * | 2001-02-23 | 2003-05-09 | France Telecom | Procede et dispositif de reconstruction spectrale de signaux a plusieurs voies, notamment de signaux stereophoniques |
| FR2821501B1 (fr) * | 2001-02-23 | 2004-07-16 | France Telecom | Procede et dispositif de reconstruction spectrale d'un signal a spectre incomplet et systeme de codage/decodage associe |
| FR2821476B1 (fr) * | 2001-02-23 | 2003-04-11 | France Telecom | Procede de reconstruction spectrale de signal audio a spectre incomplet et dispositif correspondant |
| JP4008244B2 (ja) * | 2001-03-02 | 2007-11-14 | 松下電器産業株式会社 | 符号化装置および復号化装置 |
| US6865273B2 (en) * | 2002-06-05 | 2005-03-08 | Sony Corporation | Method and apparatus to detect watermark that are resistant to resizing, rotation and translation |
| US7602936B2 (en) * | 2001-03-08 | 2009-10-13 | Sony Corporation | Method to make wavelet watermarks resistant to affine transformations |
| SE0101175D0 (sv) * | 2001-04-02 | 2001-04-02 | Coding Technologies Sweden Ab | Aliasing reduction using complex-exponential-modulated filterbanks |
| AUPR433901A0 (en) | 2001-04-10 | 2001-05-17 | Lake Technology Limited | High frequency signal construction method |
| US7711123B2 (en) * | 2001-04-13 | 2010-05-04 | Dolby Laboratories Licensing Corporation | Segmenting audio signals into auditory events |
| US7400651B2 (en) | 2001-06-29 | 2008-07-15 | Kabushiki Kaisha Kenwood | Device and method for interpolating frequency components of signal |
| SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
| US8605911B2 (en) | 2001-07-10 | 2013-12-10 | Dolby International Ab | Efficient and scalable parametric stereo coding for low bitrate audio coding applications |
| JP2003108197A (ja) * | 2001-07-13 | 2003-04-11 | Matsushita Electric Ind Co Ltd | オーディオ信号復号化装置およびオーディオ信号符号化装置 |
| CN1272911C (zh) * | 2001-07-13 | 2006-08-30 | 松下电器产业株式会社 | 音频信号解码装置及音频信号编码装置 |
| JP4012506B2 (ja) * | 2001-08-24 | 2007-11-21 | 株式会社ケンウッド | 信号の周波数成分を適応的に補間するための装置および方法 |
| JP2005506584A (ja) * | 2001-10-25 | 2005-03-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 減少された帯域幅の伝送路上での広帯域オーディオ信号の伝送方法 |
| DE60204039T2 (de) * | 2001-11-02 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur kodierung und dekodierung von audiosignalen |
| DE10154932B4 (de) * | 2001-11-08 | 2008-01-03 | Grundig Multimedia B.V. | Verfahren zur Audiocodierung |
| JP4308229B2 (ja) * | 2001-11-14 | 2009-08-05 | パナソニック株式会社 | 符号化装置および復号化装置 |
| JP3926726B2 (ja) * | 2001-11-14 | 2007-06-06 | 松下電器産業株式会社 | 符号化装置および復号化装置 |
| CN100395817C (zh) | 2001-11-14 | 2008-06-18 | 松下电器产业株式会社 | 编码设备、解码设备和解码方法 |
| US20030108108A1 (en) * | 2001-11-15 | 2003-06-12 | Takashi Katayama | Decoder, decoding method, and program distribution medium therefor |
| JPWO2003042648A1 (ja) * | 2001-11-16 | 2005-03-10 | 松下電器産業株式会社 | 音声符号化装置、音声復号化装置、音声符号化方法および音声復号化方法 |
| US7433489B2 (en) * | 2001-11-28 | 2008-10-07 | Sony Electronics Inc. | Method to ensure temporal synchronization and reduce complexity in the detection of temporal watermarks |
| US7317811B2 (en) * | 2001-11-28 | 2008-01-08 | Sony Electronics Inc. | Method to decode temporal watermarks in compressed video |
| US7469206B2 (en) | 2001-11-29 | 2008-12-23 | Coding Technologies Ab | Methods for improving high frequency reconstruction |
| JP4317355B2 (ja) * | 2001-11-30 | 2009-08-19 | パナソニック株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム |
| US7240001B2 (en) * | 2001-12-14 | 2007-07-03 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
| US6934677B2 (en) | 2001-12-14 | 2005-08-23 | Microsoft Corporation | Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands |
| CN1288625C (zh) | 2002-01-30 | 2006-12-06 | 松下电器产业株式会社 | 音频编码与解码设备及其方法 |
| JP3751001B2 (ja) * | 2002-03-06 | 2006-03-01 | 株式会社東芝 | オーディオ信号再生方法および再生装置 |
| CN1625876B (zh) * | 2002-03-20 | 2011-01-26 | 伊哥·玻利索维奇·多尼夫 | 传输离散信号的方法和*** |
| US20030187663A1 (en) | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| WO2003085644A1 (en) | 2002-04-11 | 2003-10-16 | Matsushita Electric Industrial Co., Ltd. | Encoding device and decoding device |
| JP4296752B2 (ja) | 2002-05-07 | 2009-07-15 | ソニー株式会社 | 符号化方法及び装置、復号方法及び装置、並びにプログラム |
| US7447631B2 (en) * | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
| US7921445B2 (en) * | 2002-06-06 | 2011-04-05 | International Business Machines Corporation | Audio/video speedup system and method in a server-client streaming architecture |
| TWI288915B (en) * | 2002-06-17 | 2007-10-21 | Dolby Lab Licensing Corp | Improved audio coding system using characteristics of a decoded signal to adapt synthesized spectral components |
| KR100462615B1 (ko) | 2002-07-11 | 2004-12-20 | 삼성전자주식회사 | 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 |
| US7376280B2 (en) * | 2002-07-14 | 2008-05-20 | Apple Inc | Video encoding and decoding |
| US7379956B2 (en) * | 2002-07-14 | 2008-05-27 | Apple Inc. | Encoding and decoding data arrays |
| JP4313993B2 (ja) * | 2002-07-19 | 2009-08-12 | パナソニック株式会社 | オーディオ復号化装置およびオーディオ復号化方法 |
| JP4227772B2 (ja) * | 2002-07-19 | 2009-02-18 | 日本電気株式会社 | オーディオ復号装置と復号方法およびプログラム |
| CN1328707C (zh) | 2002-07-19 | 2007-07-25 | 日本电气株式会社 | 音频解码设备以及解码方法 |
| EP1527442B1 (en) * | 2002-08-01 | 2006-04-05 | Matsushita Electric Industrial Co., Ltd. | Audio decoding apparatus and audio decoding method based on spectral band replication |
| JP3861770B2 (ja) | 2002-08-21 | 2006-12-20 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
| JP3881943B2 (ja) * | 2002-09-06 | 2007-02-14 | 松下電器産業株式会社 | 音響符号化装置及び音響符号化方法 |
| TW564375B (en) * | 2002-09-17 | 2003-12-01 | Ind Tech Res Inst | Amplitude phase shift information embedding and detecting method based on phase features |
| SE0202770D0 (sv) * | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
| AU2006235812B2 (en) * | 2002-09-18 | 2009-10-01 | Dolby International Ab | Method for reduction of aliasing introduced by spectral envelope adjustment in real-valued filterbanks |
| EP1543307B1 (en) | 2002-09-19 | 2006-02-22 | Matsushita Electric Industrial Co., Ltd. | Audio decoding apparatus and method |
| US7191136B2 (en) * | 2002-10-01 | 2007-03-13 | Ibiquity Digital Corporation | Efficient coding of high frequency signal information in a signal using a linear/non-linear prediction model based on a low pass baseband |
| KR100501930B1 (ko) * | 2002-11-29 | 2005-07-18 | 삼성전자주식회사 | 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 |
| JP4041385B2 (ja) * | 2002-11-29 | 2008-01-30 | 株式会社ケンウッド | 信号補間装置、信号補間方法及びプログラム |
| AU2002953284A0 (en) * | 2002-12-12 | 2003-01-02 | Lake Technology Limited | Digital multirate filtering |
| KR100524065B1 (ko) * | 2002-12-23 | 2005-10-26 | 삼성전자주식회사 | 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치 |
| US20040252772A1 (en) * | 2002-12-31 | 2004-12-16 | Markku Renfors | Filter bank based signal processing |
| TWI220753B (en) * | 2003-01-20 | 2004-09-01 | Mediatek Inc | Method for determining quantization parameters |
| US7318027B2 (en) | 2003-02-06 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Conversion of synthesized spectral components for encoding and low-complexity transcoding |
| JP4380174B2 (ja) * | 2003-02-27 | 2009-12-09 | 沖電気工業株式会社 | 帯域補正装置 |
| KR100917464B1 (ko) * | 2003-03-07 | 2009-09-14 | 삼성전자주식회사 | 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치 |
| KR100923301B1 (ko) * | 2003-03-22 | 2009-10-23 | 삼성전자주식회사 | 대역 확장 기법을 이용한 오디오 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치 |
| KR100923300B1 (ko) * | 2003-03-22 | 2009-10-23 | 삼성전자주식회사 | 대역 확장 기법을 이용한 오디오 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치 |
| RU2244386C2 (ru) * | 2003-03-28 | 2005-01-10 | Корпорация "Самсунг Электроникс" | Способ восстановления высокочастотной составляющей аудиосигнала и устройство для его реализации |
| EP1621047B1 (en) * | 2003-04-17 | 2007-04-11 | Koninklijke Philips Electronics N.V. | Audio signal generation |
| KR101169596B1 (ko) | 2003-04-17 | 2012-07-30 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 신호 합성 |
| US7318035B2 (en) * | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
| JP2005010621A (ja) * | 2003-06-20 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 音声帯域拡張装置及び帯域拡張方法 |
| DE10328777A1 (de) | 2003-06-25 | 2005-01-27 | Coding Technologies Ab | Vorrichtung und Verfahren zum Codieren eines Audiosignals und Vorrichtung und Verfahren zum Decodieren eines codierten Audiosignals |
| US7548852B2 (en) * | 2003-06-30 | 2009-06-16 | Koninklijke Philips Electronics N.V. | Quality of decoded audio by adding noise |
| JP2005024756A (ja) * | 2003-06-30 | 2005-01-27 | Toshiba Corp | 復号処理回路および移動端末装置 |
| FI118550B (fi) * | 2003-07-14 | 2007-12-14 | Nokia Corp | Parannettu eksitaatio ylemmän kaistan koodaukselle koodekissa, joka käyttää kaistojen jakoon perustuvia koodausmenetelmiä |
| US7082573B2 (en) | 2003-07-30 | 2006-07-25 | America Online, Inc. | Method and system for managing digital assets |
| US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US7844992B2 (en) * | 2003-09-10 | 2010-11-30 | Thomson Licensing | Video on demand server system and method |
| US7844451B2 (en) * | 2003-09-16 | 2010-11-30 | Panasonic Corporation | Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums |
| WO2005027095A1 (ja) | 2003-09-16 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置および復号化装置 |
| JP4679049B2 (ja) | 2003-09-30 | 2011-04-27 | パナソニック株式会社 | スケーラブル復号化装置 |
| DE602004030594D1 (de) | 2003-10-07 | 2011-01-27 | Panasonic Corp | Verfahren zur entscheidung der zeitgrenze zur codierung der spektro-hülle und frequenzauflösung |
| US7461003B1 (en) * | 2003-10-22 | 2008-12-02 | Tellabs Operations, Inc. | Methods and apparatus for improving the quality of speech signals |
| EP2221808B1 (en) | 2003-10-23 | 2012-07-11 | Panasonic Corporation | Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof |
| KR101106026B1 (ko) * | 2003-10-30 | 2012-01-17 | 돌비 인터네셔널 에이비 | 오디오 신호 인코딩 또는 디코딩 |
| US7672838B1 (en) | 2003-12-01 | 2010-03-02 | The Trustees Of Columbia University In The City Of New York | Systems and methods for speech recognition using frequency domain linear prediction polynomials to form temporal and spectral envelopes from frequency domain representations of signals |
| KR100587953B1 (ko) * | 2003-12-26 | 2006-06-08 | 한국전자통신연구원 | 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템 |
| US7460990B2 (en) * | 2004-01-23 | 2008-12-02 | Microsoft Corporation | Efficient coding of digital media spectral data using wide-sense perceptual similarity |
| US6980933B2 (en) * | 2004-01-27 | 2005-12-27 | Dolby Laboratories Licensing Corporation | Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients |
| CN101014997B (zh) * | 2004-02-18 | 2012-04-04 | 皇家飞利浦电子股份有限公司 | 用于生成用于自动语音识别器的训练数据的方法和*** |
| JP4741476B2 (ja) | 2004-04-23 | 2011-08-03 | パナソニック株式会社 | 符号化装置 |
| WO2005112005A1 (ja) * | 2004-04-27 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法 |
| KR100937572B1 (ko) | 2004-04-30 | 2010-01-19 | 힐크레스트 래보래토리스, 인크. | 3ｄ 포인팅 장치 및 방법 |
| US8629836B2 (en) | 2004-04-30 | 2014-01-14 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| WO2005111568A1 (ja) | 2004-05-14 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| CN101656075B (zh) * | 2004-05-14 | 2012-08-29 | 松下电器产业株式会社 | 音频解码装置、音频解码方法以及通信终端和基站装置 |
| CN102280109B (zh) | 2004-05-19 | 2016-04-27 | 松下电器（美国）知识产权公司 | 编码装置、解码装置及它们的方法 |
| WO2006000951A1 (en) | 2004-06-21 | 2006-01-05 | Koninklijke Philips Electronics N.V. | Method of audio encoding |
| GB2416285A (en) | 2004-07-14 | 2006-01-18 | British Broadcasting Corp | Transmission of a data signal in an audio signal |
| KR100608062B1 (ko) * | 2004-08-04 | 2006-08-02 | 삼성전자주식회사 | 오디오 데이터의 고주파수 복원 방법 및 그 장치 |
| WO2006018748A1 (en) * | 2004-08-17 | 2006-02-23 | Koninklijke Philips Electronics N.V. | Scalable audio coding |
| KR100640893B1 (ko) * | 2004-09-07 | 2006-11-02 | 엘지전자 주식회사 | 음성 인식용 베이스밴드 모뎀 및 이동통신용 단말기 |
| US7860721B2 (en) * | 2004-09-17 | 2010-12-28 | Panasonic Corporation | Audio encoding device, decoding device, and method capable of flexibly adjusting the optimal trade-off between a code rate and sound quality |
| US7630902B2 (en) * | 2004-09-17 | 2009-12-08 | Digital Rise Technology Co., Ltd. | Apparatus and methods for digital audio coding using codebook application ranges |
| US7620675B1 (en) * | 2004-09-23 | 2009-11-17 | Texas Instruments Incorporated | Image and audio transform methods |
| JP4618634B2 (ja) * | 2004-10-07 | 2011-01-26 | Ｋｄｄｉ株式会社 | 圧縮オーディオデータ処理方法 |
| JP4815780B2 (ja) * | 2004-10-20 | 2011-11-16 | ヤマハ株式会社 | オーバーサンプリングシステム、デコードｌｓｉ、およびオーバーサンプリング方法 |
| US7555081B2 (en) * | 2004-10-29 | 2009-06-30 | Harman International Industries, Incorporated | Log-sampled filter system |
| WO2006048814A1 (en) | 2004-11-02 | 2006-05-11 | Koninklijke Philips Electronics N.V. | Encoding and decoding of audio signals using complex-valued filter banks |
| SE0402652D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
| EP1798724B1 (en) * | 2004-11-05 | 2014-06-18 | Panasonic Corporation | Encoder, decoder, encoding method, and decoding method |
| WO2006058129A2 (en) | 2004-11-23 | 2006-06-01 | Hillcrest Laboratories, Inc. | Semantic gaming and application transformation |
| KR100657916B1 (ko) * | 2004-12-01 | 2006-12-14 | 삼성전자주식회사 | 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법 |
| US20060143013A1 (en) * | 2004-12-28 | 2006-06-29 | Broadcom Corporation | Method and system for playing audio at an accelerated rate using multiresolution analysis technique keeping pitch constant |
| US8082156B2 (en) | 2005-01-11 | 2011-12-20 | Nec Corporation | Audio encoding device, audio encoding method, and audio encoding program for encoding a wide-band audio signal |
| US20060187770A1 (en) * | 2005-02-23 | 2006-08-24 | Broadcom Corporation | Method and system for playing audio at a decelerated rate using multiresolution analysis technique keeping pitch constant |
| KR101194902B1 (ko) * | 2005-02-24 | 2012-10-25 | 파나소닉 주식회사 | 데이터 재생장치 |
| JP4761506B2 (ja) * | 2005-03-01 | 2011-08-31 | 国立大学法人北陸先端科学技術大学院大学 | 音声処理方法と装置及びプログラム並びに音声システム |
| JP4645241B2 (ja) * | 2005-03-10 | 2011-03-09 | ヤマハ株式会社 | 音声処理装置およびプログラム |
| KR100707186B1 (ko) * | 2005-03-24 | 2007-04-13 | 삼성전자주식회사 | 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체 |
| EP1864281A1 (en) * | 2005-04-01 | 2007-12-12 | QUALCOMM Incorporated | Systems, methods, and apparatus for highband burst suppression |
| KR100818268B1 (ko) * | 2005-04-14 | 2008-04-02 | 삼성전자주식회사 | 오디오 데이터 부호화 및 복호화 장치와 방법 |
| US7627481B1 (en) * | 2005-04-19 | 2009-12-01 | Apple Inc. | Adapting masking thresholds for encoding a low frequency transient signal in audio data |
| US8086451B2 (en) | 2005-04-20 | 2011-12-27 | Qnx Software Systems Co. | System for improving speech intelligibility through high frequency compression |
| US7813931B2 (en) * | 2005-04-20 | 2010-10-12 | QNX Software Systems, Co. | System for improving speech quality and intelligibility with bandwidth compression/expansion |
| US8249861B2 (en) | 2005-04-20 | 2012-08-21 | Qnx Software Systems Limited | High frequency compression integration |
| PL1875463T3 (pl) | 2005-04-22 | 2019-03-29 | Qualcomm Incorporated | Układy, sposoby i urządzenie do wygładzania współczynnika wzmocnienia |
| DK1742509T3 (da) | 2005-07-08 | 2013-11-04 | Oticon As | Et system og en fremgangsmåde til eliminering af feedback og støj i et høreapparat |
| DE102005032724B4 (de) * | 2005-07-13 | 2009-10-08 | Siemens Ag | Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen |
| US7630882B2 (en) * | 2005-07-15 | 2009-12-08 | Microsoft Corporation | Frequency segmentation to obtain bands for efficient coding of digital media |
| KR100803205B1 (ko) | 2005-07-15 | 2008-02-14 | 삼성전자주식회사 | 저비트율 오디오 신호 부호화/복호화 방법 및 장치 |
| US7562021B2 (en) * | 2005-07-15 | 2009-07-14 | Microsoft Corporation | Modification of codewords in dictionary used for efficient coding of digital media spectral data |
| US20070030923A1 (en) * | 2005-08-02 | 2007-02-08 | Xiaoming Yu | High accuracy non data-aided frequency estimator for M-ary phase shift keying modulation |
| US8599925B2 (en) * | 2005-08-12 | 2013-12-03 | Microsoft Corporation | Efficient coding and decoding of transform blocks |
| JP4715385B2 (ja) * | 2005-08-19 | 2011-07-06 | 株式会社ケンウッド | 補間装置、オーディオ再生装置、補間方法および補間プログラム |
| WO2007028407A1 (en) | 2005-09-06 | 2007-03-15 | Nero Ag | Method for signing a data package and signing apparatus |
| JP4627548B2 (ja) * | 2005-09-08 | 2011-02-09 | パイオニア株式会社 | 帯域拡張装置、帯域拡張方法および帯域拡張プログラム |
| US8396717B2 (en) | 2005-09-30 | 2013-03-12 | Panasonic Corporation | Speech encoding apparatus and speech encoding method |
| US7953605B2 (en) * | 2005-10-07 | 2011-05-31 | Deepen Sinha | Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension |
| US20070118361A1 (en) * | 2005-10-07 | 2007-05-24 | Deepen Sinha | Window apparatus and method |
| US8069035B2 (en) * | 2005-10-14 | 2011-11-29 | Panasonic Corporation | Scalable encoding apparatus, scalable decoding apparatus, and methods of them |
| KR100739180B1 (ko) * | 2005-10-20 | 2007-07-13 | 엘지전자 주식회사 | 이동 통신 단말기의 멀티미디어 데이터를 송수신하는 장치및 그 방법 |
| EP1943643B1 (en) | 2005-11-04 | 2019-10-09 | Nokia Technologies Oy | Audio compression |
| US8103516B2 (en) * | 2005-11-30 | 2012-01-24 | Panasonic Corporation | Subband coding apparatus and method of coding subband |
| JP5034228B2 (ja) * | 2005-11-30 | 2012-09-26 | 株式会社Ｊｖｃケンウッド | 補間装置、音再生装置、補間方法および補間プログラム |
| US7489111B2 (en) | 2005-12-08 | 2009-02-10 | Robert W. Wise | Holstered cordless power tool |
| US7536299B2 (en) * | 2005-12-19 | 2009-05-19 | Dolby Laboratories Licensing Corporation | Correlating and decorrelating transforms for multiple description coding systems |
| TWI311856B (en) * | 2006-01-04 | 2009-07-01 | Quanta Comp Inc | Synthesis subband filtering method and apparatus |
| US7831434B2 (en) | 2006-01-20 | 2010-11-09 | Microsoft Corporation | Complex-transform channel coding with extended-band frequency coding |
| KR100739786B1 (ko) * | 2006-01-20 | 2007-07-13 | 삼성전자주식회사 | 다중 채널 디지털 앰프 시스템 및 그 신호 처리 방법 |
| US7953604B2 (en) * | 2006-01-20 | 2011-05-31 | Microsoft Corporation | Shape and scale parameters for extended-band frequency coding |
| US8190425B2 (en) * | 2006-01-20 | 2012-05-29 | Microsoft Corporation | Complex cross-correlation parameters for multi-channel audio |
| WO2007098258A1 (en) * | 2006-02-24 | 2007-08-30 | Neural Audio Corporation | Audio codec conditioning system and method |
| US7590523B2 (en) * | 2006-03-20 | 2009-09-15 | Mindspeed Technologies, Inc. | Speech post-processing using MDCT coefficients |
| CN101406073B (zh) * | 2006-03-28 | 2013-01-09 | 弗劳恩霍夫应用研究促进协会 | 用于多声道音频重构中的信号成形的增强的方法 |
| WO2007114291A1 (ja) * | 2006-03-31 | 2007-10-11 | Matsushita Electric Industrial Co., Ltd. | 音声符号化装置、音声復号化装置、およびこれらの方法 |
| US8392176B2 (en) * | 2006-04-10 | 2013-03-05 | Qualcomm Incorporated | Processing of excitation in audio coding and decoding |
| EP2200026B1 (en) * | 2006-05-10 | 2011-10-12 | Panasonic Corporation | Encoding apparatus and encoding method |
| JP2007310298A (ja) * | 2006-05-22 | 2007-11-29 | Oki Electric Ind Co Ltd | 帯域外信号生成装置及び周波数帯域拡張装置 |
| KR101390188B1 (ko) * | 2006-06-21 | 2014-04-30 | 삼성전자주식회사 | 적응적 고주파수영역 부호화 및 복호화 방법 및 장치 |
| US8010352B2 (en) | 2006-06-21 | 2011-08-30 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively encoding and decoding high frequency band |
| US9159333B2 (en) | 2006-06-21 | 2015-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively encoding and decoding high frequency band |
| CN101479790B (zh) * | 2006-06-29 | 2012-05-23 | Nxp股份有限公司 | 噪声合成 |
| JP4704499B2 (ja) * | 2006-07-04 | 2011-06-15 | ドルビー インターナショナル アクチボラゲット | 圧縮サブバンド・フィルタ・インパルス応答を作るためのフィルタ・コンプレッサおよび方法 |
| EP1881485A1 (en) | 2006-07-18 | 2008-01-23 | Deutsche Thomson-Brandt Gmbh | Audio bitstream data structure arrangement of a lossy encoded signal together with lossless encoded extension data for said signal |
| EP2054879B1 (en) * | 2006-08-15 | 2010-01-20 | Broadcom Corporation | Re-phasing of decoder states after packet loss |
| JP2008066851A (ja) * | 2006-09-05 | 2008-03-21 | Sony Corp | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| CN101140759B (zh) * | 2006-09-08 | 2010-05-12 | 华为技术有限公司 | 语音或音频信号的带宽扩展方法及*** |
| US8041578B2 (en) * | 2006-10-18 | 2011-10-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoding an information signal |
| US8126721B2 (en) * | 2006-10-18 | 2012-02-28 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoding an information signal |
| US8417532B2 (en) * | 2006-10-18 | 2013-04-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoding an information signal |
| US8295507B2 (en) * | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| JP5141180B2 (ja) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
| JP4967618B2 (ja) * | 2006-11-24 | 2012-07-04 | 富士通株式会社 | 復号化装置および復号化方法 |
| JP5103880B2 (ja) * | 2006-11-24 | 2012-12-19 | 富士通株式会社 | 復号化装置および復号化方法 |
| EP1927981B1 (en) * | 2006-12-01 | 2013-02-20 | Nuance Communications, Inc. | Spectral refinement of audio signals |
| WO2008084688A1 (ja) * | 2006-12-27 | 2008-07-17 | Panasonic Corporation | 符号化装置、復号装置及びこれらの方法 |
| KR101379263B1 (ko) | 2007-01-12 | 2014-03-28 | 삼성전자주식회사 | 대역폭 확장 복호화 방법 및 장치 |
| EP1947644B1 (en) * | 2007-01-18 | 2019-06-19 | Nuance Communications, Inc. | Method and apparatus for providing an acoustic signal with extended band-width |
| US7852745B2 (en) * | 2007-03-02 | 2010-12-14 | Signalink Technologies Inc. | Non-orthogonal frequency-division multiplexed communication through a non-linear transmission medium |
| GB0704622D0 (en) * | 2007-03-09 | 2007-04-18 | Skype Ltd | Speech coding system and method |
| EP2133872B1 (en) * | 2007-03-30 | 2012-02-29 | Panasonic Corporation | Encoding device and encoding method |
| US7761290B2 (en) | 2007-06-15 | 2010-07-20 | Microsoft Corporation | Flexible frequency and time partitioning in perceptual transform coding of audio |
| US7774205B2 (en) * | 2007-06-15 | 2010-08-10 | Microsoft Corporation | Coding of sparse digital media spectral data |
| US8046214B2 (en) | 2007-06-22 | 2011-10-25 | Microsoft Corporation | Low complexity decoder for complex transform coding of multi-channel sound |
| US7885819B2 (en) | 2007-06-29 | 2011-02-08 | Microsoft Corporation | Bitstream syntax for multi-process audio decoding |
| JP5098492B2 (ja) * | 2007-07-30 | 2012-12-12 | ソニー株式会社 | 信号処理装置及び信号処理方法、並びにプログラム |
| US20090198500A1 (en) * | 2007-08-24 | 2009-08-06 | Qualcomm Incorporated | Temporal masking in audio coding based on spectral dynamics in frequency sub-bands |
| US8428957B2 (en) | 2007-08-24 | 2013-04-23 | Qualcomm Incorporated | Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands |
| WO2009029035A1 (en) * | 2007-08-27 | 2009-03-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Improved transform coding of speech and audio signals |
| WO2009055718A1 (en) * | 2007-10-24 | 2009-04-30 | Red Shift Company, Llc | Producing phonitos based on feature vectors |
| US8396704B2 (en) * | 2007-10-24 | 2013-03-12 | Red Shift Company, Llc | Producing time uniform feature vectors |
| US8249883B2 (en) | 2007-10-26 | 2012-08-21 | Microsoft Corporation | Channel extension coding for multi-channel source |
| EP2202729B1 (en) * | 2007-10-26 | 2017-03-15 | D&M Holdings, Inc. | Audio signal interpolation device and audio signal interpolation method |
| WO2009057327A1 (ja) * | 2007-10-31 | 2009-05-07 | Panasonic Corporation | 符号化装置および復号装置 |
| KR101290622B1 (ko) * | 2007-11-02 | 2013-07-29 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 오디오 복호화 방법 및 장치 |
| CN101896968A (zh) * | 2007-11-06 | 2010-11-24 | 诺基亚公司 | 音频编码装置及其方法 |
| RU2483368C2 (ru) * | 2007-11-06 | 2013-05-27 | Нокиа Корпорейшн | Кодер |
| WO2009059632A1 (en) * | 2007-11-06 | 2009-05-14 | Nokia Corporation | An encoder |
| KR100970446B1 (ko) * | 2007-11-21 | 2010-07-16 | 한국전자통신연구원 | 주파수 확장을 위한 가변 잡음레벨 결정 장치 및 그 방법 |
| US8504377B2 (en) * | 2007-11-21 | 2013-08-06 | Lg Electronics Inc. | Method and an apparatus for processing a signal using length-adjusted window |
| US8688441B2 (en) | 2007-11-29 | 2014-04-01 | Motorola Mobility Llc | Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content |
| EP2229677B1 (en) * | 2007-12-18 | 2015-09-16 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
| WO2009081568A1 (ja) | 2007-12-21 | 2009-07-02 | Panasonic Corporation | 符号化装置、復号装置および符号化方法 |
| WO2009084221A1 (ja) * | 2007-12-27 | 2009-07-09 | Panasonic Corporation | 符号化装置、復号装置およびこれらの方法 |
| EP2077551B1 (en) * | 2008-01-04 | 2011-03-02 | Dolby Sweden AB | Audio encoder and decoder |
| KR101413968B1 (ko) * | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
| DE102008015702B4 (de) * | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
| US8433582B2 (en) * | 2008-02-01 | 2013-04-30 | Motorola Mobility Llc | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| US20090201983A1 (en) | 2008-02-07 | 2009-08-13 | Motorola, Inc. | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| US20090203395A1 (en) * | 2008-02-08 | 2009-08-13 | Sony Ericsson Mobile Communications Ab | Amplitude modulation radio transmission with extended bandwidth |
| MX2010009932A (es) | 2008-03-10 | 2010-11-30 | Fraunhofer Ges Forschung | Metodo y dispositivo para manipular una señal de audio que tiene un evento transitorio. |
| JP5326311B2 (ja) | 2008-03-19 | 2013-10-30 | 沖電気工業株式会社 | 音声帯域拡張装置、方法及びプログラム、並びに、音声通信装置 |
| ES2796493T3 (es) * | 2008-03-20 | 2020-11-27 | Fraunhofer Ges Forschung | Aparato y método para convertir una señal de audio en una representación parametrizada, aparato y método para modificar una representación parametrizada, aparato y método para sintetizar una representación parametrizada de una señal de audio |
| JP2009300707A (ja) * | 2008-06-13 | 2009-12-24 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US8909361B2 (en) * | 2008-06-19 | 2014-12-09 | Broadcom Corporation | Method and system for processing high quality audio in a hardware audio codec for audio transmission |
| US9378751B2 (en) * | 2008-06-19 | 2016-06-28 | Broadcom Corporation | Method and system for digital gain processing in a hardware audio CODEC for audio transmission |
| JP5224219B2 (ja) * | 2008-06-26 | 2013-07-03 | 独立行政法人科学技術振興機構 | オーディオ信号圧縮装置、オーディオ信号圧縮方法、オーディオ信号復号装置及びオーディオ信号復号方法 |
| US20140184509A1 (en) | 2013-01-02 | 2014-07-03 | Movea Sa | Hand held pointing device with roll compensation |
| US8010313B2 (en) | 2008-06-27 | 2011-08-30 | Movea Sa | Hand held pointing device with roll compensation |
| US8880410B2 (en) | 2008-07-11 | 2014-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal |
| MY163454A (en) * | 2008-07-11 | 2017-09-15 | Frauenhofer-Gesellschaft Zur | Apparatus or method for generating a bandwidth extended signal |
| PL2346030T3 (pl) * | 2008-07-11 | 2015-03-31 | Fraunhofer Ges Forschung | Koder audio, sposób kodowania sygnału audio oraz program komputerowy |
| MX2011000367A (es) * | 2008-07-11 | 2011-03-02 | Fraunhofer Ges Forschung | Un aparato y un metodo para calcular una cantidad de envolventes espectrales. |
| USRE47180E1 (en) | 2008-07-11 | 2018-12-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal |
| ES2796552T3 (es) * | 2008-07-11 | 2020-11-27 | Fraunhofer Ges Forschung | Sintetizador de señales de audio y codificador de señales de audio |
| KR101756834B1 (ko) * | 2008-07-14 | 2017-07-12 | 삼성전자주식회사 | 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치 |
| US8463412B2 (en) * | 2008-08-21 | 2013-06-11 | Motorola Mobility Llc | Method and apparatus to facilitate determining signal bounding frequencies |
| US8326640B2 (en) * | 2008-08-26 | 2012-12-04 | Broadcom Corporation | Method and system for multi-band amplitude estimation and gain control in an audio CODEC |
| JP2010079275A (ja) * | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
| WO2010028292A1 (en) * | 2008-09-06 | 2010-03-11 | Huawei Technologies Co., Ltd. | Adaptive frequency prediction |
| WO2010028297A1 (en) | 2008-09-06 | 2010-03-11 | GH Innovation, Inc. | Selective bandwidth extension |
| WO2010028299A1 (en) * | 2008-09-06 | 2010-03-11 | Huawei Technologies Co., Ltd. | Noise-feedback for spectral envelope quantization |
| US8352279B2 (en) * | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
| WO2010028301A1 (en) * | 2008-09-06 | 2010-03-11 | GH Innovation, Inc. | Spectrum harmonic/noise sharpness control |
| US8577673B2 (en) * | 2008-09-15 | 2013-11-05 | Huawei Technologies Co., Ltd. | CELP post-processing for music signals |
| WO2010031003A1 (en) | 2008-09-15 | 2010-03-18 | Huawei Technologies Co., Ltd. | Adding second enhancement layer to celp based core layer |
| US8831958B2 (en) | 2008-09-25 | 2014-09-09 | Lg Electronics Inc. | Method and an apparatus for a bandwidth extension using different schemes |
| EP2184929B1 (en) | 2008-11-10 | 2013-04-03 | Oticon A/S | N band FM demodulation to aid cochlear hearing impaired persons |
| US8548816B1 (en) * | 2008-12-01 | 2013-10-01 | Marvell International Ltd. | Efficient scalefactor estimation in advanced audio coding and MP3 encoder |
| GB2466201B (en) | 2008-12-10 | 2012-07-11 | Skype Ltd | Regeneration of wideband speech |
| CN101751925B (zh) * | 2008-12-10 | 2011-12-21 | 华为技术有限公司 | 一种语音解码方法及装置 |
| US9947340B2 (en) * | 2008-12-10 | 2018-04-17 | Skype | Regeneration of wideband speech |
| GB0822537D0 (en) | 2008-12-10 | 2009-01-14 | Skype Ltd | Regeneration of wideband speech |
| PL4224475T3 (pl) | 2008-12-15 | 2024-03-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy |
| AU2013203159B2 (en) * | 2008-12-15 | 2015-09-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder and bandwidth extension decoder |
| JP5423684B2 (ja) * | 2008-12-19 | 2014-02-19 | 富士通株式会社 | 音声帯域拡張装置及び音声帯域拡張方法 |
| US20100191534A1 (en) * | 2009-01-23 | 2010-07-29 | Qualcomm Incorporated | Method and apparatus for compression or decompression of digital signals |
| DK2211339T3 (en) * | 2009-01-23 | 2017-08-28 | Oticon As | listening System |
| CA3210604A1 (en) | 2009-01-28 | 2010-08-05 | Dolby International Ab | Improved harmonic transposition |
| AU2013211560B2 (en) * | 2009-01-28 | 2016-04-28 | Dolby International Ab | Improved harmonic transposition |
| AU2015221516B2 (en) * | 2009-01-28 | 2017-08-10 | Dolby International Ab | Improved Harmonic Transposition |
| RU2493618C2 (ru) | 2009-01-28 | 2013-09-20 | Долби Интернешнл Аб | Усовершенствованное гармоническое преобразование |
| EP2214165A3 (en) * | 2009-01-30 | 2010-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for manipulating an audio signal comprising a transient event |
| US8463599B2 (en) | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
| EP2394442B1 (en) | 2009-02-06 | 2016-12-21 | Oticon A/S | Spectral band substitution to avoid howls and sub-oscillation |
| TWI788752B (zh) * | 2009-02-18 | 2023-01-01 | 瑞典商杜比國際公司 | 用於高頻重建或參數立體聲之複指數調變濾波器組 |
| TWI618350B (zh) | 2009-02-18 | 2018-03-11 | 杜比國際公司 | 用於高頻重建或參數立體聲之複指數調變濾波器組 |
| CN105225667B (zh) | 2009-03-17 | 2019-04-05 | 杜比国际公司 | 编码器***、解码器***、编码方法和解码方法 |
| JP5267257B2 (ja) * | 2009-03-23 | 2013-08-21 | 沖電気工業株式会社 | 音声ミキシング装置、方法及びプログラム、並びに、音声会議システム |
| EP2239732A1 (en) | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| RU2452044C1 (ru) | 2009-04-02 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот |
| JP4921611B2 (ja) * | 2009-04-03 | 2012-04-25 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
| CN101521014B (zh) * | 2009-04-08 | 2011-09-14 | 武汉大学 | 音频带宽扩展编解码装置 |
| CO6440537A2 (es) | 2009-04-09 | 2012-05-15 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio |
| AU2013207549B2 (en) * | 2009-04-09 | 2015-06-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| AU2015264887B2 (en) * | 2009-05-27 | 2017-12-07 | Dolby International Ab | Efficient Combined Harmonic Transposition |
| US11657788B2 (en) | 2009-05-27 | 2023-05-23 | Dolby International Ab | Efficient combined harmonic transposition |
| US8971551B2 (en) | 2009-09-18 | 2015-03-03 | Dolby International Ab | Virtual bass synthesis using harmonic transposition |
| AU2013263712B2 (en) * | 2009-05-27 | 2015-11-12 | Dolby International Ab | Efficient Combined Harmonic Transposition |
| TWI643187B (zh) * | 2009-05-27 | 2018-12-01 | 瑞典商杜比國際公司 | 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體 |
| AU2014201331B2 (en) * | 2009-06-29 | 2015-10-01 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Bandwidth extension encoder, bandwidth extension decoder and phase vocoder |
| ES2400661T3 (es) * | 2009-06-29 | 2013-04-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificación y decodificación de extensión de ancho de banda |
| JP5365380B2 (ja) * | 2009-07-07 | 2013-12-11 | ソニー株式会社 | 音響信号処理装置、その処理方法およびプログラム |
| EP2306456A1 (en) * | 2009-09-04 | 2011-04-06 | Thomson Licensing | Method for decoding an audio signal that has a base layer and an enhancement layer |
| JP5031006B2 (ja) * | 2009-09-04 | 2012-09-19 | パナソニック株式会社 | スケーラブル復号化装置及びスケーラブル復号化方法 |
| JP5433022B2 (ja) * | 2009-09-18 | 2014-03-05 | ドルビー インターナショナル アーベー | 高調波転換 |
| JP5754899B2 (ja) * | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| CN102754159B (zh) | 2009-10-19 | 2016-08-24 | 杜比国际公司 | 指示音频对象的部分的元数据时间标记信息 |
| WO2011048792A1 (ja) * | 2009-10-21 | 2011-04-28 | パナソニック株式会社 | 音響信号処理装置、音響符号化装置および音響復号装置 |
| JP5844266B2 (ja) * | 2009-10-21 | 2016-01-13 | ドルビー・インターナショナル・アクチボラゲットＤｏｌｂｙ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｂ | 適応オーバーサンプリングを用いる高周波数オーディオ信号を発生させるための装置および方法 |
| US20110257978A1 (en) * | 2009-10-23 | 2011-10-20 | Brainlike, Inc. | Time Series Filtering, Data Reduction and Voice Recognition in Communication Device |
| TWI484473B (zh) | 2009-10-30 | 2015-05-11 | Dolby Int Ab | 用於從編碼位元串流擷取音訊訊號之節奏資訊、及估算音訊訊號之知覺顯著節奏的方法及系統 |
| WO2011062536A1 (en) * | 2009-11-19 | 2011-05-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Improved excitation signal bandwidth extension |
| CN102612712B (zh) * | 2009-11-19 | 2014-03-12 | 瑞典爱立信有限公司 | 低频带音频信号的带宽扩展 |
| JP5812998B2 (ja) * | 2009-11-19 | 2015-11-17 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置 |
| KR101370870B1 (ko) * | 2009-12-16 | 2014-03-07 | 돌비 인터네셔널 에이비 | Ｓｂｒ 비트스트림 파라미터 다운믹스 |
| AU2014200151B2 (en) * | 2010-01-19 | 2015-04-16 | Dolby International Ab | Improved subband block based harmonic transposition |
| AU2015203065B2 (en) * | 2010-01-19 | 2017-05-11 | Dolby International Ab | Improved subband block based harmonic transposition |
| EP4120263B1 (en) * | 2010-01-19 | 2023-08-09 | Dolby International AB | Improved subband block based harmonic transposition |
| KR101712101B1 (ko) * | 2010-01-28 | 2017-03-03 | 삼성전자 주식회사 | 신호 처리 방법 및 장치 |
| EP2362375A1 (en) * | 2010-02-26 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for modifying an audio signal using harmonic locking |
| ES2935637T3 (es) * | 2010-03-09 | 2023-03-08 | Fraunhofer Ges Forschung | Reconstrucción de alta frecuencia de una señal de audio de entrada usando bancos de filtros en cascada |
| WO2011110496A1 (en) | 2010-03-09 | 2011-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for handling transient sound events in audio signals when changing the replay speed or pitch |
| JP5854520B2 (ja) * | 2010-03-09 | 2016-02-09 | フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | オーディオ信号用の位相ボコーダに基づく帯域幅拡張方法における改善された振幅応答及び時間的整列のための装置及び方法 |
| EP2375782B1 (en) * | 2010-04-09 | 2018-12-12 | Oticon A/S | Improvements in sound perception using frequency transposition by moving the envelope |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5554876B2 (ja) | 2010-04-16 | 2014-07-23 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム |
| US8452826B2 (en) * | 2010-05-04 | 2013-05-28 | Raytheon Applied Signal Technology, Inc. | Digital frequency channelizer |
| US8751225B2 (en) | 2010-05-12 | 2014-06-10 | Electronics And Telecommunications Research Institute | Apparatus and method for coding signal in a communication system |
| US8600737B2 (en) * | 2010-06-01 | 2013-12-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for wideband speech coding |
| HUE028738T2 (en) * | 2010-06-09 | 2017-01-30 | Panasonic Ip Corp America | Bandwidth Extension Procedure, Bandwidth Extension Device, Program, Integrated Circuit, and Audio Decoder |
| US12002476B2 (en) | 2010-07-19 | 2024-06-04 | Dolby International Ab | Processing of audio signals during high frequency reconstruction |
| BR112012024360B1 (pt) | 2010-07-19 | 2020-11-03 | Dolby International Ab | sistema configurado para gerar uma pluralidade de sinais de áudio de sub-banda de alta frequência, decodificador de áudio, codificador, método para gerar uma pluralidade de sinais de sub-banda de alta frequência, método para decodificar um fluxo de bits, método para gerar dados de controle a partir de um sinal de áudio e meio de armazenamento |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| US8762158B2 (en) * | 2010-08-06 | 2014-06-24 | Samsung Electronics Co., Ltd. | Decoding method and decoding apparatus therefor |
| JP5665987B2 (ja) | 2010-08-12 | 2015-02-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | Ｑｍｆベースのオーディオコーデックの出力信号のリサンプリング |
| ES2938725T3 (es) | 2010-09-16 | 2023-04-14 | Dolby Int Ab | Transposición armónica basada en bloque de subbanda mejorado de producto cruzado |
| JP5552988B2 (ja) * | 2010-09-27 | 2014-07-16 | 富士通株式会社 | 音声帯域拡張装置および音声帯域拡張方法 |
| US8868432B2 (en) * | 2010-10-15 | 2014-10-21 | Motorola Mobility Llc | Audio signal bandwidth extension in CELP-based speech coder |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| US8924200B2 (en) * | 2010-10-15 | 2014-12-30 | Motorola Mobility Llc | Audio signal bandwidth extension in CELP-based speech coder |
| KR20120046627A (ko) * | 2010-11-02 | 2012-05-10 | 삼성전자주식회사 | 화자 적응 방법 및 장치 |
| TWI412022B (zh) * | 2010-12-30 | 2013-10-11 | Univ Nat Cheng Kung | 遞迴式離散餘弦正、逆轉換之系統 |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| MY165853A (en) | 2011-02-14 | 2018-05-18 | Fraunhofer Ges Forschung | Linear prediction based coding scheme using spectral domain noise shaping |
| TWI483245B (zh) * | 2011-02-14 | 2015-05-01 | Fraunhofer Ges Forschung | 利用重疊變換之資訊信號表示技術 |
| EP2676270B1 (en) | 2011-02-14 | 2017-02-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Coding a portion of an audio signal using a transient detection and a quality result |
| EP2676268B1 (en) | 2011-02-14 | 2014-12-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing a decoded audio signal in a spectral domain |
| TR201903388T4 (tr) | 2011-02-14 | 2019-04-22 | Fraunhofer Ges Forschung | Bir ses sinyalinin parçalarının darbe konumlarının şifrelenmesi ve çözülmesi. |
| PL3407352T3 (pl) * | 2011-02-18 | 2022-08-08 | Ntt Docomo, Inc. | Dekoder mowy, koder mowy, sposób dekodowania mowy, sposób kodowania mowy, program do dekodowania mowy i program do kodowania mowy |
| EP2697795B1 (en) * | 2011-04-15 | 2015-06-17 | Telefonaktiebolaget L M Ericsson (PUBL) | Adaptive gain-shape rate sharing |
| JP5648123B2 (ja) * | 2011-04-20 | 2015-01-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 音声音響符号化装置、音声音響復号装置、およびこれらの方法 |
| JP5986565B2 (ja) * | 2011-06-09 | 2016-09-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法 |
| US9070361B2 (en) * | 2011-06-10 | 2015-06-30 | Google Technology Holdings LLC | Method and apparatus for encoding a wideband speech signal utilizing downmixing of a highband component |
| DE102011106034A1 (de) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Verfahren und Vorrichtung zur Spektralbandreplikation und Verfahren und System zur Audiodecodierung |
| US20130006644A1 (en) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Method and device for spectral band replication, and method and system for audio decoding |
| EP2562751B1 (en) | 2011-08-22 | 2014-06-11 | Svox AG | Temporal interpolation of adjacent spectra |
| JP6037156B2 (ja) | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP5975243B2 (ja) | 2011-08-24 | 2016-08-23 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP5807453B2 (ja) * | 2011-08-30 | 2015-11-10 | 富士通株式会社 | 符号化方法、符号化装置および符号化プログラム |
| US8774308B2 (en) | 2011-11-01 | 2014-07-08 | At&T Intellectual Property I, L.P. | Method and apparatus for improving transmission of data on a bandwidth mismatched channel |
| US8781023B2 (en) | 2011-11-01 | 2014-07-15 | At&T Intellectual Property I, L.P. | Method and apparatus for improving transmission of data on a bandwidth expanded channel |
| EP3544006A1 (en) | 2011-11-11 | 2019-09-25 | Dolby International AB | Upsampling using oversampled sbr |
| US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
| US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
| WO2013142650A1 (en) | 2012-03-23 | 2013-09-26 | Dolby International Ab | Enabling sampling rate diversity in a voice communication system |
| US8965290B2 (en) * | 2012-03-29 | 2015-02-24 | General Electric Company | Amplitude enhanced frequency modulation |
| JP5997592B2 (ja) | 2012-04-27 | 2016-09-28 | 株式会社Ｎｔｔドコモ | 音声復号装置 |
| EP2682941A1 (de) * | 2012-07-02 | 2014-01-08 | Technische Universität Ilmenau | Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne |
| JP6065452B2 (ja) * | 2012-08-14 | 2017-01-25 | 富士通株式会社 | データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム |
| EP2704142B1 (en) | 2012-08-27 | 2015-09-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal |
| EP2709106A1 (en) * | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
| US9129600B2 (en) * | 2012-09-26 | 2015-09-08 | Google Technology Holdings LLC | Method and apparatus for encoding an audio signal |
| SG11201505912QA (en) | 2013-01-29 | 2015-08-28 | Fraunhofer Ges Forschung | Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension |
| JP6146069B2 (ja) | 2013-03-18 | 2017-06-14 | 富士通株式会社 | データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム |
| KR101632238B1 (ko) | 2013-04-05 | 2016-06-21 | 돌비 인터네셔널 에이비 | 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더 |
| EP4300488A3 (en) * | 2013-04-05 | 2024-02-28 | Dolby International AB | Stereo audio encoder and decoder |
| US8804971B1 (en) | 2013-04-30 | 2014-08-12 | Dolby International Ab | Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio |
| AU2014280258B9 (en) | 2013-06-10 | 2017-04-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding |
| MY170179A (en) * | 2013-06-10 | 2019-07-09 | Fraunhofer Ges Forschung | Apparatus and method for audio signal envelope encoding, processing and decoding by splitting the audio signal envelope employing distribution quantization and coding |
| DK2822263T3 (da) | 2013-07-05 | 2019-06-17 | Sennheiser Communications As | Kommunikationsanordning med ekkoundertrykkelse |
| EP2830055A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Context-based entropy coding of sample values of a spectral envelope |
| EP2830064A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
| CN105531762B (zh) | 2013-09-19 | 2019-10-01 | 索尼公司 | 编码装置和方法、解码装置和方法以及程序 |
| EP2871641A1 (en) * | 2013-11-12 | 2015-05-13 | Dialog Semiconductor B.V. | Enhancement of narrowband audio signals using a single sideband AM modulation |
| CN105765655A (zh) * | 2013-11-22 | 2016-07-13 | 高通股份有限公司 | 高频带译码中的选择性相位补偿 |
| CA3162763A1 (en) | 2013-12-27 | 2015-07-02 | Sony Corporation | Decoding apparatus and method, and program |
| CN103795420B (zh) * | 2014-02-10 | 2017-04-05 | 南京邮电大学 | 一种基于分段的sbr多属性数据压缩方法 |
| EP4325488A3 (en) | 2014-02-28 | 2024-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoding device, encoding device, decoding method, encoding method, terminal device, and base station device |
| JP6439296B2 (ja) * | 2014-03-24 | 2018-12-19 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| CN111710342B (zh) | 2014-03-31 | 2024-04-16 | 弗朗霍弗应用研究促进协会 | 编码装置、解码装置、编码方法、解码方法及程序 |
| EP2963649A1 (en) | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio processor and method for processing an audio signal using horizontal phase correction |
| KR102125410B1 (ko) * | 2015-02-26 | 2020-06-22 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 타깃 시간 도메인 포락선을 사용하여 처리된 오디오 신호를 얻도록 오디오 신호를 처리하기 위한 장치 및 방법 |
| TWI732403B (zh) * | 2015-03-13 | 2021-07-01 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| TW202242853A (zh) * | 2015-03-13 | 2022-11-01 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| WO2016180704A1 (en) | 2015-05-08 | 2016-11-17 | Dolby International Ab | Dialog enhancement complemented with frequency transposition |
| US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
| US9837089B2 (en) * | 2015-06-18 | 2017-12-05 | Qualcomm Incorporated | High-band signal generation |
| US10861475B2 (en) * | 2015-11-10 | 2020-12-08 | Dolby International Ab | Signal-dependent companding system and method to reduce quantization noise |
| EP3182411A1 (en) | 2015-12-14 | 2017-06-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an encoded audio signal |
| WO2017132366A1 (en) | 2016-01-26 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Adaptive quantization |
| JP6763194B2 (ja) * | 2016-05-10 | 2020-09-30 | 株式会社Ｊｖｃケンウッド | 符号化装置、復号装置、通信システム |
| EP3246923A1 (en) * | 2016-05-20 | 2017-11-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing a multichannel audio signal |
| JP6621709B2 (ja) * | 2016-05-26 | 2019-12-18 | アルパイン株式会社 | 音声処理装置、音声処理方法及びコンピュータプログラム |
| CN107845385B (zh) * | 2016-09-19 | 2021-07-13 | 南宁富桂精密工业有限公司 | 信息隐藏的编解码方法及*** |
| GB201620317D0 (en) * | 2016-11-30 | 2017-01-11 | Microsoft Technology Licensing Llc | Audio signal processing |
| NO343581B1 (no) * | 2017-03-01 | 2019-04-08 | Dolby Int Ab | Fremgangsmåte, anordning og program til spektralinnhyllingsjustering |
| CN109215675B (zh) * | 2017-07-05 | 2021-08-03 | 苏州谦问万答吧教育科技有限公司 | 一种啸叫抑制的方法、装置及设备 |
| US10714098B2 (en) * | 2017-12-21 | 2020-07-14 | Dolby Laboratories Licensing Corporation | Selective forward error correction for spatial audio codecs |
| BR112020021832A2 (pt) | 2018-04-25 | 2021-02-23 | Dolby International Ab | integração de técnicas de reconstrução de alta frequência |
| WO2019210068A1 (en) | 2018-04-25 | 2019-10-31 | Dolby Laboratories Licensing Corporation | Integration of high frequency reconstruction techniques with reduced post-processing delay |
| EP3671741A1 (en) * | 2018-12-21 | 2020-06-24 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Audio processor and method for generating a frequency-enhanced audio signal using pulse processing |
| CN113113032A (zh) * | 2020-01-10 | 2021-07-13 | 华为技术有限公司 | 一种音频编解码方法和音频编解码设备 |
| WO2022097242A1 (ja) * | 2020-11-05 | 2022-05-12 | 日本電信電話株式会社 | 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体 |
| WO2022097240A1 (ja) * | 2020-11-05 | 2022-05-12 | 日本電信電話株式会社 | 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体 |
| CN113516987B (zh) * | 2021-07-16 | 2024-04-12 | 科大讯飞股份有限公司 | 一种说话人识别方法、装置、存储介质及设备 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4150253A (en) * | 1976-03-15 | 1979-04-17 | Inter-Technology Exchange Ltd. | Signal distortion circuit and method of use |
| US4667340A (en) * | 1983-04-13 | 1987-05-19 | Texas Instruments Incorporated | Voice messaging system with pitch-congruent baseband coding |
| US4790016A (en) * | 1985-11-14 | 1988-12-06 | Gte Laboratories Incorporated | Adaptive method and apparatus for coding speech |
| CA1220282A (en) * | 1985-04-03 | 1987-04-07 | Northern Telecom Limited | Transmission of wideband speech signals |
| SE444750B (sv) * | 1985-06-04 | 1986-04-28 | Lars Gustaf Liljeryd | Metod for att pa elektronisk veg astadkomma fortydligande av ljud- eller bildinformation jemte anordning for utforande av metoden |
| US4776014A (en) * | 1986-09-02 | 1988-10-04 | General Electric Company | Method for pitch-aligned high-frequency regeneration in RELP vocoders |
| US4771465A (en) | 1986-09-11 | 1988-09-13 | American Telephone And Telegraph Company, At&T Bell Laboratories | Digital speech sinusoidal vocoder with transmission of only subset of harmonics |
| US5127054A (en) * | 1988-04-29 | 1992-06-30 | Motorola, Inc. | Speech quality improvement for voice coders and synthesizers |
| US5040217A (en) | 1989-10-18 | 1991-08-13 | At&T Bell Laboratories | Perceptual coding of audio signals |
| US5388181A (en) * | 1990-05-29 | 1995-02-07 | Anderson; David J. | Digital audio compression system |
| US5436940A (en) * | 1992-06-11 | 1995-07-25 | Massachusetts Institute Of Technology | Quadrature mirror filter banks and method |
| CA2106440C (en) * | 1992-11-30 | 1997-11-18 | Jelena Kovacevic | Method and apparatus for reducing correlated errors in subband coding systems with quantizers |
| US5684920A (en) | 1994-03-17 | 1997-11-04 | Nippon Telegraph And Telephone | Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein |
| US5717823A (en) * | 1994-04-14 | 1998-02-10 | Lucent Technologies Inc. | Speech-rate modification for linear-prediction based analysis-by-synthesis speech coders |
| US5687340A (en) * | 1995-05-16 | 1997-11-11 | Hewlett-Packard Company | Reduced area floating point processor control logic utilizing a decoder between a control unit and the FPU |
| US5692050A (en) * | 1995-06-15 | 1997-11-25 | Binaura Corporation | Method and apparatus for spatially enhancing stereo and monophonic signals |
| US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
| US5687191A (en) | 1995-12-06 | 1997-11-11 | Solana Technology Development Corporation | Post-compression hidden data transport |
| US5822370A (en) * | 1996-04-16 | 1998-10-13 | Aura Systems, Inc. | Compression/decompression for preservation of high fidelity speech quality at low bandwidth |
| US6049766A (en) * | 1996-11-07 | 2000-04-11 | Creative Technology Ltd. | Time-domain time/pitch scaling of speech or audio signals with transient handling |
| JP3017715B2 (ja) * | 1997-10-31 | 2000-03-13 | 松下電器産業株式会社 | 音声再生装置 |
| EP0957579A1 (en) * | 1998-05-15 | 1999-11-17 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for sampling-rate conversion of audio signals |
| JP3546755B2 (ja) * | 1999-05-06 | 2004-07-28 | ヤマハ株式会社 | リズム音源信号の時間軸圧伸方法及び装置 |
| US6988066B2 (en) * | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
-
1998
- 1998-01-30 SE SE9800268A patent/SE512719C2/sv not_active IP Right Cessation
- 1998-06-09 AU AU74465/98A patent/AU7446598A/en not_active Abandoned
- 1998-06-09 JP JP50196299A patent/JP3871347B2/ja not_active Expired - Lifetime
- 1998-06-09 CN CNB988007924A patent/CN1206816C/zh not_active Expired - Lifetime
- 1998-06-09 DE DE69821089T patent/DE69821089T2/de not_active Expired - Lifetime
- 1998-06-09 BR BRPI9805989-0A patent/BR9805989B1/pt not_active IP Right Cessation
- 1998-06-09 CN CNB2004101000787A patent/CN1308916C/zh not_active Expired - Lifetime
- 1998-06-09 ES ES98921697T patent/ES2213901T3/es not_active Expired - Lifetime
- 1998-06-09 DE DE69831435T patent/DE69831435T2/de not_active Expired - Lifetime
- 1998-06-09 EP EP03020094A patent/EP1367566B1/en not_active Expired - Lifetime
- 1998-06-09 DK DK98921697T patent/DK0940015T3/da active
- 1998-06-09 PT PT98921697T patent/PT940015E/pt unknown
- 1998-06-09 WO PCT/IB1998/000893 patent/WO1998057436A2/en active IP Right Grant
- 1998-06-09 ES ES03020094T patent/ES2247466T3/es not_active Expired - Lifetime
- 1998-06-09 AT AT98921697T patent/ATE257987T1/de active
- 1998-06-09 DK DK03020094T patent/DK1367566T3/da active
- 1998-06-09 AT AT03020094T patent/ATE303679T1/de active
- 1998-06-09 US US09/230,799 patent/US6680972B1/en not_active Expired - Lifetime
- 1998-06-09 EP EP98921697A patent/EP0940015B1/en not_active Expired - Lifetime
- 1998-06-09 PT PT03020094T patent/PT1367566E/pt unknown
-
2001
- 2001-03-12 HK HK01101733A patent/HK1030843A1/xx not_active IP Right Cessation
-
2003
- 2003-10-08 US US10/680,224 patent/US6925116B2/en not_active Expired - Lifetime
- 2003-10-09 US US10/681,105 patent/US7328162B2/en not_active Expired - Lifetime
- 2003-10-10 US US10/682,030 patent/US7283955B2/en not_active Expired - Lifetime
-
2004
- 2004-01-27 HK HK04100528A patent/HK1057815A1/xx not_active IP Right Cessation
- 2004-12-08 JP JP2004355011A patent/JP4220461B2/ja not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11682410B2 (en) | 2009-01-16 | 2023-06-20 | Dolby International Ab | Cross product enhanced harmonic transposition |
| US11031025B2 (en) | 2009-01-16 | 2021-06-08 | Dolby International Ab | Cross product enhanced harmonic transposition |
| US10586550B2 (en) | 2009-01-16 | 2020-03-10 | Dolby International Ab | Cross product enhanced harmonic transposition |
| US10192565B2 (en) | 2009-01-16 | 2019-01-29 | Dolby International Ab | Cross product enhanced harmonic transposition |
| US10366696B2 (en) | 2009-04-03 | 2019-07-30 | Ntt Docomo, Inc. | Speech decoder with high-band generation and temporal envelope shaping |
| US8655649B2 (en) | 2009-04-03 | 2014-02-18 | Ntt Docomo, Inc. | Speech encoding/decoding device |
| US9064500B2 (en) | 2009-04-03 | 2015-06-23 | Ntt Docomo, Inc. | Speech decoding system with temporal envelop shaping and high-band generation |
| WO2010114123A1 (ja) * | 2009-04-03 | 2010-10-07 | 株式会社エヌ・ティ・ティ・ドコモ | 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、音声符号化プログラム及び音声復号プログラム |
| US9460734B2 (en) | 2009-04-03 | 2016-10-04 | Ntt Docomo, Inc. | Speech decoder with high-band generation and temporal envelope shaping |
| US9779744B2 (en) | 2009-04-03 | 2017-10-03 | Ntt Docomo, Inc. | Speech decoder with high-band generation and temporal envelope shaping |
| US9384750B2 (en) | 2009-10-21 | 2016-07-05 | Dolby International Ab | Oversampling in a combined transposer filterbank |
| US10584386B2 (en) | 2009-10-21 | 2020-03-10 | Dolby International Ab | Oversampling in a combined transposer filterbank |
| US10186280B2 (en) | 2009-10-21 | 2019-01-22 | Dolby International Ab | Oversampling in a combined transposer filterbank |
| US10947594B2 (en) | 2009-10-21 | 2021-03-16 | Dolby International Ab | Oversampling in a combined transposer filter bank |
| US9830928B2 (en) | 2009-10-21 | 2017-11-28 | Dolby International Ab | Oversampling in a combined transposer filterbank |
| US11591657B2 (en) | 2009-10-21 | 2023-02-28 | Dolby International Ab | Oversampling in a combined transposer filter bank |
| US9070373B2 (en) | 2011-12-15 | 2015-06-30 | Fujitsu Limited | Decoding device, encoding device, decoding method, and encoding method |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3871347B2 (ja) | スペクトル帯域複製を用いた原始コーディングの強化 | |
| JP4289815B2 (ja) | サブバンド領域における改良されたスペクトル移動／折返し | |
| US10014000B2 (en) | Audio signal encoder and method for generating a data stream having components of an audio signal in a first frequency band, control information and spectral band replication parameters | |
| JP4740260B2 (ja) | 音声信号の帯域幅を疑似的に拡張するための方法および装置 | |
| KR101589942B1 (ko) | 외적 향상 고조파 전치 | |
| JP4345890B2 (ja) | 不完全なスペクトルを持つオーディオ信号の周波数変換に基づくスペクトルの再構築 | |
| EP2056294B1 (en) | Apparatus, Medium and Method to Encode and Decode High Frequency Signal | |
| US10255928B2 (en) | Apparatus, medium and method to encode and decode high frequency signal | |
| JP4227772B2 (ja) | オーディオ復号装置と復号方法およびプログラム | |
| CA2879823C (en) | Device, method and computer program for freely selectable frequency shifts in the subband domain | |
| RU2256293C2 (ru) | Усовершенствование исходного кодирования с использованием дублирования спектральной полосы | |
| JP2004053940A (ja) | オーディオ復号化装置およびオーディオ復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050415 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061017 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |