JP3601074B2 - 信号処理方法及び信号処理装置 - Google Patents
信号処理方法及び信号処理装置 Download PDFInfo
- Publication number
- JP3601074B2 JP3601074B2 JP11933394A JP11933394A JP3601074B2 JP 3601074 B2 JP3601074 B2 JP 3601074B2 JP 11933394 A JP11933394 A JP 11933394A JP 11933394 A JP11933394 A JP 11933394A JP 3601074 B2 JP3601074 B2 JP 3601074B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- prediction
- circuit
- signal processing
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000005236 sound signal Effects 0.000 claims description 30
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 35
- 230000015572 biosynthetic process Effects 0.000 description 31
- 238000003786 synthesis reaction Methods 0.000 description 31
- 238000001228 spectrum Methods 0.000 description 30
- 238000004458 analytical method Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 23
- 230000000873 masking effect Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000013139 quantization Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005314 correlation function Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/16—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by non-linear elements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Nonlinear Science (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Electrophonic Musical Instruments (AREA)
- Error Detection And Correction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、音響信号等の連続する信号のクリップ部分のような情報欠落部分に対して何らかの処理を施して有効な信号に変更するような信号処理方法及び信号処理装置に関するものである。
【０００２】
【従来の技術】
いわゆるレコーディングを行う際等において、良好な録音を行うために、録音本番前のリハーサルの時に適当と思われる録音レベルを設定しておく方法が用いられている。
【０００３】
しかし、あらかじめ適正録音レベルを設定する方式では、高めに設定すると、入力信号の大きいときに最大記録レベルを越えることがあり、最大記録レベルを越えた部分はクリップしてしまう。
【０００４】
ここでいうクリップとは、例えば図１１に示す入力アナログ信号を、標本化及び量子化を行った場合、図１２に示すようにディジタル信号の最大値ＤＭＡＸ 、負の最大値ＤＭＩＮ （以下この最大値を単に最大レベルと呼ぶ）を越えた部分の信号が、それぞれＤＭＡＸ ，ＤＭＩＮ に丸められることである。
【０００５】
【発明が解決しようとする課題】
このようなクリップが生じている信号を再生すると、歪んだ感じの音となり、聴感上好ましくない。
【０００６】
本発明は、上述したような実情に鑑みて提案されたものであり、上記クリップ等により情報が欠落している部分の信号に対して何らかの処理を施し、例えば、人間の聴覚に照らして音声および音響信号のクリップした部分の合成が可能な信号処理方法及び装置を提供することを目的とするものである。
【０００７】
すなわち、本発明は、例えば聴覚的原理を用いて音響信号情報のクリップしていない部分の音響的な特徴の分析結果から最大レベルを越えてクリップした部分を合成する手法を与えるものである。
【０００８】
また本発明の他の目的は、すでにディジタル化されてクリップ処理されているオーディオ信号情報のクリップした部分を合成した後、いわゆる等ラウドネス特性やマスキング特性に合うように量子化雑音のスペクトルを変更することによって聴感上の雑音レベルを低減させる技術を用いて、例えば１６ビットの語長を持つコンパクトディスクに記録するとき、聴覚的な処理によってクリップ部分を合成したデータを作ることにある。
【０００９】
【課題を解決するための手段】
本発明に係る信号処理方法は、上述した課題を解決するために、入力されたディジタル音響信号から、記録時又は送信時に最大記録レベル又は最大送信レベルを超えたことによりクリップした情報欠落部分を検出する工程と、上記検出された情報欠落部分を、上記入力ディジタル音響信号のクリップしていない部分の信号から予測して変更する工程とを有する信号処理方法であって、上記変更する工程においては、上記クリップしていない部分の信号を周波数成分に変換し、上記変換された周波数成分を聴覚特性に基づく臨界帯域に分割し、分割された各帯域の許容雑音に基づいて予測係数を算出して予測を行うことを特徴としている。
【００１０】
また、本発明に係る信号処理装置は、入力されたディジタル音響信号から、記録時又は送信時に最大記録レベル又は最大送信レベルを超えたことによりクリップした情報欠落部分を検出する手段と、上記検出された情報欠落部分を、上記入力ディジタル音響信号のクリップしていない部分の信号から予測して変更する手段とを有する信号処理装置であって、上記変更する手段においては、上記クリップしていない部分の信号を周波数成分に変換し、上記変換された周波数成分を聴覚特性に基づく臨界帯域に分割し、分割された各帯域の許容雑音に基づいて予測を行うことを特徴としている。
【００１２】
上記情報欠落部分としては、例えば、記録又は送信時に最大記録レベル又は最大送信レベルを越えたことによりクリップした部分が挙げられる。上記入力信号としては、音響信号が挙げられる。
【００１３】
ここで、本発明に係る信号処理方法及び信号処理装置は、時間信号情報について、少なくとも１つの時間信号情報との間で属性の大きさの違いを変更するようにしたものである。時間信号情報は例えば音響時間信号であり、この音響時間信号について、最大記録レベルを越えてクリップした部分及びクリップしていない部分を検出し、クリップした部分について、クリップしていない部分から予測するようにする。また、予測は、クリップしていない部分の時間信号情報に基づく周波数成分から予測係数を算出することにより予測を行うようにする。さらに周波数成分は、聴覚特性に基づく臨界帯域に分割し算出する。許容雑音は臨界帯域内の他の成分との畳み込みから算出する。臨界帯域内の他の成分との間から得られた許容雑音は、音響時間信号から得られた周波数成分に基づいて算出する。予測による音響時間信号の合成は、予測残差と予測係数から算出し、予測残差は、音響時間信号と予測係数に基づいて算出し、予測残差は、クリップ部分以外の音響時間信号と予測係数に基づいて算出し、予測係数は、臨界帯域内の他の成分との間から得られた許容雑音から算出する。予測係数は聴覚特性に基づく臨界帯域に分割した帯域分析信号と聴覚特性に基づく許容雑音と聴覚特性に基づく等ラウドネス特性を合成して得られた情報法から算出する。さらに、本処理後の時間信号情報について、少なくとも１ビットの拡張スロットをＭＳＢ側に持つものである。
【００１４】
換言すれば、本発明の信号処理方法は、入力音響時間信号を最大レベルと比較することにより入力音響時間信号がクリップしているかクリップしていないかを検出し、クリップしている部分を検出したならば、合成音響時間信号に切り替え、クリップしていなければ、入力音響時間信号に切り替える。合成音響時間信号は、クリップしていない部分の音響時間信号を例えば直交変換を用いることにより、周波数成分を得る。次に、これらの周波数成分を、例えば予測分析を用いて予測係数を得る。この予測係数を用いて、クリップしていない部分の音響時間信号を例えば線形予測分析によって予測残差を得る。この予測残差と先の予測係数を用いて、例えば線形予測合成によって音響時間信号を合成する。
【００１５】
予測係数算出は、許容雑音と、等ラウドネス特性と帯域分析で得られた情報を合成し例えば線形予測分析により予測係数を得る。許容雑音算出は、周波数成分を帯域分析し、畳み込み処理により許容雑音を得る。周波数分析及び帯域分析は、ＱＭＦ，ＭＤＣＴ等のフィルタバンクを用いて帯域分割してもかまわない。
【００１６】
本発明は、聴覚的な方法で、クリップしていない部分の音響信号情報を分析し、クリップした部分の音響信号情報を合成することにより上述の課題を解決する。また、本発明の記録媒体は、上記信号処理方法又は装置により処理されて得られたデータが記録されてなるものである。
【００１７】
【作用】
本発明によれば、入力信号中の情報欠落部分を、信号の他の部分に基づいて得られる信号を用いて変更する、例えば他の部分の信号に基づき予測合成処理して得られた信号で置き換えることにより、情報欠落による不具合、例えば音の歪等を解消することができる。
【００１８】
具体的には、例えば入力音響信号中の、最大記録レベルを越えてクリップした部分を、クリップしていない部分から聴覚的に裏付けのある予測を行うことにより、音声及び音響信号をクリップした部分を人間にとって有益なように合成することが出来る。
【００１９】
また、許容雑音及び最小可聴限以下の音声及び音響信号の合成を行わないようにすることは、音質的に無関係な不必要な処理を出来るだけ行わない上で有効である。
【００２０】
【実施例】
以下、本発明の実施例について図面を参照しながら説明する。
図１は、本発明に係る信号処理方法が適用される信号処理装置の一実施例を示すブロック回路図である。
【００２１】
この図１に示す実施例の信号処理装置においては、入力端子１に供給される音声若しくは音響信号情報（音響時間信号情報）等の入力デジタル信号の値を最大レベルと比較して、クリップしていなければ音響信号情報を直交変換により周波数分析を行うと共に複数の周波数帯域に分割し、各帯域毎の許容雑音の情報を求め、等ラウドネス特性と許容雑音情報と帯域分析情報を合成した情報から例えば線形予測分析により予測係数を求めている。上記予測係数とクリップしていない部分の音響信号情報から予測残差を得て、予測残差と予測係数から線形予測合成により音響信号情報を合成する。
【００２２】
すなわち、入力端子１からの入力デジタル信号は、クリップ部分以外検出回路２に送られて、音響時間信号のクリップしていない部分が検出される。クリップ部分以外検出回路２から得られた音響時間信号は、周波数成分算出回路３により周波数成分に変換され、周波数変換された周波数成分は、帯域分析回路４に送られて、聴覚に基づく臨界帯域内の成分毎に帯域分析される。帯域分析回路４で得られた成分から許容雑音が許容雑音算出回路５にて算出され、この許容雑音算出回路５から得られた成分と、等ラウドネス特性発生する手段としての等ラウドネス特性回路６から得られた成分と、帯域分析回路４から得られた成分とが、合成回路７に送られて合成される。予測係数算出回路８は、合成回路７から得られた成分から予測係数を算出し、予測残差算出回路１１及び予測による合成を行う予測合成回路１２に送っている。
【００２３】
上記音響時間信号のクリップしていない部分を検出するクリップ部分以外検出回路２から得られた音響時間信号は、遅延回路９及び切換回路１０を介して、予測残差算出回路１１に送られる。この予測残差算出回路１１は、切換回路１０からの音響時間信号から予測残差を算出して、予測合成回路１２に送っている。予測合成回路１２は、上記予測係数算出回路８から得られた予測係数と予測残差算出回路１１から得られた予測残差とに基づいて音響時間信号を合成する。
【００２４】
また、入力端子１からの入力デジタル信号は、遅延回路１３を介してクリップ部分検出回路１４に送られて、音響時間信号のクリップした部分が検出される。クリップ部分検出回路１４からの検出信号は、切換制御信号として切換回路１０及び１５に送られている。切換回路１０は、クリップ部分以外の検出回路２からの出力と、予測合成回路１２からの出力とを切り換え、切換回路１５は、入力端子１からの信号と、予測合成回路１２からの出力とを切り換える。切換回路１５からの信号が出力端子１６より取り出される。なお、遅延回路１３、遅延回路９は、各回路での処理と音響時間信号のタイミングを合わせるために用いるものである。
【００２５】
次に、この図１の構成を有する信号処理装置の動作について説明する。
【００２６】
上述したクリップした部分の音響信号の合成は、予測合成した音響信号情報と予測係数から例えば線形予測分析により予測残差算出回路１１から予測残差を得て、この予測残差と予測係数算出回路８からの予測係数とから、予測合成回路１２において例えば線形予測合成により音響信号を合成する。クリップ部分検出回路１４からの、上記入力ディジタルのクリップ検出の結果に応じて、切換回路１５は、クリップしていれば予測合成回路１２からの合成音響信号情報を出力し、クリップしていなければ遅延回路１３からの入力ディジタル信号を出力する。
【００２７】
ここで図２は、入力端子１に供給される入力ディジタル信号が例えば１６ビット長の場合に、本実施例の信号処理装置３０、及びその後の処理に伴うビット長の変化を説明するための図である。
【００２８】
この図２において、上記図１に示すような構成を有する信号処理装置３０によってクリップした部分を処理すると、出力ディジタル信号のビット長はＭＳＢ側に長くなる。この出力ディジタル信号を例えば、入力信号のレベルに対して非線形に出力信号のレベルをコントロールして最大レベルを越えないようにするリミッタ３１ａや、大きい音が最大値を越えないようにし小さい音が周りの雑音にマスクされないようにするためのコンプレッサ３１ｂや、ゲイン調整器３１ｃによって、最大レベルを越えないようにする。
【００２９】
上記の最大レベルを越えないようにする処理により、ＬＳＢ側に長くなったディジタル信号は、さらに量子化処理装置３２により量子化を行うにあたって、例えば２０ｋＨｚ以下の帯域内の量子化雑音スペクトルを聴感的に最適化するようなノイズシェイピング処理を伴う再量子化処理を行う。この処理の具体例としては、株式会社ソニー・ミュージックエンタテインメント製のコンパクトディスク（ＣＤ）に採用されているいわゆるスーパービットマッピング（ＳＢＭ）の処理を挙げることができる。これは、本件出願人が先に、特願平２−２０８１２号、特願平２−１８５５５２号、及び特願平２−１８５５５６号等に開示した、オーディオの音質を向上させる技術であり、例えば１６ビットを越える語長を有するディジタル信号を１６ビットの語長のコンパクトディスク等の記録媒体に記録するために再量子化する場合、等ラウドネス特性やマスキング特性に合うように量子化雑音のスペクトルを変更することによって、聴感上の雑音レベルを低減させるものである。このような技術を用いて、聴覚的な処理によって、上記クリップ部分を合成したデータを作るものである。
【００３０】
ここで図１の入力端子１には、例えばサンプリング周波数が４４．１ｋＨｚの時、周波数帯域が０〜２２ｋＨｚのオーディオＰＣＭ信号が供給されている。この入力信号は、クリップ部分以外検出回路２に入力される。クリップ部分以外検出回路２は、例えば図３に示すような構成を有している。
【００３１】
この図３において、最大値発生回路４２で得られた値と入力端子４１からの入力信号とを比較回路４４ｂで比較し、負の最大値発生回路４３で得られた値と上記入力信号とを比較回路４４ａで比較している。入力信号の値が最大値と等しいか、負の最大値と等しい場合、これらの比較回路４４ａ、４４ｂからの出力により、クロック発生回路４７で得られたシフトクロックをクロック制御回路４６で停止する。従って、端子４１に供給された入力信号を順次シフトするシフトレジスタ４５からは、最大レベルを越えないクリップしていない信号部分が得られ、これが出力端子４８を介して取り出される。
【００３２】
図１に戻って、クリップ部分以外検出回路２で得られた入力信号のクリップしていない部分の情報を、周波数成分算出回路３で例えば直交変換を行い周波数軸上のスペクトルデータを得て、例えば聴覚心理においてマスキング等の聴覚特性が有利に働く帯域幅である臨界帯域に帯域分析回路４で分割し、臨界帯域毎のエネルギーが各帯域内の周波数成分の各振幅値の総和を計算することにより求められる。この臨界帯域毎のエネルギの代わりに、振幅値のピーク値、平均値等が用いられることもある。
【００３３】
この帯域分析器４からの出力として、例えば各帯域の総和値のスペクトルＳＢを図４に示している。ただし、この図では、図示を簡略化するため、分割帯域を１２帯域（Ｂ１〜Ｂ１２）で表現している。
【００３４】
ここで、上記スペクトルＳＢのいわゆるマスキングにおける影響を考慮するためにスペクトルＳＢに所定の重み付け関数を掛けて加算するような畳み込み処理を施す。このため、上記帯域分析回路４の出力すなわちスペクトルＳＢの各値は、許容雑音算出回路５に送られる。
【００３５】
許容雑音算出回路５は、畳み込み演算を行うもので、例えば、入力データを順次遅延させる複数の遅延素子と、これら遅延素子からの出力に重み付け関数を乗算する複数の乗算器と、各乗算器出力の総和をとる総和加算器とから構成されるものである。この畳み込み処理により、例えば、図４のＢ６で示される帯域のスペクトルＳＢに対しては図４の図中点線で示す部分の総和がとられる。各帯域のスペクトルＳＢに対しての許容雑音スペクトルを図５のＭＳで示す。
【００３６】
なお、上記マスキングとは、人間の聴覚上の特性により、ある信号によって他の信号がマスクされて聞こえなくなる現象をいうものであり、このマスキング効果には、時間軸上のオーディオ信号による継時マスキング効果と、周波数軸上の信号による同時刻マスキング効果とがある。これらのマスキング効果により、マスキングされる部分に信号情報もしくはノイズがあったとしても、これらは聞こえないことになる。このため、実際のオーディオ信号では、このマスキングされる範囲内の信号情報及びノイズは操作対象とする必要がない。上記許容雑音算出回路５の出力は合成回路７に送られる。合成回路７は、信号の合成および後述する操作対象から外すことが可能な情報を求めるものである。
【００３７】
合成回路７には、前述した各帯域のスペクトルＳＢと、許容雑音スペクトルＭＳと、等ラウドネス特性発生回路６で得られた等ラウドネス特性ＲＣが供給されている。したがって、この合成回路７で、上記許容雑音スペクトルＭＳと等ラウドネス特性ＲＣの合成が行われ、この合成スペクトルと、各帯域のスペクトルＳＢの減算が行われ、図６に示すように上記各帯域のスペクトルＳＢは、等ラウドネス特性ＲＣまたは上記許容雑音スペクトルＭＳのレベルで示すレベル以下がマスキングされることになる。上記マスキングの対象となる信号情報もしくはノイズレベルは、図６の太線で示す部分までとする。
【００３８】
合成回路７の出力は、操作対象から外すことが可能な信号情報もしくはノイズレベル補正回路（図示は省略してある）を介し、逆畳み込み処理を行い、図７に示すようなマスキングスペクトルＳを得て、予測係数算出回路８に送られる。逆畳み込み処理は、複雑な演算処理を必要とするが、本実施例では簡略化した割り算回路（図示は省略してある）を用いて逆畳み込み処理を行っている。このようにして得られた合成回路７の出力のマスキングスペクトルＳは、予測係数算出回路８に入力される。
【００３９】
予測係数算出回路８は、例えば図８に示すような構成とすればよい。
この図８において、入力端子６１からの信号に対して、逆特性算出回路６２で逆スペクトル特性を得て、逆スペクトル特性から逆直交変換回路６３により疑似相関関数を得て、疑似相関関数からＬＰＣ分析回路６４により線形予測係数を得る。逆特性算出回路６２では、マスキングスペクトルＳの最大値Ｓｍａｘ と最小値Ｓｍｉｎ を求め、逆マスキングスペクトルＳＡは、ＳＡ＝（Ｓｍａｘ＊Ｓｍｉｎ）／Ｓにより求める。逆マスキングスペクトルＳＡを電力スペクトルとすると例えば逆マスキングスペクトルＳを逆ＦＦＴすることにより自己相関関数が得られる。これは、例えば、「斉藤、中田共著、音声情報処理の基礎、オーム社刊、１９８１、第１５頁、（ｃ）相関関数と電力スペクトル」等に記載されている。
【００４０】
ＬＰＣ分析回路６４により、自己相関係数から、例えばダービン−レビンソン−板倉（Ｄｕｒｂｉｎ−Ｌｅｖｉｎｓｏｎ−Ｉｔａｋｕｒａ ）法により線形予測係数を得る。Ｄｕｒｂｉｎ−Ｌｅｖｉｎｓｏｎ−Ｉｔａｋｕｒａ 法は、相関法またはＬｅ Ｒｏｕｘ 法でも良い。ＬＰＣ分析回路６４からの出力は、端子６５を介して取り出される。
【００４１】
予測係数算出回路８で得られた線形予測係数は、予測残差算出回路１１及び予測による合成回路１２に送られる。予測残差算出回路１１について、図９を参照しながら詳細に説明する。
【００４２】
この図９において、端子８１を介して予測残差算出回路１１に供給された信号は、遅延素子８２ａ，８２ｂ，８２ｃ，・・・，８２ｄの直列回路に順次供給され、シフトされていく。各遅延素子８２ａ，８２ｂ，８２ｃ，・・・，８２ｄからの各出力は、乗算素子８７，８８，８９，・・・，９０と接続されており、これらの乗算素子８７，８８，８９，・・・，９０において各対応する係数入力端子８３，８４，８５，・・・，８６から供給される線形予測関数との積が取られる。
【００４３】
これらの乗算素子８７，８８，８９，・・・，９０の出力および端子８１に供給された信号は、加算器９１で加算されて、端子９２に導かれる。予測残差算出回路１１によって入力信号の予測残差を得る。予測残差算出回路１１の出力の予測残差は、予測による合成回路１２に入力される。予測による合成回路１２について図１０を参照しながら詳細に説明する。
【００４４】
この図１０において、端子１００を介して予測による合成回路１２に供給された信号は、加算器１１０で後述の乗算素子１０６，１０７，１０８，・・・，１０９の出力と加算され、遅延素子１０１ａ及び端子１１１に導かれる。遅延素子１０１ａに供給された信号は、各遅延素子１０１ｂ，１０１ｃ，・・・，１０１ｄの直列回路に順次シフトしていく。各遅延素子１０１ａ，１０１ｂ，１０１ｃ，・・・，１０１ｄの出力は、乗算素子１０６、１０７、１０８、・・・、１０９と接続されており、これらの乗算素子１０６，１０７，１０８，・・・，１０９において各対応する係数入力端子１０２，１０３，１０４，・・・，１０５から供給される線形予測関数との積が取られる。これらの乗算素子１０６，１０７，１０８，・・・，１０９の出力および端子１００から供給された信号は、加算器１１０で加算される。
【００４５】
予測による合成回路１２によって予測残差算出回路１１から供給される残差波形から、音響信号情報を合成する。予測による合成回路１２で得られた信号は各切換器１０、１５に供給される。クリップ部分検出回路１４によって、例えば入力音響信号がクリップしているならば出力信号として１を出力し、クリップしていなければ出力信号として０を出力する。切換器１０にはクリップ部分以外の検出回路２の出力を遅延回路９を通した信号と、予測による合成回路１２の出力とクリップ部分検出回路１４の出力が供給されている。切換器１０によって、クリップ部分検出回路１２の出力信号が０であれば遅延回路９の出力を導き、クリップ部分検出回路１２の出力信号が１であれば予測による合成回路１２の出力を導く。
【００４６】
切換器１０により、入力信号がクリップしているときは予測による合成回路１２の出力が予測残差回路１１に供給され、クリップしていないときは入力信号情報が予測残差回路１１に供給される。
【００４７】
切換器１５には入力端子１を遅延回路１３を通した信号と、予測による合成回路１２の出力とクリップ部分検出回路１４の出力が供給されている。切換器１５によって、クリップ部分検出回路１２の出力信号が０であれば遅延回路１３の出力を導き、クリップ部分検出回路１２の出力信号が１であれば予測による合成回路１２の出力を導く。
【００４８】
切換器１５により、入力信号がクリップしているときは予測による合成回路１２の出力が出力端子１６に導かれ、クリップしていないときは入力信号情報が出力端子１６に導かれる。出力端子１６の出力は、クリップ部分合成によりＭＳＢ側にデータスロットが拡張される。拡張されたデータは、例えば入信号のレベルに対して非線形に出力信号のレベルをコントロールして最大レベルを越えないようにするリミッタや、大きい音が最大値を越えないようにし小さい音が周りの雑音にマスクされないようにするコンプレッサや、ゲイン調整によって最大レベルを越えないようにする。上記の最大レベルを越えないようにする処理により、ＬＳＢ側に長くなったディジタル信号は、さらに量子化を行うにあたっては２０ｋＨｚ以下の帯域内の量子化雑音スペクトルを聴覚的に最適化する処理を行う。出力端子１６より出力された出力信号は、上記処理が施され所定の誤り訂正処理等がなされ、記録媒体（光磁気ディスク、半導体メモリ、ＩＣメモリーカード、光ディスク等）に記録される。
【００４９】
なお、本発明は、上記実施例のみに限定されるものではなく、例えば音響信号のみならず、画像信号情報などにも適用できる。
【００５０】
【発明の効果】
本発明によれば、入力信号中の情報欠落を検出し、検出された情報欠落部分を、入力信号の他の部分に基づいて得られる信号を用いて変更すること、例えば他の部分の信号に基づき予測合成処理して得られた信号で置き換えることにより、情報欠落による不具合、例えば音の歪等を解消することができる。
【００５１】
具体的には、例えば入力音響信号中の、最大記録レベルを越えてクリップした部分を、クリップしていない部分から聴覚的に裏付けのある予測を行うことにより、音声及び音響信号をクリップした部分を人間にとって有益なように合成することが出来る。すなわち、聴覚的原理を用いて音響信号情報のクリップしていない部分の音響的な特徴の分析結果から最大レベルを越えてクリップした部分を合成することができる。
【００５２】
また、すでにディジタル化されてクリップしてしまったオーディオ信号情報のクリップした部分を合成した後、聴感に適合させるようなノイズシェーピングを伴う再量子化処理を施すことにより、例えば１６ビットの語長を持つコンパクトディスクに記録するとき、聴覚的な処理によってクリップ部分を合成したデータを作ることができる。
【００５３】
また、許容雑音及び最小可聴限以下の音声及び音響信号の合成を行わないようにすることにより、音質的に無関係な不必要な処理を出来るだけ行わない上で有効である。
【図面の簡単な説明】
【図１】本発明の信号処理方法を実現する本実施例の信号処理装置の概略構成例を示すブロック回路図である。
【図２】本発明信号処理装置の応用例を示す図である。
【図３】クリップ部分以外検出回路の構成例を示すブロック回路図である。
【図４】各臨界帯域の信号成分の総和値を示す図である。
【図５】各臨界帯域の信号成分の総和値と許容雑音を示す図である。
【図６】各臨界帯域の信号成分の総和値と許容雑音、等ラウドネス特性を示す図である。
【図７】マスキングスペクトルを示す図である。
【図８】予測係数算出回路の構成例を示すブロック回路図である。
【図９】予測残差算出回路の構成例を示すブロック回路図である。
【図１０】予測合成回路の構成例を示すブロック回路図である。
【図１１】音響時間信号情報のクリップの例を説明するための入力アナログ信号を示す図である。
【図１２】音響時間信号情報のクリップの例を説明するための出力デジタル信号を示す図である。
【符号の説明】
１，４１，６１，８１，１００ 入力端子
２ クリップ部分以外検出回路
３ 周波数成分算出回路
４ 帯域分析回路
５ 許容雑音算出回路
６ 等ラウドネス特性発生回路
７ 合成減算回路
８ 予測係数算出回路
９，１３ 遅延回路
１０，１５ 切換回路
１１ 予測残差算出回路
１２ 予測による合成回路
１４ クリップ部分検出回路
１６，４８，６５，９２，１１１ 出力端子
３０ 信号処理装置
３１ａ リミッタ
３１ｂ コンプレッサ
３１ｃ ゲイン調整器
３２ 量子化処理装置
４２ 最大値発生回路
４３ 負の最大値発生回路
４４ａ，４４ｂ 比較回路
４５ シフトレジスタ回路
４６ クロック制御回路
４７ シフトクロック発生回路
６２ 逆特性算出回路
６３ 逆直交変換回路
６４ ＬＰＣ分析回路
８２ａ，８２ｂ，８２ｃ，８２ｄ 遅延回路
８３，８４，８５，８６，１０２，１０３，１０４，１０５ 係数入力端子
８７，８８，８９，９０ 乗算素子
９１ 加算器
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ 遅延回路
１０６、１０７、１０８、１０９ 乗算素子
１１０ 加算器
【産業上の利用分野】
本発明は、音響信号等の連続する信号のクリップ部分のような情報欠落部分に対して何らかの処理を施して有効な信号に変更するような信号処理方法及び信号処理装置に関するものである。
【０００２】
【従来の技術】
いわゆるレコーディングを行う際等において、良好な録音を行うために、録音本番前のリハーサルの時に適当と思われる録音レベルを設定しておく方法が用いられている。
【０００３】
しかし、あらかじめ適正録音レベルを設定する方式では、高めに設定すると、入力信号の大きいときに最大記録レベルを越えることがあり、最大記録レベルを越えた部分はクリップしてしまう。
【０００４】
ここでいうクリップとは、例えば図１１に示す入力アナログ信号を、標本化及び量子化を行った場合、図１２に示すようにディジタル信号の最大値ＤＭＡＸ 、負の最大値ＤＭＩＮ （以下この最大値を単に最大レベルと呼ぶ）を越えた部分の信号が、それぞれＤＭＡＸ ，ＤＭＩＮ に丸められることである。
【０００５】
【発明が解決しようとする課題】
このようなクリップが生じている信号を再生すると、歪んだ感じの音となり、聴感上好ましくない。
【０００６】
本発明は、上述したような実情に鑑みて提案されたものであり、上記クリップ等により情報が欠落している部分の信号に対して何らかの処理を施し、例えば、人間の聴覚に照らして音声および音響信号のクリップした部分の合成が可能な信号処理方法及び装置を提供することを目的とするものである。
【０００７】
すなわち、本発明は、例えば聴覚的原理を用いて音響信号情報のクリップしていない部分の音響的な特徴の分析結果から最大レベルを越えてクリップした部分を合成する手法を与えるものである。
【０００８】
また本発明の他の目的は、すでにディジタル化されてクリップ処理されているオーディオ信号情報のクリップした部分を合成した後、いわゆる等ラウドネス特性やマスキング特性に合うように量子化雑音のスペクトルを変更することによって聴感上の雑音レベルを低減させる技術を用いて、例えば１６ビットの語長を持つコンパクトディスクに記録するとき、聴覚的な処理によってクリップ部分を合成したデータを作ることにある。
【０００９】
【課題を解決するための手段】
本発明に係る信号処理方法は、上述した課題を解決するために、入力されたディジタル音響信号から、記録時又は送信時に最大記録レベル又は最大送信レベルを超えたことによりクリップした情報欠落部分を検出する工程と、上記検出された情報欠落部分を、上記入力ディジタル音響信号のクリップしていない部分の信号から予測して変更する工程とを有する信号処理方法であって、上記変更する工程においては、上記クリップしていない部分の信号を周波数成分に変換し、上記変換された周波数成分を聴覚特性に基づく臨界帯域に分割し、分割された各帯域の許容雑音に基づいて予測係数を算出して予測を行うことを特徴としている。
【００１０】
また、本発明に係る信号処理装置は、入力されたディジタル音響信号から、記録時又は送信時に最大記録レベル又は最大送信レベルを超えたことによりクリップした情報欠落部分を検出する手段と、上記検出された情報欠落部分を、上記入力ディジタル音響信号のクリップしていない部分の信号から予測して変更する手段とを有する信号処理装置であって、上記変更する手段においては、上記クリップしていない部分の信号を周波数成分に変換し、上記変換された周波数成分を聴覚特性に基づく臨界帯域に分割し、分割された各帯域の許容雑音に基づいて予測を行うことを特徴としている。
【００１２】
上記情報欠落部分としては、例えば、記録又は送信時に最大記録レベル又は最大送信レベルを越えたことによりクリップした部分が挙げられる。上記入力信号としては、音響信号が挙げられる。
【００１３】
ここで、本発明に係る信号処理方法及び信号処理装置は、時間信号情報について、少なくとも１つの時間信号情報との間で属性の大きさの違いを変更するようにしたものである。時間信号情報は例えば音響時間信号であり、この音響時間信号について、最大記録レベルを越えてクリップした部分及びクリップしていない部分を検出し、クリップした部分について、クリップしていない部分から予測するようにする。また、予測は、クリップしていない部分の時間信号情報に基づく周波数成分から予測係数を算出することにより予測を行うようにする。さらに周波数成分は、聴覚特性に基づく臨界帯域に分割し算出する。許容雑音は臨界帯域内の他の成分との畳み込みから算出する。臨界帯域内の他の成分との間から得られた許容雑音は、音響時間信号から得られた周波数成分に基づいて算出する。予測による音響時間信号の合成は、予測残差と予測係数から算出し、予測残差は、音響時間信号と予測係数に基づいて算出し、予測残差は、クリップ部分以外の音響時間信号と予測係数に基づいて算出し、予測係数は、臨界帯域内の他の成分との間から得られた許容雑音から算出する。予測係数は聴覚特性に基づく臨界帯域に分割した帯域分析信号と聴覚特性に基づく許容雑音と聴覚特性に基づく等ラウドネス特性を合成して得られた情報法から算出する。さらに、本処理後の時間信号情報について、少なくとも１ビットの拡張スロットをＭＳＢ側に持つものである。
【００１４】
換言すれば、本発明の信号処理方法は、入力音響時間信号を最大レベルと比較することにより入力音響時間信号がクリップしているかクリップしていないかを検出し、クリップしている部分を検出したならば、合成音響時間信号に切り替え、クリップしていなければ、入力音響時間信号に切り替える。合成音響時間信号は、クリップしていない部分の音響時間信号を例えば直交変換を用いることにより、周波数成分を得る。次に、これらの周波数成分を、例えば予測分析を用いて予測係数を得る。この予測係数を用いて、クリップしていない部分の音響時間信号を例えば線形予測分析によって予測残差を得る。この予測残差と先の予測係数を用いて、例えば線形予測合成によって音響時間信号を合成する。
【００１５】
予測係数算出は、許容雑音と、等ラウドネス特性と帯域分析で得られた情報を合成し例えば線形予測分析により予測係数を得る。許容雑音算出は、周波数成分を帯域分析し、畳み込み処理により許容雑音を得る。周波数分析及び帯域分析は、ＱＭＦ，ＭＤＣＴ等のフィルタバンクを用いて帯域分割してもかまわない。
【００１６】
本発明は、聴覚的な方法で、クリップしていない部分の音響信号情報を分析し、クリップした部分の音響信号情報を合成することにより上述の課題を解決する。また、本発明の記録媒体は、上記信号処理方法又は装置により処理されて得られたデータが記録されてなるものである。
【００１７】
【作用】
本発明によれば、入力信号中の情報欠落部分を、信号の他の部分に基づいて得られる信号を用いて変更する、例えば他の部分の信号に基づき予測合成処理して得られた信号で置き換えることにより、情報欠落による不具合、例えば音の歪等を解消することができる。
【００１８】
具体的には、例えば入力音響信号中の、最大記録レベルを越えてクリップした部分を、クリップしていない部分から聴覚的に裏付けのある予測を行うことにより、音声及び音響信号をクリップした部分を人間にとって有益なように合成することが出来る。
【００１９】
また、許容雑音及び最小可聴限以下の音声及び音響信号の合成を行わないようにすることは、音質的に無関係な不必要な処理を出来るだけ行わない上で有効である。
【００２０】
【実施例】
以下、本発明の実施例について図面を参照しながら説明する。
図１は、本発明に係る信号処理方法が適用される信号処理装置の一実施例を示すブロック回路図である。
【００２１】
この図１に示す実施例の信号処理装置においては、入力端子１に供給される音声若しくは音響信号情報（音響時間信号情報）等の入力デジタル信号の値を最大レベルと比較して、クリップしていなければ音響信号情報を直交変換により周波数分析を行うと共に複数の周波数帯域に分割し、各帯域毎の許容雑音の情報を求め、等ラウドネス特性と許容雑音情報と帯域分析情報を合成した情報から例えば線形予測分析により予測係数を求めている。上記予測係数とクリップしていない部分の音響信号情報から予測残差を得て、予測残差と予測係数から線形予測合成により音響信号情報を合成する。
【００２２】
すなわち、入力端子１からの入力デジタル信号は、クリップ部分以外検出回路２に送られて、音響時間信号のクリップしていない部分が検出される。クリップ部分以外検出回路２から得られた音響時間信号は、周波数成分算出回路３により周波数成分に変換され、周波数変換された周波数成分は、帯域分析回路４に送られて、聴覚に基づく臨界帯域内の成分毎に帯域分析される。帯域分析回路４で得られた成分から許容雑音が許容雑音算出回路５にて算出され、この許容雑音算出回路５から得られた成分と、等ラウドネス特性発生する手段としての等ラウドネス特性回路６から得られた成分と、帯域分析回路４から得られた成分とが、合成回路７に送られて合成される。予測係数算出回路８は、合成回路７から得られた成分から予測係数を算出し、予測残差算出回路１１及び予測による合成を行う予測合成回路１２に送っている。
【００２３】
上記音響時間信号のクリップしていない部分を検出するクリップ部分以外検出回路２から得られた音響時間信号は、遅延回路９及び切換回路１０を介して、予測残差算出回路１１に送られる。この予測残差算出回路１１は、切換回路１０からの音響時間信号から予測残差を算出して、予測合成回路１２に送っている。予測合成回路１２は、上記予測係数算出回路８から得られた予測係数と予測残差算出回路１１から得られた予測残差とに基づいて音響時間信号を合成する。
【００２４】
また、入力端子１からの入力デジタル信号は、遅延回路１３を介してクリップ部分検出回路１４に送られて、音響時間信号のクリップした部分が検出される。クリップ部分検出回路１４からの検出信号は、切換制御信号として切換回路１０及び１５に送られている。切換回路１０は、クリップ部分以外の検出回路２からの出力と、予測合成回路１２からの出力とを切り換え、切換回路１５は、入力端子１からの信号と、予測合成回路１２からの出力とを切り換える。切換回路１５からの信号が出力端子１６より取り出される。なお、遅延回路１３、遅延回路９は、各回路での処理と音響時間信号のタイミングを合わせるために用いるものである。
【００２５】
次に、この図１の構成を有する信号処理装置の動作について説明する。
【００２６】
上述したクリップした部分の音響信号の合成は、予測合成した音響信号情報と予測係数から例えば線形予測分析により予測残差算出回路１１から予測残差を得て、この予測残差と予測係数算出回路８からの予測係数とから、予測合成回路１２において例えば線形予測合成により音響信号を合成する。クリップ部分検出回路１４からの、上記入力ディジタルのクリップ検出の結果に応じて、切換回路１５は、クリップしていれば予測合成回路１２からの合成音響信号情報を出力し、クリップしていなければ遅延回路１３からの入力ディジタル信号を出力する。
【００２７】
ここで図２は、入力端子１に供給される入力ディジタル信号が例えば１６ビット長の場合に、本実施例の信号処理装置３０、及びその後の処理に伴うビット長の変化を説明するための図である。
【００２８】
この図２において、上記図１に示すような構成を有する信号処理装置３０によってクリップした部分を処理すると、出力ディジタル信号のビット長はＭＳＢ側に長くなる。この出力ディジタル信号を例えば、入力信号のレベルに対して非線形に出力信号のレベルをコントロールして最大レベルを越えないようにするリミッタ３１ａや、大きい音が最大値を越えないようにし小さい音が周りの雑音にマスクされないようにするためのコンプレッサ３１ｂや、ゲイン調整器３１ｃによって、最大レベルを越えないようにする。
【００２９】
上記の最大レベルを越えないようにする処理により、ＬＳＢ側に長くなったディジタル信号は、さらに量子化処理装置３２により量子化を行うにあたって、例えば２０ｋＨｚ以下の帯域内の量子化雑音スペクトルを聴感的に最適化するようなノイズシェイピング処理を伴う再量子化処理を行う。この処理の具体例としては、株式会社ソニー・ミュージックエンタテインメント製のコンパクトディスク（ＣＤ）に採用されているいわゆるスーパービットマッピング（ＳＢＭ）の処理を挙げることができる。これは、本件出願人が先に、特願平２−２０８１２号、特願平２−１８５５５２号、及び特願平２−１８５５５６号等に開示した、オーディオの音質を向上させる技術であり、例えば１６ビットを越える語長を有するディジタル信号を１６ビットの語長のコンパクトディスク等の記録媒体に記録するために再量子化する場合、等ラウドネス特性やマスキング特性に合うように量子化雑音のスペクトルを変更することによって、聴感上の雑音レベルを低減させるものである。このような技術を用いて、聴覚的な処理によって、上記クリップ部分を合成したデータを作るものである。
【００３０】
ここで図１の入力端子１には、例えばサンプリング周波数が４４．１ｋＨｚの時、周波数帯域が０〜２２ｋＨｚのオーディオＰＣＭ信号が供給されている。この入力信号は、クリップ部分以外検出回路２に入力される。クリップ部分以外検出回路２は、例えば図３に示すような構成を有している。
【００３１】
この図３において、最大値発生回路４２で得られた値と入力端子４１からの入力信号とを比較回路４４ｂで比較し、負の最大値発生回路４３で得られた値と上記入力信号とを比較回路４４ａで比較している。入力信号の値が最大値と等しいか、負の最大値と等しい場合、これらの比較回路４４ａ、４４ｂからの出力により、クロック発生回路４７で得られたシフトクロックをクロック制御回路４６で停止する。従って、端子４１に供給された入力信号を順次シフトするシフトレジスタ４５からは、最大レベルを越えないクリップしていない信号部分が得られ、これが出力端子４８を介して取り出される。
【００３２】
図１に戻って、クリップ部分以外検出回路２で得られた入力信号のクリップしていない部分の情報を、周波数成分算出回路３で例えば直交変換を行い周波数軸上のスペクトルデータを得て、例えば聴覚心理においてマスキング等の聴覚特性が有利に働く帯域幅である臨界帯域に帯域分析回路４で分割し、臨界帯域毎のエネルギーが各帯域内の周波数成分の各振幅値の総和を計算することにより求められる。この臨界帯域毎のエネルギの代わりに、振幅値のピーク値、平均値等が用いられることもある。
【００３３】
この帯域分析器４からの出力として、例えば各帯域の総和値のスペクトルＳＢを図４に示している。ただし、この図では、図示を簡略化するため、分割帯域を１２帯域（Ｂ１〜Ｂ１２）で表現している。
【００３４】
ここで、上記スペクトルＳＢのいわゆるマスキングにおける影響を考慮するためにスペクトルＳＢに所定の重み付け関数を掛けて加算するような畳み込み処理を施す。このため、上記帯域分析回路４の出力すなわちスペクトルＳＢの各値は、許容雑音算出回路５に送られる。
【００３５】
許容雑音算出回路５は、畳み込み演算を行うもので、例えば、入力データを順次遅延させる複数の遅延素子と、これら遅延素子からの出力に重み付け関数を乗算する複数の乗算器と、各乗算器出力の総和をとる総和加算器とから構成されるものである。この畳み込み処理により、例えば、図４のＢ６で示される帯域のスペクトルＳＢに対しては図４の図中点線で示す部分の総和がとられる。各帯域のスペクトルＳＢに対しての許容雑音スペクトルを図５のＭＳで示す。
【００３６】
なお、上記マスキングとは、人間の聴覚上の特性により、ある信号によって他の信号がマスクされて聞こえなくなる現象をいうものであり、このマスキング効果には、時間軸上のオーディオ信号による継時マスキング効果と、周波数軸上の信号による同時刻マスキング効果とがある。これらのマスキング効果により、マスキングされる部分に信号情報もしくはノイズがあったとしても、これらは聞こえないことになる。このため、実際のオーディオ信号では、このマスキングされる範囲内の信号情報及びノイズは操作対象とする必要がない。上記許容雑音算出回路５の出力は合成回路７に送られる。合成回路７は、信号の合成および後述する操作対象から外すことが可能な情報を求めるものである。
【００３７】
合成回路７には、前述した各帯域のスペクトルＳＢと、許容雑音スペクトルＭＳと、等ラウドネス特性発生回路６で得られた等ラウドネス特性ＲＣが供給されている。したがって、この合成回路７で、上記許容雑音スペクトルＭＳと等ラウドネス特性ＲＣの合成が行われ、この合成スペクトルと、各帯域のスペクトルＳＢの減算が行われ、図６に示すように上記各帯域のスペクトルＳＢは、等ラウドネス特性ＲＣまたは上記許容雑音スペクトルＭＳのレベルで示すレベル以下がマスキングされることになる。上記マスキングの対象となる信号情報もしくはノイズレベルは、図６の太線で示す部分までとする。
【００３８】
合成回路７の出力は、操作対象から外すことが可能な信号情報もしくはノイズレベル補正回路（図示は省略してある）を介し、逆畳み込み処理を行い、図７に示すようなマスキングスペクトルＳを得て、予測係数算出回路８に送られる。逆畳み込み処理は、複雑な演算処理を必要とするが、本実施例では簡略化した割り算回路（図示は省略してある）を用いて逆畳み込み処理を行っている。このようにして得られた合成回路７の出力のマスキングスペクトルＳは、予測係数算出回路８に入力される。
【００３９】
予測係数算出回路８は、例えば図８に示すような構成とすればよい。
この図８において、入力端子６１からの信号に対して、逆特性算出回路６２で逆スペクトル特性を得て、逆スペクトル特性から逆直交変換回路６３により疑似相関関数を得て、疑似相関関数からＬＰＣ分析回路６４により線形予測係数を得る。逆特性算出回路６２では、マスキングスペクトルＳの最大値Ｓｍａｘ と最小値Ｓｍｉｎ を求め、逆マスキングスペクトルＳＡは、ＳＡ＝（Ｓｍａｘ＊Ｓｍｉｎ）／Ｓにより求める。逆マスキングスペクトルＳＡを電力スペクトルとすると例えば逆マスキングスペクトルＳを逆ＦＦＴすることにより自己相関関数が得られる。これは、例えば、「斉藤、中田共著、音声情報処理の基礎、オーム社刊、１９８１、第１５頁、（ｃ）相関関数と電力スペクトル」等に記載されている。
【００４０】
ＬＰＣ分析回路６４により、自己相関係数から、例えばダービン−レビンソン−板倉（Ｄｕｒｂｉｎ−Ｌｅｖｉｎｓｏｎ−Ｉｔａｋｕｒａ ）法により線形予測係数を得る。Ｄｕｒｂｉｎ−Ｌｅｖｉｎｓｏｎ−Ｉｔａｋｕｒａ 法は、相関法またはＬｅ Ｒｏｕｘ 法でも良い。ＬＰＣ分析回路６４からの出力は、端子６５を介して取り出される。
【００４１】
予測係数算出回路８で得られた線形予測係数は、予測残差算出回路１１及び予測による合成回路１２に送られる。予測残差算出回路１１について、図９を参照しながら詳細に説明する。
【００４２】
この図９において、端子８１を介して予測残差算出回路１１に供給された信号は、遅延素子８２ａ，８２ｂ，８２ｃ，・・・，８２ｄの直列回路に順次供給され、シフトされていく。各遅延素子８２ａ，８２ｂ，８２ｃ，・・・，８２ｄからの各出力は、乗算素子８７，８８，８９，・・・，９０と接続されており、これらの乗算素子８７，８８，８９，・・・，９０において各対応する係数入力端子８３，８４，８５，・・・，８６から供給される線形予測関数との積が取られる。
【００４３】
これらの乗算素子８７，８８，８９，・・・，９０の出力および端子８１に供給された信号は、加算器９１で加算されて、端子９２に導かれる。予測残差算出回路１１によって入力信号の予測残差を得る。予測残差算出回路１１の出力の予測残差は、予測による合成回路１２に入力される。予測による合成回路１２について図１０を参照しながら詳細に説明する。
【００４４】
この図１０において、端子１００を介して予測による合成回路１２に供給された信号は、加算器１１０で後述の乗算素子１０６，１０７，１０８，・・・，１０９の出力と加算され、遅延素子１０１ａ及び端子１１１に導かれる。遅延素子１０１ａに供給された信号は、各遅延素子１０１ｂ，１０１ｃ，・・・，１０１ｄの直列回路に順次シフトしていく。各遅延素子１０１ａ，１０１ｂ，１０１ｃ，・・・，１０１ｄの出力は、乗算素子１０６、１０７、１０８、・・・、１０９と接続されており、これらの乗算素子１０６，１０７，１０８，・・・，１０９において各対応する係数入力端子１０２，１０３，１０４，・・・，１０５から供給される線形予測関数との積が取られる。これらの乗算素子１０６，１０７，１０８，・・・，１０９の出力および端子１００から供給された信号は、加算器１１０で加算される。
【００４５】
予測による合成回路１２によって予測残差算出回路１１から供給される残差波形から、音響信号情報を合成する。予測による合成回路１２で得られた信号は各切換器１０、１５に供給される。クリップ部分検出回路１４によって、例えば入力音響信号がクリップしているならば出力信号として１を出力し、クリップしていなければ出力信号として０を出力する。切換器１０にはクリップ部分以外の検出回路２の出力を遅延回路９を通した信号と、予測による合成回路１２の出力とクリップ部分検出回路１４の出力が供給されている。切換器１０によって、クリップ部分検出回路１２の出力信号が０であれば遅延回路９の出力を導き、クリップ部分検出回路１２の出力信号が１であれば予測による合成回路１２の出力を導く。
【００４６】
切換器１０により、入力信号がクリップしているときは予測による合成回路１２の出力が予測残差回路１１に供給され、クリップしていないときは入力信号情報が予測残差回路１１に供給される。
【００４７】
切換器１５には入力端子１を遅延回路１３を通した信号と、予測による合成回路１２の出力とクリップ部分検出回路１４の出力が供給されている。切換器１５によって、クリップ部分検出回路１２の出力信号が０であれば遅延回路１３の出力を導き、クリップ部分検出回路１２の出力信号が１であれば予測による合成回路１２の出力を導く。
【００４８】
切換器１５により、入力信号がクリップしているときは予測による合成回路１２の出力が出力端子１６に導かれ、クリップしていないときは入力信号情報が出力端子１６に導かれる。出力端子１６の出力は、クリップ部分合成によりＭＳＢ側にデータスロットが拡張される。拡張されたデータは、例えば入信号のレベルに対して非線形に出力信号のレベルをコントロールして最大レベルを越えないようにするリミッタや、大きい音が最大値を越えないようにし小さい音が周りの雑音にマスクされないようにするコンプレッサや、ゲイン調整によって最大レベルを越えないようにする。上記の最大レベルを越えないようにする処理により、ＬＳＢ側に長くなったディジタル信号は、さらに量子化を行うにあたっては２０ｋＨｚ以下の帯域内の量子化雑音スペクトルを聴覚的に最適化する処理を行う。出力端子１６より出力された出力信号は、上記処理が施され所定の誤り訂正処理等がなされ、記録媒体（光磁気ディスク、半導体メモリ、ＩＣメモリーカード、光ディスク等）に記録される。
【００４９】
なお、本発明は、上記実施例のみに限定されるものではなく、例えば音響信号のみならず、画像信号情報などにも適用できる。
【００５０】
【発明の効果】
本発明によれば、入力信号中の情報欠落を検出し、検出された情報欠落部分を、入力信号の他の部分に基づいて得られる信号を用いて変更すること、例えば他の部分の信号に基づき予測合成処理して得られた信号で置き換えることにより、情報欠落による不具合、例えば音の歪等を解消することができる。
【００５１】
具体的には、例えば入力音響信号中の、最大記録レベルを越えてクリップした部分を、クリップしていない部分から聴覚的に裏付けのある予測を行うことにより、音声及び音響信号をクリップした部分を人間にとって有益なように合成することが出来る。すなわち、聴覚的原理を用いて音響信号情報のクリップしていない部分の音響的な特徴の分析結果から最大レベルを越えてクリップした部分を合成することができる。
【００５２】
また、すでにディジタル化されてクリップしてしまったオーディオ信号情報のクリップした部分を合成した後、聴感に適合させるようなノイズシェーピングを伴う再量子化処理を施すことにより、例えば１６ビットの語長を持つコンパクトディスクに記録するとき、聴覚的な処理によってクリップ部分を合成したデータを作ることができる。
【００５３】
また、許容雑音及び最小可聴限以下の音声及び音響信号の合成を行わないようにすることにより、音質的に無関係な不必要な処理を出来るだけ行わない上で有効である。
【図面の簡単な説明】
【図１】本発明の信号処理方法を実現する本実施例の信号処理装置の概略構成例を示すブロック回路図である。
【図２】本発明信号処理装置の応用例を示す図である。
【図３】クリップ部分以外検出回路の構成例を示すブロック回路図である。
【図４】各臨界帯域の信号成分の総和値を示す図である。
【図５】各臨界帯域の信号成分の総和値と許容雑音を示す図である。
【図６】各臨界帯域の信号成分の総和値と許容雑音、等ラウドネス特性を示す図である。
【図７】マスキングスペクトルを示す図である。
【図８】予測係数算出回路の構成例を示すブロック回路図である。
【図９】予測残差算出回路の構成例を示すブロック回路図である。
【図１０】予測合成回路の構成例を示すブロック回路図である。
【図１１】音響時間信号情報のクリップの例を説明するための入力アナログ信号を示す図である。
【図１２】音響時間信号情報のクリップの例を説明するための出力デジタル信号を示す図である。
【符号の説明】
１，４１，６１，８１，１００ 入力端子
２ クリップ部分以外検出回路
３ 周波数成分算出回路
４ 帯域分析回路
５ 許容雑音算出回路
６ 等ラウドネス特性発生回路
７ 合成減算回路
８ 予測係数算出回路
９，１３ 遅延回路
１０，１５ 切換回路
１１ 予測残差算出回路
１２ 予測による合成回路
１４ クリップ部分検出回路
１６，４８，６５，９２，１１１ 出力端子
３０ 信号処理装置
３１ａ リミッタ
３１ｂ コンプレッサ
３１ｃ ゲイン調整器
３２ 量子化処理装置
４２ 最大値発生回路
４３ 負の最大値発生回路
４４ａ，４４ｂ 比較回路
４５ シフトレジスタ回路
４６ クロック制御回路
４７ シフトクロック発生回路
６２ 逆特性算出回路
６３ 逆直交変換回路
６４ ＬＰＣ分析回路
８２ａ，８２ｂ，８２ｃ，８２ｄ 遅延回路
８３，８４，８５，８６，１０２，１０３，１０４，１０５ 係数入力端子
８７，８８，８９，９０ 乗算素子
９１ 加算器
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ 遅延回路
１０６、１０７、１０８、１０９ 乗算素子
１１０ 加算器
Claims (10)
- 入力されたディジタル音響信号から、記録時又は送信時に最大記録レベル又は最大送信レベルを超えたことによりクリップした情報欠落部分を検出する工程と、
上記検出された情報欠落部分を、上記入力ディジタル音響信号のクリップしていない部分の信号から予測して変更する工程とを有する信号処理方法であって、
上記変更する工程においては、上記クリップしていない部分の信号を周波数成分に変換し、上記変換された周波数成分を聴覚特性に基づく臨界帯域に分割し、分割された各帯域の許容雑音に基づいて予測係数を算出して予測を行う
ことを特徴とする信号処理方法。 - 上記許容雑音は、臨界帯域内の周波数成分間の畳み込み演算により求めることを特徴とする請求項１記載の信号処理方法。
- 上記予測係数と予測残差に基づいて変更後の音響信号を算出することを特徴とする請求項１記載の信号処理方法。
- 上記入力されたクリップ部分以外の音響時間信号と上記予測係数に基づいて、上記予測残差を算出することを特徴とする請求項３記載の信号処理方法。
- 上記許容雑音と聴覚特性に基づく等ラウドネス特性を合成することにより、上記予測係数を算出することを特徴とする請求項３記載の信号処理方法。
- 入力されたディジタル音響信号から、記録時又は送信時に最大記録レベル又は最大送信レベルを超えたことによりクリップした情報欠落部分を検出する手段と、
上記検出された情報欠落部分を、上記入力ディジタル音響信号のクリップしていない部分の信号から予測して変更する手段とを有する信号処理装置であって、
上記変更する手段においては、上記クリップしていない部分の信号を周波数成分に変換し、上記変換された周波数成分を聴覚特性に基づく臨界帯域に分割し、分割された各帯域の許容雑音に基づいて予測を行う
ことを特徴とする信号処理装置。 - 上記許容雑音は、臨界帯域内の周波数成分間の畳み込み演算により求めることを特徴とする請求項６記載の信号処理装置。
- 上記予測係数と予測残差に基づいて変更後の音響信号を算出することを特徴とする請求項６記載の信号処理装置。
- 上記入力されたクリップ部分以外の音響時間信号と上記予測係数に基づいて、上記予測残差を算出することを特徴とする請求項８記載の信号処理装置。
- 上記許容雑音と聴覚特性に基づく等ラウドネス特性を合成することにより、上記予測係数を算出することを特徴とする請求項８記載の信号処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11933394A JP3601074B2 (ja) | 1994-05-31 | 1994-05-31 | 信号処理方法及び信号処理装置 |
| US08/452,976 US5754973A (en) | 1994-05-31 | 1995-05-30 | Methods and apparatus for replacing missing signal information with synthesized information and recording medium therefor |
| US08/955,249 US6044338A (en) | 1994-05-31 | 1997-10-21 | Signal processing method and apparatus and signal recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11933394A JP3601074B2 (ja) | 1994-05-31 | 1994-05-31 | 信号処理方法及び信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07326140A JPH07326140A (ja) | 1995-12-12 |
| JP3601074B2 true JP3601074B2 (ja) | 2004-12-15 |
Family
ID=14758889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11933394A Expired - Lifetime JP3601074B2 (ja) | 1994-05-31 | 1994-05-31 | 信号処理方法及び信号処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US5754973A (ja) |
| JP (1) | JP3601074B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3601074B2 (ja) * | 1994-05-31 | 2004-12-15 | ソニー株式会社 | 信号処理方法及び信号処理装置 |
| JPH09305908A (ja) * | 1996-05-09 | 1997-11-28 | Pioneer Electron Corp | 雑音低減装置 |
| US5892834A (en) * | 1997-06-30 | 1999-04-06 | Ford Motor Company | Audio level dynamic range compression |
| JP3535957B2 (ja) * | 1997-07-29 | 2004-06-07 | パイオニア株式会社 | 雑音低減装置及び雑音低減方法 |
| US6640328B1 (en) * | 1998-09-22 | 2003-10-28 | Conexant Systems, Inc. | Method for detecting dropouts in data delivered over a bandwidth-limited bus |
| US6690311B2 (en) | 1998-11-20 | 2004-02-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptively calibrating analog-to-digital conversion with correction table indexing |
| US6127955A (en) * | 1998-11-20 | 2000-10-03 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and system for calibrating analog-to-digital conversion |
| US6445317B2 (en) | 1998-11-20 | 2002-09-03 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptively calibrating analog-to-digital conversion |
| JP2003280691A (ja) * | 2002-03-19 | 2003-10-02 | Sanyo Electric Co Ltd | 音声処理方法および音声処理装置 |
| US20040125922A1 (en) * | 2002-09-12 | 2004-07-01 | Specht Jeffrey L. | Communications device with sound masking system |
| US7324736B2 (en) * | 2002-10-09 | 2008-01-29 | Lsi Logic Corporation | Intelligent recording control system |
| WO2005017643A2 (en) * | 2003-08-18 | 2005-02-24 | Speedark Ltd. | Data conversion methods and systems |
| US7653248B1 (en) * | 2005-11-07 | 2010-01-26 | Science Applications International Corporation | Compression for holographic data and imagery |
| US9343079B2 (en) * | 2007-06-15 | 2016-05-17 | Alon Konchitsky | Receiver intelligibility enhancement system |
| JP4442644B2 (ja) * | 2007-06-15 | 2010-03-31 | 株式会社デンソー | パイプライン演算装置 |
| JP5239594B2 (ja) | 2008-07-30 | 2013-07-17 | 富士通株式会社 | クリップ検出装置及び方法 |
| JP4735711B2 (ja) * | 2008-12-17 | 2011-07-27 | ソニー株式会社 | 情報符号化装置 |
| US8611558B2 (en) * | 2009-02-26 | 2013-12-17 | Adobe Systems Incorporated | System and method for dynamic range extension using interleaved gains |
| JP2010244602A (ja) * | 2009-04-03 | 2010-10-28 | Sony Corp | 信号処理装置及び方法、並びにプログラム |
| KR20120088258A (ko) * | 2011-01-31 | 2012-08-08 | 삼성전자주식회사 | 오디오 신호 출력 방법 및 그에 따른 오디오 신호 출력 장치 |
| PT3664086T (pt) * | 2014-06-13 | 2021-11-02 | Ericsson Telefon Ab L M | Gestão de erros de tramas em rajada |
| GB2575461B (en) * | 2018-07-10 | 2020-12-30 | Cedar Audio Ltd | Audio amplitude unwrapping |
| KR20210059967A (ko) * | 2019-11-18 | 2021-05-26 | 삼성전자주식회사 | 비정상 잡음을 판단하는 전자 장치 및 방법 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3925605A (en) * | 1974-06-28 | 1975-12-09 | Zenith Radio Corp | Dropout detector for video disc playback |
| JPS55158715A (en) * | 1979-05-29 | 1980-12-10 | Sony Corp | Gain control circuit |
| US4462048A (en) * | 1982-02-11 | 1984-07-24 | Rca Corporation | Noise reduction circuitry for audio signals |
| US4625286A (en) * | 1982-05-03 | 1986-11-25 | Texas Instruments Incorporated | Time encoding of LPC roots |
| JPS59171285A (ja) * | 1983-03-17 | 1984-09-27 | Victor Co Of Japan Ltd | 映像信号のドロツプアウト補償回路 |
| DE3542307A1 (de) * | 1985-01-17 | 1986-07-17 | Canon K.K., Tokio/Tokyo | Tonfrequenzsignal-aufzeichnungsgeraet |
| US5384701A (en) * | 1986-10-03 | 1995-01-24 | British Telecommunications Public Limited Company | Language translation system |
| EP0280827B1 (en) * | 1987-03-05 | 1993-01-27 | International Business Machines Corporation | Pitch detection process and speech coder using said process |
| US5142580A (en) * | 1989-03-16 | 1992-08-25 | Neil J Philip | Voice band reduction apparatus and method for increasing availability of voice channels |
| JPH02309820A (ja) * | 1989-05-25 | 1990-12-25 | Sony Corp | デイジタル信号処理装置 |
| JP3013373B2 (ja) * | 1990-01-31 | 2000-02-28 | ソニー株式会社 | ノイズシェーピング回路 |
| JPH0472909A (ja) * | 1990-07-13 | 1992-03-06 | Sony Corp | オーディオ信号の量子化誤差低減装置 |
| US5168526A (en) * | 1990-10-29 | 1992-12-01 | Akg Acoustics, Inc. | Distortion-cancellation circuit for audio peak limiting |
| FR2670313A1 (fr) * | 1990-12-11 | 1992-06-12 | Thomson Csf | Procede et dispositif pour l'evaluation de la periodicite et du voisement du signal de parole dans les vocodeurs a tres bas debit. |
| US5369727A (en) * | 1991-05-16 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method of speech recognition with correlation of similarities |
| JPH05197389A (ja) * | 1991-08-13 | 1993-08-06 | Toshiba Corp | 音声認識装置 |
| US5204909A (en) * | 1991-09-12 | 1993-04-20 | Cowan John A | Audio processing system using delayed audio |
| US5268938A (en) * | 1992-01-21 | 1993-12-07 | International Business Machines Corporation | Redundancy scheme for Fourier transform coding on peak limited channels |
| JP3191457B2 (ja) * | 1992-10-31 | 2001-07-23 | ソニー株式会社 | 高能率符号化装置、ノイズスペクトル変更装置及び方法 |
| JP3601074B2 (ja) * | 1994-05-31 | 2004-12-15 | ソニー株式会社 | 信号処理方法及び信号処理装置 |
| US5615301A (en) * | 1994-09-28 | 1997-03-25 | Rivers; W. L. | Automated language translation system |
| US5596646A (en) * | 1994-11-07 | 1997-01-21 | Rocktron Corporation | Audio tape saturation simulator |
| US5812969A (en) * | 1995-04-06 | 1998-09-22 | Adaptec, Inc. | Process for balancing the loudness of digitally sampled audio waveforms |
| US5737434A (en) * | 1996-08-26 | 1998-04-07 | Orban, Inc. | Multi-band audio compressor with look-ahead clipper |
-
1994
- 1994-05-31 JP JP11933394A patent/JP3601074B2/ja not_active Expired - Lifetime
-
1995
- 1995-05-30 US US08/452,976 patent/US5754973A/en not_active Expired - Lifetime
-
1997
- 1997-10-21 US US08/955,249 patent/US6044338A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6044338A (en) | 2000-03-28 |
| JPH07326140A (ja) | 1995-12-12 |
| US5754973A (en) | 1998-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3601074B2 (ja) | 信号処理方法及び信号処理装置 | |
| EP1126620B1 (en) | Method and apparatus for expanding band of audio signal | |
| JP5253565B2 (ja) | 合成されたスペクトル成分に適合するようにデコードされた信号の特性を使用するオーディオコーディングシステム | |
| US7369906B2 (en) | Digital audio signal processing | |
| US6240388B1 (en) | Audio data decoding device and audio data coding/decoding system | |
| EP1500086B1 (en) | Coding and decoding of multichannel audio signals | |
| JP3186412B2 (ja) | 情報符号化方法、情報復号化方法、及び情報伝送方法 | |
| US7676361B2 (en) | Apparatus, method and program for voice signal interpolation | |
| JPH04304029A (ja) | ディジタル音声信号符号化方法 | |
| KR20060004695A (ko) | 오디오 신호의 대역을 확장하기 위한 방법 및 장치 | |
| JPH0435123A (ja) | ディジタル信号符号化装置 | |
| JP2005202248A (ja) | オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路 | |
| JPH04104617A (ja) | ディジタル信号符号化装置 | |
| JP2001142498A (ja) | ディジタル信号処理装置および処理方法、ディジタル信号記録装置および記録方法、並びに記録媒体 | |
| JP3810257B2 (ja) | 音声帯域拡張装置及び音声帯域拡張方法 | |
| JP2004198485A (ja) | 音響符号化信号復号化装置及び音響符号化信号復号化プログラム | |
| US6513007B1 (en) | Generating synthesized voice and instrumental sound | |
| US5754427A (en) | Data recording method | |
| WO1994024666A1 (en) | Method and apparatus for transforming signals, and recording medium | |
| JP2002366178A (ja) | オーディオ信号の帯域拡張方法及び帯域拡張装置 | |
| JP2000207000A (ja) | 信号処理装置および信号処理方法 | |
| JPH0318720B2 (ja) | ||
| JP3132031B2 (ja) | ディジタル信号の高能率符号化方法 | |
| JP3225680B2 (ja) | 信号変換方法及び装置、並びに記録媒体 | |
| JP3089690B2 (ja) | ディジタルデータの高能率符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |