JP2011081033A - Signal processor and mobile terminal device - Google Patents
Signal processor and mobile terminal device Download PDFInfo
- Publication number
- JP2011081033A JP2011081033A JP2009230713A JP2009230713A JP2011081033A JP 2011081033 A JP2011081033 A JP 2011081033A JP 2009230713 A JP2009230713 A JP 2009230713A JP 2009230713 A JP2009230713 A JP 2009230713A JP 2011081033 A JP2011081033 A JP 2011081033A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- band
- processing
- sound quality
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、周波数帯域が制限されている入力信号について、除去されている周波数帯域の信号を生成する信号帯域拡張処理などの高音質化処理を行う信号処理装置、及び携帯端末装置に関する。 The present invention relates to a signal processing device and a mobile terminal device that perform high-quality sound processing such as signal band expansion processing for generating a signal of a removed frequency band for an input signal whose frequency band is limited.
従来、周波数帯域が制限されている音声信号の再生に際して、除去されている周波帯域の信号を擬似的に合成して生成し、原音声信号と合わせて再生する信号帯域拡張処理による信号処理装置が知られている。この技術によれば、周波数帯域が制限される前の音声と同様の、人間の聴覚にとって、より自然な音声信号が生成される。 2. Description of the Related Art Conventionally, when reproducing an audio signal whose frequency band is limited, a signal processing device by signal band expansion processing that generates a pseudo-synthesized signal of the removed frequency band and reproduces it together with the original audio signal is provided. Are known. According to this technique, a sound signal that is more natural for human hearing, similar to the sound before the frequency band is limited, is generated.
一方、従来、複数の入力チャネルからの音声信号を処理する装置が知られている。このような技術は、例えば特許文献1に開示されている。
On the other hand, conventionally, an apparatus for processing audio signals from a plurality of input channels is known. Such a technique is disclosed in
特許文献1に開示されている技術では、複数の入力チャネルから入力された音声信号について、それら音声信号の共通成分にのみ雑音成分の抑圧処理を行い、非共通成分には減衰処理を行う。
In the technique disclosed in
ところで、現在、複数の入力チャネルからの信号に対して、より効率的且つ効果的に信号帯域拡張処理を行う技術が望まれている。 By the way, there is currently a demand for a technique for performing signal band expansion processing more efficiently and effectively on signals from a plurality of input channels.
しかしながら、上述した特許文献1に開示されている複数の入力チャネルからの信号に対する処理を、従来存在する高音質化する信号処理に単純に適用した場合、次のような問題が生じる。
However, when the processing for the signals from a plurality of input channels disclosed in
すなわち、入力信号の種類(例えばステレオ信号やモノラル信号等)及びその音質(例えば制限周波数、有効チャネル、SN比、残響度合い等)が一定でない場合には、効率的・効果的な高音質化する信号処理を行うことができない。 That is, when the type of input signal (for example, stereo signal or monaural signal) and its sound quality (for example, limited frequency, effective channel, SN ratio, reverberation level, etc.) are not constant, the sound quality is improved efficiently and effectively. Signal processing cannot be performed.
さらには、例えば2チャネルの信号(ステレオ信号)が入力された場合に、帯域拡張された信号帯域においてステレオ性を備えさせることができない。 Furthermore, for example, when a two-channel signal (stereo signal) is input, it is not possible to provide stereo characteristics in the signal band whose band has been expanded.
本発明は、前記の事情に鑑みて為されたものであり、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置及び携帯端末装置を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and performs signal processing for efficiently and effectively improving the sound quality of input signals from a plurality of channels regardless of the type and sound quality of the input signals. An object of the present invention is to provide a signal processing device and a portable terminal device that can be used.
前記の目的を達成するために、本発明の第1の態様による信号処理装置は、入力信号に対して高音質化処理を施す高音質化処理部と、前記入力信号の音質を推定する音質推定部と、前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部とを具備することを特徴とする。 To achieve the above object, a signal processing apparatus according to a first aspect of the present invention includes a high sound quality processing unit that performs high sound quality processing on an input signal, and sound quality estimation that estimates the sound quality of the input signal. And a control unit that controls the sound quality enhancement processing unit based on the estimation result by the sound quality estimation unit.
前記の目的を達成するために、本発明の第2の態様による携帯端末装置は、
移動通信網に収容される無線基地局と無線通信し、前記無線基地局及び前記移動通信網を通じて通信相手局との間に通信リンクを確立して通信する無線通信部と、
前記無線通信部により前記通信相手局から受信した受信データを復号して、ディジタル信号を取得するデコーダ部と、
前記デコーダ部から出力されたディジタル信号を複数のチャネルから入力して信号帯域を拡張する処理を施す信号帯域拡張装置と、
前記信号帯域拡張装置により帯域拡張されたディジタル信号をアナログ信号に変換するD/A変換部と、
前記アナログ信号に基づく音声信号を音響空間へ拡声出力するスピーカ部と、
を具備し、
前記信号帯域拡張装置は、
前記複数のチャネルから入力した信号に共通する共通成分と、前記複数のチャネルから入力した信号に共通しない非共通成分と、を抽出する抽出部と、
前記抽出部により抽出された共通成分及び非共通成分に基づいて、前記複数の入力信号の音質を推定する音質推定部と、
前記抽出部により抽出された共通成分に対して、信号帯域拡張処理を含む高音質化処理を施し、且つ、前記信号帯域拡張処理により拡張した帯域の信号を、前記非共通成分にも適用する高音質化処理部と、
前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部と、
を有することを特徴とする。
In order to achieve the above object, a mobile terminal device according to the second aspect of the present invention provides:
A wireless communication unit that wirelessly communicates with a wireless base station accommodated in a mobile communication network, and establishes a communication link between the wireless base station and a communication partner station through the mobile communication network; and
A decoder for decoding received data received from the communication partner station by the wireless communication unit to obtain a digital signal;
A signal band extending device that performs processing for extending a signal band by inputting digital signals output from the decoder unit from a plurality of channels;
A D / A converter for converting a digital signal whose bandwidth is extended by the signal bandwidth extension device into an analog signal;
A loudspeaker unit that outputs a sound signal based on the analog signal to an acoustic space;
Comprising
The signal band extending device includes:
An extraction unit that extracts a common component common to signals input from the plurality of channels and a non-common component not common to signals input from the plurality of channels;
A sound quality estimation unit that estimates the sound quality of the plurality of input signals based on the common component and the non-common component extracted by the extraction unit;
The common component extracted by the extraction unit is subjected to a sound quality enhancement process including a signal band expansion process, and a signal in a band expanded by the signal band expansion process is also applied to the non-common component. A sound quality processing unit;
Based on the estimation result by the sound quality estimation unit, a control unit for controlling the sound quality improvement processing unit,
It is characterized by having.
本発明によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置及び携帯端末装置を提供することができる。 According to the present invention, there is provided a signal processing device and a portable terminal device that can perform signal processing for improving the sound quality of an input signal from a plurality of channels at any time regardless of the type and sound quality of the input signal. Can be provided.
以下、図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態に係る信号処理装置の一構成例を示す図である。図1に示すように、本一実施形態に係る信号処理装置1は、共通成分・非共通成分抽出部10と、音質推定部20と、処理制御部30と、高音質化処理部40と、複数チャネル生成部50と、を具備する。本実施形態では、高周波数方向への帯域拡張を行うものとして説明する。
FIG. 1 is a diagram illustrating a configuration example of a signal processing device according to an embodiment of the present invention. As shown in FIG. 1, the
前記共通成分・非共通成分抽出部10は、複数の入力チャネルの信号in[n,k](k=1,…,Kin: Kinは入力チャネルの総数、nは時刻)を入力とし、複数の入力チャネルに共通に含まれる共通成分Mi[n]を抽出し、且つ、複数の入力チャネルに共通しない非共通成分Si[n,k](k=1,…,Kin−1)を抽出する。ここで、信号in[n,k]は、すべてのチャネルでサンプリング周波数48kHzであるとする。
The common component / non-common
前記音質推定部20は、時々刻々と変化する可能性もある入力信号に対して、時変に追従してリアルタイムで、有音区間、制限周波数(本実施形態では、高周波数方向への帯域拡張を行うものとするため、以降では上限周波数として説明する。)、帯域拡張既処理であるか否か、ステレオ性度合い、有効チャネル数、残響度合い、雑音度合いを推定して算出する。音質推定部20は、有音・無音判定部20aと、上限周波数検出部20bと、帯域拡張既処理検出部20cと、有効チャネル検出部20dと、残響度合推定部20eと、SNR推定部20fと、を有する。
The
前記有音・無音判定部20aは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]について、信号成分が存在するか否か(音声が存在するか否か)を検出する。
The sound /
前記帯域拡張既処理検出部20cは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]について、既に信号帯域拡張処理が施されているか否かを検出する。
The band extension processed
図3を用いて帯域拡張既処理検出部20cの動作を説明する。具体的には、特定周波数近傍のパワースペクトルが大きく減衰しているか否かを検出する。例えば、図3に示すように特定周波数11kHzなどにおいて、パワースペクトルが所定の閾値以下になるような極小値となっているかどうかを調べることで検出する。ここで、特定周波数近傍のパワースペクトルが大きく減衰して所定の閾値以下である極小値となっている場合のみ、既処理(信号帯域拡張処理済み)であると判断する。図3では、0〜11kHzまでが本来有している周波数帯域であり、11kHzが上限周波数であり、11kHz以上は既処理(信号帯域拡張処理済み)によって帯域拡張されたと判断する。ここで、既処理(信号帯域拡張処理済み)であると判断された信号は、本来有している上限周波数よりも高い上限周波数を有している。
The operation of the bandwidth extension processed
なお、前記特定周波数は、当該信号帯域拡張処理を施したソフトウェアによって異なるため、単数でも複数個でもよく、事前に設定しておく。 Note that the specific frequency differs depending on the software subjected to the signal band expansion processing, and may be singular or plural, and is set in advance.
前記上限周波数検出部20bは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]について、帯域拡張既処理検出部20cの検出結果を用いて、上限周波数を検出する。
The upper limit frequency detection unit 20b detects the detection result of the band extension processed
図2を用いて上限周波数検出部20bの動作を説明する。帯域拡張既処理検出部20cの検出結果で既処理(信号帯域拡張処理済み)でないと判断されたときは、前記上限周波数検出部20bは、共通成分Mi[n]及び非共通成分Si[n,k]について、例えばFFT(Fast Fourier Transform ;FFT;高速フーリエ変換)アナライザ等により、パワースペクトル(信号のパワーを一定の周波数帯域毎に分割し、各帯域のパワーを周波数の関数として表したもの)を求め、且つ、該パワースペクトルを解析して所定の閾値と大小判定することで、上限周波数を検出する。また、帯域拡張既処理検出部20cの検出結果で既処理(信号帯域拡張処理済み)であると判断されたときは、帯域拡張既処理検出部20cで用いた特定周波数を上限周波数とする。
The operation of the upper limit frequency detection unit 20b will be described with reference to FIG. When it is determined from the detection result of the band extension processed
例えば、パワースペクトルを周波数が高い方から低い方へ解析していく場合、当該信号のパワースペクトルが所定の閾値以上になる起点を上限周波数として検出する。また、上限周波数を検出する際に連続的ではなく、離散的にパワースペクトルを調べてもよいし、ある特定の周波数のパワースペクトルを調べてもよい。図2に示した例では、離散的に1kHz単位でパワースペクトルを調べるとしており、パワースペクトルと所定の閾値との大小関係から、上限周波数は16kHzであるとし、本来有している周波数帯域は0〜16kHzまでであるとしている。さらに、入力される信号が符号化され復号化されていた信号である場合には、コーデックにおけるサンプリング周波数を予想して、8、16、22.05、32、44.1kHzなどの特定の周波数のパワースペクトルを調べることで上限周波数を検出することができる。このように、離散的にパワースペクトルを調べることで処理量を減らすことができる。一方で、図3に示した例では、0〜11kHzまでが本来有している周波数帯域であり、11kHzが上限周波数であり、11kHz以上は既処理(信号帯域拡張処理済み)によって帯域拡張されたと判断する。 For example, when analyzing a power spectrum from a higher frequency to a lower frequency, a starting point at which the power spectrum of the signal is equal to or higher than a predetermined threshold is detected as an upper limit frequency. Further, when detecting the upper limit frequency, the power spectrum may be examined discretely instead of continuously, or the power spectrum of a specific frequency may be examined. In the example shown in FIG. 2, the power spectrum is discretely examined in 1 kHz units. From the magnitude relationship between the power spectrum and a predetermined threshold, the upper limit frequency is 16 kHz, and the inherent frequency band is 0. It is said that it is up to ~ 16kHz. Furthermore, when the input signal is a signal that has been encoded and decoded, the power spectrum of a specific frequency such as 8, 16, 22.05, 32, or 44.1 kHz is predicted in anticipation of the sampling frequency in the codec. By checking, the upper limit frequency can be detected. Thus, the processing amount can be reduced by discretely examining the power spectrum. On the other hand, in the example shown in FIG. 3, it is assumed that the frequency band from 0 to 11 kHz is originally possessed, 11 kHz is the upper limit frequency, and 11 kHz or more has been band-expanded by the previous processing (signal band expansion processing completed). to decide.
なお、以降では、高周波数方向への帯域拡張を対象とするが、低周波数方向への帯域拡張にも適用できる。低周波数方向へ帯域拡張を施す場合には、パワースペクトルを周波数が低い方から高い方へ解析していき、当該信号のパワースペクトルが所定の閾値以下になる起点を下限周波数として検出し、下限周波数を用いて高音質化処理を行う。 In the following, band extension in the high frequency direction is targeted, but it can also be applied to band extension in the low frequency direction. When band expansion is performed in the low frequency direction, the power spectrum is analyzed from the lower frequency to the higher frequency, the starting point where the power spectrum of the signal falls below a predetermined threshold is detected as the lower limit frequency, and the lower limit frequency is detected. To improve the sound quality.
なお、この上限周波数検出部20bによる上限周波数の検出処理は、常時行い続ける必要はなく、間欠的に行えばよい。また、上限周波数検出部20bによる上限周波数の検出処理に用いるパワースペクトルは、瞬時的ではなく所定の時間の平均値を用いてもよいし、有音・無音判定部20aによって有音区間と判定された区間の所定の時間の平均値を用いてもよい。
Note that the upper limit frequency detection process by the upper limit frequency detection unit 20b does not need to be continuously performed, and may be performed intermittently. Further, the power spectrum used for the upper limit frequency detection process by the upper limit frequency detection unit 20b may use an average value for a predetermined time instead of instantaneously, and is determined as a sound section by the sound /
前記有効チャネル検出部20dは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]に基づいて、どれだけステレオ性が強いかのステレオ性度合いを求めて、そのステレオ性度合いに応じて、前記複数の入力チャネルから有効な入力チャネルを検出する。
Based on the common component Mi [n] and the non-common component Si [n, k] extracted by the common component / non-common
具体的にステレオ性度合いは、各入力チャネル間の相関に基づいて(例えば各チャネル間の信号の相関係数を算出したり、各チャネルからすべての2つのチャネルの組み合わせについて2つのチャネル間での信号の差分をとったりする)表現するとして、冗長性の無い入力チャネルの信号を検出する。例えば、入力チャネルがL信号とR信号から成る2チャネルのステレオ信号であっても、L信号とR信号とが同じ信号である場合には、一方の入力チャネルからの信号は冗長であると検出する。 Specifically, the degree of stereogenicity is determined based on the correlation between the input channels (for example, the correlation coefficient of the signal between the channels is calculated, or the combination of all two channels from each channel is calculated between the two channels. For example, the signal of the input channel without redundancy is detected. For example, even if the input channel is a two-channel stereo signal consisting of an L signal and an R signal, if the L signal and the R signal are the same signal, it is detected that the signal from one input channel is redundant. To do.
前記残響度合推定部20eは、上限周波数検出部20bによる上限周波数検出結果と、有効チャネル検出部20dによる有効チャネル検出結果と、に基づいて、信号成分が存在する入力チャネル・周波数帯域の残響度合いを検出する。具体的には、残響度合推定部20eは、例えば特開2007−65204のような公知の残響抑圧処理技術を用いて、残響時間毎の残響パワーあるいは残響パワースペクトルを検出する。
The reverberation
前記SNR推定部20fは、上限周波数検出部20bによる上限周波数検出結果と、有効チャネル検出部20dによる有効チャネル検出結果と、に基づいて、公知の雑音推定技術を用いて、信号成分が存在する入力チャネル・周波数帯域のSNR(Signal−to−Noise Ratio;雑音度合い)を検出する。換言すれば、SNR推定部20fは、雑音区間において推定検出処理を行い、当該雑音のパワーあるいは雑音のパワースペクトルを検出する。例えば、前記SNR推定部20fは、有効チャネルが2チャネルの場合は、1チャネルずつ2回の前記処理を行う。
The SNR estimation unit 20f uses a known noise estimation technique based on the upper limit frequency detection result by the upper limit frequency detection unit 20b and the effective channel detection result by the effective
前記処理制御部30は、音質推定部20による音質推定結果に基づいて、高音質化処理部40を制御する。この処理制御部30による制御は、本一実施形態に係る信号処理装置の主な特徴部の一つであり、後に詳述する。
The
前記高音質化処理部40は、信号帯域拡張処理部40aと、周波数特性変更部40bと、残響抑圧処理部40cと、音量制御部40dと、雑音抑圧処理部40eの少なくともいずれか1つを有し、入力されてくる信号(ここでは共通成分Mi[n]及び非共通成分Si[n,k])をより高音質な信号にする処理をする。
The sound quality
前記信号帯域拡張処理部40aは、1フレーム単位で前記共通成分Mi[n]に公知の帯域拡張処理を施す。
The signal band
前記周波数特性変更部40bは、前記共通成分Mi[n]や非共通成分Si[n,k]について、周波数領域でパワー制御する(パワースペクトルを制御する)ことで周波数特性を変更する。換言すれば、前記周波数特性変更部40bは、パワースペクトルを制御して周波数特性を補正する処理や公知のイコライザー(Equalizer)と同様の処理を行う。
The frequency
前記残響抑圧処理部40cは、残響度合推定部20eにより検出された残響時間毎の残響パワーあるいは残響パワースペクトルに基づいて、例えば特開2007−65204のような公知の残響抑圧処理を行い、共通成分Mi[n]及び非共通性分Si[n,k]に含まれている残響成分を抑圧処理する。
Based on the reverberation power or reverberation power spectrum for each reverberation time detected by the reverberation
前記音量制御部40dは、公知の技術を用いて、音量補正処理を行う。具体的には、音量制御部40dは、信号帯域拡張処理部40aにより帯域拡張されることに伴って増加してしまった音量の補正処理を行う。つまり、上限周波数検出部20bによって検出された上限周波数を用いて動的に入力信号の音量を算出し、信号帯域拡張処理部40aにより帯域拡張された信号の音量を算出してそれを入力信号の音量に揃える処理を行う。
The
前記雑音抑圧処理部40eは、SNR推定部20fにより検出された雑音のパワーあるいは雑音のパワースペクトルに基づいて、共通成分Mi[n]及び非共通性分Si[n,k]に含まれている雑音成分を抑圧処理する。換言すれば、前記雑音抑圧処理部40eは、例えば特開2008−309955のような公知のノイズキャンセラ(Noise Canceller)と同様の処理を行う。
The noise
前記複数チャネル生成部50は、高音質化処理部40により高音質化処理を施された共通信号Mi[n]及び非共通信号Si[n,k]に基づいて、Kinチャネルの出力信号in´[n,k](k=1,…,Kin: Kinは入力チャネルの総数、nは時刻)を生成して入力信号の形式に戻して出力する。
The
本一実施形態に係る信号処理装置1では、音質推定部20により音質推定を行い、その推定結果に基づいて、高音質化処理部40による処理を最適化する制御をリアルタイムに行う。この際に、信号処理装置1では、音質推定部20により音質推定を行い、その推定結果に基づいて、処理制御部30においてチャネル・周波数帯域ごとに高音質化処理40の動作設定を制御する。以下、本一実施形態に係る信号処理装置1の処理制御部30による特有の処理について、例を挙げて詳細に説明する。
In the
《制御例》
具体的には、例えば、次のような制御を挙げることができる。
<Control example>
Specifically, for example, the following control can be exemplified.
・帯域拡張既処理検出部20cにより既に帯域拡張処理されていると判断された場合、信号帯域拡張処理部40aにより信号帯域拡張処理を行う前に、既に信号帯域拡張処理により帯域拡張された帯域の周波数成分を除去処理させた上で、改めて信号帯域拡張処理を行わせる。
When it is determined that the band extension processing has already been performed by the band extension processed
・有音・無音判定手段により無音であると判定されている時間帯については、高音質化処理部40による処理を行わせない。
The processing by the high sound
・有効チャネル検出部20dにより有効な入力チャネルであるとして検出された入力チャネルの入力信号のみを、前記高音質化処理部40に処理させる。
Only the input signal of the input channel detected as an effective input channel by the effective
・有効チャネル検出部20dによるステレオ性度合いに応じて前記高音質化処理部40における処理を適応的に変化させる。
The processing in the high sound
・入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出された場合、非共通成分Si[n,k]についての処理を行わせない。
When a stereo signal is input with two input channels, and when the
・周波数特性変更部40bによる処理は、上限周波数検出部20bにより検出された上限周波数を参照し、この上限周波数帯域までの帯域についてのみ行わせる。
The processing by the frequency
・上限周波数検出部20bにより検出された上限周波数に基づいて、信号帯域拡張処理部40aにより信号帯域拡張処理する帯域幅を動的に変更する制御を行う。
Based on the upper limit frequency detected by the upper limit frequency detection unit 20b, the signal band
・上限周波数検出部20bにより検出された上限周波数に基づいて、残響度合推定部20eで検出する残響時間毎の残響パワーあるいは残響パワースペクトルを求める帯域幅と、残響抑圧処理部40cで残響成分を抑圧処理する帯域幅を動的に変更する制御を行う。
Based on the upper limit frequency detected by the upper limit frequency detection unit 20b, the bandwidth for obtaining the reverberation power or reverberation power spectrum for each reverberation time detected by the reverberation
・上限周波数検出部20bにより検出された上限周波数に基づいて、SNR推定部20fで検出する雑音のパワーあるいは雑音のパワースペクトルを求める帯域幅と、雑音抑圧処理部40eで雑音成分を抑圧処理する帯域幅を動的に変更する制御を行う。
A bandwidth for obtaining the noise power or noise power spectrum detected by the SNR estimation unit 20f based on the upper limit frequency detected by the upper limit frequency detection unit 20b, and a band for suppressing noise components by the noise
・上限周波数検出部20bにより検出された上限周波数に基づいて、信号帯域拡張処理部40aにより帯域拡張されることに伴って増加してしまった音量の音量制御部40dにおける補正処理を動的に変更する制御を行う。
Based on the upper limit frequency detected by the upper limit frequency detection unit 20b, the correction processing in the
・信号帯域拡張処理部40aによって、共通成分Mi[n]について信号帯域拡張処理し、該処理によって生成した拡張帯域における信号を利用して、非共通成分Si[n,k]の帯域を拡張する処理を行う。
The signal band
以下、高音質化処理部40における信号帯域拡張処理部40aに係る一連の処理を、図4を参照して詳細に説明する。図4は、図1に示す高音質化処理部40の信号帯域拡張処理部40aを具体化した(説明の便宜上、他の処理部については図示を省略)、本一実施形態に係る信号処理装置の一構成例を示す図である。
Hereinafter, a series of processes related to the signal band
なお、図4に示す構成例においては、説明の便宜上、ステレオ入力を想定して入力チャネル数を2チャネルとしている。従って、共通成分・非共通成分抽出部10には、L[n]信号及びR[n]信号が入力される。
In the configuration example shown in FIG. 4, for the sake of convenience of explanation, the number of input channels is set to 2 assuming stereo input. Therefore, the L [n] signal and the R [n] signal are input to the common component / non-common
図4に示すように、信号帯域拡張処理部40aは、バンドパスフィルタ41,45と、ダウンサンプリング処理部42と、帯域拡張処理部43と、信号加算部44,48と、フィルタ(中域)46と、フィルタ(高域)47と、フィルタ(中・高域)49と、を備える。
As shown in FIG. 4, the signal band
ここで“中域”とは、入力される信号に含まれている周波数帯域のことを意味する。また、“高域”とは、信号帯域拡張処理部40aによって拡張されて生成された高い周波数帯域のことを意味する。そして、“中・高域”は、その両方を含む周波数帯域のことを意味する。これ以降そのように表現するものとする。例えば、入力される信号がサンプリング周波数48kHzで0〜11kHzに周波数成分が存在していれば、“中域”は0〜11kHzとなる。そして例えば、信号帯域拡張処理部40aによって、0〜22kHzに周波数成分が存在するように帯域拡張されたならば、“高域”は11〜22kHzとなり、“中・高域”は0〜22kHzとなる。
Here, “middle band” means a frequency band included in an input signal. Further, “high band” means a high frequency band generated by being expanded by the signal band
前記バンドパスフィルタ41は、共通成分Mi[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
The band-
前記ダウンサンプリング処理部42は、バンドパスフィルタ41から出力された共通成分Mi[n]について、帯域拡張処理部43による解析に伴う処理量を軽減する為にダウンサンプリング処理を行う。例えば、ダウンサンプリング処理部42は、サンプリング周波数を半減させる等の処理を行う。
The down-
なお、このダウンサンプリング処理部42による処理においては、音質推定部20の上限周波数検出部20bにより検出された上限周波数程度まで、サンプリング周波数を低減させてよい。また、ダウンサンプリング処理部42におけるダウンサンプリング後のサンプリング周波数を、上限周波数検出部20bにより検出された上限周波数に基づいて動的に変更してもよい。
In the processing by the
前記帯域拡張処理部43は、主として次の処理を行い、帯域拡張された高域の周波数成分のみを有する信号を出力する。
The band
・公知の高域へ拡張する信号帯域拡張処理。 A signal band expansion process for expanding to a known high frequency band.
・ダウンサンプリング処理部42にて低減されたサンプリング周波数を元のサンプリング周波数に戻す為のアップサンプリング処理。
Upsampling processing for returning the sampling frequency reduced by the
・信号帯域拡張処理によって帯域拡張された周波数帯域以外の帯域の周波数成分を除去する為の(帯域拡張された周波数帯域の成分のみを出力させる為の)ハイパスフィルタ処理。 A high-pass filter process for removing frequency components in a band other than the frequency band expanded by the signal band expansion process (for outputting only the component of the frequency band that has been band expanded).
前記信号加算部44は、帯域拡張処理部43からの出力(共通成分Mi[n]における帯域拡張された帯域の成分)と、バンドパスフィルタ41からの出力(既に帯域拡張された帯域の周波数成分が除去され、且つ、直流成分が除去された共通成分Mi[n])と、を加算する処理を行う。
The
前記バンドパスフィルタ45は、非共通成分Si[n,k]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
The
前記フィルタ(高域)47は、帯域拡張処理部43からの出力(共通成分Mi[n]における帯域拡張された周波数帯域成分)について、位相成分をランダムにしたり、片チャネルを遅延させたり、無相関化するフィルタを乗じたりする擬似ステレオ化処理を行うことで、高域信号の波形を変形させて、帯域拡張処理部43から出力される信号と無相関な信号を生成する。
The filter (high band) 47 outputs a random phase component, delays one channel of the output from the band extension processing unit 43 (frequency band component expanded in the common component Mi [n]), By performing pseudo-stereo processing that multiplies a correlating filter, the waveform of the high-frequency signal is deformed, and a signal that is uncorrelated with the signal output from the band
前記フィルタ(中域)46は、バンドパスフィルタ45により処理された非共通成分Si[n,k]の中域信号について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部48でフィルタ(高域)47の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。
The filter (middle band) 46 deforms the waveform of the middle band signal by performing a predetermined filter process on the middle band signal of the non-common component Si [n, k] processed by the
前記信号加算部48は、フィルタ(中域)46からの出力(フィルタ処理された非共通成分Si[n,k])と、フィルタ(高域)47からの出力(フィルタ処理された拡張帯域成分)と、を加算する処理を行う。従って、この信号加算部48による処理で、帯域拡張された非共通成分Si[n,k]が生成される。
The
前記フィルタ(中・高域)49は、信号加算部48からの出力(帯域拡張された非共通成分Si[n,k])について、擬似ステレオ化処理を行うことで、中・高域信号の波形を変形させ、信号加算部44から出力される信号と無相関な信号を生成する。
The filter (middle / high band) 49 performs pseudo-stereo processing on the output from the signal adder 48 (the band-extended non-common component Si [n, k]), so that the middle / high band signal is output. The waveform is deformed, and a signal uncorrelated with the signal output from the
このようにして、前記フィルタ(中域)46、前記フィルタ(高域)47、及び前記フィルタ(中・高域)49においてフィルタ処理をすることで、当該信号処理装置1からの出力信号(特に帯域拡張された帯域)においてもステレオ性を付加することができる。 In this way, by performing filter processing in the filter (middle range) 46, the filter (high range) 47, and the filter (middle / high range) 49, an output signal (particularly, from the signal processing device 1). Stereoness can be added even in a band extended band).
なお、当該信号処理装置1からの出力信号にステレオ性を付加する為の構成は、前記フィルタ(中域)46、前記フィルタ(高域)47、及び前記フィルタ(中・高域)49に限られず、他の形態でフィルタ手段を設ける構成にしても勿論よい。
The configuration for adding stereo to the output signal from the
また、有効チャネル検出部20dによるステレオ性度合いに応じて、共通成分Mi[n]に対してのみ帯域拡張処理を行う構成、共通成分Mi[n]に対して帯域拡張処理し共通成分Mi[n]における帯域拡張された帯域の成分を非共通成分Si[n,k]にも流用する前述の構成、共通成分Mi[n]と非共通成分Si[n,k]の両方に対して帯域拡張処理を行う構成を適応的に変化させてもよい。
In addition, a configuration in which band extension processing is performed only on the common component Mi [n] according to the degree of stereogenicity by the effective
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、非共通成分Si[n,k]については前記高音質化処理部40による処理を行わせないように、処理制御部30によって制御する。このようにするために処理制御部30は、バンドパスフィルタ45、フィルタ(中域)46、フィルタ(高域)47、信号加算部48、フィルタ(中・高域)49の処理を行わないように制御し、複数チャネル生成部50において非共通成分Si[n,k]を0にして処理をするように制御する。
In addition, when a stereo signal is input with two input channels, the effective
以上説明したように、本一実施形態によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に信号帯域拡張処理を行うことができる信号処理装置を提供することができる。 As described above, according to the present embodiment, signal processing that can efficiently and effectively perform signal band expansion processing on input signals from a plurality of channels regardless of the type and sound quality of the input signals. An apparatus can be provided.
具体的には、本一実施形態に係る信号処理装置によれば、例えば次のような効果を奏する。 Specifically, the signal processing apparatus according to the present embodiment has the following effects, for example.
・入力信号の音質を音質推定部20によりリアルタイムに推定して、音質に合わせた高音質化処理を高音質化処理部40によって施して出力する為、例えば入力信号に係るコンテンツによって上限周波数が異なる場合や入力信号における上限周波数が時間帯によって異なる場合であっても、効率的且つ効果的な高音質化処理である帯域拡張処理を行い、高音質での再生が可能となる。
Since the sound
・入力信号に係るコンテンツの音質を示す情報が入力信号に付与されていない場合であっても、当該信号処理装置1自身でリアルタイムに音質を推定して高音質処理することが可能となる。
Even when the information indicating the sound quality of the content related to the input signal is not given to the input signal, the
・音質推定部20により入力信号の有効チャネルや上限周波数を推定することで、冗長なチャネルや周波数成分がない周波数帯域における無駄な高音質化処理を行わない為、従来技術に比べて処理量を大きく削減することができ、結果として処理時間の短縮化が実現する。
Since the sound
・上述した処理が可能となる為、ハードウェアの構成自由度が上がり、音質も向上させることができる。 -Since the above-described processing becomes possible, the degree of freedom of hardware configuration increases and the sound quality can be improved.
さらに言えば、本一実施形態に係る信号処理装置によれば、高音質化処理である帯域拡張処理を行う際に、帯域拡張された帯域においてもステレオ性を維持すること(付加すること)ができる、という更なる格別な効果を奏する。 Furthermore, according to the signal processing apparatus according to the present embodiment, when performing the band expansion process which is a process for improving sound quality, it is possible to maintain (add) the stereo property even in the band expanded. There is a further special effect of being able to.
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。 The present invention has been described based on one embodiment. However, the present invention is not limited to the above-described embodiment, and various modifications and applications are possible within the scope of the gist of the present invention. It is.
例えば、図4に示す一構成例は、次のように変形することができる。 For example, the configuration example shown in FIG. 4 can be modified as follows.
[第1変形例]
以下、本第1変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記一実施形態に係る信号処理装置との相違点を説明する。
[First Modification]
Hereinafter, the signal processing apparatus according to the first modification will be described. In order to avoid duplication of explanation, differences from the signal processing apparatus according to the embodiment will be described.
図5は、本第1変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置1は、共通成分抽出部100と、音質推定部20と、処理制御部30と、バンドパスフィルタ401,403,405と、フィルタ(中域)402と、信号加算部404と、フィルタ(中域)406と、ダウンサンプリング処理部407と、帯域拡張処理部408と、複数チャネル生成部50と、フィルタ(中・高域)601と、フィルタ(中・高域)602と、を具備する。
FIG. 5 is a diagram illustrating a configuration of the signal processing device according to the first modification. As shown in the figure, the
前記共通成分抽出部100は、入力信号であるL[n]信号とR[n]信号との共通成分C[n]を抽出する。例えば、C[n]=(L[n]+R[n])÷2=0.5L[n]+0.5R[n]として求める。
The common
前記音質推定部20は、図4に示す音質推定部20と同様の処理を行う。
The sound
前記処理制御部30は、図4に示す処理制御部30と同様の処理を行う。
The
前記バンドパスフィルタ401は、入力信号L[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
The band-
前記フィルタ(中域)402は、バンドパスフィルタ401の出力について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部506で後述するフィルタ(中・高域)504の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。
The filter (middle band) 402 performs a predetermined filter process on the output of the
前記バンドパスフィルタ405は、入力信号R[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
The
前記フィルタ(中域)406は、バンドパスフィルタ405の出力について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部507で後述するフィルタ(中・高域)505の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。
The filter (middle band) 406 performs a predetermined filter process on the output of the
前記バンドパスフィルタ403は、入力信号L[n]とR[n]との共通成分であるC[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
The
前記ダウンサンプリング処理部407は、バンドパスフィルタ403から出力された共通成分C[n]について、帯域拡張処理部408による解析処理を軽減する為にダウンサンプリング処理を行う。例えば、ダウンサンプリング処理部407は、サンプリング周波数を半減させる等の処理を行う。
The
なお、このダウンサンプリング処理部407による処理においては、音質推定部20の上限周波数検出部20bにより検出された上限周波数程度まで、サンプリング周波数を低減させてよい。また、ダウンサンプリング処理部42におけるダウンサンプリング後のサンプリング周波数を、上限周波数検出部20bにより検出された上限周波数に基づいて動的に変更してもよい。
In the processing by the
前記帯域拡張処理部408は、主として次の処理を行う。
The band
・公知の高域へ拡張する信号帯域拡張処理。 A signal band expansion process for expanding to a known high frequency band.
・ダウンサンプリング処理部407にて低減されたサンプリング周波数を元のサンプリング周波数に戻す為のアップサンプリング処理。
Up-sampling processing for returning the sampling frequency reduced by the down-
・信号帯域拡張処理によって帯域拡張された周波数帯域以外の帯域の周波数成分を除去する為の(帯域拡張された周波数帯域の成分のみを出力させる為の)ハイパスフィルタ処理
前記信号加算部404は、帯域拡張処理部408からの出力と、バンドパスフィルタ403からの出力(共通成分C[n]における帯域拡張された帯域の成分)と、を加算する処理を行う。これにより信号帯域拡張処理された共通成分C´[n]が生成される。
High-pass filter processing for removing frequency components in bands other than the frequency band that has been band expanded by signal band expansion processing (for outputting only the components of the frequency band that has been band expanded) A process of adding the output from the
前記複数チャネル生成部50は、振幅制御部501,503と、信号加算部502,504と、フィルタ(中・高域)505,506と、を備える。
The
前記振幅制御部501は、入力された信号のパワーを制御するために、その信号について振幅にゲインαを掛ける。具体的には、L´[n]=α×L[n]+C[n]=(0.5+α)×L[n]+0.5R[n]で示される処理を行い、L´[n]を算出して出力する。
The
前記振幅制御部503は、入力された信号のパワーを制御するために、その信号について振幅にゲインβを掛ける。具体的には、R´[n]=β×R[n]+C[n]=0.5L[n]+(0.5+β)×R[n]で示される処理を行い、R´[n]を算出して出力する。
The
なお、α=β=0に設定すると、入力信号はモノラル信号となる。従って、α及びβを0でない値に設定し、上述したように前記振幅制御部501ではゲインαを用いて、前記振幅制御部503ではゲインβを用いることで、出力信号であるL´[n]及びR´[n]のステレオ性の度合いを制御することができる。なお、これら振幅制御部501,503におけるステレオ性の度合いの制御は、帯域拡張されていない周波数帯域におけるステレオ性の度合いの制御を行っている。
If α = β = 0 is set, the input signal becomes a monaural signal. Therefore, by setting α and β to non-zero values and using the gain α in the
前記フィルタ(中・高域)504,505は、信号帯域拡張処理された共通成分C[n]であるC´[n]について、それぞれ別個の擬似ステレオ化処理を行うことで、中・高域信号の波形を変形させ、フィルタ(中・高域)504の出力とフィルタ(中・高域)505の出力とを無相関化させる。 The filters (middle / higher frequencies) 504 and 505 perform the respective pseudo-stereo-stereo processing on C ′ [n], which is the common component C [n] subjected to the signal band expansion process, so that the middle / higher frequencies are processed. The signal waveform is deformed, and the output of the filter (middle / high band) 504 and the output of the filter (middle / high band) 505 are made uncorrelated.
前記信号加算部506は、振幅制御部501の出力と、フィルタ(中・高域)504の出力と、を加算する処理を行う。すなわち、L´[n]と、信号帯域拡張処理され擬似ステレオ化処理された共通成分C´[n]とを加算する処理を行う。
The
前記信号加算部507は、振幅制御部503の出力と、フィルタ(中・高域)505の出力と、を加算する処理を行う。すなわち、R´[n]と、信号帯域拡張処理され擬似ステレオ化処理された共通成分C´[n]とを加算する処理を行う。
The
前記フィルタ(中・高域)601は信号加算部506の出力L´[n]について、前記フィルタ(中・高域)602は信号加算部507の出力R´[n]について、それぞれ別個の擬似ステレオ化処理を行うことで、中・高域信号の波形をそれぞれ変形させ、フィルタ(中・高域)601の出力とフィルタ(中・高域)602の出力とを無相関化させて出力する。
The filter (middle / high band) 601 is for the output L ′ [n] of the
このようにして、前記フィルタ(中域)402、前記フィルタ(中域)406、前記フィルタ(中・高域)504、前記フィルタ(中・高域)505、前記フィルタ(中・高域)601、及び、前記フィルタ(中・高域)602は、当該信号処理装置1からの出力信号(特に帯域拡張された帯域)においてもステレオ性を付加することができる。
In this way, the filter (middle band) 402, the filter (middle band) 406, the filter (middle / high band) 504, the filter (middle / high band) 505, the filter (middle / high band) 601. The filter (medium / high band) 602 can also add stereoness to the output signal (particularly the band expanded band) from the
なお、当該信号処理装置1からの出力信号にステレオ性を付加する為の構成は、図5に示す構成に限られず、他の形態でフィルタ手段を設ける構成にしても勿論よい。
Note that the configuration for adding stereo characteristics to the output signal from the
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、処理制御部30によって、バンドパスフィルタ401、バンドパスフィルタ405の処理を行わないように制御し、複数チャネル生成部50において振幅制御部501と振幅制御部503でα=β=0としてフィルタ(中・高域)601の出力とフィルタ(中・高域)602の出力とを同じにするように制御する。
In addition, when a stereo signal is input with two input channels, the effective
以上説明したように、本第1変形例によれば、前記一実施形態に係る信号処理装置と同様の効果を奏する信号処理装置を提供することができる。 As described above, according to the first modification, it is possible to provide a signal processing device that has the same effect as the signal processing device according to the embodiment.
[第2変形例]
以下、本第2変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記第1変形例に係る信号処理装置との相違点を説明する。
[Second Modification]
Hereinafter, the signal processing apparatus according to the second modification will be described. In order to avoid duplication of explanation, differences from the signal processing apparatus according to the first modification will be described.
図6は、本第2変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置1は、共通成分抽出部100と、音質推定部20と、処理制御部30と、バンドパスフィルタ401,403,405と、フィルタ(中域)402と、フィルタ(中域)406と、ダウンサンプリング処理部407と、帯域拡張処理部408と、複数チャネル生成部50と、フィルタ(中・高域)601と、フィルタ(中・高域)602と、を具備する。
FIG. 6 is a diagram illustrating a configuration of a signal processing device according to the second modification. As shown in the figure, the
第1変形例に係る信号処理装置と、本第2変形例に係る信号処理装置と、の主な相違点は、共通成分抽出部100により抽出された共通成分C[n]における帯域拡張処理されていない周波数帯域成分の信号を、その後の処理において利用するか否かである。本第2変形例に係る信号処理装置では利用しない。その際、帯域拡張処理部408から出力される帯域拡張処理された周波数帯域成分の信号をC´´[n]とする。
The main difference between the signal processing device according to the first modification and the signal processing device according to the second modification is that band extension processing is performed on the common component C [n] extracted by the common
前記複数チャネル生成部50は、フィルタ(高域)514,515と、信号加算部516,517と、を備える。
The
前記帯域拡張処理部408の出力C´´[n]は、複数チャネル生成部50におけるフィルタ(高域)514,515に入力される。
The output C ″ [n] of the band
前記フィルタ(高域)514,515は、帯域拡張処理部408の出力について、擬似ステレオ化処理を行うことで、高域信号の波形を変形させ、帯域拡張処理部408から出力される信号と無相関な信号を別個に生成する。ここで、フィルタ(高域)514の出力とフィルタ(高域)515の出力とは、極力無相関であることが望ましい。
The filters (high frequency bands) 514 and 515 perform pseudo-stereo processing on the output of the band
前記信号加算部516は、フィルタ(中域)402の出力と、フィルタ(高域)514の出力と、を加算する処理を行う。これにより、信号帯域拡張処理されたL[n]信号であるL´[n]信号が生成される。
The
前記信号加算部517は、フィルタ(中域)406の出力と、フィルタ(高域)515の出力と、を加算する処理を行う。これにより、信号帯域拡張処理されたR[n]信号であるR´[n]信号が生成される。
The
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、処理制御部30によって、バンドパスフィルタ401あるいはバンドパスフィルタ405のいずれか一方の処理を行わないように制御し、複数チャネル生成部50においてフィルタ(中・高域)601の出力とフィルタ(中・高域)602の出力とを同じにするように制御する。
In addition, when a stereo signal is input with two input channels, the effective
以上説明したように、本第2変形例によれば、前記第1変形例に係る信号処理装置と同様の効果を奏する信号処理装置を提供することができる。 As described above, according to the second modification, it is possible to provide a signal processing apparatus that has the same effect as the signal processing apparatus according to the first modification.
[第3変形例]
以下、本第3変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記第1変形例に係る信号処理装置との相違点を説明する。
[Third Modification]
Hereinafter, a signal processing device according to the third modification will be described. In order to avoid duplication of explanation, differences from the signal processing apparatus according to the first modification will be described.
図7は、本第3変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置1は、共通成分抽出部100と、音質推定部20と、処理制御部30と、バンドパスフィルタ401,403,405と、フィルタ(中域)406と、ダウンサンプリング処理部407と、帯域拡張処理部408と、複数チャネル生成部50と、を具備する。
FIG. 7 is a diagram illustrating a configuration of a signal processing device according to the third modification. As shown in the figure, the
本第3変形例に係る信号処理装置では、帯域拡張処理した帯域成分に、ステレオ性を備えさせないで、帯域拡張されていない帯域(当初より信号が存在する帯域)の信号についてのみステレオ性を備える。従って、当該装置全体として処理量を軽減することができる。 In the signal processing device according to the third modification, the band component subjected to the band extension process is not provided with the stereo characteristic, and the stereo characteristic is provided only for the signal in the band not subjected to the band extension (the band in which the signal originally exists). . Accordingly, it is possible to reduce the processing amount of the entire apparatus.
前記複数チャネル生成部50は、振幅制御部501,503と、信号加算部521,522と、を備える。
The
前記信号加算部521は、信号加算部404の出力である信号帯域拡張処理された共通成分C´[n]と、振幅制御部501の出力(バンドパスフィルタ401により処理されたL[n])と、を加算する処理を行う。これにより、帯域拡張されていない帯域(当初より信号が存在する帯域)の信号についてのみステレオ性を備えるL´´[n]が生成される。
The
前記信号加算部522は、信号加算部404の出力である帯域拡張された共通成分信号C´[n]と、振幅制御部503の出力(バンドパスフィルタ405により処理されたR[n])と、を加算する処理を行う。これにより、帯域拡張されていない帯域(当初より信号が存在する帯域)の信号についてのみステレオ性を備えるR´[n]が生成される。
The
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、処理制御部30によって、バンドパスフィルタ401あるいはバンドパスフィルタ405のいずれか一方の処理を行わないように制御し、複数チャネル生成部50において信号加算部521の出力と信号加算部522の出力とを同じにするように制御する。
In addition, when a stereo signal is input with two input channels, the effective
以上説明したように、本第3変形例によれば、帯域拡張された帯域の信号についてはステレオ性を備えていないが、第1変形例に係る信号処理装置よりも処理量を軽減させた信号処理装置を提供することができる。 As described above, according to the third modified example, the band-extended band signal does not have stereo characteristics, but the signal is reduced in processing amount as compared with the signal processing apparatus according to the first modified example. A processing device can be provided.
[第4変形例]
ところで、上述した一実施形態及び第1変形例〜第3変形例に係る信号処理装置は、例えば図8に示すような通信装置(例えば携帯端末装置)に適用することができる。
[Fourth Modification]
By the way, the signal processing apparatus according to the above-described embodiment and the first to third modifications can be applied to a communication apparatus (for example, a portable terminal apparatus) as shown in FIG.
図8は、一実施形態及び第1変形例〜第3変形例に係る信号処理装置が適用された通信装置の構成を示す図である。同図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部150と、デコーダ200と、一実施形態及び第1変形例〜第3変形例のうち何れかに係る信号処理装置1と、D/A変換器400と、を具備する。
FIG. 8 is a diagram illustrating a configuration of a communication device to which the signal processing device according to the embodiment and the first to third modifications is applied. The communication apparatus shown in the figure shows a reception system of a wireless communication apparatus such as a mobile phone, and includes a
前記無線通信部150は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。
The
前記デコーダ200は、無線通信部1が通信相手局から受信した受信データを、事前に決められた単位(1フレーム=Nサンプル)ごとに復号して、ディジタルの受話信号x[n](n=0,1,・・・N−1)を得る。ただし、この受信データのサンプリング周波数はfs[Hz]とする。このようにして得られたディジタル信号は、フレーム単位で信号処理装置1に出力される。
The
信号処理装置1は、上述した高音質化する信号処理を、例えば1フレーム単位で前記受話信号(x[0]〜x[N−1])に施す。
The
前記D/A変換器400は、前記信号処理された受話信号y[n]をアナログ信号y(t)に変換して、スピーカ500に出力する。スピーカ500は、前記アナログ信号に基づく音声信号を音響空間へ拡声出力する。
The D /
以上説明したように、本第4変形例によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる携帯端末装置を提供することができる。 As described above, according to the fourth modification, it is possible to perform signal processing that efficiently and effectively improves the sound quality of input signals from a plurality of channels regardless of the type and sound quality of the input signals. A portable terminal device that can be provided can be provided.
さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention can be achieved. In the case of being obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
1…信号処理装置、 150…無線通信部、 200…デコーダ、 400…A/D変換器、 500…スピーカ、 10…共通成分・非共通成分抽出部、 20…音質推定部、 20a…有音・無音判定部、 20b…上限周波数検出部、 20c…帯域拡張既処理検出部、 20d…有効チャネル検出部、 20e…残響度合推定部、 20f…SNR推定部、 30…処理制御部、 40…高音質化処理部、 40a…信号帯域拡張処理部、 40b…周波数特性変更部、 40c…残響抑圧処理部、 40d…音量制御部、 40e…雑音抑圧処理部、 41…バンドパスフィルタ、 42…ダウンサンプリング処理部、 43…帯域拡張処理部、 44,48…信号加算部、 44…信号加算部、 45…バンドパスフィルタ、 46…フィルタ、 47…フィルタ、 48…信号加算部、 49…フィルタ、 50…複数チャネル生成部、 100…共通成分抽出部、 401,403…バンドパスフィルタ、 402…フィルタ、 404…信号加算部、 405…バンドパスフィルタ、 406…フィルタ、 407…ダウンサンプリング処理部、 408…帯域拡張処理部、 501,503…振幅制御部、 502,504…信号加算部、 504,505…フィルタ、 506,507…信号加算部、 514,515…フィルタ、 516,517…信号加算部、 521,522…信号加算部、 601…フィルタ、 602…フィルタ。
DESCRIPTION OF
Claims (10)
前記入力信号の音質を推定する音質推定部と、
前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部と、
を具備することを特徴とする信号処理装置。 A high quality sound processing unit that performs high quality sound processing on the input signal;
A sound quality estimation unit for estimating the sound quality of the input signal;
Based on the estimation result by the sound quality estimation unit, a control unit for controlling the sound quality improvement processing unit,
A signal processing apparatus comprising:
前記制御部は、前記音質推定部により検出された制限周波数を参照し、該制限周波数帯域までの帯域についてのみ、前記高音質化処理部に高音質化処理させる制御を行うことを特徴とする請求項1に記載の信号処理装置。 The sound quality estimation unit estimates a limited frequency detected from the input signal as sound quality,
The control unit refers to the limited frequency detected by the sound quality estimation unit, and performs control for causing the high sound quality processing unit to perform high quality sound processing only for a band up to the limited frequency band. Item 2. The signal processing device according to Item 1.
前記制御部は、前記複数の入力信号チャネルのうち有効な入力チャネルの信号に対して高音質化処理部による高音質化処理を行うよう制御する請求項2に記載の信号処理装置。 The input signal is a signal composed of a plurality of input signal channels,
The signal processing apparatus according to claim 2, wherein the control unit performs control so that a sound quality improvement processing unit performs a sound quality improvement process on a signal of an effective input channel among the plurality of input signal channels.
前記複数の入力信号に共通する共通成分と前記複数の入力信号に共通しない非共通成分とを抽出する抽出部を更に有し、
前記高音質化処理部は、前記抽出部により抽出された共通成分に対して信号帯域拡張処理を施し、該信号帯域拡張処理により帯域拡張した帯域の信号を、前記非共通成分にも適用することを特徴とする請求項2に記載の信号処理装置。 The input signal is a signal composed of a plurality of input signal channels,
An extractor for extracting a common component common to the plurality of input signals and a non-common component not common to the plurality of input signals;
The sound quality enhancement processing unit performs a signal band expansion process on the common component extracted by the extraction unit, and applies a signal in a band expanded by the signal band expansion process to the non-common component. The signal processing apparatus according to claim 2.
前記無線通信部により前記通信相手局から受信した受信データを復号して、ディジタル信号を取得するデコーダ部と、
前記デコーダ部から出力されたディジタル信号を複数のチャネルから入力して信号帯域を拡張する処理を施す信号帯域拡張装置と、
前記信号帯域拡張装置により帯域拡張されたディジタル信号をアナログ信号に変換するD/A変換部と、
前記アナログ信号に基づく音声信号を音響空間へ拡声出力するスピーカ部と、
を具備し、
前記信号帯域拡張装置は、
前記複数のチャネルから入力した信号に共通する共通成分と、前記複数のチャネルから入力した信号に共通しない非共通成分と、を抽出する抽出部と、
前記抽出部により抽出された共通成分及び非共通成分に基づいて、前記複数の入力信号の音質を推定する音質推定部と、
前記抽出部により抽出された共通成分に対して、信号帯域拡張処理を含む高音質化処理を施し、且つ、前記信号帯域拡張処理により拡張した帯域の信号を、前記非共通成分にも適用する高音質化処理部と、
前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部と、
を有することを特徴とする携帯端末装置。 A wireless communication unit that wirelessly communicates with a wireless base station accommodated in a mobile communication network, and establishes a communication link between the wireless base station and a communication partner station through the mobile communication network; and
A decoder for decoding received data received from the communication partner station by the wireless communication unit to obtain a digital signal;
A signal band extending device that performs processing for extending a signal band by inputting digital signals output from the decoder unit from a plurality of channels;
A D / A converter for converting a digital signal whose bandwidth is extended by the signal bandwidth extension device into an analog signal;
A loudspeaker unit that outputs a sound signal based on the analog signal to an acoustic space;
Comprising
The signal band extending device includes:
An extraction unit that extracts a common component common to signals input from the plurality of channels and a non-common component not common to signals input from the plurality of channels;
A sound quality estimation unit that estimates the sound quality of the plurality of input signals based on the common component and the non-common component extracted by the extraction unit;
The common component extracted by the extraction unit is subjected to a sound quality enhancement process including a signal band expansion process, and a signal in a band expanded by the signal band expansion process is also applied to the non-common component. A sound quality processing unit;
Based on the estimation result by the sound quality estimation unit, a control unit for controlling the sound quality improvement processing unit,
A portable terminal device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009230713A JP5232121B2 (en) | 2009-10-02 | 2009-10-02 | Signal processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009230713A JP5232121B2 (en) | 2009-10-02 | 2009-10-02 | Signal processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011081033A true JP2011081033A (en) | 2011-04-21 |
JP5232121B2 JP5232121B2 (en) | 2013-07-10 |
Family
ID=44075181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009230713A Expired - Fee Related JP5232121B2 (en) | 2009-10-02 | 2009-10-02 | Signal processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5232121B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227256A (en) * | 2010-04-19 | 2011-11-10 | Toshiba Corp | Signal correction apparatus |
JP2014513819A (en) * | 2011-05-19 | 2014-06-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Detecting parametric audio coding schemes |
JP2018055136A (en) * | 2018-01-12 | 2018-04-05 | パイオニア株式会社 | Acoustic device, missing band estimation device, signal processing method, and frequency band estimation device |
US11308970B2 (en) | 2018-12-14 | 2022-04-19 | Fujitsu Limited | Voice correction apparatus and voice correction method |
WO2022137806A1 (en) * | 2020-12-25 | 2022-06-30 | パナソニックIpマネジメント株式会社 | Ear-mounted type device and reproduction method |
KR20220097622A (en) * | 2020-12-30 | 2022-07-08 | 동국대학교 산학협력단 | System and method for improving audio quality in video contents based on deep-learning algorithm |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366178A (en) * | 2001-06-08 | 2002-12-20 | Matsushita Electric Ind Co Ltd | Method and device for band expansion of audio signal |
JP2003140696A (en) * | 2001-08-23 | 2003-05-16 | Matsushita Electric Ind Co Ltd | Speech processor |
WO2006070560A1 (en) * | 2004-12-28 | 2006-07-06 | Pioneer Corporation | Noise suppressing device, noise suppressing method, noise suppressing program, and computer readable recording medium |
JP2007192964A (en) * | 2006-01-18 | 2007-08-02 | Yamaha Corp | Band expanding device of audio signal |
JP2008122597A (en) * | 2006-11-10 | 2008-05-29 | Sanyo Electric Co Ltd | Audio signal processing device and audio signal processing method |
WO2009054228A1 (en) * | 2007-10-26 | 2009-04-30 | D & M Holdings Inc. | Audio signal interpolation device and audio signal interpolation method |
WO2009110751A2 (en) * | 2008-03-04 | 2009-09-11 | Lg Electronics Inc. | Method and apparatus for processing an audio signal |
JP2009223210A (en) * | 2008-03-18 | 2009-10-01 | Toshiba Corp | Signal band spreading device and signal band spreading method |
-
2009
- 2009-10-02 JP JP2009230713A patent/JP5232121B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366178A (en) * | 2001-06-08 | 2002-12-20 | Matsushita Electric Ind Co Ltd | Method and device for band expansion of audio signal |
JP2003140696A (en) * | 2001-08-23 | 2003-05-16 | Matsushita Electric Ind Co Ltd | Speech processor |
WO2006070560A1 (en) * | 2004-12-28 | 2006-07-06 | Pioneer Corporation | Noise suppressing device, noise suppressing method, noise suppressing program, and computer readable recording medium |
JP2007192964A (en) * | 2006-01-18 | 2007-08-02 | Yamaha Corp | Band expanding device of audio signal |
JP2008122597A (en) * | 2006-11-10 | 2008-05-29 | Sanyo Electric Co Ltd | Audio signal processing device and audio signal processing method |
WO2009054228A1 (en) * | 2007-10-26 | 2009-04-30 | D & M Holdings Inc. | Audio signal interpolation device and audio signal interpolation method |
WO2009110751A2 (en) * | 2008-03-04 | 2009-09-11 | Lg Electronics Inc. | Method and apparatus for processing an audio signal |
JP2009223210A (en) * | 2008-03-18 | 2009-10-01 | Toshiba Corp | Signal band spreading device and signal band spreading method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227256A (en) * | 2010-04-19 | 2011-11-10 | Toshiba Corp | Signal correction apparatus |
US8532309B2 (en) | 2010-04-19 | 2013-09-10 | Kabushiki Kaisha Toshiba | Signal correction apparatus and signal correction method |
JP2014513819A (en) * | 2011-05-19 | 2014-06-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Detecting parametric audio coding schemes |
US9117440B2 (en) | 2011-05-19 | 2015-08-25 | Dolby International Ab | Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal |
JP2018055136A (en) * | 2018-01-12 | 2018-04-05 | パイオニア株式会社 | Acoustic device, missing band estimation device, signal processing method, and frequency band estimation device |
US11308970B2 (en) | 2018-12-14 | 2022-04-19 | Fujitsu Limited | Voice correction apparatus and voice correction method |
WO2022137806A1 (en) * | 2020-12-25 | 2022-06-30 | パナソニックIpマネジメント株式会社 | Ear-mounted type device and reproduction method |
KR20220097622A (en) * | 2020-12-30 | 2022-07-08 | 동국대학교 산학협력단 | System and method for improving audio quality in video contents based on deep-learning algorithm |
KR102538008B1 (en) * | 2020-12-30 | 2023-05-31 | 동국대학교 산학협력단 | System and method for improving audio quality in video contents based on deep-learning algorithm |
Also Published As
Publication number | Publication date |
---|---|
JP5232121B2 (en) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5232121B2 (en) | Signal processing device | |
JP5923994B2 (en) | Audio processing apparatus and audio processing method | |
EP2209116A1 (en) | High range interpolation device and high range interpolation method | |
AU2017405291B2 (en) | Method and apparatus for processing speech signal adaptive to noise environment | |
JP2008058667A (en) | Signal processing apparatus and method, recording medium, and program | |
JP6073456B2 (en) | Speech enhancement device | |
JP2016017982A (en) | Signal processor and signal processing method | |
KR20160119859A (en) | Communications systems, methods and devices having improved noise immunity | |
US10147434B2 (en) | Signal processing device and signal processing method | |
JP2006243644A (en) | Method for reducing noise, device, program, and recording medium | |
JP2008309955A (en) | Noise suppresser | |
Bhattacharya et al. | Low-latency smartphone app for real-time noise reduction of noisy speech signals | |
US8700391B1 (en) | Low complexity bandwidth expansion of speech | |
US9177566B2 (en) | Noise suppression method and apparatus | |
JP4922427B2 (en) | Signal correction device | |
JPWO2016059878A1 (en) | Signal processing apparatus, signal processing method, and computer program | |
US9426570B2 (en) | Audio processing device and method | |
JP6730580B2 (en) | Band extension device and band extension method | |
US20230360662A1 (en) | Method and device for processing a binaural recording | |
JP2011211264A (en) | Broadcast receiver and broadcasting signal processing method | |
JP6126390B2 (en) | Noise reduction device, broadcast reception device, and noise reduction method | |
JP6244652B2 (en) | Voice processing apparatus and program | |
JP2012027101A (en) | Sound playback apparatus, sound playback method, program, and recording medium | |
JP4269364B2 (en) | Signal processing method and apparatus, and bandwidth expansion method and apparatus | |
KR20160039878A (en) | A method and apparatus for processing noise to be caused by change a path of audio signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130322 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |