KR101801996B1 - 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터로 판독가능한 기록 매체 - Google Patents
신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터로 판독가능한 기록 매체 Download PDFInfo
- Publication number
- KR101801996B1 KR101801996B1 KR1020127026089A KR20127026089A KR101801996B1 KR 101801996 B1 KR101801996 B1 KR 101801996B1 KR 1020127026089 A KR1020127026089 A KR 1020127026089A KR 20127026089 A KR20127026089 A KR 20127026089A KR 101801996 B1 KR101801996 B1 KR 101801996B1
- Authority
- KR
- South Korea
- Prior art keywords
- frequency
- band
- signal
- subband
- power
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 212
- 238000012545 processing Methods 0.000 title claims abstract description 102
- 230000008569 process Effects 0.000 claims description 109
- 230000008602 contraction Effects 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 description 65
- 238000004364 calculation method Methods 0.000 description 64
- 239000013598 vector Substances 0.000 description 64
- 238000001228 spectrum Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 20
- 238000000611 regression analysis Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000001755 vocal effect Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102000003712 Complement factor B Human genes 0.000 description 1
- 108090000056 Complement factor B Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것이다. 고역 복호 회로는 고역 부호화 데이터를 복호하고, 그 결과 얻어진 계수 인덱스에 의해 특정되는, 고역의 서브밴드마다의 계수로 이루어지는 계수 테이블을 출력한다. 복호 고역 서브밴드 파워 산출 회로는, 저역 신호와 계수 테이블에 기초하여, 고역의 서브밴드마다 복호 고역 서브밴드 파워를 산출하고, 복호 고역 신호 생성부는 이들 복호 고역 서브밴드 파워로부터 복호 고역 신호를 생성한다. 이때, 확장 축소부는, 산출되는 복호 고역 서브밴드 파워의 서브밴드수에 따라, 계수 테이블의 서브밴드마다의 계수를 새롭게 생성하거나 또는 삭제함으로써, 계수 테이블의 확장 또는 축소를 행한다. 본 발명은 복호 장치에 적용할 수 있다.
Description
본 발명은 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 프로그램에 관한 것으로, 특히 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있게 하는 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 프로그램에 관한 것이다.
최근, 인터넷 등을 통해서 음악 데이터를 배신하는 음악 배신 서비스가 널리 퍼지고 있다. 이 음악 배신 서비스에서는, 음악 신호를 부호화함으로써 얻어지는 부호화 데이터를 음악 데이터로서 배신한다. 음악 신호의 부호화 방법으로서는, 다운로드 시에 시간이 걸리지 않도록, 부호화 데이터의 파일 용량을 억제하여 비트 레이트를 낮게 하는 부호화 방법이 주류가 되고 있다.
이러한 음악 신호의 부호화 방법으로서는, 크게 구별하여, MP3(MPEG(Moving Picture Experts Group) Audio Layer3)(국제 표준 규격 ISO/IEC 11172-3) 등의 부호화 방법이나 HE-AAC(High Efficiency MPEG4 AAC)(국제 표준 규격 ISO/IEC 14496-3) 등의 부호화 방법이 존재한다.
MP3로 대표되는 부호화 방법에서는, 음악 신호 중 사람의 귀에는 지각되기 어려운 약 15㎑ 이상의 고주파수 대역(이하, 고역이라 칭함)의 신호 성분을 삭제하고, 남은 저주파수 대역(이하, 저역이라 칭함)의 신호 성분을 부호화한다. 이러한 부호화 방법을, 이하 고역 삭제 부호화 방법이라 칭한다. 이 고역 삭제 부호화 방법에서는, 부호화 데이터의 파일 용량을 억제할 수 있다. 그러나, 고역의 음은, 희미하지만 사람이 지각할 수 있으므로, 부호화 데이터를 복호함으로써 얻어지는 복호 후의 음악 신호로부터, 음을 생성해서 출력하면, 원음이 갖는 현장감을 잃게 되거나, 음이 똑똑치 못하다고 하는 음질의 열화가 생기는 경우가 있었다.
이에 반해, HE-AAC로 대표되는 부호화 방법에서는, 고역의 신호 성분으로부터 특징적인 정보를 추출하고, 저역의 신호 성분과 함께 부호화한다. 이러한 부호화 방법을, 이하 고역 특징 부호화 방법이라 칭한다. 이 고역 특징 부호화 방법에서는, 고역의 신호 성분의 특징적인 정보만을 고역의 신호 성분에 관한 정보로서 부호화하므로, 음질의 열화를 억제하면서, 부호화 효율을 향상시킬 수 있다.
이 고역 특징 부호화 방법으로 부호화된 부호화 데이터의 복호에 있어서는, 저역의 신호 성분과 특징적인 정보를 복호하고, 복호 후의 저역의 신호 성분과 특징적인 정보로부터, 고역의 신호 성분을 생성한다. 이와 같이, 고역의 신호 성분을, 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확대하는 기술을, 이하 대역 확대 기술이라 칭한다.
대역 확대 기술의 응용예 중 하나로서, 상술한 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후의 후 처리가 있다. 이 후 처리에 있어서는, 부호화로 잃어버린 고역의 신호 성분을, 복호 후의 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확대한다(특허 문헌 1 참조). 또한, 특허 문헌 1의 주파수 대역 확대의 방법을, 이하 특허 문헌 1의 대역 확대 방법이라 칭한다.
특허 문헌 1의 대역 확대 방법에서는, 장치는 복호 후의 저역의 신호 성분을 입력 신호로 하고, 입력 신호의 파워 스펙트럼으로부터, 고역의 파워 스펙트럼(이하, 적절히, 고역의 주파수 포락이라 칭함)을 추정하고, 그 고역의 주파수 포락을 갖는 고역의 신호 성분을 저역의 신호 성분으로부터 생성한다.
도 1은 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 도시하고 있다.
도 1에 있어서, 종축은 파워를 대수로 나타내고, 횡축은 주파수를 나타내고 있다.
장치는 입력 신호에 대한 부호화 방식의 종류나, 샘플링 레이트, 비트 레이트 등의 정보(이하, 사이드 정보라 칭함)로부터, 고역의 신호 성분의 저역단의 대역(이하, 확대 개시 대역이라 칭함)을 결정한다. 다음으로, 장치는, 저역의 신호 성분으로서의 입력 신호를 복수의 서브밴드 신호로 분할한다. 장치는, 분할 후의 복수의 서브밴드 신호, 즉 확대 개시 대역보다 저역측(이하, 간단히, 저역측이라 칭함)의 복수의 서브밴드 신호 각각의 파워의, 시간 방향에 대한 그룹마다의 평균(이하, 그룹 파워라 칭함)을 구한다. 도 1에 도시된 바와 같이, 장치는, 저역측의 복수의 서브밴드의 신호 각각의 그룹 파워의 평균을 파워라 하고, 또한 확대 개시 대역의 하단의 주파수를 주파수로 하는 점을 기점이라 한다. 장치는, 그 기점을 통과하는 소정의 기울기의 1차 직선을, 확대 개시 대역보다 고역측(이하, 간단히, 고역측이라 칭함)의 주파수 포락으로서 추정한다. 또한, 기점의 파워 방향에 대한 위치는, 유저에 의해 조정 가능하게 된다. 장치는, 고역측의 복수의 서브밴드의 신호 각각을, 추정한 고역측의 주파수 포락으로 되도록, 저역측의 복수의 서브밴드의 신호로부터 생성한다. 장치는, 생성한 고역측의 복수의 서브밴드의 신호를 가산해서 고역의 신호 성분으로 하고, 또한 저역의 신호 성분을 가산해서 출력한다. 이에 의해, 주파수 대역의 확대 후의 음악 신호는, 본래의 음악 신호에 보다 가까운 것으로 된다. 따라서, 보다 고음질의 음악 신호를 재생하는 것이 가능해진다.
상술한 특허 문헌 1의 대역 확대 방법은, 다양한 고역 삭제 부호화 방법이나 다양한 비트 레이트의 부호화 데이터에 대해서, 그 부호화 데이터의 복호 후의 음악 신호에 대한 주파수 대역을 확대할 수 있다고 하는 특징을 갖는다.
그러나, 특허 문헌 1의 대역 확대 방법은, 추정한 고역측의 주파수 포락이 소정의 기울기의 1차 직선으로 되어 있는 점에서, 즉 주파수 포락의 형상이 고정으로 되어 있는 점에서 개선의 여지가 있다.
즉, 음악 신호의 파워 스펙트럼은 다양한 형상을 갖고 있으며, 음악 신호의 종류에 따라서는, 특허 문헌 1의 대역 확대 방법에 의해 추정되는 고역측의 주파수 포락으로부터 크게 벗어나는 경우도 적지 않다.
도 2는, 예를 들면 드럼을 한번 강하게 두드렸을 때와 같은, 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호(어택성 음악 신호)의 본래의 파워 스펙트럼의 일례를 도시하고 있다.
또한, 도 2에는, 특허 문헌 1의 대역 확대 방법에 의해, 어택성 음악 신호 중 저역측의 신호 성분을 입력 신호로 하고, 그 입력 신호로부터 추정한 고역측의 주파수 포락에 대해서도 함께 도시되어 있다.
도 2에 도시된 바와 같이, 어택성 음악 신호의 본래의 고역측의 파워 스펙트럼은, 거의 평탄해져 있다.
이에 반해, 추정한 고역측의 주파수 포락은, 소정의 마이너스의 기울기를 갖고 있으며, 기점에서 본래의 파워 스펙트럼에 가까운 파워로 조절했다고 해도, 주파수가 높아짐에 따라 본래의 파워 스펙트럼과의 차가 커진다.
이와 같이, 특허 문헌 1의 대역 확대 방법에서는, 추정한 고역측의 주파수 포락은, 본래의 고역측의 주파수 포락을 고정밀도로 재현할 수 없다. 그 결과, 주파수 대역의 확대 후의 음악 신호로부터 음을 생성해서 출력하면, 청감 상, 원음보다도 음의 명료성을 잃게 되는 경우가 있었다.
또한, 상술한 HE-AAC 등의 고역 특징 부호화 방법에서는, 부호화되는 고역의 신호 성분의 특징적인 정보로서, 고역측의 주파수 포락이 이용되지만, 복호측에서 본래의 고역측의 주파수 포락을 고정밀도로 재현하는 것이 요구된다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 것이다.
본 발명의 제1 측면의 신호 처리 장치는, 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하는 비다중화부와, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와, 고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하는 선택부와, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와, 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성부를 구비한다.
상기 확장 축소부에는, 상기 계수 테이블에 포함되어 있는 가장 높은 주파수의 서브밴드의 상기 계수를 복제하여, 상기 가장 높은 주파수보다 높은 주파수의 서브밴드의 상기 계수로 함으로써, 상기 계수 테이블을 확장시킬 수 있다.
상기 확장 축소부에는, 상기 고역 서브밴드 신호의 서브밴드 중 가장 주파수가 높은 서브밴드보다 높은 주파수의 서브밴드의 상기 계수를, 상기 계수 테이블로부터 삭제함으로써, 상기 계수 테이블을 축소시킬 수 있다.
본 발명의 제1 측면의 신호 처리 방법 또는 프로그램은, 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하고, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고, 고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하고, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하고, 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 스텝을 포함한다.
본 발명의 제1 측면에 있어서는, 입력된 부호화 데이터가 적어도 저역 부호화 데이터와 계수 정보로 비다중화되고, 상기 저역 부호화 데이터가 복호되어 저역 신호가 생성되고, 고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블이 선택되고, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블이 확장되고, 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호가 생성된다.
본 발명의 제2 측면의 신호 처리 장치는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와, 고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와, 확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하는 선택부와, 선택된 상기 계수 테이블을 얻기 위한 계수 정보가 포함되는 데이터를 생성하는 생성부를 구비한다.
상기 확장 축소부에는, 상기 계수 테이블에 포함되어 있는 가장 높은 주파수의 서브밴드의 상기 계수를 복제하여, 상기 가장 높은 주파수보다 높은 주파수의 서브밴드의 상기 계수로 함으로써, 상기 계수 테이블을 확장시킬 수 있다.
상기 확장 축소부에는, 상기 고역 서브밴드 신호의 서브밴드 중 가장 주파수가 높은 서브밴드보다 높은 주파수의 서브밴드의 상기 계수를, 상기 계수 테이블로부터 삭제함으로써, 상기 계수 테이블을 축소시킬 수 있다.
본 발명의 제2 측면의 신호 처리 방법 또는 프로그램은, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하고, 고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하고, 확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하고, 선택된 상기 계수 테이블을 얻기 위한 계수 정보가 포함되는 데이터를 생성하는 스텝을 포함한다.
본 발명의 제2 측면에 있어서는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호가 생성되고, 고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수가 삭제되어 상기 계수 테이블이 축소되거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수가 생성됨으로써 상기 계수 테이블이 확장되고, 확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워가 비교되어, 복수의 상기 계수 테이블 중 어느 하나가 선택되고, 선택된 상기 계수 테이블을 얻기 위한 계수 정보가 포함되는 데이터가 생성된다.
본 발명의 제3 측면의 복호 장치는, 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하는 비다중화부와, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와, 고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하는 선택부와, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와, 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성부와, 상기 저역 신호와 상기 고역 신호를 합성하여 출력 신호를 생성하는 합성부를 구비한다.
본 발명의 제3 측면의 복호 방법은, 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하고, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고, 고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하고, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하고, 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하고, 상기 저역 신호와 상기 고역 신호를 합성하여 출력 신호를 생성하는 스텝을 포함한다.
본 발명의 제3 측면에 있어서는, 입력된 부호화 데이터가 적어도 저역 부호화 데이터와 계수 정보로 비다중화되고, 상기 저역 부호화 데이터가 복호되어 저역 신호가 생성되고, 고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블이 선택되고, 몇 개의 서브밴드의 상기 계수가 삭제되어 상기 계수 테이블이 축소되거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수가 생성됨으로써 상기 계수 테이블이 확장되고, 상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호가 생성되고, 상기 저역 신호와 상기 고역 신호가 합성되어 출력 신호가 생성된다.
본 발명의 제4 측면의 부호화 장치는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와, 고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와, 확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하는 선택부와, 선택된 상기 계수 테이블을 얻기 위한 계수 정보를 부호화하여 고역 부호화 데이터를 생성하는 고역 부호화부와, 상기 입력 신호의 저역 신호를 부호화하여, 저역 부호화 데이터를 생성하는 저역 부호화부와, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 생성하는 다중화부를 구비한다.
본 발명의 제4 측면의 부호화 방법은, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하고, 고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하고, 확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하고, 선택된 상기 계수 테이블을 얻기 위한 계수 정보를 부호화하여 고역 부호화 데이터를 생성하고, 상기 입력 신호의 저역 신호를 부호화하여 저역 부호화 데이터를 생성하고, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 생성하는 스텝을 포함한다.
본 발명의 제4 측면에 있어서는, 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호가 생성되고, 고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수가 삭제되어 상기 계수 테이블이 축소되거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수가 생성됨으로써 상기 계수 테이블이 확장되고, 확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워가 산출되고, 상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워가 비교되어, 복수의 상기 계수 테이블 중 어느 하나가 선택되고, 선택된 상기 계수 테이블을 얻기 위한 계수 정보가 부호화되어 고역 부호화 데이터가 생성되고, 상기 입력 신호의 저역 신호가 부호화되어, 저역 부호화 데이터가 생성되고, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터가 다중화되어 출력 부호열이 생성된다.
본 발명의 제1 내지 제4 측면에 의하면, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있다.
도 1은 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 도시하는 도면.
도 2는 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호의 본래의 파워 스펙트럼의 일례를 도시하는 도면.
도 3은 본 발명의 제1 실시 형태에 있어서의 주파수 대역 확대 장치의 기능적 구성예를 도시하는 블록도.
도 4는 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리의 예를 설명하는 플로우차트.
도 5는 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼과 대역 통과 필터의 주파수축 상의 배치를 도시하는 도면.
도 6은 보컬 구간의 주파수 특성과, 추정된 고역의 파워 스펙트럼의 예를 도시하는 도면.
도 7은 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼의 예를 도시하는 도면.
도 8은 도 7의 입력 신호의 리프터링 후의 파워 스펙트럼의 예를 도시하는 도면.
도 9는 도 3의 주파수 대역 확대 장치의 고역 신호 생성 회로에서 이용되는 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도.
도 10은 도 9의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 플로우차트.
도 11은 본 발명의 제2 실시 형태에 있어서의 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 12는 도 11의 부호화 장치에 의한 부호화 처리의 예를 설명하는 플로우차트.
도 13은 본 발명의 제2 실시 형태에 있어서의 복호 장치의 기능적 구성예를 도시하는 블록도.
도 14는 도 13의 복호 장치에 의한 복호 처리의 예를 설명하는 플로우차트.
도 15는 도 11의 부호화 장치의 고역 부호화 회로에서 이용되는 대표 벡터 및 도 13의 복호 장치의 고역 복호 회로에서 이용되는 복호 고역 서브밴드 파워 추정 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도.
도 16은 도 15의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 플로우차트.
도 17은 도 11의 부호화 장치가 출력하는 부호열의 예를 도시하는 도면.
도 18은 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 19는 부호화 처리를 설명하는 플로우차트.
도 20은 복호 장치의 기능적 구성예를 도시하는 블록도.
도 21은 복호 처리를 설명하는 플로우차트.
도 22는 부호화 처리를 설명하는 플로우차트.
도 23은 복호 처리를 설명하는 플로우차트.
도 24는 부호화 처리를 설명하는 플로우차트.
도 25는 부호화 처리를 설명하는 플로우차트.
도 26은 부호화 처리를 설명하는 플로우차트.
도 27은 부호화 처리를 설명하는 플로우차트.
도 28은 계수 학습 장치의 구성 예를 도시하는 도면.
도 29는 계수 학습 처리를 설명하는 플로우차트.
도 30은 계수 테이블에 대하여 설명하는 도면.
도 31은 계수 테이블의 확장에 대하여 설명하는 도면.
도 32는 계수 테이블의 축소에 대하여 설명하는 도면.
도 33은 부호화 장치의 기능적 구성예를 나타내는 블록도.
도 34는 부호화 처리를 설명하는 플로우차트.
도 35는 복호 장치의 기능적 구성예를 나타내는 블록도.
도 36은 복호 처리를 설명하는 플로우차트.
도 37은 혼합 학습에 의한 계수 테이블의 공유에 대하여 설명하는 도면.
도 38은 계수 학습 장치의 구성예를 나타내는 도면.
도 39는 계수 학습 처리를 설명하는 플로우차트.
도 40은 본 발명이 적용되는 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도.
도 2는 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호의 본래의 파워 스펙트럼의 일례를 도시하는 도면.
도 3은 본 발명의 제1 실시 형태에 있어서의 주파수 대역 확대 장치의 기능적 구성예를 도시하는 블록도.
도 4는 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리의 예를 설명하는 플로우차트.
도 5는 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼과 대역 통과 필터의 주파수축 상의 배치를 도시하는 도면.
도 6은 보컬 구간의 주파수 특성과, 추정된 고역의 파워 스펙트럼의 예를 도시하는 도면.
도 7은 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼의 예를 도시하는 도면.
도 8은 도 7의 입력 신호의 리프터링 후의 파워 스펙트럼의 예를 도시하는 도면.
도 9는 도 3의 주파수 대역 확대 장치의 고역 신호 생성 회로에서 이용되는 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도.
도 10은 도 9의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 플로우차트.
도 11은 본 발명의 제2 실시 형태에 있어서의 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 12는 도 11의 부호화 장치에 의한 부호화 처리의 예를 설명하는 플로우차트.
도 13은 본 발명의 제2 실시 형태에 있어서의 복호 장치의 기능적 구성예를 도시하는 블록도.
도 14는 도 13의 복호 장치에 의한 복호 처리의 예를 설명하는 플로우차트.
도 15는 도 11의 부호화 장치의 고역 부호화 회로에서 이용되는 대표 벡터 및 도 13의 복호 장치의 고역 복호 회로에서 이용되는 복호 고역 서브밴드 파워 추정 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도.
도 16은 도 15의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 플로우차트.
도 17은 도 11의 부호화 장치가 출력하는 부호열의 예를 도시하는 도면.
도 18은 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 19는 부호화 처리를 설명하는 플로우차트.
도 20은 복호 장치의 기능적 구성예를 도시하는 블록도.
도 21은 복호 처리를 설명하는 플로우차트.
도 22는 부호화 처리를 설명하는 플로우차트.
도 23은 복호 처리를 설명하는 플로우차트.
도 24는 부호화 처리를 설명하는 플로우차트.
도 25는 부호화 처리를 설명하는 플로우차트.
도 26은 부호화 처리를 설명하는 플로우차트.
도 27은 부호화 처리를 설명하는 플로우차트.
도 28은 계수 학습 장치의 구성 예를 도시하는 도면.
도 29는 계수 학습 처리를 설명하는 플로우차트.
도 30은 계수 테이블에 대하여 설명하는 도면.
도 31은 계수 테이블의 확장에 대하여 설명하는 도면.
도 32는 계수 테이블의 축소에 대하여 설명하는 도면.
도 33은 부호화 장치의 기능적 구성예를 나타내는 블록도.
도 34는 부호화 처리를 설명하는 플로우차트.
도 35는 복호 장치의 기능적 구성예를 나타내는 블록도.
도 36은 복호 처리를 설명하는 플로우차트.
도 37은 혼합 학습에 의한 계수 테이블의 공유에 대하여 설명하는 도면.
도 38은 계수 학습 장치의 구성예를 나타내는 도면.
도 39는 계수 학습 처리를 설명하는 플로우차트.
도 40은 본 발명이 적용되는 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도.
이하, 본 발명의 실시 형태에 대하여 도면을 참조하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(주파수 대역 확대 장치에 본 발명을 적용한 경우)
2. 제2 실시 형태(부호화 장치 및 복호 장치에 본 발명을 적용한 경우)
3. 제3 실시 형태(계수 인덱스를 고역 부호화 데이터에 포함시킨 경우)
4. 제4 실시 형태(계수 인덱스와 의사 고역 서브밴드 파워 차분을 고역 부호화 데이터에 포함시킨 경우)
5. 제5 실시 형태(평가값을 이용하여 계수 인덱스를 선택하는 경우)
6. 제6 실시 형태(계수의 일부를 공통으로 하는 경우)
7. 제7 실시 형태(계수 테이블을 확장 또는 축소하는 경우)
8. 제8 실시 형태(조건이 다른 광대역 교사 신호를 이용하여 학습하는 경우)
<1. 제1 실시 형태>
제1 실시 형태에서는, 고역 삭제 부호화 방법에서 부호화 데이터를 복호함으로써 얻어지는 복호 후의 저역의 신호 성분에 대하여, 주파수 대역을 확대시키는 처리(이하, 주파수 대역 확대 처리라 칭함)가 실시된다.
[주파수 대역 확대 장치의 기능적 구성예]
도 3은 본 발명을 적용한 주파수 대역 확대 장치의 기능적 구성예를 도시하고 있다.
주파수 대역 확대 장치(10)는, 복호 후의 저역의 신호 성분을 입력 신호로 하고, 그 입력 신호에 대하여, 주파수 대역 확대 처리를 실시하고, 그 결과 얻어지는 주파수 대역 확대 처리 후의 신호를 출력 신호로서 출력한다.
주파수 대역 확대 장치(10)는, 저역 통과 필터(11), 지연 회로(12), 대역 통과 필터(13), 특징량 산출 회로(14), 고역 서브밴드 파워 추정 회로(15), 고역 신호 생성 회로(16), 고역 통과 필터(17) 및 신호 가산기(18)로 구성된다.
저역 통과 필터(11)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서, 저역의 신호 성분인 저역 신호 성분을 지연 회로(12)에 공급한다.
지연 회로(12)는, 저역 통과 필터(11)로부터의 저역 신호 성분과 후술하는 고역 신호 성분을 가산할 때의 동기를 취하기 위해서, 저역 신호 성분을, 일정한 지연 시간만큼 지연해서 신호 가산기(18)에 공급한다.
대역 통과 필터(13)는, 각각 서로 다른 통과 대역을 갖는 대역 통과 필터(13-1 ~ 13-N)로 구성된다. 대역 통과 필터(13-i)(1≤i≤N)는, 입력 신호 중 소정의 통과 대역의 신호를 통과시켜, 복수의 서브밴드 신호 중 하나로서, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다.
특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와 입력 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다. 여기서, 특징량이란, 입력 신호의, 신호로서의 특징을 나타내는 정보이다.
고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의, 하나 또는 복수의 특징량에 기초하여, 고역의 서브밴드 신호의 파워인 고역 서브밴드 파워의 추정값을 고역 서브밴드마다 산출하고, 이들을 고역 신호 생성 회로(16)에 공급한다.
고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와, 고역 서브밴드 파워 추정 회로(15)로부터의 복수의 고역 서브밴드 파워의 추정값에 기초하여, 고역의 신호 성분인 고역 신호 성분을 생성하고, 고역 통과 필터(17)에 공급한다.
고역 통과 필터(17)는, 고역 신호 생성 회로(16)로부터의 고역 신호 성분을, 저역 통과 필터(11)에 있어서의 차단 주파수에 대응하는 차단 주파수로 필터링하고, 신호 가산기(18)에 공급한다.
신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하고, 출력 신호로서 출력한다.
또한, 도 3의 구성에 있어서는, 서브밴드 신호를 취득하기 위해서 대역 통과 필터(13)를 적용하도록 했지만, 이에 한정하지 않고, 예를 들면 특허 문헌 1에 기재되어 있는 것과 같은 대역 분할 필터를 적용하도록 해도 된다.
또한 마찬가지로, 도 3의 구성에 있어서는, 서브밴드 신호를 합성하기 위해서 신호 가산기(18)를 적용하도록 했지만, 이에 한정하지 않고, 예를 들면 특허 문헌 1에 기재되어 있는 것과 같은 대역 합성 필터를 적용하도록 해도 된다.
[주파수 대역 확대 장치의 주파수 대역 확대 처리]
다음으로, 도 4의 플로우차트를 참조하여, 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리에 대해서 설명한다.
스텝 S1에 있어서, 저역 통과 필터(11)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서의 저역 신호 성분을 지연 회로(12)에 공급한다.
저역 통과 필터(11)는, 차단 주파수로서 임의의 주파수를 설정하는 것이 가능하지만, 본 실시 형태에서는, 소정의 대역을 후술하는 확대 개시 대역으로서, 그 확대 개시 대역의 하단의 주파수에 대응해서 차단 주파수가 설정된다. 따라서, 저역 통과 필터(11)는, 필터링 후의 신호로서, 확대 개시 대역보다 저역의 신호 성분인 저역 신호 성분을, 지연 회로(12)에 공급한다.
또한, 저역 통과 필터(11)는, 입력 신호의 고역 삭제 부호화 방법이나 비트 레이트 등의 부호화 파라미터에 따라서, 최적의 주파수를 차단 주파수로서 설정할 수도 있다. 이 부호화 파라미터로서는, 예를 들면 특허 문헌 1의 대역 확대 방법으로 채용되고 있는 사이드 정보를 이용할 수 있다.
스텝 S2에 있어서, 지연 회로(12)는, 저역 통과 필터(11)로부터의 저역 신호 성분을 일정한 지연 시간만큼 지연해서 신호 가산기(18)에 공급한다.
스텝 S3에 있어서, 대역 통과 필터(13)(대역 통과 필터(13-1 ~ 13-N))는, 입력 신호를 복수의 서브밴드 신호로 분할하고, 분할 후의 복수의 서브밴드 신호 각각을, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다. 또한, 대역 통과 필터(13)에 의한 입력 신호의 분할의 처리에 대해서는, 그 상세를 후술한다.
스텝 S4에 있어서, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와 입력 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다. 또한, 특징량 산출 회로(14)에 의한 특징량의 산출의 처리에 대해서는, 그 상세를 후술한다.
스텝 S5에 있어서, 고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의, 하나 또는 복수의 특징량에 기초하여, 복수의 고역 서브밴드 파워의 추정값을 산출하고, 고역 신호 생성 회로(16)에 공급한다. 또한, 고역 서브밴드 파워 추정 회로(15)에 의한 고역 서브밴드 파워의 추정값의 산출의 처리에 대해서는, 그 상세를 후술한다.
스텝 S6에 있어서, 고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와, 고역 서브밴드 파워 추정 회로(15)로부터의 복수의 고역 서브밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성하고, 고역 통과 필터(17)에 공급한다. 여기에서 말하는 고역 신호 성분이란, 확대 개시 대역보다 고역의 신호 성분이다. 또한, 고역 신호 생성 회로(16)에 의한 고역 신호 성분의 생성의 처리에 대해서는, 그 상세를 후술한다.
스텝 S7에 있어서, 고역 통과 필터(17)는, 고역 신호 생성 회로(16)로부터의 고역 신호 성분을 필터링함으로써, 고역 신호 성분에 포함되는 저역으로의 폴딩 성분 등의 노이즈를 제거하고, 그 고역 신호 성분을 신호 가산기(18)에 공급한다.
스텝 S8에 있어서, 신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하고, 출력 신호로서 출력한다.
이상의 처리에 따르면, 복호 후의 저역의 신호 성분에 대하여, 주파수 대역을 확대시킬 수 있다.
다음으로, 도 4의 플로우차트의 스텝 S3 내지 S6의 각각의 처리의 상세에 대해서 설명한다.
[대역 통과 필터에 의한 처리의 상세]
우선, 도 4의 플로우차트의 스텝 S3에 있어서의 대역 통과 필터(13)에 의한 처리의 상세에 대해서 설명한다.
또한, 설명의 편의를 위해, 이하에 있어서는, 대역 통과 필터(13)의 개수 N을 N=4로 한다.
예를 들면, 입력 신호의 나이키스트 주파수를 16등분으로 분할함으로써 얻어지는 16개의 서브밴드 중 하나를 확대 개시 대역으로 하고, 그들 16개의 서브밴드 중 확대 개시 대역보다 저역의 4개의 서브밴드 각각을, 대역 통과 필터(13-1 ~ 13-4)의 통과 대역의 각각으로 한다.
도 5는, 대역 통과 필터(13-1 ~ 13-4)의 각 통과 대역 각각의 주파수축 상에 있어서의 배치를 나타내고 있다.
도 5에 도시된 바와 같이, 확대 개시 대역보다 저역의 주파수 대역(서브밴드) 중 고역으로부터 1번째의 서브밴드의 인덱스를 sb, 2번째의 서브밴드의 인덱스를 sb-1, I번째의 서브밴드의 인덱스를 sb-(I-1)로 하면, 대역 통과 필터(13-1 ~ 13-4) 각각은, 확대 개시 대역보다 저역의 서브밴드 중, 인덱스가 sb ~ sb-3의 서브밴드 각각을, 통과 대역으로서 할당한다.
또한, 본 실시 형태에서는, 대역 통과 필터(13-1 ~ 13-4)의 통과 대역 각각은, 입력 신호의 나이키스트 주파수를 16등분함으로써 얻어지는 16개의 서브밴드 중 소정의 4개의 각각인 것으로 했지만, 이에 한정하지 않고, 입력 신호의 나이키스트 주파수를 256등분함으로써 얻어지는 256개의 서브밴드 중 소정의 4개의 각각이도록 해도 된다. 또한, 대역 통과 필터(13-1 ~ 13-4)의 각각의 대역폭은, 각각 서로 달라도 된다.
[특징량 산출 회로에 의한 처리의 상세]
다음으로, 도 4의 플로우차트의 스텝 S4에 있어서의 특징량 산출 회로(14)에 의한 처리의 상세에 대해서 설명한다.
특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호와 입력 신호 중 적어도 어느 한쪽을 이용하여, 고역 서브밴드 파워 추정 회로(15)가 고역 서브밴드 파워의 추정값을 산출하기 위해서 이용하는, 하나 또는 복수의 특징량을 산출한다.
보다 구체적으로는, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브밴드 신호로부터, 서브밴드마다, 서브밴드 신호의 파워(서브밴드 파워; 이하, 저역 서브밴드 파워라고도 함)를 특징량으로서 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다.
즉, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터 공급된, 4개의 서브밴드 신호 x(ib, n)으로부터, 어느 소정의 시간 프레임 J에 있어서의 저역 서브밴드 파워 power(ib, J)를, 이하의 수학식 1에 의해 구한다. 여기서, ib는, 서브밴드의 인덱스, n은 이산 시간의 인덱스를 나타내고 있다. 또한, 1프레임의 샘플수를 FSIZE로 하고, 파워는 데시벨로 표현되는 것으로 한다.
이와 같이 하여, 특징량 산출 회로(14)에 의해 구해진 저역 서브밴드 파워 power(ib, J)는, 특징량으로서 고역 서브밴드 파워 추정 회로(15)에 공급된다.
[고역 서브밴드 파워 추정 회로에 의한 처리의 상세]
다음으로, 도 4의 플로우차트의 스텝 S5에 있어서의 고역 서브밴드 파워 추정 회로(15)에 의한 처리의 상세에 대해서 설명한다.
고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터 공급된 4개의 서브밴드 파워에 기초하여, 인덱스가 sb+1인 서브밴드(확대 개시 대역) 이후의, 확대하려고 하는 대역(주파수 확대 대역)의 서브밴드 파워(고역 서브밴드 파워)의 추정값을 산출한다.
즉, 고역 서브밴드 파워 추정 회로(15)는, 주파수 확대 대역의 최고역의 서브밴드의 인덱스를 eb로 하면, 인덱스가 sb+1 ~ eb인 서브밴드에 대해서, (eb-sb)개의 서브밴드 파워를 추정한다.
주파수 확대 대역에 있어서의, 인덱스가 ib인 서브밴드 파워의 추정값 powerest(ib, J)는, 특징량 산출 회로(14)로부터 공급된 4개의 서브밴드 파워 power(ib, j)를 이용하여, 예를 들면 이하의 수학식 2에 의해 나타내진다.
여기서, 수학식 2에 있어서, 계수 Aib(kb), Bib는, 서브밴드 ib마다 서로 다른 값을 갖는 계수이다. 계수 Aib(kb), Bib는 다양한 입력 신호에 대하여 적절한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브밴드 sb의 변경에 따라, 계수 Aib(kb), Bib도 최적의 값으로 변경된다. 또한, 계수 Aib(kb), Bib의 도출에 대해서는 후술한다.
수학식 2에 있어서, 고역 서브밴드 파워의 추정값은, 대역 통과 필터(13)로부터의 복수의 서브밴드 신호 각각의 파워를 이용한 1차 선형 결합에 의해 산출되고 있지만, 이에 한정하지 않고, 예를 들면 시간 프레임 J의 전후 수 프레임의 복수의 저역 서브밴드 파워의 선형 결합을 이용해서 산출되도록 해도 되고, 비선형의 함수를 이용해서 산출되도록 해도 된다.
이와 같이 하여, 고역 서브밴드 파워 추정 회로(15)에 의해 산출된 고역 서브밴드 파워의 추정값은, 고역 신호 생성 회로(16)에 공급된다.
[고역 신호 생성 회로에 의한 처리의 상세]
다음으로, 도 4의 플로우차트의 스텝 S6에 있어서의 고역 신호 생성 회로(16)에 의한 처리의 상세에 대해서 설명한다.
고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터 공급된 복수의 서브밴드 신호로부터, 상술한 수학식 1에 기초하여, 각각의 서브밴드의 저역 서브밴드 파워 power(ib, J)를 산출한다. 고역 신호 생성 회로(16)는, 산출한 복수의 저역 서브밴드 파워 power(ib, J)와, 고역 서브밴드 파워 추정 회로(15)에 의해 상술한 수학식 2에 기초하여 산출된 고역 서브밴드 파워의 추정값 powerest(ib, J)를 이용하여, 이하의 수학식 3에 의해, 이득량 G(ib, J)를 구한다.
여기서, 수학식 3에 있어서, sbmap(ib)는, 서브밴드 ib를 사상처의 서브밴드로 한 경우의 사상원의 서브밴드의 인덱스를 나타내고 있으며, 이하의 수학식 4로 나타내진다.
또한, 수학식 4에 있어서, INT(a)는, 값 a의 소수점 이하를 잘라 버리는 함수이다.
다음으로, 고역 신호 생성 회로(16)는, 이하의 수학식 5를 이용하여, 수학식 3에 의해 구한 이득량 G(ib, J)를 대역 통과 필터(13)의 출력에 곱함으로써, 이득 조정 후의 서브밴드 신호 x2(ib, n)를 산출한다.
또한, 고역 신호 생성 회로(16)는, 이하의 수학식 6에 의해, 인덱스가 sb-3인 서브밴드의 하단의 주파수에 대응하는 주파수로부터, 인덱스가 sb인 서브밴드의 상단의 주파수에 대응하는 주파수로 코사인 변조를 행함으로써, 이득 조정 후의 서브밴드 신호 x2(ib, n)로부터, 코사인 변환된 이득 조정 후의 서브밴드 신호 x3(ib, n)를 산출한다.
또한, 수학식 6에 있어서, Π는 원주율을 나타낸다. 이 수학식 6은, 이득 조정 후의 서브밴드 신호 x2(ib, n)이, 각각 4밴드분 고역측의 주파수로 시프트되는 것을 의미하고 있다.
그리고, 고역 신호 생성 회로(16)는, 이하의 수학식 7에 의해, 고역측으로 시프트한 이득 조정 후의 서브밴드 신호 x3(ib, n)으로부터, 고역 신호 성분 xhigh(n)을 산출한다.
이와 같이 하여, 고역 신호 생성 회로(16)에 의해, 대역 통과 필터(13)로부터의 4개의 서브밴드 신호에 기초하여 산출한 4개의 저역 서브밴드 파워 및 고역 서브밴드 파워 추정 회로(15)로부터의 고역 서브밴드 파워의 추정값에 기초하여, 고역 신호 성분이 생성되고, 고역 통과 필터(17)에 공급된다.
이상의 처리에 따르면, 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후에 얻어진 입력 신호에 대하여, 복수의 서브밴드 신호로부터 산출된 저역 서브밴드 파워를 특징량으로 하고, 이것과 적절하게 설정된 계수에 기초하여, 고역 서브밴드 파워의 추정값이 산출되고, 저역 서브밴드 파워와 고역 서브밴드 파워의 추정값으로부터 적응적으로 고역 신호 성분이 생성되므로, 주파수 확대 대역의 서브밴드 파워를 고정밀도로 추정할 수 있어, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
이상에 있어서는, 특징량 산출 회로(14)가, 복수의 서브밴드 신호로부터 산출된 저역 서브밴드 파워만을 특징량으로서 산출하는 예에 대해서 설명했지만, 이 경우, 입력 신호의 종류에 따라서는, 주파수 확대 대역의 서브밴드 파워를 고정밀도로 추정할 수 없는 경우가 있다.
따라서, 특징량 산출 회로(14)가, 주파수 확대 대역의 서브밴드 파워가 나오는 모습(고역의 파워 스펙트럼의 형상)과 상관이 강한 특징량을 산출하도록 함으로써, 고역 서브밴드 파워 추정 회로(15)에 있어서의 주파수 확대 대역의 서브밴드 파워의 추정을, 보다 고정밀도로 행할 수도 있다.
[특징량 산출 회로에 의해 산출되는 특징량의 다른 예]
도 6은 어느 입력 신호에 있어서, 보컬이 그 대부분을 차지하는 것과 같은 구간인 보컬 구간의 주파수 특성의 일례와, 저역 서브밴드 파워만을 특징량으로서 산출하여 고역 서브밴드 파워를 추정함으로써 얻어진 고역의 파워 스펙트럼을 도시하고 있다.
도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에 있어서는, 추정된 고역의 파워 스펙트럼이, 원신호의 고역의 파워 스펙트럼보다도 위에 위치하는 경우가 많다. 사람의 노래 소리의 위화감은 사람의 귀에 지각되기 쉽기 때문에, 보컬 구간에서는 고역 서브밴드 파워의 추정을 특히 정밀도 좋게 행할 필요가 있다.
또한, 도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에 있어서는, 4.9㎑ ~ 11.025㎑ 사이에 1개의 큰 오목부가 있는 경우가 많다.
따라서, 이하에서는, 보컬 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로서, 주파수 영역에서의 4.9㎑ ~ 11.025㎑에 있어서의 오목부의 정도를 적용하는 예에 대해서 설명한다. 또한, 이 오목부의 정도를 나타내는 특징량을, 이하 디프라 칭한다.
이하, 시간 프레임 J에 있어서의 디프 dip(J)의 산출예에 대해서 설명한다.
우선, 입력 신호 중, 시간 프레임 J를 포함하는 전후 수 프레임의 범위에 포함되는 2048샘플 구간의 신호에 대하여, 2048점 FFT(Fast Fourier Transform)를 실시하여, 주파수축 상에서의 계수를 산출한다. 산출된 각 계수의 절대값에 db 변환을 실시함으로써 파워 스펙트럼을 얻는다.
도 7은, 상술한 바와 같이 해서 얻어진 파워 스펙트럼의 일례를 도시하고 있다. 여기서, 파워 스펙트럼의 미세한 성분을 제거하기 위해서, 예를 들면 1.3㎑이하의 성분을 제거하도록 리프터링 처리를 행한다. 리프터링 처리에 의하면, 파워 스펙트럼의 각 차원을 시간계열이라고 보고, 저역 통과 필터를 거치게 하여 필터링 처리를 행함으로써, 스펙트럼 피크의 미세한 성분을 평활화할 수 있다.
도 8은 리프터링 후의 입력 신호의 파워 스펙트럼의 일례를 도시하고 있다. 도 8에 도시되는 리프터링 후의 파워 스펙트럼에 있어서, 4.9㎑ ~ 11.025㎑에 상당하는 범위에 포함되는 파워 스펙트럼의 최소값과 최대값의 차를 디프 dip(J)라 한다.
이와 같이 하여, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량이 산출된다. 또한, 디프 dip(J)의 산출예는, 상술한 방법에 한정하지 않고, 다른 방법이어도 된다.
다음으로, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량의 산출의 다른 예에 대해서 설명한다.
[특징량 산출 회로에 의해 산출되는 특징량의 또 다른 예]
어느 입력 신호에, 어택성 음악 신호를 포함하는 구간인 어택 구간의 주파수 특성에 있어서는, 도 2를 참조해서 설명한 바와 같이 고역측의 파워 스펙트럼은 거의 평탄해져 있는 경우가 많다. 저역 서브밴드 파워만을 특징량으로서 산출하는 방법에서는, 어택 구간을 포함하는 입력 신호 특유의 시간 변동을 나타내는 특징량을 이용하지 않고 주파수 확대 대역의 서브밴드 파워를 추정하기 때문에, 어택 구간에 보여지는 거의 평탄한 주파수 확대 대역의 서브밴드 파워를 정밀도 좋게 추정하는 것은 어렵다.
따라서, 이하에서는, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로서, 저역 서브밴드 파워의 시간 변동을 적용하는 예에 대해서 설명한다.
어느 시간 프레임 J에 있어서의 저역 서브밴드 파워의 시간 변동 powerd(J)는, 예를 들면 이하의 수학식 8에 의해 구해진다.
수학식 8에 따르면, 저역 서브밴드 파워의 시간 변동 powerd(J)는, 시간 프레임 J에 있어서의 4개의 저역 서브밴드 파워의 합과, 시간 프레임 J의 1프레임 전의 시간 프레임(J-1)에 있어서의 4개의 저역 서브밴드 파워의 합의 비를 나타내고 있으며, 이 값이 클수록, 프레임 간의 파워의 시간 변동이 크며, 즉 시간 프레임 J에 포함되는 신호는 어택성이 강하다고 생각된다.
또한, 도 1에서 도시된 통계적으로 평균적인 파워 스펙트럼과, 도 2에서 도시된 어택 구간(어택성 음악 신호)의 파워 스펙트럼을 비교하면, 어택 구간의 파워 스펙트럼은 중역에서는 우상향으로 되어 있다. 어택 구간에서는, 이러한 주파수 특성을 나타내는 경우가 많다.
따라서, 이하에서는, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로서, 그 중역에 있어서의 경사를 적용하는 예에 대해서 설명한다.
어느 시간 프레임 J에 있어서의 중역의 경사 slope(J)는, 예를 들면 이하의 수학식 9에 의해 구해진다.
수학식 9에 있어서, 계수 w(ib)는, 고역 서브밴드 파워에 가중치 부여하도록 조정된 가중 계수이다. 수학식 9에 따르면, slope(J)는, 고역에 가중치 부여된 4개의 저역 서브밴드 파워의 합과, 4개의 저역 서브밴드 파워의 합의 비를 나타내고 있다. 예를 들면, 4개의 저역 서브밴드 파워가 중역의 서브밴드에 대한 파워로 되어 있는 경우, slope(J)는 중역의 파워 스펙트럼이 우상향일 때는 큰 값을, 우하향일 때는 작은 값을 취한다.
또한, 어택 구간의 전후에 중역의 경사는 크게 변동하는 경우가 많으므로, 이하의 수학식 10에서 나타내지는 경사의 시간 변동 sloped(J)를, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로 하도록 해도 된다.
또한 마찬가지로, 이하의 수학식 11로 나타내지는, 상술한 디프 dip(J)의 시간 변동 dipd(J)를, 어택 구간의 고역 서브밴드 파워의 추정에 이용되는 특징량으로 하도록 해도 된다.
이상의 방법에 따르면, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량이 산출되므로, 이들을 이용함으로써, 고역 서브밴드 파워 추정 회로(15)에 있어서의 주파수 확대 대역의 서브밴드 파워의 추정을, 보다 고정밀도로 행할 수 있게 된다.
이상에 있어서는, 주파수 확대 대역의 서브밴드 파워와 상관이 강한 특징량을 산출하는 예에 대해서 설명해 왔지만, 이하에서는, 이와 같이 해서 산출된 특징량을 이용해서 고역 서브밴드 파워를 추정하는 예에 대해서 설명한다.
[고역 서브밴드 파워 추정 회로에 의한 처리의 상세]
여기에서는, 도 8을 참조하여 설명한 디프와, 저역 서브밴드 파워를 특징량으로서 이용하여, 고역 서브밴드 파워를 추정하는 예에 대해서 설명한다.
즉, 도 4의 플로우차트의 스텝 S4에 있어서, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브밴드 신호로부터, 서브밴드마다, 저역 서브밴드 파워와, 디프를 특징량으로서 산출하고, 고역 서브밴드 파워 추정 회로(15)에 공급한다.
그리고, 스텝 S5에 있어서, 고역 서브밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의 4개의 저역 서브밴드 파워 및 디프에 기초하여, 고역 서브밴드 파워의 추정값을 산출한다.
여기서, 서브밴드 파워와 디프에서는, 취할 수 있는 값의 범위(스케일)가 서로 다르기 때문에, 고역 서브밴드 파워 추정 회로(15)는, 디프의 값에 대하여, 예를 들면 이하와 같은 변환을 행한다.
고역 서브밴드 파워 추정 회로(15)는, 미리 대량의 수의 입력 신호에 대해서, 4개의 저역 서브밴드 파워 중 최고역의 서브밴드 파워와, 디프의 값을 산출하고, 각각에 대해서 평균값과 표준 편차를 구해 둔다. 여기서, 서브밴드 파워의 평균값을 powerave, 서브밴드 파워의 표준 편차를 powerstd, 디프의 평균값을 dipave, 디프의 표준 편차를 dipstd라 한다.
고역 서브밴드 파워 추정 회로(15)는, 이들 값을 이용해서 디프의 값 dip(J)를, 이하의 수학식 12와 같이 변환하고, 변환 후의 디프 dips(J)를 얻는다.
수학식 12로 나타내지는 변환을 행함으로써, 고역 서브밴드 파워 추정 회로(15)는, 디프의 값 dip(J)를, 통계적으로 저역 서브밴드 파워의 평균과 분산에 동등한 변수(디프) dips(J)로 변환할 수 있으며, 디프가 취할 수 있는 값의 범위를, 서브밴드 파워의 취할 수 있는 값의 범위와 거의 동일하게 하는 것이 가능해진다.
주파수 확대 대역에 있어서의, 인덱스가 ib인 서브밴드 파워의 추정값 powerest(ib, J)는, 특징량 산출 회로(14)로부터의 4개의 저역 서브밴드 파워 power(ib, J)와, 수학식 12로 나타내진 디프 dips(J)의 선형 결합을 이용하여, 예를 들면 이하의 수학식 13에 의해 나타내진다.
여기서, 수학식 13에 있어서, 계수 Cib(kb), Dib, Eib는, 서브밴드 ib마다 서로 다른 값을 갖는 계수이다. 계수 Cib(kb), Dib, Eib는, 다양한 입력 신호에 대하여 적절한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브밴드 sb의 변경에 따라, 계수 Cib(kb), Dib, Eib도 최적의 값으로 변경된다. 또한, 계수 Cib(kb), Dib, Eib의 도출에 대해서는 후술한다.
수학식 13에 있어서, 고역 서브밴드 파워의 추정값은, 1차 선형 결합에 의해 산출되고 있지만, 이에 한정하지 않고, 예를 들면 시간 프레임 J의 전후 수 프레임의 복수의 특징량의 선형 결합을 이용해서 산출되도록 해도 되고, 비선형의 함수를 이용해서 산출되도록 해도 된다.
이상의 처리에 따르면, 고역 서브밴드 파워의 추정에, 보컬 구간 특유의 디프의 값을 특징량으로서 이용함으로써, 저역 서브밴드 파워만을 특징량으로 하는 경우에 비해, 보컬 구간에서의 고역 서브밴드 파워의 추정 정밀도가 향상하고, 저역 서브밴드 파워만을 특징량으로 하는 방법으로, 고역의 파워 스펙트럼이 원신호의 고역 파워 스펙트럼보다도 크게 추정됨으로써 생기는, 사람의 귀에 지각되기 쉬운 위화감이 저감되므로, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
그런데, 상술에서 설명한 방법에 있어서 특징량으로서 산출된 디프(보컬 구간의 주파수 특성에 있어서의 오목부의 정도)에 대해서, 서브밴드의 분할수가 16인 경우, 주파수 분해능이 낮기 때문에, 저역 서브밴드 파워만으로, 이 오목부의 정도를 표현할 수는 없다.
따라서, 서브밴드의 분할수를 늘리고(예를 들면 16배인 256분할), 대역 통과 필터(13)에 의한 대역 분할수를 늘리고(예를 들면 16배인 64개), 특징량 산출 회로(14)에 의해 산출되는 저역 서브밴드 파워의 수를 늘림으로써(예를 들면 16배인 64개), 주파수 분해능을 높이고, 저역 서브밴드 파워만으로 오목부의 정도를 표현하는 것이 가능해진다.
이에 의해, 저역 서브밴드 파워만으로, 상술한 디프를 특징량으로서 이용한 고역 서브밴드 파워의 추정과 거의 동등한 정밀도로, 고역 서브밴드 파워를 추정하는 것이 가능하다고 생각된다.
그러나, 서브밴드의 분할수, 대역 분할수 및 저역 서브밴드 파워의 수를 늘림으로써 계산량은 증가한다. 어느 방법이든 동등한 정밀도로 고역 서브밴드 파워를 추정할 수 있는 것을 생각하면, 서브밴드의 분할수는 늘리지 않고, 디프를 특징량으로서 이용하여 고역 서브밴드 파워를 추정하는 방법 쪽이, 계산량의 면에서 효율적이라고 생각된다.
이상에 있어서는, 디프와, 저역 서브밴드 파워를 이용해서 고역 서브밴드 파워를 추정하는 방법에 대해서 설명해 왔지만, 고역 서브밴드 파워의 추정에 이용하는 특징량으로서는, 이 조합에 한정하지 않고, 상술에서 설명한 특징량(저역 서브밴드 파워, 디프, 저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동) 중 하나 또는 복수를 이용하도록 해도 된다. 이에 의해, 고역 서브밴드 파워의 추정에 있어서, 더욱 정밀도를 향상시킬 수 있다.
또한, 상술에서 설명한 바와 같이, 입력 신호에 있어서, 고역 서브밴드 파워의 추정이 곤란한 구간에 특유한 파라미터를, 고역 서브밴드 파워의 추정에 이용하는 특징량으로서 이용함으로써, 그 구간의 추정 정밀도를 향상시킬 수 있다. 예를 들면, 저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동은, 어택 구간에 특유한 파라미터이며, 이들 파라미터를 특징량으로서 이용함으로써, 어택 구간에서의 고역 서브밴드 파워의 추정 정밀도를 향상시킬 수 있다.
또한, 저역 서브밴드 파워와 디프 이외의 특징량, 즉 저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동을 이용해서 고역 서브밴드 파워의 추정을 행하는 경우에 대해서도, 상술에서 설명한 방법과 동일한 방법으로 고역 서브밴드 파워를 추정할 수 있다.
또한, 여기서 나타낸 특징량의 각각의 산출 방법은, 상술에서 설명한 방법에 한정하지 않고, 다른 방법을 이용하도록 해도 된다.
[계수 Cib(kb), Dib, Eib를 구하는 방법]
다음으로, 상술한 수학식 13에 있어서의 계수 Cib(kb), Dib, Eib를 구하는 방법에 대해서 설명한다.
계수 Cib(kb), Dib, Eib를 구하는 방법으로서, 계수 Cib(kb), Dib, Eib가, 주파수 확대 대역의 서브밴드 파워를 추정함에 있어서 여러가지 입력 신호에 대하여 적절한 값이도록 하기 위해서, 미리 광대역의 교사 신호(이하, 광대역 교사 신호라 칭함)에 의해 학습을 행하고, 그 학습 결과에 기초하여 결정하는 방법을 적용한다.
계수 Cib(kb), Dib, Eib의 학습을 행할 때는, 확대 개시 대역보다도 고역에, 도 5를 참조하여 설명한 대역 통과 필터(13-1 ~ 13-4)와 동일한 통과 대역폭을 갖는 대역 통과 필터를 배치한 계수 학습 장치를 적용한다. 계수 학습 장치는, 광대역 교사 신호가 입력되면 학습을 행한다.
[계수 학습 장치의 기능적 구성예]
도 9는 계수 Cib(kb), Dib, Eib의 학습을 행하는 계수 학습 장치의 기능적 구성예를 도시하고 있다.
도 9의 계수 학습 장치(20)에 입력되는 광대역 교사 신호의, 확대 개시 대역보다도 저역의 신호 성분은, 도 3의 주파수 대역 확대 장치(10)에 입력되는 대역 제한된 입력 신호가, 부호화 시에 실시된 부호화 방식과 동일한 방식으로 부호화된 신호이면 적절하다.
계수 학습 장치(20)는, 대역 통과 필터(21), 고역 서브밴드 파워 산출 회로(22), 특징량 산출 회로(23) 및 계수 추정 회로(24)로 구성되어 있다.
대역 통과 필터(21)는, 각각 서로 다른 통과 대역을 갖는 대역 통과 필터(21-1 ~ 21-(K+N))로 구성된다. 대역 통과 필터(21-i(1≤i≤K+N))는, 입력 신호 중 소정의 통과 대역의 신호를 통과시켜, 복수의 서브밴드 신호 중 하나로서, 고역 서브밴드 파워 산출 회로(22) 또는 특징량 산출 회로(23)에 공급한다. 또한, 대역 통과 필터(21-1 ~ 21-(K+N)) 중 대역 통과 필터(21-1 ~ 21-K)는, 확대 개시 대역보다 고역의 신호를 통과시킨다.
고역 서브밴드 파워 산출 회로(22)는, 대역 통과 필터(21)로부터의 고역의 복수의 서브밴드 신호에 대하여, 어느 일정한 시간 프레임마다, 서브밴드마다의 고역 서브밴드 파워를 산출하고, 계수 추정 회로(24)에 공급한다.
특징량 산출 회로(23)는, 고역 서브밴드 파워 산출 회로(22)에 의해 고역 서브밴드 파워가 산출되는 일정한 시간 프레임과 동일한 시간 프레임마다, 도 3의 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 의해 산출되는 특징량과 동일한 특징량을 산출한다. 즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)로부터의 복수의 서브밴드 신호와 광대역 교사 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 계수 추정 회로(24)에 공급한다.
계수 추정 회로(24)는, 일정한 시간 프레임마다의, 고역 서브밴드 파워 산출 회로(22)로부터의 고역 서브밴드 파워와, 특징량 산출 회로(23)로부터의 특징량에 기초하여, 도 3의 주파수 대역 확대 장치(10)의 고역 서브밴드 파워 추정 회로(15)에서 이용되는 계수(계수 데이터)를 추정한다.
[계수 학습 장치의 계수 학습 처리]
다음으로, 도 10의 플로우차트를 참조하여, 도 9의 계수 학습 장치에 의한 계수 학습 처리에 대해서 설명한다.
스텝 S11에 있어서, 대역 통과 필터(21)는, 입력 신호(광대역 교사 신호)를 (K+N)개의 서브밴드 신호로 분할한다. 대역 통과 필터(21-1 ~ 21-K)는, 확대 개시 대역보다도 고역의 복수의 서브밴드 신호를, 고역 서브밴드 파워 산출 회로(22)에 공급한다. 또한, 대역 통과 필터(21-(K+1) ~ 21-(K+N))는, 확대 개시 대역보다도 저역의 복수의 서브밴드 신호를, 특징량 산출 회로(23)에 공급한다.
스텝 S12에 있어서, 고역 서브밴드 파워 산출 회로(22)는, 대역 통과 필터(21)(대역 통과 필터(21-1 ~ 21-K))로부터의 고역의 복수의 서브밴드 신호에 대하여, 어느 일정한 시간 프레임마다, 서브밴드마다의 고역 서브밴드 파워 power(ib, J)를 산출한다. 고역 서브밴드 파워 power(ib, J)는, 상술한 수학식 1에 의해 구해진다. 고역 서브밴드 파워 산출 회로(22)는, 산출한 고역 서브밴드 파워를, 계수 추정 회로(24)에 공급한다.
스텝 S13에 있어서, 특징량 산출 회로(23)는, 고역 서브밴드 파워 산출 회로(22)에 의해 고역 서브밴드 파워가 산출되는 일정한 시간 프레임과 동일한 시간 프레임마다, 특징량을 산출한다.
또한, 이하에서는, 도 3의 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 있어서, 저역의 4개의 서브밴드 파워와 디프가 특징량으로서 산출되는 것을 상정하고, 계수 학습 장치(20)의 특징량 산출 회로(23)에 있어서도 마찬가지로, 저역의 4개의 서브밴드 파워와 디프가 산출되는 것으로서 설명한다.
즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)(대역 통과 필터(21-(K+1) ~ 21-(K+4)))로부터의, 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 입력되는 4개의 서브밴드 신호와 각각 동일한 대역의 4개의 서브밴드 신호를 이용하여, 4개의 저역 서브밴드 파워를 산출한다. 또한, 특징량 산출 회로(23)는, 광대역 교사 신호로부터 디프를 산출하고, 상술한 수학식 12에 기초하여 디프 dips(J)를 산출한다. 특징량 산출 회로(23)는, 산출한 4개의 저역 서브밴드 파워와 디프 dips(J)를, 특징량으로서 계수 추정 회로(24)에 공급한다.
스텝 S14에 있어서, 계수 추정 회로(24)는, 고역 서브밴드 파워 산출 회로(22)와 특징량 산출 회로(23)로부터 동일한 시간 프레임에 공급된 (eb-sb)개의 고역 서브밴드 파워와 특징량(4개의 저역 서브밴드 파워 및 디프 dips(J))과의 다수의 조합에 기초하여, 계수 Cib(kb), Dib, Eib의 추정을 행한다. 예를 들면, 계수 추정 회로(24)는, 어느 고역의 서브밴드의 1개에 대해서, 5개의 특징량(4개의 저역 서브밴드 파워 및 디프 dips(J))을 설명 변수로 하고, 고역 서브밴드 파워의power(ib, J)를 피설명 변수로 하여, 최소 제곱법을 이용한 회귀 분석을 행함으로써, 수학식 13에 있어서의 계수 Cib(kb), Dib, Eib를 결정한다.
또한, 당연히, 계수 Cib(kb), Dib, Eib의 추정 방법은, 상술한 방법에 한정하지 않고, 일반적인 각종 파라미터 동정법을 적용해도 된다.
이상의 처리에 따르면, 미리 광대역 교사 신호를 이용하여, 고역 서브밴드 파워의 추정에 이용되는 계수의 학습을 행하도록 했으므로, 주파수 대역 확대 장치(10)에 입력되는 다양한 입력 신호에 대하여 적절한 출력 결과를 얻는 것이 가능해지고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
또한, 상술한 수학식 2에 있어서의 계수 Aib(kb), Bib도, 상술한 계수 학습 방법에 의해 구하는 것이 가능하다.
이상에 있어서는, 주파수 대역 확대 장치(10)의 고역 서브밴드 파워 추정 회로(15)에 있어서, 고역 서브밴드 파워의 추정값 각각은, 4개의 저역 서브밴드 파워와 디프의 선형 결합에 의해 산출되는 것을 전제로 한 계수 학습 처리에 대해서 설명해 왔다.
그러나, 고역 서브밴드 파워 추정 회로(15)에 있어서의 고역 서브밴드 파워의 추정의 방법은, 상술한 예에 한정하지 않고, 예를 들면 특징량 산출 회로(14)가, 디프 이외의 특징량(저역 서브밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 디프의 시간 변동) 중 하나 또는 복수를 산출함으로써, 고역 서브밴드 파워를 산출해도 되고, 시간 프레임 J의 전후 복수 프레임의 복수의 특징량의 선형 결합을 이용하거나, 비선형의 함수를 이용하도록 해도 된다. 즉, 계수 학습 처리에 있어서, 계수 추정 회로(24)는, 주파수 대역 확대 장치(10)의 고역 서브밴드 파워 추정 회로(15)에 의해 고역 서브밴드 파워가 산출될 때에 이용되는 특징량, 시간 프레임 및 함수에 대한 조건과 마찬가지의 조건으로, 계수를 산출(학습)할 수 있으면 된다.
<2. 제2 실시 형태>
제2 실시 형태에서는, 부호화 장치 및 복호 장치에 의해, 고역 특징 부호화 방법에 있어서의 부호화 처리 및 복호 처리가 실시된다.
[부호화 장치의 기능적 구성예]
도 11은, 본 발명을 적용한 부호화 장치의 기능적 구성예를 도시하고 있다.
부호화 장치(30)는, 저역 통과 필터(31), 저역 부호화 회로(32), 서브밴드 분할 회로(33), 특징량 산출 회로(34), 의사 고역 서브밴드 파워 산출 회로(35), 의사 고역 서브밴드 파워 차분 산출 회로(36), 고역 부호화 회로(37), 다중화 회로(38) 및 저역 복호 회로(39)로 구성된다.
저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서, 차단 주파수보다 저역의 신호(이하, 저역 신호라 칭함)를, 저역 부호화 회로(32), 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를, 다중화 회로(38) 및 저역 복호 회로(39)에 공급한다.
서브밴드 분할 회로(33)는, 입력 신호 및 저역 통과 필터(31)로부터의 저역 신호를, 소정의 대역폭을 갖는 복수의 서브밴드 신호로 등분할하고, 특징량 산출 회로(34) 또는 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다. 보다 구체적으로는, 서브밴드 분할 회로(33)는, 저역 신호를 입력으로 하여 얻어지는 복수의 서브밴드 신호(이하, 저역 서브밴드 신호라 칭함)를, 특징량 산출 회로(34)에 공급한다. 또한, 서브밴드 분할 회로(33)는, 입력 신호를 입력으로 하여 얻어지는 복수의 서브밴드 신호 중, 저역 통과 필터(31)에서 설정되어 있는 차단 주파수보다 고역의 서브밴드 신호(이하, 고역 서브밴드 신호라 칭함)를, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
특징량 산출 회로(34)는, 서브밴드 분할 회로(33)로부터의 저역 서브밴드 신호 중 복수의 서브밴드 신호와 저역 통과 필터(31)로부터의 저역 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 의사 고역 서브밴드 파워 산출 회로(35)에 공급한다.
의사 고역 서브밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 하나 또는 복수의 특징량에 기초하여, 의사 고역 서브밴드 파워를 생성하고, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브밴드 파워 차분 산출 회로(36)는, 서브밴드 분할 회로(33)로부터의 고역 서브밴드 신호와, 의사 고역 서브밴드 파워 산출 회로(35)로부터의 의사 고역 서브밴드 파워에 기초하여, 후술하는 의사 고역 서브밴드 파워 차분을 계산하고, 고역 부호화 회로(37)에 공급한다.
고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
다중화 회로(38)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터와, 고역 부호화 회로(37)로부터의 고역 부호화 데이터를 다중화하고, 출력 부호열로서 출력한다.
저역 복호 회로(39)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를, 적절히 복호하고, 그 결과 얻어지는 복호 데이터를 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
[부호화 장치의 부호화 처리]
다음으로, 도 12의 플로우차트를 참조하여, 도 11의 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다.
스텝 S111에 있어서, 저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서의 저역 신호를, 저역 부호화 회로(32), 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
스텝 S112에 있어서, 저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를 다중화 회로(38)에 공급한다.
또한, 스텝 S112에 있어서의 저역 신호의 부호화에 관해서는, 부호화 효율이나 요구되는 회로 규모에 따라서 적절한 부호화 방식이 선택되면 좋고, 본 발명은이 부호화 방식에 의존하는 것은 아니다.
스텝 S113에 있어서, 서브밴드 분할 회로(33)는, 입력 신호 및 저역 신호를, 소정의 대역폭을 갖는 복수의 서브밴드 신호로 등분할한다. 서브밴드 분할 회로(33)는, 저역 신호를 입력으로 하여 얻어지는 저역 서브밴드 신호를, 특징량 산출 회로(34)에 공급한다. 또한, 서브밴드 분할 회로(33)는, 입력 신호를 입력으로 하여 얻어지는 복수의 서브밴드 신호 중, 저역 통과 필터(31)에서 설정된, 대역 제한의 주파수보다도 높은 대역의 고역 서브밴드 신호를, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
스텝 S114에 있어서, 특징량 산출 회로(34)는, 서브밴드 분할 회로(33)로부터의 저역 서브밴드 신호 중 복수의 서브밴드 신호와 저역 통과 필터(31)로부터의 저역 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 의사 고역 서브밴드 파워 산출 회로(35)에 공급한다. 또한, 도 11의 특징량 산출 회로(34)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S114에 있어서의 처리는, 도 4의 플로우차트의 스텝 S4에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S115에 있어서, 의사 고역 서브밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 하나 또는 복수의 특징량에 기초하여, 의사 고역 서브밴드 파워를 생성하고, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다. 또한, 도 11의 의사 고역 서브밴드 파워 산출 회로(35)는, 도 3의 고역 서브밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S115에 있어서의 처리는, 도 4의 플로우차트의 스텝 S5에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S116에 있어서, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 서브밴드 분할 회로(33)로부터의 고역 서브밴드 신호와, 의사 고역 서브밴드 파워 산출 회로(35)로부터의 의사 고역 서브밴드 파워에 기초하여, 의사 고역 서브밴드 파워 차분을 계산하고, 고역 부호화 회로(37)에 공급한다.
보다 구체적으로는, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 서브밴드 분할 회로(33)로부터의 고역 서브밴드 신호에 대해서, 어느 일정한 시간 프레임 J에 있어서의 (고역)서브밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브밴드 신호의 서브밴드와 고역 서브밴드 신호의 서브밴드 모두를, 인덱스 ib를 이용해서 식별하기로 한다. 서브밴드 파워의 산출 방법은, 제1 실시 형태와 마찬가지의 방법, 즉 수학식 1을 이용한 방법을 적용할 수 있다.
다음으로, 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 고역 서브밴드 파워 power(ib, J)와, 시간 프레임 J에 있어서의 의사 고역 서브밴드 파워 산출 회로(35)로부터의 의사 고역 서브밴드 파워 powerlh(ib, J)의 차분(의사 고역 서브밴드 파워 차분) powerdiff(ib, J)를 구한다. 의사 고역 서브밴드 파워 차분powerdiff(ib, J)는, 이하의 수학식 14에 의해 구해진다.
수학식 14에 있어서, 인덱스 sb+1은, 고역 서브밴드 신호에 있어서의 최저역의 서브밴드의 인덱스를 나타내고 있다. 또한, 인덱스 eb는, 고역 서브밴드 신호에 있어서 부호화되는 최고역의 서브밴드의 인덱스를 나타내고 있다.
이와 같이 하여, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 의해 산출된 의사 고역 서브밴드 파워 차분은 고역 부호화 회로(37)에 공급된다.
스텝 S117에 있어서, 고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
보다 구체적으로는, 고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브밴드 파워 차분을 벡터화한 것(이하, 의사 고역 서브밴드 파워 차분 벡터라 칭함)이, 미리 설정된 의사 고역 서브밴드 파워 차분의 특징 공간에서의 복수의 클러스터 중, 어느 클러스터에 속하는지를 결정한다. 여기서, 어느 시간 프레임 J에 있어서의 의사 고역 서브밴드 파워 차분 벡터는, 인덱스 ib마다의 의사 고역 서브밴드 파워 차분 powerdiff(ib, J)의 값을 벡터의 각 요소로서 갖는, (eb-sb)차원의 벡터를 나타내고 있다. 또한, 의사 고역 서브밴드 파워 차분의 특징 공간도 마찬가지로 (eb-sb)차원의 공간으로 되어 있다.
그리고, 고역 부호화 회로(37)는, 의사 고역 서브밴드 파워 차분의 특징 공간에 있어서, 미리 설정된 복수의 클러스터의 각 대표 벡터와, 의사 고역 서브밴드 파워 차분 벡터와의 거리를 측정하고, 거리가 가장 짧은 클러스터의 인덱스(이하, 의사 고역 서브밴드 파워 차분 ID라 칭함)를 구하고, 이것을 고역 부호화 데이터로서, 다중화 회로(38)에 공급한다.
스텝 S118에 있어서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 출력된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 출력된 고역 부호화 데이터를 다중화하고, 출력 부호열을 출력한다.
그런데, 고역 특징 부호화 방법에 있어서의 부호화 장치로서는, 일본 특허 출원 공개 제2007-17908호 공보에, 저역 서브밴드 신호로부터 의사 고역 서브밴드 신호를 생성하고, 의사 고역 서브밴드 신호와, 고역 서브밴드 신호의 파워를 서브밴드마다 비교하고, 의사 고역 서브밴드 신호의 파워를 고역 서브밴드 신호의 파워와 일치시키기 위해서 서브밴드마다의 파워의 이득을 산출하고, 이것을 고역 특징의 정보로서 부호열에 포함시키도록 하는 기술이 개시되어 있다.
한편, 이상의 처리에 따르면, 복호 시에 고역 서브밴드 파워를 추정하기 위한 정보로서, 출력 부호열에 의사 고역 서브밴드 파워 차분 ID만을 포함시키기만 하면 된다. 즉, 예를 들면 미리 설정한 클러스터의 수가 64인 경우, 복호 장치에 있어서 고역 신호를 복원하기 위한 정보로서는, 1개의 시간 프레임당, 6비트의 정보를 부호열에 추가하기만 하면 되고, 일본 특허 출원 공개 제2007-17908호 공보에 개시된 방법과 비교하여, 부호열에 포함시키는 정보량을 저감할 수 있으므로, 부호화 효율을 보다 향상시킬 수 있으며, 나아가서는 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
또한, 이상의 처리에서, 계산량에 여유가 있으면, 저역 복호 회로(39)가, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를 복호함으로써 얻어지는 저역 신호를, 서브밴드 분할 회로(33) 및 특징량 산출 회로(34)로 입력하도록 해도 된다. 복호 장치에 의한 복호 처리에 있어서는, 저역 부호화 데이터를 복호한 저역 신호로부터 특징량을 산출하고, 그 특징량에 기초하여 고역 서브밴드의 파워를 추정한다. 그 때문에, 부호화 처리에 있어서도, 복호한 저역 신호로부터 산출한 특징량에 기초하여 산출되는 의사 고역 서브밴드 파워 차분 ID를 부호열에 포함시키는 쪽이, 복호 장치에 의한 복호 처리에 있어서, 보다 정밀도 좋게 고역 서브밴드 파워를 추정할 수 있다. 따라서, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
[복호 장치의 기능적 구성예]
다음으로, 도 13을 참조하여, 도 11의 부호화 장치(30)에 대응하는 복호 장치의 기능적 구성예에 대해서 설명한다.
복호 장치(40)는, 비다중화 회로(41), 저역 복호 회로(42), 서브밴드 분할 회로(43), 특징량 산출 회로(44), 고역 복호 회로(45), 복호 고역 서브밴드 파워 산출 회로(46), 복호 고역 신호 생성 회로(47) 및 합성 회로(48)로 구성된다.
비다중화 회로(41)는 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터에 비다중화하고, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.
저역 복호 회로(42)는 비다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행한다. 저역 복호 회로(42)는 복호의 결과 얻어지는 저역의 신호(이하, 복호 저역 신호라 칭함)를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.
서브 밴드 분할 회로(43)는 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 얻어진 서브 밴드 신호(복호 저역 서브 밴드 신호)를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.
특징량 산출 회로(44)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와 저역 복호 회로(42)로부터의 복호 저역 신호 중 적어도 어느 한쪽을 이용하여, 하나 또는 복수의 특징량을 산출하고, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
고역 복호 회로(45)는 비다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 이용하여, 미리 ID(인덱스)마다 준비되어 있는, 고역 서브 밴드의 파워를 추정하기 위한 계수(이하, 복호 고역 서브 밴드 파워 추정 계수라 칭함)를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터의, 하나 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하고, 복호 고역 신호 생성 회로(47)에 공급한다.
복호 고역 신호 생성 회로(47)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성하고, 합성 회로(48)에 공급한다.
합성 회로(48)는 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하고, 출력 신호로서 출력한다.
[복호 장치의 복호 처리]
다음으로, 도 14의 플로우차트를 참조하여, 도 13의 복호 장치에 의한 복호 처리에 대해서 설명한다.
스텝 S131에 있어서, 비다중화 회로(41)는 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터에 비다중화하고, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.
스텝 S132에 있어서, 저역 복호 회로(42)는 비다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 복호 저역 신호를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.
스텝 S133에 있어서, 서브 밴드 분할 회로(43)는 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 얻어진 복호 저역 서브 밴드 신호를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.
스텝 S134에 있어서, 특징량 산출 회로(44)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와 저역 복호 회로(42)로부터의 복호 저역 신호 중 적어도 어느 한쪽으로부터, 하나 또는 복수의 특징량을 산출하고, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 또한, 도 13의 특징량 산출 회로(44)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있고, 스텝 S134에 있어서의 처리는, 도 4의 플로우차트의 스텝 S4에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S135에 있어서, 고역 복호 회로(45)는 비다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 이용하여, 미리 ID(인덱스)마다 준비되어 있는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
스텝 S136에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터의, 하나 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하고, 복호 고역 신호 생성 회로(47)에 공급한다. 또한, 도 13의 복호 고역 서브 밴드 파워 산출 회로(46)는, 도 3의 고역 서브 밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있고, 스텝 S136에 있어서의 처리는, 도 4의 플로우차트의 스텝 S5에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S137에 있어서, 복호 고역 신호 생성 회로(47)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 출력한다. 또한, 도 13의 복호 고역 신호 생성 회로(47)는, 도 3의 고역 신호 생성 회로(16)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있고, 스텝 S137에 있어서의 처리는, 도 4의 플로우차트의 스텝 S6에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S138에 있어서, 합성 회로(48)는 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하고, 출력 신호로서 출력한다.
이상의 처리에 따르면, 부호화 시에 미리 산출된 의사 고역 서브 밴드 파워와, 실제의 고역 서브 밴드 파워의 차분의 특징에 따른, 복호 시의 고역 서브 밴드 파워 추정 계수를 이용함으로써, 복호 시의 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있어, 그 결과, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 이상의 처리에 따르면, 부호열에 포함되는 고역 신호 생성을 위한 정보가, 의사 고역 서브 밴드 파워 차분 ID뿐으로 적으므로, 효율적으로 복호 처리를 행할 수 있다.
이상에 있어서는, 본 발명을 적용한 부호화 처리 및 복호 처리에 대해서 설명해 왔지만, 이하에 있어서는, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에 있어서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 산출 방법에 대해서 설명한다.
[의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터의 대표 벡터 및 각 클러스터에 대응한 복호 고역 서브 밴드 파워 추정 계수의 산출 방법]
복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수를 구하는 방법으로서, 부호화 시에 산출되는 의사 고역 서브 밴드 파워 차분 벡터에 따라서, 복호 시의 고역 서브 밴드 파워를 정밀도 좋게 추정할 수 있도록 계수를 준비해 둘 필요가 있다. 그 때문에, 미리 광대역 교사 신호에 의해 학습을 행하고, 그 학습 결과에 기초하여 이들을 결정하는 방법을 적용한다.
[계수 학습 장치의 기능적 구성예]
도 15는, 복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하는 계수 학습 장치의 기능적 구성예를 도시하고 있다.
도 15의 계수 학습 장치(50)에 입력되는 광대역 교사 신호의, 부호화 장치(30)의 저역 통과 필터(31)로 설정되는 차단 주파수 이하의 신호 성분은, 부호화 장치(30)로의 입력 신호가 저역 통과 필터(31)를 통과하고, 저역 부호화 회로(32)에 의해 부호화되고, 또한 복호 장치(40)의 저역 복호 회로(42)에 의해 복호된 복호 저역 신호이면 적절하다.
계수 학습 장치(50)는 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53), 의사 고역 서브 밴드 파워 산출 회로(54), 의사 고역 서브 밴드 파워 차분 산출 회로(55), 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56) 및 계수 추정 회로(57)로 구성된다.
또한, 도 15의 계수 학습 장치(50)에 있어서의 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53) 및 의사 고역 서브 밴드 파워 산출 회로(54) 각각은, 도 11의 부호화 장치(30)에 있어서의 저역 통과 필터(31), 서브 밴드 분할 회로(33), 특징량 산출 회로(34) 및 의사 고역 서브 밴드 파워 산출 회로(35) 각각과, 기본적으로 마찬가지의 구성과 기능을 구비하므로, 그 설명은 적절히 생략한다.
즉, 의사 고역 서브 밴드 파워 차분 산출 회로(55)는, 도 11의 의사 고역 서브 밴드 파워 차분 산출 회로(36)와 마찬가지의 구성 및 기능을 구비하지만, 계산한 의사 고역 서브 밴드 파워 차분을, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 공급함과 함께, 의사 고역 서브 밴드 파워 차분을 계산할 때에 산출하는 고역 서브 밴드 파워를, 계수 추정 회로(57)에 공급한다.
의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 클러스터링하고, 각 클러스터에서의 대표 벡터를 산출한다.
계수 추정 회로(57)는 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(53)로부터의 하나 또는 복수의 특징량에 기초하여, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 의해 클러스터링 된 클러스터마다의 고역 서브 밴드 파워 추정 계수를 산출한다.
[계수 학습 장치의 계수 학습 처리]
다음으로, 도 16의 플로우차트를 참조하여, 도 15의 계수 학습 장치(50)에 의한 계수 학습 처리에 대해서 설명한다.
또한, 도 16의 플로우차트에 있어서의 스텝 S151 내지 S155의 처리는, 계수 학습 장치(50)에 입력되는 신호가 광대역 교사 신호인 이외는, 도 12의 플로우차트에 있어서의 스텝 S111, S113 내지 S116의 처리와 마찬가지이므로, 그 설명은 생략한다.
즉, 스텝 S156에 있어서, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는, 다수(대량의 시간 프레임)의 의사 고역 서브 밴드 파워 차분 벡터를, 예를 들면 64개 클러스터에 클러스터링하고, 각 클러스터의 대표 벡터를 산출한다. 클러스터링의 방법의 일례로서는, 예를 들면 k-means법에 의한 클러스터링을 적용할 수 있다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, k-means법에 의한 클러스터링을 행한 결과 얻어지는, 각 클러스터의 무게 중심 벡터를, 각 클러스터의 대표 벡터라고 한다. 또한, 클러스터링의 방법이나 클러스터의 수는, 상술한 것에 한정하지 않고, 다른 방법을 적용하도록 해도 된다.
또한, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 시간 프레임 J에 있어서의, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 이용하여, 64개의 대표 벡터와의 거리를 측정하고, 가장 거리가 짧아지는 대표 벡터가 속하는 클러스터의 인덱스 CID(J)를 결정한다. 또한, 인덱스 CID(J)는 1로부터 클러스터 수(이 예에서는 64개)까지의 정수값을 취하기로 한다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 이와 같이 하여 대표 벡터를 출력하고, 또한 인덱스 CID(J)를 계수 추정 회로(57)에 공급한다.
스텝 S157에 있어서, 계수 추정 회로(57)는 의사 고역 서브 밴드 파워 차분 산출 회로(55) 및 특징량 산출 회로(53)로부터 동일 시간 프레임에 공급된 (eb-sb)개의 고역 서브 밴드 파워와 특징량의 다수의 조합 중, 동일한 인덱스 CID(J)를 갖는(동일한 클러스터에 속하는) 집합마다, 각 클러스터에서의 복호 고역 서브 밴드 파워 추정 계수의 산출을 행한다. 또한, 계수 추정 회로(57)에 의한 계수의 산출의 방법은, 도 9의 계수 학습 장치(20)에 있어서의 계수 추정 회로(24)에 의한 방법과 마찬가지인 것으로 하지만, 그 밖의 방법이어도 물론 좋다.
이상의 처리에 따르면, 미리 광대역 교사 신호를 이용하여, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에 있어서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하도록 하였으므로, 부호화 장치(30)에 입력되는 다양한 입력 신호 및 복호 장치(40)에 입력되는 다양한 입력 부호열에 대하여 적절한 출력 결과를 얻는 것이 가능해지고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한 신호의 부호화 및 복호에 대해서, 부호화 장치(30)의 의사 고역 서브 밴드 파워 산출 회로(35)나 복호 장치(40)의 복호 고역 서브 밴드 파워 산출 회로(46)에 있어서 고역 서브 밴드 파워를 산출하기 위한 계수 데이터는, 다음과 같이 취급하는 것도 가능하다. 즉, 입력 신호의 종류에 따라 다른 계수 데이터를 이용하는 것으로서, 그 계수를 부호열의 선두에 기록해 두는 것도 가능하다.
예를 들면, 스피치나 재즈 등의 신호에 의해 계수 데이터를 변경함으로써, 부호화 효율의 향상을 도모할 수 있다.
도 17은 이와 같이 하여 얻어진 부호열을 나타내고 있다.
도 17의 부호열 A는 스피치를 부호화한 것이고, 스피치에 최적인 계수 데이터 α가 헤더에 기록되어 있다.
이에 반하여, 도 17의 부호열 B는 재즈를 부호화한 것이고, 재즈에 최적인 계수 데이터 β가 헤더에 기록되어 있다.
이와 같은 복수의 계수 데이터를 미리 동종의 음악 신호로 학습함으로써 준비하고, 부호화 장치(30)에서는 입력 신호의 헤더에 기록되어 있는 장르 정보에 의해 그 계수 데이터를 선택해도 된다. 혹은, 신호의 파형 해석을 행함으로써 장르를 판정하고, 계수 데이터를 선택해도 된다. 즉, 이와 같은, 신호의 장르 해석 방법은 특별히 한정하지 않는다.
또한, 계산 시간이 허용되면, 부호화 장치(30)에 상술한 학습 장치를 내장시키고, 그 신호 전용의 계수를 이용하여 처리를 행하고, 도 17의 부호열 C로 나타내어지는 바와 같이, 마지막으로 그 계수를 헤더에 기록하는 것도 가능하다.
이 방법을 이용하는 것에 의한 이점을, 이하에 설명한다.
고역 서브 밴드 파워의 형상은, 1개의 입력 신호 내에서 유사한 개소가 다수 존재한다. 많은 입력 신호가 갖는 이 특징을 이용하고, 고역 서브 밴드 파워의 추정을 위한 계수의 학습을 입력 신호마다 별개로 행함으로써, 고역 서브 밴드 파워의 유사 개소의 존재에 의한 용장도를 저감시켜, 부호화 효율을 향상시킬 수 있다. 또한, 복수의 신호로 통계적으로 고역 서브 밴드 파워의 추정을 위한 계수를 학습하는 것보다도, 보다 고정밀도로 고역 서브 밴드 파워의 추정을 행할 수 있다.
또한, 이와 같이, 부호화 시에 입력 신호로부터 학습되는 계수 데이터를 수 프레임에 1회 삽입하는 형태를 취하는 것도 가능하다.
<3. 제3 실시 형태>
[부호화 장치의 기능적 구성예]
또한, 이상에 있어서는, 의사 고역 서브 밴드 파워 차분 ID가 고역 부호화 데이터로서, 부호화 장치(30)로부터 복호 장치(40)에 출력된다고 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수를 얻기 위한 계수 인덱스가, 고역 부호화 데이터가 되어도 된다.
그와 같은 경우, 부호화 장치(30)는, 예를 들면 도 18에 도시하는 바와 같이 구성된다. 또한, 도 18에 있어서, 도 11에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 18의 부호화 장치(30)는, 도 11의 부호화 장치(30)와 저역 복호 회로(39)가 설치되어 있지 않은 점에서 다르고, 그 밖의 점에서는 동일하다.
도 18의 부호화 장치(30)에서는, 특징량 산출 회로(34)는 서브 밴드 분할 회로(33)로부터 공급된 저역 서브 밴드 신호를 이용하여, 저역 서브 밴드 파워를 특징량으로서 산출하고, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)에는, 미리 회귀 분석에 의해 구해진, 복수의 복호 고역 서브 밴드 파워 추정 계수와, 그들 복호 고역 서브 밴드 파워 추정 계수를 특정하는 계수 인덱스가 대응지어져 기록되어 있다.
구체적으로는, 복호 고역 서브 밴드 파워 추정 계수로서, 상술한 수학식 2의 연산에 이용되는 각 서브 밴드의 계수 Aib(kb)와 계수 Bib의 세트가, 미리 복수 준비되어 있다. 예를 들면, 이들 계수 Aib(kb)와 계수 Bib는, 저역 서브 밴드 파워를 설명 변수로 하고, 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 이용한 회귀 분석에 의해, 미리 구해져 있다. 회귀 분석에서는, 저역 서브 밴드 신호와 고역 서브 밴드 신호로 이루어지는 입력 신호가 광대역 교사 신호로서 이용된다.
의사 고역 서브 밴드 파워 산출 회로(35)는, 기록된 복호 고역 서브 밴드 파워 추정 계수마다, 복호 고역 서브 밴드 파워 추정 계수와, 특징량 산출 회로(34)로부터의 특징량을 이용하여, 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워를 산출하고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 고역 서브 밴드 신호로부터 구해지는 고역 서브 밴드 파워와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워를 비교한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 비교의 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 가장 고역 서브 밴드 파워에 가까운 의사 고역 서브 밴드 파워가 얻어진 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스를 고역 부호화 회로(37)에 공급한다. 바꿔 말하면, 복호 시에 재현되어야 할 입력 신호의 고역 신호, 즉 참값에 가장 가까운 복호 고역 신호가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
[부호화 장치의 부호화 처리]
다음으로, 도 19의 플로우차트를 참조하여, 도 18의 부호화 장치(30)에 의해 행해지는 부호화 처리에 대해서 설명한다. 또한, 스텝 S181 내지 스텝 S183의 처리는, 도 12의 스텝 S111 내지 스텝 S113의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S184에 있어서, 특징량 산출 회로(34)는 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호를 이용하여 특징량을 산출하고, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
구체적으로는, 특징량 산출 회로(34)는, 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드 ib(단, sb-3≤ib≤sb)에 대해서, 프레임 J(단, 0≤J)의 저역 서브 밴드 파워 power(ib, J)를 특징량으로서 산출한다. 즉, 저역 서브 밴드 파워 power(ib, J)는, 프레임 J를 구성하는 저역 서브 밴드 신호의 각 샘플의 샘플값의 제곱 평균값을, 대수화함으로써 산출된다.
스텝 S185에 있어서, 의사 고역 서브 밴드 파워 산출 회로(35)는 특징량 산출 회로(34)로부터 공급된 특징량에 기초하여, 의사 고역 서브 밴드 파워를 산출하고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
예를 들면, 의사 고역 서브 밴드 파워 산출 회로(35)는, 복호 고역 서브 밴드 파워 추정 계수로서 미리 기록된 계수 Aib(kb) 및 계수 Bib와, 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)를 이용하여 상술한 수학식 2의 연산을 행하고, 의사 고역 서브 밴드 파워 powerest(ib, J)를 산출한다.
즉, 특징량으로서 공급된 저역측의 각 서브 밴드의 저역 서브 밴드 파워 power(kb, J)에, 서브 밴드마다의 계수 Aib(kb)가 승산되고, 계수가 승산된 저역 서브 밴드 파워의 합에, 더 계수 Bib가 가산되어, 의사 고역 서브 밴드 파워 powerest(ib, J)가 된다. 이 의사 고역 서브 밴드 파워는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서 산출된다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)는, 미리 기록된 복호 고역 서브 밴드 파워 추정 계수마다 의사 고역 서브 밴드 파워의 산출을 행한다. 예를 들면, 계수 인덱스가 1 내지 K(단, 2≤K)의 K개의 복호 고역 서브 밴드 파워 추정 계수가 미리 준비되어 있다고 하자. 이 경우, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출되게 된다.
스텝 S186에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 의사 고역 서브 밴드 파워 차분을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호에 대해서, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib를 이용하여 식별하기로 한다.
다음으로, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 14와 마찬가지의 연산을 행하여, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)와, 의사 고역 서브 밴드 파워 powerest(ib, J)의 차분을 구한다. 이에 의해, 복호 고역 서브 밴드 파워 추정 계수마다, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)가 얻어진다.
스텝 S187에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 복호 고역 서브 밴드 파워 추정 계수마다, 다음 수학식 15를 계산하고, 의사 고역 서브 밴드 파워 차분의 제곱합을 산출한다.
또한, 수학식 15에 있어서, 차분 제곱합 E(J, id)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 프레임 J의 의사 고역 서브 밴드 파워 차분의 제곱합을 나타내고 있다. 또한, 수학식 15에 있어서, powerdiff(ib, J, id)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)를 나타내고 있다. 차분 제곱합 E(J, id)는, K개의 각 복호 고역 서브 밴드 파워 추정 계수에 대해서, 산출된다.
이와 같이 하여 얻어진 차분 제곱합 E(J, id)는, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 이용하여 산출된 의사 고역 서브 밴드 파워의 유사의 정도를 나타내고 있다.
즉, 고역 서브 밴드 파워의 참값에 대한 추정값의 오차를 나타내고 있다. 따라서, 차분 제곱합 E(J, id)가 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 이용한 연산에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어지게 된다. 바꿔 말하면, 차분 제곱합 E(J, id)가 최소가 되는 복호 고역 서브 밴드 파워 추정 계수가, 출력 부호열의 복호 시에 행해지는 주파수 대역 확대 처리에 가장 적합한 추정 계수라고 말할 수 있다.
따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 차분 제곱합 E(J, id) 중, 값이 최소가 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
스텝 S188에 있어서, 고역 부호화 회로(37)는 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된 계수 인덱스를 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
예를 들면, 스텝 S188에서는, 계수 인덱스에 대하여 엔트로피 부호화 등이 행해진다. 이에 의해, 복호 장치(40)에 출력되는 고역 부호화 데이터의 정보량을 압축할 수 있다. 또한, 고역 부호화 데이터는, 최적인 복호 고역 서브 밴드 파워 추정 계수가 얻어지는 정보이면, 어떠한 정보이어도 좋고, 예를 들면 계수 인덱스가 그대로 고역 부호화 데이터로 되어도 좋다.
스텝 S189에 있어서, 다중화 회로(38)는 저역 부호화 회로(32)로부터 공급된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 공급된 고역 부호화 데이터를 다중화하고, 그 결과 얻어진 출력 부호열을 출력하고, 부호화 처리는 종료한다.
이와 같이, 저역 부호화 데이터와 함께, 계수 인덱스를 부호화하여 얻어진 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 고음질의 신호를 얻을 수 있게 된다.
[복호 장치의 기능적 구성예]
또한, 도 18의 부호화 장치(30)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치(40)는, 예를 들면 도 20에 도시하는 바와 같이 구성된다. 또한, 도 20에 있어서, 도 13에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 생략한다.
도 20의 복호 장치(40)는 비다중화 회로(41) 내지 합성 회로(48)로 구성되는 점에서는, 도 13의 복호 장치(40)와 동일하지만, 저역 복호 회로(42)로부터의 복호 저역 신호가 특징량 산출 회로(44)에는 공급되지 않는 점에서, 도 13의 복호 장치(40)와 다르다.
도 20의 복호 장치(40)에서는, 고역 복호 회로(45)는, 도 18의 의사 고역 서브 밴드 파워 산출 회로(35)가 기록된 복호 고역 서브 밴드 파워 추정 계수와 동일한 복호 고역 서브 밴드 파워 추정 계수를 미리 기록하고 있다. 즉, 미리 회귀 분석에 의해 구해진 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 인덱스와 대응지어져 기록되어 있다.
고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터를 복호하고, 그 결과 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
[복호 장치의 복호 처리]
다음으로, 도 21의 플로우차트를 참조하여, 도 20의 복호 장치(40)에 의해 행해지는 복호 처리에 대해서 설명한다.
이 복호 처리는, 부호화 장치(30)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(40)에 공급되면 개시된다. 또한, 스텝 S211 내지 스텝 S213의 처리는, 도 14의 스텝 S131 내지 스텝 S133의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S214에 있어서, 특징량 산출 회로(44)는 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호를 이용하여 특징량을 산출하고, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 구체적으로는, 특징량 산출 회로(44)는, 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드 ib에 대해서, 프레임 J(단, 0≤J)의 저역 서브 밴드 파워 power(ib, J)를 특징량으로서 산출한다.
스텝 S215에 있어서, 고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 즉, 고역 복호 회로(45)에 미리 기록되어 있는 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 복호에 의해 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수가 출력된다.
스텝 S216에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하고, 복호 고역 신호 생성 회로(47)에 공급한다.
즉, 복호 고역 서브 밴드 파워 산출 회로(46)는 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb) 및 계수 Bib와, 특징량으로서의 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)를 이용하여 상술한 수학식 2의 연산을 행하고, 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 복호 고역 서브 밴드 파워가 얻어진다.
스텝 S217에 있어서, 복호 고역 신호 생성 회로(47)는 서브 밴드 분할 회로(43)로부터 공급된 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터 공급된 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성한다.
구체적으로는, 복호 고역 신호 생성 회로(47)는 복호 저역 서브 밴드 신호를 이용하여 상술한 수학식 1의 연산을 행하고, 저역측의 각 서브 밴드에 대해서 저역 서브 밴드 파워를 산출한다. 그리고, 복호 고역 신호 생성 회로(47)는, 얻어진 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워를 이용하여 상술한 수학식 3의 연산을 행하고, 고역측의 서브 밴드마다의 이득량 G(ib, J)를 산출한다.
또한, 복호 고역 신호 생성 회로(47)는 이득량 G(ib, J)와, 복호 저역 서브 밴드 신호를 이용하여 상술한 수학식 5 및 수학식 6의 연산을 행하고, 고역측의 각 서브 밴드에 대해서, 고역 서브 밴드 신호 x3(ib, n)을 생성한다.
즉, 복호 고역 신호 생성 회로(47)는 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 비에 따라서, 복호 저역 서브 밴드 신호 x(ib, n)를 진폭 변조하고, 그 결과, 얻어진 복호 저역 서브 밴드 신호 x2(ib, n)를, 또한 주파수 변조한다. 이에 의해, 저역측의 서브 밴드의 주파수 성분의 신호가, 고역측의 서브 밴드의 주파수 성분의 신호로 변환되고, 고역 서브 밴드 신호 x3(ib, n)이 얻어진다.
이와 같이 각 서브 밴드의 고역 서브 밴드 신호를 얻는 처리는, 보다 상세하게는, 이하와 같은 처리이다.
주파수 영역에 있어서 연속해서 배열되는 4개의 서브 밴드를, 대역 블록이라고 부르기로 하고, 저역측에 있는 인덱스가 sb 내지 sb-3인 4개의 서브 밴드로부터, 1개의 대역 블록(이하, 특히 저역 블록이라 칭함)이 구성되도록, 주파수 대역을 분할하였다고 하자. 이때, 예를 들면 고역측의 인덱스가 sb+1 내지 sb+4인 서브 밴드로 이루어지는 대역이, 1개의 대역 블록으로 된다. 또한, 이하 고역측, 즉 인덱스가 sb+1 이상인 서브 밴드로 이루어지는 대역 블록을, 특히 고역 블록이라고 부르기로 한다.
이제, 고역 블록을 구성하는 1개의 서브 밴드에 주목하고, 그 서브 밴드(이하, 주목 서브 밴드라 칭함)의 고역 서브 밴드 신호를 생성한다고 하자. 우선, 복호 고역 신호 생성 회로(47)는 고역 블록에 있어서의 주목 서브 밴드의 위치와 동일한 위치 관계에 있는, 저역 블록의 서브 밴드를 특정한다.
예를 들면, 주목 서브 밴드의 인덱스가 sb+1이면, 주목 서브 밴드는 고역 블록 중의 가장 주파수가 낮은 대역이므로, 주목 서브 밴드와 동일한 위치 관계에 있는 저역 블록의 서브 밴드는, 인덱스가 sb-3인 서브 밴드로 된다.
이와 같이 하여, 주목 서브 밴드와 동일한 위치 관계에 있는 저역 블록의 서브 밴드가 특정되면, 그 서브 밴드의 저역 서브 밴드 파워 및 복호 저역 서브 밴드 신호와, 주목 서브 밴드의 복호 고역 서브 밴드 파워가 이용되어, 주목 서브 밴드의 고역 서브 밴드 신호가 생성된다.
즉, 복호 고역 서브 밴드 파워와 저역 서브 밴드 파워가, 수학식 3에 대입되어, 그들 파워의 비에 따른 이득량이 산출된다. 그리고, 산출된 이득량이 복호 저역 서브 밴드 신호에 승산되고, 또한 이득량이 승산된 복호 저역 서브 밴드 신호가, 수학식 6의 연산에 의해 주파수 변조되어, 주목 서브 밴드의 고역 서브 밴드 신호가 된다.
이상의 처리에서, 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 얻어진다. 그러면, 복호 고역 신호 생성 회로(47)는, 또한 상술한 수학식 7의 연산을 행하여, 얻어진 각 고역 서브 밴드 신호의 합을 구하고, 복호 고역 신호를 생성한다. 복호 고역 신호 생성 회로(47)는, 얻어진 복호 고역 신호를 합성 회로(48)에 공급하고, 처리는 스텝 S217로부터 스텝 S218로 진행한다.
스텝 S218에 있어서, 합성 회로(48)는 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하고, 출력 신호로서 출력한다.
그리고, 그 후, 복호 처리는 종료한다.
이상과 같이, 복호 장치(40)에 따르면, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻고, 그 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를 이용하여 복호 고역 서브 밴드 파워를 산출하므로, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
<4. 제4 실시 형태>
[부호화 장치의 부호화 처리]
또한, 이상에 있어서는, 고역 부호화 데이터에 계수 인덱스만이 포함되는 경우를 예로서 설명하였지만, 다른 정보가 포함되도록 해도 된다.
예를 들면, 계수 인덱스가 고역 부호화 데이터에 포함되도록 하면, 실제의 고역 신호의 고역 서브 밴드 파워에 가장 가까운 복호 고역 서브 밴드 파워가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수를, 복호 장치(40)측에 있어서 알 수 있다.
그러나, 실제의 고역 서브 밴드 파워(참값)와, 복호 장치(40)측에서 얻어지는 복호 고역 서브 밴드 파워(추정값)에는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 의해 산출된 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)와 거의 동일한 값만큼 차가 생긴다.
따라서, 고역 부호화 데이터에, 계수 인덱스뿐만 아니라, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분도 포함되도록 하면, 복호 장치(40)측에 있어서, 실제의 고역 서브 밴드 파워에 대한 복호 고역 서브 밴드 파워의 대략의 오차를 알 수 있다. 그렇게 하면, 이 오차를 이용하여, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있다.
이하, 도 22 및 도 23의 플로우차트를 참조하여, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되는 경우에 있어서의 부호화 처리와 복호 처리에 대해서 설명한다.
우선, 도 22의 플로우차트를 참조하여, 도 18의 부호화 장치(30)에 의해 행해지는 부호화 처리에 대해서 설명한다. 또한, 스텝 S241 내지 스텝 S246의 처리는, 도 19의 스텝 S181 내지 스텝 S186의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S247에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 15의 연산을 행하여, 복호 고역 서브 밴드 파워 추정 계수마다, 차분 제곱합 E(J, id)를 산출한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 차분 제곱합 E(J, id) 중, 값이 최소가 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 선택된 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수에 대해서 구한, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분 powerdiff(ib, J)를 고역 부호화 회로(37)에 공급한다.
스텝 S248에 있어서, 고역 부호화 회로(37)는 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된, 계수 인덱스 및 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워 차분, 즉 고역 서브 밴드 파워의 추정 오차가 고역 부호화 데이터로서, 복호 장치(40)에 공급되게 된다.
고역 부호화 데이터가 얻어지면, 그 후, 스텝 S249의 처리가 행해져 부호화 처리는 종료되지만, 스텝 S249의 처리는, 도 19의 스텝 S189의 처리와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되도록 하면, 복호 장치(40)에 있어서, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있어, 보다 고음질의 음악 신호를 얻을 수 있게 된다.
[복호 장치의 복호 처리]
다음으로, 도 23의 플로우차트를 참조하여, 도 20의 복호 장치(40)에 의해 행해지는 복호 처리에 대해서 설명한다. 또한, 스텝 S271 내지 스텝 S274의 처리는, 도 21의 스텝 S211 내지 스텝 S214의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S275에 있어서, 고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행한다. 그리고, 고역 복호 회로(45)는, 복호에 의해 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수와, 복호에 의해 얻어진 각 서브 밴드의 의사 고역 서브 밴드 파워 차분을, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
스텝 S276에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출한다. 또한, 스텝 S276에서는, 도 21의 스텝 S216과 마찬가지의 처리가 행해진다.
스텝 S277에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는 복호 고역 서브 밴드 파워에, 고역 복호 회로(45)로부터 공급된 의사 고역 서브 밴드 파워 차분을 가산하여, 최종적인 복호 고역 서브 밴드 파워로 하고, 복호 고역 신호 생성 회로(47)에 공급한다.
즉, 산출된 각 서브 밴드의 복호 고역 서브 밴드 파워에, 동일한 서브 밴드의 의사 고역 서브 밴드 파워 차분이 가산된다.
그리고, 그 후, 스텝 S278 및 스텝 S279의 처리가 행해져, 복호 처리는 종료되지만, 이들 처리는 도 21의 스텝 S217 및 스텝 S218과 마찬가지이므로, 그 설명은 생략한다.
이상과 같이 하여, 복호 장치(40)는 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스와, 의사 고역 서브 밴드 파워 차분을 얻는다. 그리고, 복호 장치(40)는 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수와, 의사 고역 서브 밴드 파워 차분을 이용하여 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있어, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 부호화 장치(30)와, 복호 장치(40) 사이에서 생기는 고역 서브 밴드 파워의 추정값의 차, 즉 의사 고역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 차(이하, 장치간 추정차라 칭함)가 고려되도록 해도 된다.
그와 같은 경우, 예를 들면 고역 부호화 데이터로 되는 의사 고역 서브 밴드 파워 차분이, 장치간 추정차로 보정되거나, 고역 부호화 데이터에 장치간 추정차가 포함되도록 하고, 복호 장치(40)측에서, 장치간 추정차에 의해, 의사 고역 서브 밴드 파워 차분이 보정되거나 한다. 또한, 미리 복호 장치(40)측에서, 장치간 추정차를 기록해 두도록 하고, 복호 장치(40)가, 의사 고역 서브 밴드 파워 차분에 장치간 추정차를 가산하여, 보정을 행하도록 해도 된다. 이에 의해, 실제의 고역 신호에, 보다 가까운 복호 고역 신호를 얻을 수 있다.
<5. 제5 실시 형태>
또한, 도 18의 부호화 장치(30)에서는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)가, 차분 제곱합 E(J, id)를 지표로 하여, 복수의 계수 인덱스로부터 최적인 것을 선택한다고 설명하였지만, 차분 제곱합과는 다른 지표를 이용하여 계수 인덱스를 선택해도 된다.
예를 들면, 계수 인덱스를 선택하는 지표로서, 고역 서브 밴드 파워와 의사 고역 서브 밴드 파워의 잔차의 제곱 평균값, 최대값 및 평균값 등을 고려한 평가값을 이용하도록 해도 된다. 그와 같은 경우, 도 18의 부호화 장치(30)는, 도 24의 플로우차트에 나타내는 부호화 처리를 행한다.
이하, 도 24의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S301 내지 스텝 S305의 처리는, 도 19의 스텝 S181 내지 스텝 S185의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S301 내지 스텝 S305의 처리가 행해지면, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출된다.
스텝 S306에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현 프레임 J를 이용한 평가값 Res(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 이용하여, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib를 이용하여 식별하기로 한다.
고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 16을 계산하고, 잔차 제곱 평균값 Resstd(id, J)를 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분의 제곱합이 잔차 제곱 평균값 Resstd(id, J)가 된다. 또한, 의사 고역 서브 밴드 파워 powerest(ib, id, J)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워를 나타내고 있다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 17을 계산하고, 잔차 최대값 Resmax(id, J)를 산출한다.
또한, 수학식 17에 있어서, maxib{|power(ib, J)-powerest(ib, id, J)|}는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분의 절대값 중의 최대의 것을 나타내고 있다. 따라서, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분의 절대값의 최대값이 잔차 최대값 Resmax(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 18을 계산하고, 잔차 평균값 Resave(id, J)를 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 제산하여 얻어지는 값의 절대값이 잔차 평균값 Resave(id, J)가 된다. 이 잔차 평균값 Resave(id, J)는, 부호가 고려된 각 서브 밴드의 추정 오차의 평균값의 크기를 나타내고 있다.
또한, 잔차 제곱 평균값 Resstd(id, J), 잔차 최대값 Resmax(id, J) 및 잔차 평균값 Resave(id, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 19를 계산하고, 최종적인 평가값 Res(id, J)를 산출한다.
즉, 잔차 제곱 평균값 Resstd(id, J), 잔차 최대값 Resmax(id, J) 및 잔차 평균값 Resave(id, J)가 가중치 부여 가산되어, 최종적인 평가값 Res(id, J)가 된다. 또한, 수학식 19에 있어서, Wmax 및 Wave는, 미리 정해진 가중치이고, 예를 들면 Wmax=0.5, Wave=0.5 등이 된다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하여, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 즉 K개의 계수 인덱스 id마다, 평가값 Res(id, J)를 산출한다.
스텝 S307에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 계수 인덱스 id마다의 평가값 Res(id, J)에 기초하여, 계수 인덱스 id를 선택한다.
이상의 처리에서 얻어진 평가값 Res(id, J)는, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 이용하여 산출된 의사 고역 서브 밴드 파워의 유사의 정도를 나타내고 있다. 즉, 고역 성분의 추정 오차의 크기를 나타내고 있다.
따라서, 평가값 Res(id, J)가 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 이용한 연산에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값 Res(id, J) 중, 값이 최소가 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
계수 인덱스가 고역 부호화 회로(37)에 출력되면, 그 후, 스텝 S308 및 스텝 S309의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 19의 스텝 S188 및 스텝 S189와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 부호화 장치(30)에서는, 잔차 제곱 평균값 Resstd(id, J), 잔차 최대값 Resmax(id, J) 및 잔차 평균값 Resave(id, J)로부터 산출된 평가값 Res(id, J)가 이용되어, 최적인 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
평가값 Res(id, J)를 이용하면, 차분 제곱합을 이용한 경우와 비교하여, 보다 많은 평가 척도를 이용하여 고역 서브 밴드 파워의 추정 정밀도를 평가할 수 있으므로, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있게 된다. 이에 의해, 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있어, 보다 고음질의 신호를 얻을 수 있게 된다.
<변형예 1>
또한, 이상에 있어서 설명한 부호화 처리를 입력 신호의 프레임마다 행하면, 입력 신호의 고역측의 각 서브 밴드의 고역 서브 밴드 파워의 시간적인 변동이 적은 정상부에서는, 연속되는 프레임마다 다른 계수 인덱스가 선택되어 버리는 경우가 있다.
즉, 입력 신호의 정상부를 구성하는, 연속되는 프레임에서는, 각 프레임의 고역 서브 밴드 파워는 거의 동일한 값이 되므로, 그들 프레임에서는 계속해서 동일한 계수 인덱스가 선택되어야 한다. 그런데, 이들 연속되는 프레임의 구간에 있어서, 프레임마다 선택되는 계수 인덱스가 변화하고, 그 결과, 복호 장치(40)측에 있어서 재생되는 음성의 고역 성분이 정상이 아니게 되어 버리는 경우가 있다. 그렇게 하면, 재생된 음성에는, 청감상 위화감이 생겨 버린다.
따라서, 부호화 장치(30)에 있어서 계수 인덱스를 선택하는 경우에, 시간적으로 이전의 프레임에서의 고역 성분의 추정 결과도 고려되도록 해도 된다. 그와 같은 경우, 도 18의 부호화 장치(30)는, 도 25의 플로우차트에 나타내는 부호화 처리를 행한다.
이하, 도 25의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S331 내지 스텝 S336의 처리는, 도 24의 스텝 S301 내지 스텝 S306의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S337에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 이용한 평가값 ResP(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다. 여기서, 최종적으로 선택된 계수 인덱스란, 고역 부호화 회로(37)에 의해 부호화되어, 복호 장치(40)에 출력된 계수 인덱스이다.
이하에서는, 특히 프레임(J-1)에 있어서 선택된 계수 인덱스 id를 idselected(J-1)로 한다. 또한, 계수 인덱스 idselected(J-1)의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 인덱스가 ib(단, sb+1≤ib≤eb)인 서브 밴드의 의사 고역 서브 밴드 파워를 powerest[ib, idselected(J-1), J-1]로서 설명을 계속한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 다음 수학식 20을 계산하고, 추정 잔차 제곱 평균값 ResPstd(id, J)를 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J-1)의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 프레임 J의 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해진다. 그리고, 이들 차분의 제곱합이 추정 잔차 제곱 평균값 ResPstd(id, J)가 된다. 또한, 의사 고역 서브 밴드 파워 powerest(ib, id, J)는 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워를 나타내고 있다.
이 추정 잔차 제곱 평균값 ResPstd(id, J)는, 시간적으로 연속되는 프레임간의 의사 고역 서브 밴드 파워의 차분 제곱합이므로, 추정 잔차 제곱 평균값 ResPstd(id, J)가 작을수록, 고역 성분의 추정값의 시간적인 변화가 적게 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 21을 계산하고, 추정 잔차 최대값 ResPmax(id, J)를 산출한다.
또한, 수학식 21에 있어서, maxib{|powerest(ib, idselected(J-1), J-1)-powerest(ib, id, J)|}는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분의 절대값 중의 최대의 것을 나타내고 있다. 따라서, 시간적으로 연속되는 프레임간의 의사 고역 서브 밴드 파워의 차분의 절대값의 최대값이 추정 잔차 최대값 ResPmax(id, J)가 된다.
추정 잔차 최대값 ResPmax(id, J)는, 그 값이 작을수록, 연속되는 프레임간의 고역 성분의 추정 결과가 가깝게 된다.
추정 잔차 최대값 ResPmax(id, J)가 얻어지면, 다음으로 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 22를 계산하고, 추정 잔차 평균값 ResPave(id, J)를 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J-1)의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 프레임 J의 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해진다. 그리고, 각 서브 밴드의 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResPave(id, J)가 된다. 이 추정 잔차 평균값 ResPave(id, J)는, 부호가 고려된 프레임간의 서브 밴드의 추정값의 차의 평균값의 크기를 나타내고 있다.
또한, 추정 잔차 제곱 평균값 ResPstd(id, J), 추정 잔차 최대값 ResPmax(id, J) 및 추정 잔차 평균값 ResPave(id, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 23을 계산하고, 평가값 ResP(id, J)를 산출한다.
즉, 추정 잔차 제곱 평균값 ResPstd(id, J), 추정 잔차 최대값 ResPmax(id, J) 및 추정 잔차 평균값 ResPave(id, J)가 가중치 부여 가산되어, 평가값 ResP(id, J)가 된다. 또한, 수학식 23에 있어서, Wmax 및 Wave는, 미리 정해진 가중치이고, 예를 들면 Wmax=0.5, Wave=0.5 등이 된다.
이와 같이 하여, 과거 프레임과 현 프레임을 이용한 평가값 ResP(id, J)가 산출되면, 처리는 스텝 S337로부터 스텝 S338로 진행한다.
스텝 S338에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 24를 계산하여, 최종적인 평가값 Resall(id, J)을 산출한다.
즉, 구한 평가값 Res(id, J)와 평가값 ResP(id, J)가 가중치 부여 가산된다. 또한, 수학식 24에 있어서, Wp(J)는, 예를 들면 다음 수학식 25에 의해 정의되는 가중치이다.
또한, 수학식 25에 있어서의 powerr(J)은, 다음 수학식 26에 의해 정해지는 값이다.
이 powerr(J)은, 프레임(J-1)과 프레임 J의 고역 서브 밴드 파워의 차분의 평균을 나타내고 있다. 또한, 수학식 25로부터 Wp(J)는, powerr(J)이 0 근방의 소정의 범위 내의 값일 때는, powerr(J)이 작을수록 1에 가까운 값이 되고, powerr(J)이 소정의 범위의 값보다 클 때는 0이 된다.
여기서, powerr(J)이 0 근방의 소정 범위 내의 값인 경우, 연속되는 프레임간의 고역 서브 밴드 파워의 차분의 평균은 어느 정도 작게 된다. 바꿔 말하면, 입력 신호의 고역 성분의 시간적인 변동이 적어, 입력 신호의 현 프레임은 정상부인 것으로 된다.
가중치 Wp(J)는 입력 신호의 고역 성분이 정상일수록, 보다 1에 가까운 값이 되고, 반대로 고역 성분이 정상이 아닐수록 보다 0에 가까운 값이 된다. 따라서, 수학식 24에 나타내어지는 평가값 Resall(id, J)에서는, 입력 신호의 고역 성분의 시간적 변동이 적을수록, 보다 직전 프레임에서의 고역 성분의 추정 결과와의 비교 결과를 평가 척도로 한 평가값 ResP(id, J)의 기여율이 커진다.
그 결과, 입력 신호의 정상부에서는, 직전 프레임에 있어서의 고역 성분의 추정 결과에 가까운 것이 얻어지는 복호 고역 서브 밴드 파워 추정 계수가 선택되게 되고, 복호 장치(40)측에 있어서, 보다 자연스럽고 고음질의 음성을 재생할 수 있게 된다. 반대로, 입력 신호의 비정상부에서는, 평가값 Resall(id, J)에 있어서의 평가값 ResP(id, J)의 항은 0이 되고, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하여, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 평가값 Resall(id, J)을 산출한다.
스텝 S339에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 복호 고역 서브 밴드 파워 추정 계수마다의 평가값 Resall(id, J)에 기초하여, 계수 인덱스 id를 선택한다.
이상의 처리에서 얻어진 평가값 Resall(id, J)은, 가중치를 이용하여 평가값 Res(id, J)와 평가값 ResP(id, J)를 선형 결합한 것이다. 상술한 바와 같이, 평가값 Res(id, J)는 값이 작을수록, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다. 또한, 평가값 ResP(id, J)는, 그 값이 작을수록, 직전 프레임의 복호 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.
따라서, 평가값 Resall(id, J)이 작을수록, 보다 적절한 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값 Resall(id, J) 중, 값이 최소가 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
계수 인덱스가 선택되면, 그 후, 스텝 S340 및 스텝 S341의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 24의 스텝 S308 및 스텝 S309와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 부호화 장치(30)에서는, 평가값 Res(id, J)와 평가값 ResP(id, J)를 선형 결합하여 얻어지는 평가값 Resall(id, J)이 이용되어, 최적인 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
평가값 Resall(id, J)을 이용하면, 평가값 Res(id, J)를 이용한 경우와 마찬가지로, 보다 많은 평가 척도에 의해, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있다. 게다가, 평가값 Resall(id, J)을 이용하면, 복호 장치(40)측에 있어서, 재생하려고 하는 신호의 고역 성분의 정상부에 있어서의 시간적인 변동을 억제 할 수 있어, 보다 고음질의 신호를 얻을 수 있다.
<변형예 2>
그런데, 주파수 대역 확대 처리에서는, 보다 고음질의 음성을 얻고자 하면, 보다 저역측의 서브 밴드일수록 청감상 중요해진다. 즉, 고역측의 각 서브 밴드 중, 보다 저역측에 가까운 서브 밴드의 추정 정밀도가 높을수록, 보다 고음질의 음성을 재생할 수 있다.
따라서, 각 복호 고역 서브 밴드 파워 추정 계수에 대한 평가값이 산출되는 경우에, 보다 저역측의 서브 밴드에 가중치가 놓이도록 해도 된다. 그와 같은 경우, 도 18의 부호화 장치(30)는, 도 26의 플로우차트에 나타내는 부호화 처리를 행한다.
이하, 도 26의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S371 내지 스텝 S375의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S376에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현 프레임 J를 이용한 평가값 ResWband(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 이용하여, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다.
고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 27을 계산하고, 잔차 제곱 평균값 ResstdWband(id, J)를 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분에 서브 밴드마다의 가중치 Wband(ib)가 승산된다. 그리고, 가중치 Wband(ib)가 승산된 차분의 제곱합이 잔차 제곱 평균값 ResstdWband(id, J)가 된다.
여기서, 가중치 Wband(ib)(단, sb+1≤ib≤eb)는, 예를 들면 다음 수학식 28로 정의된다. 이 가중치 Wband(ib)의 값은, 보다 저역측의 서브 밴드일수록 커진다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값 ResmaxWband(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wband(ib)가 승산된 것 중의 절대값의 최대값이, 잔차 최대값 ResmaxWband(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값 ResaveWband(id, J)를 산출한다.
구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wband(ib)가 승산되고, 가중치 Wband(ib)가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 제산하여 얻어지는 값의 절대값이 잔차 평균값 ResaveWband(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWband(id, J)를 산출한다. 즉, 잔차 제곱 평균값 ResstdWband(id, J), 가중치 Wmax가 승산된 잔차 최대값 ResmaxWband(id, J) 및 가중치 Wave가 승산된 잔차 평균값 ResaveWband(id, J)의 합이 평가값 ResWband(id, J)가 된다.
스텝 S377에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 이용한 평가값 ResPWband(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 하나 전의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 추정 잔차 제곱 평균값 ResPstdWband(id, J)를 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wband(ib)가 승산된다. 그리고, 가중치 Wband(ib)가 승산된 차분의 제곱합이 추정 잔차 제곱 평균값 ResPstdWband(id, J)가 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값 ResPmaxWband(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wband(ib)가 승산되는 것 중 절대값의 최대값이, 추정 잔차 최대값 ResPmaxWband(id, J)가 된다.
다음으로, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값 ResPaveWband(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져, 가중치 Wband(ib)가 승산된다. 그리고, 가중치 Wband(ib)가 승산된 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResPaveWband(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값 ResPstdWband(id, J), 가중치 Wmax가 승산된 추정 잔차 최대값 ResPmaxWband(id, J) 및 가중치 Wave가 승산된 추정 잔차 평균값 ResPaveWband(id, J)의 합을 구하고, 평가값 ResPWband(id, J)로 한다.
스텝 S378에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWband(id, J)와, 수학식 25의 가중치 Wp(J)가 승산된 평가값 ResPWband(id, J)를 가산하여, 최종적인 평가값 ResallWband(id, J)를 산출한다. 이 평가값 ResallWband(id, J)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.
그리고, 그 후, 스텝 S379 내지 스텝 S381의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S379에서는, K개의 계수 인덱스 중, 평가값 ResallWband(id, J)가 최소가 되는 것이 선택된다.
이와 같이, 보다 저역측의 서브 밴드에 가중치가 놓이도록, 서브 밴드마다 가중치를 부여함으로써, 복호 장치(40)측에 있어서, 또한 고음질의 음성을 얻을 수 있게 된다.
또한, 이상에 있어서는, 평가값 ResallWband(id, J)에 기초하여, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행해진다고 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값 ResWband(id, J)에 기초하여 선택되도록 해도 된다.
<변형예 3>
또한, 사람의 청각은, 진폭(파워)이 큰 주파수 대역일수록 잘 지각한다고 하는 특성을 갖고 있으므로, 보다 파워가 큰 서브 밴드에 가중치가 놓이도록, 각 복호 고역 서브 밴드 파워 추정 계수에 대한 평가값이 산출되어도 좋다.
그와 같은 경우, 도 18의 부호화 장치(30)는, 도 27의 플로우차트에 나타내는 부호화 처리를 행한다. 이하, 도 27의 플로우차트를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S401 내지 스텝 S405의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S406에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현 프레임 J를 이용한 평가값 ResWpower(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 이용하여, 상술한 수학식 1과 마찬가지의 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다.
고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 29를 계산하고, 잔차 제곱 평균값 ResstdWpower(id, J)를 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해지고, 그들 차분에 서브 밴드마다의 가중치 Wpower[power(ib, J)]가 승산된다. 그리고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 제곱합이 잔차 제곱 평균값 ResstdWpower(id, J)가 된다.
여기서, 가중치 Wpower[power(ib, J)](단, sb+1≤ib≤eb)는, 예를 들면 다음 수학식 30으로 정의된다. 이 가중치 Wpower[power(ib, J)]의 값은, 그 서브 밴드의 고역 서브 밴드 파워 power(ib, J)가 클수록, 커진다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값 ResmaxWpower(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wpower[power(ib, J)]가 승산되는 것 중 절대값의 최대값이, 잔차 최대값 ResmaxWpower(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값 ResaveWpower(id, J)를 산출한다.
구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wpower[power(ib, J)]가 승산되고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 제산하여 얻어지는 값의 절대값이 잔차 평균값 ResaveWpower(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWpower(id, J)를 산출한다. 즉, 잔차 제곱 평균값 ResstdWpower(id, J), 가중치 Wmax가 승산된 잔차 최대값 ResmaxWpower(id, J) 및 가중치 Wave가 승산된 잔차 평균값 ResaveWpower(id, J)의 합이 평가값 ResWpower(id, J)가 된다.
스텝 S407에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 이용한 평가값 ResPWpower(id, J)를 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 이용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 추정 잔차 제곱 평균값 ResPstdWpower(id, J)를 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져 가중치 Wpower[power(ib, J)]가 승산된다. 그리고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 제곱합이 추정 잔차 제곱 평균값 ResPstdWpower(id, J)가 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값 ResPmaxWpower(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분에, 가중치 Wpower[power(ib, J)]가 승산되는 것 중 최대값의 절대값이, 추정 잔차 최대값 ResPmaxWpower(id, J)가 된다.
다음으로, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값 ResPaveWpower(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 powerest[ib, idselected(J-1), J-1]와, 의사 고역 서브 밴드 파워 powerest(ib, id, J)의 차분이 구해져, 가중치 Wpower[power(ib, J)]가 승산된다. 그리고, 가중치 Wpower[power(ib, J)]가 승산된 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResPaveWpower(id, J)가 된다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값 ResPstdWpower(id, J), 가중치 Wmax가 승산된 추정 잔차 최대값 ResPmaxWpower(id, J) 및 가중치 Wave가 승산된 추정 잔차 평균값 ResPaveWpower(id, J)의 합을 구하고, 평가값 ResPWpower(id, J)로 한다.
스텝 S408에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResWpower(id, J)와, 수학식 25의 가중치 Wp(J)가 승산된 평가값 ResPWpower(id, J)를 가산하여, 최종적인 평가값 ResallWpower(id, J)를 산출한다. 이 평가값 ResallWpower(id, J)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.
그리고, 그 후, 스텝 S409 내지 스텝 S411의 처리가 행해져 부호화 처리는 종료되지만, 이들 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S409에서는, K개의 계수 인덱스 중, 평가값 ResallWpower(id, J)가 최소가 되는 것이 선택된다.
이와 같이, 파워가 큰 서브 밴드에 가중치가 놓이도록, 서브 밴드마다 가중치를 부여함으로써, 복호 장치(40)측에 있어서, 또한 고음질의 음성을 얻을 수 있게 된다.
또한, 이상에 있어서는, 평가값 ResallWpower(id, J)에 기초하여, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행해진다고 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값 ResWpower(id, J)에 기초하여 선택되도록 해도 된다.
<6. 제6 실시 형태>
[계수 학습 장치의 구성]
그런데, 도 20의 복호 장치(40)에는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 인덱스에 대응지어져 기록되어 있다. 예를 들면, 복호 장치(40)에 128개의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 기록되면, 이들 복호 고역 서브 밴드 파워 추정 계수를 기록하는 메모리 등의 기록 영역으로서, 큰 영역이 필요해진다.
따라서, 몇 개의 복호 고역 서브 밴드 파워 추정 계수의 일부를 공통인 계수로 하고, 복호 고역 서브 밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 하도록 해도 된다. 그와 같은 경우, 복호 고역 서브 밴드 파워 추정 계수를 학습에 의해 구하는 계수 학습 장치는, 예를 들면 도 28에 도시하는 바와 같이 구성된다.
계수 학습 장치(81)는 서브 밴드 분할 회로(91), 고역 서브 밴드 파워 산출 회로(92), 특징량 산출 회로(93) 및 계수 추정 회로(94)로 구성된다.
이 계수 학습 장치(81)에는, 학습에 이용되는 악곡 데이터 등이 광대역 교사 신호로서 복수 공급된다. 광대역 교사 신호는, 고역의 복수의 서브 밴드 성분과, 저역의 복수의 서브 밴드 성분이 포함되어 있는 신호이다.
서브 밴드 분할 회로(91)는 대역 통과 필터 등으로 이루어지고, 공급된 광대역 교사 신호를, 복수의 서브 밴드 신호로 분할하고, 고역 서브 밴드 파워 산출 회로(92) 및 특징량 산출 회로(93)에 공급한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 고역 서브 밴드 파워 산출 회로(92)에 공급되고, 인덱스가 sb-3 내지 sb인 저역측의 각 서브 밴드의 저역 서브 밴드 신호가 특징량 산출 회로(93)에 공급된다.
고역 서브 밴드 파워 산출 회로(92)는 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하고, 계수 추정 회로(94)에 공급한다. 특징량 산출 회로(93)는 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 기초하여, 저역 서브 밴드 파워를 특징량으로서 산출하고, 계수 추정 회로(94)에 공급한다.
계수 추정 회로(94)는 고역 서브 밴드 파워 산출 회로(92)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(93)로부터의 특징량을 이용하여 회귀 분석을 행함으로써 복호 고역 서브 밴드 파워 추정 계수를 생성하고, 복호 장치(40)에 출력한다.
[계수 학습 처리의 설명]
다음으로, 도 29의 플로우차트를 참조하여, 계수 학습 장치(81)에 의해 행해지는 계수 학습 처리에 대해서 설명한다.
스텝 S431에 있어서, 서브 밴드 분할 회로(91)는 공급된 복수의 광대역 교사 신호 각각을, 복수의 서브 밴드 신호로 분할한다. 그리고, 서브 밴드 분할 회로(91)는, 인덱스가 sb+1 내지 eb인 서브 밴드의 고역 서브 밴드 신호를 고역 서브 밴드 파워 산출 회로(92)에 공급하고, 인덱스가 sb-3 내지 sb인 서브 밴드의 저역 서브 밴드 신호를 특징량 산출 회로(93)에 공급한다.
스텝 S432에 있어서, 고역 서브 밴드 파워 산출 회로(92)는 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호에 대해서, 상술한 수학식 1과 마찬가지의 연산을 행하여 고역 서브 밴드 파워를 산출하고, 계수 추정 회로(94)에 공급한다.
스텝 S433에 있어서, 특징량 산출 회로(93)는 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 대해서, 상술한 수학식 1의 연산을 행하여 저역 서브 밴드 파워를 특징량으로서 산출하고, 계수 추정 회로(94)에 공급한다.
이에 의해, 계수 추정 회로(94)에는, 복수의 광대역 교사 신호의 각 프레임에 대해서, 고역 서브 밴드 파워와 저역 서브 밴드 파워가 공급되게 된다.
스텝 S434에 있어서, 계수 추정 회로(94)는 최소 제곱법을 이용한 회귀 분석을 행하여, 인덱스가 sb+1 내지 eb인 고역측의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 계수 Aib(kb)와 계수 Bib를 산출한다.
또한, 회귀 분석에서는, 특징량 산출 회로(93)로부터 공급된 저역 서브 밴드 파워가 설명 변수가 되고, 고역 서브 밴드 파워 산출 회로(92)로부터 공급된 고역 서브 밴드 파워가 피설명 변수가 된다. 또한, 회귀 분석은 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임의 저역 서브 밴드 파워와 고역 서브 밴드 파워가 이용되어 행해진다.
스텝 S435에 있어서, 계수 추정 회로(94)는, 구한 서브 밴드 ib마다의 계수 Aib(kb)와 계수 Bib를 이용하여, 광대역 교사 신호의 각 프레임의 잔차 벡터를 구한다.
예를 들면, 계수 추정 회로(94)는 프레임 J의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 고역 서브 밴드 파워 power(ib, J)로부터, 계수 Aib(kb)가 승산된 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)의 총합과 계수 Bib의 합을 감산하여 잔차를 구한다. 그리고, 프레임 J의 각 서브 밴드 ib의 잔차로 이루어지는 벡터가 잔차 벡터로 된다.
또한, 잔차 벡터는, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임에 대해 산출된다.
스텝 S436에 있어서, 계수 추정 회로(94)는, 각 프레임에 대해 구한 잔차 벡터를 정규화한다. 예를 들면, 계수 추정 회로(94)는, 각 서브밴드 ib에 대해, 전체 프레임의 잔차 벡터의 서브밴드 ib의 잔차의 분산값을 구하고, 그 분산값의 평방근으로, 각 잔차 벡터에 있어서의 서브밴드 ib의 잔차를 제산함으로써, 잔차 벡터를 정규화한다.
스텝 S437에 있어서, 계수 추정 회로(94)는, 정규화된 전체 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다.
예를 들면, 계수 Aib(kb)와 계수 Bib를 이용하여, 고역 서브밴드 파워의 추정을 행하였을 때에 얻어진, 전체 프레임의 평균적인 주파수 포락을 평균 주파수 포락 SA라 부르기로 한다. 또한, 평균 주파수 포락 SA보다도 파워가 큰 소정의 주파수 포락을 주파수 포락 SH라 하고, 평균 주파수 포락 SA보다도 파워가 작은 소정의 주파수 포락을 주파수 포락 SL이라 한다.
이때, 평균 주파수 포락 SA, 주파수 포락 SH 및 주파수 포락 SL에 가까운 주파수 포락이 얻어진 계수의 잔차 벡터 각각이, 클러스터 CA, 클러스터 CH 및 클러스터 CL에 속하도록, 잔차 벡터의 클러스터링이 행해진다. 바꾸어 말하면, 각 프레임의 잔차 벡터가, 클러스터 CA, 클러스터 CH, 또는 클러스터 CL 중 어느 하나에 속하도록, 클러스터링이 행해진다.
저역 성분과 고역 성분의 상관에 기초하여 고역 성분을 추정하는 주파수 대역 확대 처리에서는, 그 특성상, 회귀 분석에 의해 얻어진 계수 Aib(kb)와 계수 Bib를 이용하여 잔차 벡터를 산출하면, 보다 고역측의 서브밴드일수록 잔차가 커진다. 그 때문에, 잔차 벡터를 그대로 클러스터링하면, 고역측의 서브밴드일수록 중점적으로 처리가 행해지게 된다.
이에 반해, 계수 학습 장치(81)에서는, 잔차 벡터를, 각 서브밴드의 잔차의 분산값으로 정규화함으로써, 외관상 각 서브밴드의 잔차의 분산을 동등한 것으로 하고, 각 서브밴드에 균등한 중점을 부여하여 클러스터링을 행할 수 있다.
스텝 S438에 있어서, 계수 추정 회로(94)는, 클러스터 CA, 클러스터 CH, 또는 클러스터 CL 중 어느 하나의 클러스터를 처리 대상의 클러스터로서 선택한다.
스텝 S439에 있어서, 계수 추정 회로(94)는, 처리 대상의 클러스터로서 선택한 클러스터에 속하는 잔차 벡터의 프레임을 이용하여, 회귀 분석에 의해 각 서브밴드 ib(단, sb＋1≤ib≤eb)의 계수 Aib(kb)와 계수 Bib를 산출한다.
즉, 처리 대상의 클러스터에 속하는 잔차 벡터의 프레임을, 처리 대상 프레임이라 부르기로 하면, 모든 처리 대상 프레임의 저역 서브밴드 파워와 고역 서브밴드 파워가, 설명 변수 및 피설명 변수로 되어, 최소 제곱법을 이용한 회귀 분석이 행해진다. 이에 의해, 서브밴드 ib마다 계수 Aib(kb)와 계수 Bib가 얻어진다.
스텝 S440에 있어서, 계수 추정 회로(94)는, 모든 처리 대상 프레임에 대해, 스텝 S439의 처리에 의해 얻어진 계수 Aib(kb)와 계수 Bib를 이용하여, 잔차 벡터를 구한다. 또한, 스텝 S440에서는, 스텝 S435와 동일한 처리가 행해져, 각 처리 대상 프레임의 잔차 벡터가 구해진다.
스텝 S441에 있어서, 계수 추정 회로(94)는, 스텝 S440의 처리에서 구한 각 처리 대상 프레임의 잔차 벡터를, 스텝 S436과 동일한 처리를 행하여 정규화한다. 즉, 서브밴드마다, 잔차가 분산값의 평방근으로 제산되어 잔차 벡터의 정규화가 행해진다.
스텝 S442에 있어서, 계수 추정 회로(94)는, 정규화된 전체 처리 대상 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다. 여기서의 클러스터수는, 다음과 같이 하여 정해진다. 예를 들면, 계수 학습 장치(81)에 있어서, 128개의 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수를 생성하고자 하는 경우에는, 처리 대상 프레임수에 128을 승산하고, 또한 전체 프레임수로 제산하여 얻어지는 수가 클러스터수로 된다. 여기서, 전체 프레임수라 함은, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호의 전체 프레임의 총수이다.
스텝 S443에 있어서, 계수 추정 회로(94)는, 스텝 S442의 처리에서 얻어진 각 클러스터의 무게 중심 벡터를 구한다.
예를 들면, 스텝 S442의 클러스터링으로 얻어진 클러스터는, 계수 인덱스에 대응하고 있고, 계수 학습 장치(81)에서는, 클러스터마다 계수 인덱스가 할당되어, 각 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수가 구해진다.
구체적으로는, 스텝 S438에 있어서 클러스터 CA가, 처리 대상의 클러스터로서 선택되고, 스텝 S442에 있어서의 클러스터링에 의해, F개의 클러스터가 얻어졌다고 하자. 이제, F개의 클러스터 중 하나의 클러스터 CF에 주목하면, 클러스터 CF의 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수는, 스텝 S439에서 클러스터 CA에 대해 구해진 계수 Aib(kb)가 선형 상관항인 계수 Aib(kb)로 된다. 또한, 스텝 S443에서 구해진 클러스터 CF의 무게 중심 벡터에 대해 스텝 S441에서 행한 정규화의 역처리(역정규화)를 실시한 벡터와, 스텝 S439에서 구한 계수 Bib의 합이, 복호 고역 서브밴드 파워 추정 계수의 상수항인 계수 Bib가 된다. 여기서 말하는 역정규화라 함은, 예를 들면 스텝 S441에서 행한 정규화가, 서브밴드마다 잔차를 분산값의 평방근으로 제산하는 것이었던 경우, 클러스터 CF의 무게 중심 벡터의 각 요소에 대해 정규화 시와 동일한 값(서브밴드마다의 분산값의 평방근)을 승산하는 처리로 된다.
즉, 스텝 S439에서 얻어진 계수 Aib(kb)와, 상술한 바와 같이 하여 구한 계수 Bib의 세트가, 클러스터 CF의 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수로 된다. 따라서, 클러스터링으로 얻어진 F개의 클러스터 각각은, 복호 고역 서브밴드 파워 추정 계수의 선형 상관항으로서, 클러스터 CA에 대해 구해진 계수 Aib(kb)를 공통적으로 갖게 된다.
스텝 S444에 있어서, 계수 학습 장치(81)는, 클러스터 CA, 클러스터 CH 및 클러스터 CL의 모든 클러스터를 처리 대상의 클러스터로서 처리하였는지 여부를 판정한다. 스텝 S444에 있어서, 아직 모든 클러스터를 처리하지 못했다고 판정된 경우, 처리는 스텝 S438로 복귀되어, 상술한 처리가 반복된다. 즉, 다음 클러스터가 처리 대상으로서 선택되고, 복호 고역 서브밴드 파워 추정 계수가 산출된다.
이에 반해, 스텝 S444에 있어서, 모든 클러스터를 처리하였다고 판정된 경우, 구하고자 하는 소정수의 복호 고역 서브밴드 파워 추정 계수가 얻어졌으므로, 처리는 스텝 S445로 진행한다.
스텝 S445에 있어서, 계수 추정 회로(94)는, 구한 계수 인덱스와, 복호 고역 서브밴드 파워 추정 계수를 복호 장치(40)에 출력하여 기록시키고, 계수 학습 처리는 종료한다.
예를 들면, 복호 장치(40)에 출력되는 복호 고역 서브밴드 파워 추정 계수의 중에는, 선형 상관항으로서 동일한 계수 Aib(kb)를 갖는 것이 몇 개 있다. 따라서, 계수 학습 장치(81)는, 이들 공통되는 계수 Aib(kb)에 대해, 그 계수 Aib(kb)를 특정하는 정보인 선형 상관항 인덱스(포인터)를 대응지음과 함께, 계수 인덱스에 대해, 선형 상관항 인덱스와 상수항인 계수 Bib를 대응짓는다.
그리고, 계수 학습 장치(81)는, 대응지어진 선형 상관항 인덱스(포인터)와 계수 Aib(kb) 및 대응지어진 계수 인덱스와 선형 상관항 인덱스(포인터) 및 계수 Bib를, 복호 장치(40)에 공급하여, 복호 장치(40)의 고역 복호 회로(45) 내의 메모리에 기록시킨다. 이와 같이, 복수의 복호 고역 서브밴드 파워 추정 계수를 기록해 두는 데 있어서, 각 복호 고역 서브밴드 파워 추정 계수를 위한 기록 영역에, 공통되는 선형 상관항에 대해서는, 선형 상관항 인덱스(포인터)를 저장해 두면, 기록 영역을 대폭 작게 할 수 있다.
이 경우, 고역 복호 회로(45) 내의 메모리에는, 선형 상관항 인덱스와 계수 Aib(kb)가 대응지어져 기록되어 있으므로, 계수 인덱스로부터 선형 상관항 인덱스와 계수 Bib를 얻고, 또한 선형 상관항 인덱스로부터 계수 Aib(kb)를 얻을 수 있다.
또한, 본 출원인에 의한 해석의 결과, 복수의 복호 고역 서브밴드 파워 추정 계수의 선형 상관항을 3패턴 정도로 공통화해도, 주파수 대역 확대 처리한 음성의 청감상의 음질의 열화는 거의 없는 것을 알 수 있었다. 따라서, 계수 학습 장치(81)에 따르면, 주파수 대역 확대 처리 후의 음성의 음질을 열화시키는 일 없이, 복호 고역 서브밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 할 수 있다.
이상과 같이 하여, 계수 학습 장치(81)는, 공급된 광대역 교사 신호로부터, 각 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수를 생성하고, 출력한다.
또한, 도 29의 계수 학습 처리에서는, 잔차 벡터를 정규화한다고 설명하였지만, 스텝 S436 또는 스텝 S441의 한쪽 또는 양쪽에 있어서, 잔차 벡터의 정규화를 행하지 않도록 해도 된다.
또한, 잔차 벡터의 정규화는 행해지도록 하고, 복호 고역 서브밴드 파워 추정 계수의 선형 상관항의 공통화는 행해지지 않도록 해도 된다. 그와 같은 경우, 스텝 S436에 있어서의 정규화 처리 후, 정규화된 잔차 벡터가, 구하고자 하는 복호 고역 서브밴드 파워 추정 계수의 수와 동일한 수의 클러스터에 클러스터링된다. 그리고, 각 클러스터에 속하는 잔차 벡터의 프레임이 이용되어, 클러스터마다 회귀 분석이 행해지고, 각 클러스터의 복호 고역 서브밴드 파워 추정 계수가 생성된다.
<7. 제7 실시 형태>
[계수 테이블의 공유에 대하여]
그런데, 이상에 있어서는, 인덱스가 ib(단, sb+1≤ib≤eb)인 고역측의 서브밴드 ib의 고역 서브밴드 신호를 얻기 위해, 복호 고역 서브밴드 파워 추정 계수로서의 계수 Aib(sb-3) 내지 계수 Aib(sb) 및 계수 Bib가 사용된다고 설명하였다.
고역 성분은 서브밴드 sb+1 내지 서브밴드 eb까지의 (eb-sb)개의 서브밴드로 구성되기 때문에, 각 서브밴드의 고역 서브밴드 신호로 이루어지는 복호 고역 신호를 얻기 위해서는, 예를 들어 도 30에 도시한 계수 세트가 필요하게 된다.
즉, 도 30의 가장 상측의 행의 계수 Asb +1(sb-3) 내지 계수 Asb + 1(sb)는 서브밴드 sb+1의 복호 고역 서브밴드 파워를 얻기 위해, 저역측의 서브밴드 sb-3 내지 서브밴드 sb의 각 저역 서브밴드 파워에 승산되는 계수이다. 또한, 도면 중, 가장 상측의 행의 계수 Bsb +1은 서브밴드 sb+1의 복호 고역 서브밴드 파워를 얻기 위한 저역 서브밴드 파워의 선형 결합의 상수항이다.
마찬가지로, 도면 중, 가장 하측의 행의 계수 Aeb(sb-3) 내지 계수 Aeb(sb)는, 서브밴드 eb의 복호 고역 서브밴드 파워를 얻기 위해, 저역측의 서브밴드 sb-3 내지 서브밴드 sb의 각 저역 서브밴드 파워에 승산되는 계수이다. 또한, 도면 중, 가장 하측의 행의 계수 Beb는 서브밴드 eb의 복호 고역 서브밴드 파워를 얻기 위한 저역 서브밴드 파워의 선형 결합의 정수항이다.
이와 같이, 부호화 장치(30)나 복호 장치(40)에는, 1개의 계수 인덱스에 의해 특정되는 복호 고역 서브밴드 파워 추정 계수로서 5×(eb-sb)개의 계수 세트가 미리 기록되어 있다. 또한, 이하, 복호 고역 서브밴드 파워 추정 계수로서의 이들 5×(eb-sb)개의 계수의 세트를, 계수 테이블이라고도 칭하기로 한다.
예를 들어, (eb-sb)개보다도 많은 수의 서브밴드로 이루어지는 복호 고역 신호를 얻고자 하는 경우, 도 30에 도시한 계수 테이블에서는 계수가 부족하여, 적절히 복호 고역 신호를 얻을 수 없다. 반대로, (eb-sb)개보다도 적은 수의 서브밴드로 이루어지는 복호 고역 신호를 얻고자 하는 경우에는, 도 30에 도시한 계수 테이블에서는 계수가 남아 버린다.
그로 인해, 부호화 장치(30)나 복호 장치(40)에서는, 복호 고역 신호를 구성하는 서브밴드의 수에 따라, 많은 계수 테이블을 미리 기록해 두어야만 되어, 계수 테이블을 기록해 두는 기록 영역의 크기가 커져 버리는 경우가 있었다.
따라서, 미리 정해진 서브밴드수의 복호 고역 신호를 얻기 위한 계수 테이블을 기록해 두고, 그 계수 테이블의 확장 또는 축소를 행함으로써, 상이한 서브밴드수의 복호 고역 신호에 대응하도록 해도 좋다.
구체적으로는, 예를 들어 부호화 장치(30)나 복호 장치(40)에, 인덱스 eb=sb+8인 경우에서의 계수 테이블이 기록되어 있다고 하자. 이 경우, 계수 테이블을 구성하는 각 계수를 사용하면, 8개의 서브밴드로 이루어지는 복호 고역 신호를 얻을 수 있다.
여기서, 예를 들어 도 31의 좌측에 도시한 바와 같이, 서브밴드 sb+1 내지 서브밴드 sb+10까지의 10개의 서브밴드로 구성되는 복호 고역 신호를 얻고자 하면, 부호화 장치(30)나 복호 장치(40)에 기록되어 있는 계수 테이블에서는 계수가 부족하다. 즉, 서브밴드 sb+9와 서브밴드 sb+10의 계수 Aib(kb) 및 계수 Bib가 부족하게 된다.
따라서, 도면 중, 우측에 도시한 바와 같이 계수 테이블을 확장하면, 고역측의 서브밴드가 8개인 경우에서의 계수 테이블을 사용하여, 10개의 서브밴드로 구성되는 복호 고역 신호를 적절히 얻을 수 있게 된다. 또한, 도면 중, 횡축은 주파수를 나타내고 있고, 종축은 파워를 나타내고 있다. 또한, 도면 중, 좌측에는 입력 신호의 각 주파수 성분이 나타내어져 있고, 세로 방향의 선은 고역측의 각 서브밴드의 경계를 나타내고 있다.
도 31의 예에서는, 복호 고역 서브밴드 파워 추정 계수로서의 서브밴드 sb+8의 계수 Asb +8(sb-3) 내지 계수 Asb + 8(sb)와 계수 Bsb +8이 그대로 서브밴드 sb+9 및 서브밴드 sb+10의 계수로서 사용되고 있다.
즉, 계수 테이블에 있어서, 서브밴드 sb+8의 계수 Asb +8(sb-3) 내지 계수 Asb+8(sb)과 계수 Bsb +8이 그대로 복제되어 서브밴드 sb+9의 계수 Asb +9(sb-3) 내지 계수 Asb +9(sb) 및 계수 Bsb +9로서 사용되고 있다. 마찬가지로, 계수 테이블에 있어서, 서브밴드 sb+8의 계수 Asb +8(sb-3) 내지 계수 Asb +8(sb)과 계수 Bsb +8이 그대로 복제되어 서브밴드 sb+10의 계수 Asb +10(sb-3) 내지 계수 Asb +10(sb) 및 계수 Bsb +10으로서 사용되고 있다.
이와 같이, 계수 테이블이 확장되는 경우, 계수 테이블 내의 가장 주파수가 높은 서브밴드의 계수 Aib(kb) 및 계수 Bib가, 부족한 서브밴드의 계수로서 그대로 사용된다.
또한, 고역 성분에서의, 서브밴드 sb+9나 서브밴드 sb+10 등의 주파수가 높은 서브밴드의 성분의 추정 정밀도가 다소 저하되었다 하더라도, 복호 고역 신호와 복호 저역 신호로 이루어지는 출력 신호의 재생 시에 청감 상의 열화가 발생하지 않는다.
또한, 계수 테이블의 확장은, 가장 주파수가 높은 서브밴드의 계수 Aib(kb) 및 계수 Bib를 복제하여, 다른 서브밴드의 계수로 하는 예에 한정되지 않고, 계수 테이블의 임의의 서브밴드의 계수가 복제되어, 확장되는(부족한) 서브밴드의 계수가 되어도 좋다. 또한, 복제되는 계수는 1개의 서브밴드의 계수에 한정되지 않고, 복수의 서브밴드의 계수가 복제되어, 확장하는 복수의 서브밴드의 계수 각각이 되어도 좋다. 또한, 몇 개의 서브밴드의 계수에 기초하여, 확장되는 서브밴드의 계수가 산출되어도 좋다.
이에 반해, 예를 들어 부호화 장치(30)나 복호 장치(40)에, 인덱스 eb=sb+8인 경우에서의 계수 테이블이 기록되어 있고, 도 32의 좌측에 도시한 바와 같이, 6개의 서브밴드로 구성되는 복호 고역 신호를 생성한다고 하자. 또한, 도면 중, 횡축은 주파수를 나타내고 있고, 종축은 파워를 나타내고 있다. 또한, 도면 중, 좌측에는 입력 신호의 각 주파수 성분이 나타내어져 있고, 세로 방향의 선은 고역측의 각 서브밴드의 경계를 나타내고 있다.
이 경우, 부호화 장치(30)나 복호 장치(40)에는, 고역측의 서브밴드수가 6개인 계수 테이블은 기록되어 있지 않다. 따라서, 도면 중, 우측에 도시한 바와 같이 계수 테이블을 축소하면, 고역측의 서브밴드가 8개인 경우에서의 계수 테이블을 사용하여, 6개의 서브밴드로 구성되는 복호 고역 신호를 적절히 얻을 수 있게 된다.
도 32의 예에서는, 복호 고역 서브밴드 파워 추정 계수로서의 계수 테이블로부터, 서브밴드 sb+7의 계수 Asb +7(sb-3) 내지 계수 Asb +7(sb) 및 계수 Bsb +7과, 서브밴드 sb+8의 계수 Asb +8(sb-3) 내지 계수 Asb +8(sb) 및 계수 Bsb +8이 삭제되어 있다. 그리고, 서브밴드 sb+7과 서브밴드 sb+8의 계수가 삭제된, 서브밴드 sb+1 내지 서브밴드 sb+6까지의 6개의 서브밴드의 계수로 이루어지는 새로운 계수 테이블이 복호 고역 서브밴드 파워 추정 계수로서 사용되고, 복호 고역 신호가 생성된다.
이와 같이, 계수 테이블이 축소되는 경우, 계수 테이블 내의 불필요한 서브밴드, 즉 복호 고역 신호의 생성에 사용되지 않는 서브밴드의 계수 Aib(kb) 및 계수 Bib가 삭제되어, 축소된 계수 테이블이 된다.
이상과 같이, 부호화 장치나 복호 장치에 기록되어 있는 계수 테이블을, 생성하고자 하는 복호 고역 신호의 서브밴드의 수에 따라 적절히 확장 또는 축소함으로써, 소정의 서브밴드수의 계수 테이블을 공통하여 사용할 수 있다. 이에 의해, 계수 테이블의 기록 영역의 크기를 저감시킬 수 있다.
[부호화 장치의 기능적 구성예]
필요에 따라 계수 테이블이 확장 또는 축소되는 경우, 부호화 장치는, 예를 들어 도 33에 도시한 바와 같이 구성된다. 또한, 도 33에 있어서, 도 18에서의 경우와 대응하는 부분에는 동일한 부호를 붙였으며, 그 설명은 적절히 생략한다.
도 33의 부호화 장치(111)와 도 18의 부호화 장치(30)는, 부호화 장치(111)의 의사 고역 서브밴드 파워 산출 회로(35)에 확장 축소부(121)가 설치되어 있는 점에서 상이하고, 그 밖의 구성은 동일한 구성으로 되어 있다.
확장 축소부(121)는, 입력 신호의 고역 성분을 분할하는 서브밴드수에 따라, 의사 고역 서브밴드 파워 산출 회로(35)가 기록하고 있는 계수 테이블을 확장 또는 축소한다. 의사 고역 서브밴드 파워 산출 회로(35)는, 필요에 따라 확장 축소부(121)에 의해 확장 또는 축소된 계수 테이블을 사용하여, 의사 고역 서브밴드 파워를 산출한다.
[부호화 처리의 설명]
이어서, 도 34의 플로우차트를 참조하여, 부호화 장치(111)에 의해 행해지는 부호화 처리에 대하여 설명한다. 또한, 스텝 S471 내지 스텝 S474의 처리는, 도 19의 스텝 S181 내지 스텝 S184의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S475에 있어서, 확장 축소부(121)는 입력 신호의 고역의 서브밴드수, 즉 고역 서브밴드 신호의 수에 따라, 의사 고역 서브밴드 파워 산출 회로(35)가 기록하고 있는 복호 고역 서브밴드 파워 추정 계수로서의 계수 테이블을 확장 또는 축소한다.
예를 들어, 입력 신호의 고역 성분이 서브밴드 sb+1 내지 서브밴드 sb+q의q개의 서브밴드의 고역 서브밴드 신호로 분할된다고 하자. 즉, 저역 서브밴드 신호에 기초하여, q개의 서브밴드의 의사 고역 서브밴드 파워가 산출된다고 하자.
또한, 의사 고역 서브밴드 파워 산출 회로(35)에, 복호 고역 서브밴드 파워 추정 계수로서, 서브밴드 sb+1 내지 서브밴드 sb+r의 r개의 서브밴드의 계수 Aib(kb) 및 계수 Bib로 이루어지는 계수 테이블이 기록되어 있다고 하자.
이 경우, 확장 축소부(121)는 q가 r보다 클(q>r일) 때, 의사 고역 서브밴드 파워 산출 회로(35)에 기록되어 있는 계수 테이블을 확장한다. 즉, 확장 축소부(121)는 계수 테이블에 포함되는 서브밴드 sb+r의 계수 Asb +r(kb) 및 계수 Bsb +r을 복제하여, 그대로 서브밴드 sb+r+1 내지 서브밴드 sb+q의 각 서브밴드의 계수로 한다. 이에 의해, q개의 서브밴드의 계수 Aib(kb) 및 계수 Bib로 이루어지는 계수 테이블이 얻어진다.
또한, 확장 축소부(121)는, q가 r보다 작을(q<r일) 때, 의사 고역 서브밴드 파워 산출 회로(35)에 기록되어 있는 계수 테이블을 축소한다. 즉, 확장 축소부(121)는, 계수 테이블에 포함되는 서브밴드 sb+q+1 내지 서브밴드 sb+r의 각 서브밴드의 계수 Aib(kb) 및 계수 Bib를 삭제한다. 이에 의해, 서브밴드 sb+1 내지 서브밴드 sb+q의 각 서브밴드의 계수 Aib(kb) 및 계수 Bib로 이루어지는 계수 테이블이 얻어진다.
또한, 확장 축소부(121)는, q가 r과 동일한(q=r인) 경우, 의사 고역 서브밴드 파워 산출 회로(35)에 기록되어 있는 계수 테이블에 대한 확장도 축소도 행하지 않는다.
스텝 S476에 있어서, 의사 고역 서브밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터 공급된 특징량에 기초하여, 의사 고역 서브밴드 파워를 산출하고, 의사 고역 서브밴드 파워 차분 산출 회로(36)에 공급한다.
예를 들어, 의사 고역 서브밴드 파워 산출 회로(35)는, 복호 고역 서브밴드 파워 추정 계수로서 기록하고 있고, 필요에 따라 확장 축소부(121)에 의해 확장 또는 축소된 계수 테이블과, 저역 서브밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)를 사용해서 상술한 수학식 2의 연산을 행하고, 의사 고역 서브밴드 파워powerest(ib, J)를 산출한다.
즉, 특징량으로서 공급된 저역측의 각 서브밴드의 저역 서브밴드 파워에, 서브밴드마다의 계수 Aib(kb)가 승산되고, 계수가 승산된 저역 서브밴드 파워의 합에, 추가로 계수 Bib가 가산되어, 의사 고역 서브밴드 파워 powerest(ib, J)가 된다.
이 의사 고역 서브밴드 파워는 고역측의 각 서브밴드에 대하여 산출된다.
또한, 의사 고역 서브밴드 파워 산출 회로(35)는, 미리 기록되어 있는 복호 고역 서브밴드 파워 추정 계수(계수 테이블)마다 의사 고역 서브밴드 파워의 산출을 행한다. 예를 들어, 계수 인덱스가 1 내지 K(단, 2≤K)의 K개의 복호 고역 서브밴드 파워 추정 계수가 미리 준비되어 있다고 하자. 이 경우, K개의 복호 고역 서브밴드 파워 추정 계수마다, 필요에 따라 계수 테이블의 확장 또는 축소가 행해지고, 각 서브밴드의 의사 고역 서브밴드 파워가 산출되게 된다.
이와 같이, 필요에 따라 계수 테이블의 확장 또는 축소를 행하면, 고역측의 서브밴드수에 의하지 않고, 미리 기록되어 있는 계수 테이블을 사용하여 서브밴드 sb+1 내지 서브밴드 eb의 의사 고역 서브밴드 파워를 적절히 산출할 수 있다. 게다가, 이 경우, 보다 적은 복호 고역 서브밴드 파워 추정 계수로, 보다 효율적으로 의사 고역 서브밴드 파워를 얻을 수 있다.
스텝 S476에 있어서 의사 고역 서브밴드 파워가 산출되면, 그 후, 스텝 S477 및 스텝 S478의 처리가 행해져, 의사 고역 서브밴드 파워 차분의 제곱합이 산출된다. 또한, 이들 처리는 도 19의 스텝 S186 및 스텝 S187의 처리와 마찬가지이므로, 그 설명은 생략한다.
또한, 스텝 S478에서는, K개의 복호 고역 서브밴드 파워 추정 계수마다 차분 제곱합 E(J, id)가 산출된다. 의사 고역 서브밴드 파워 차분 산출 회로(36)는, 산출한 K개의 차분 제곱합 E(J, id) 중 값이 최소가 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
이와 같이 하여, 가장 고정밀도로 고역 신호를 추정할 수 있는 계수 인덱스가 선택되어, 고역 부호화 회로(37)에 공급되면, 그 후, 스텝 S479 및 스텝 S480의 처리가 행해져서 부호화 처리는 종료한다. 또한, 이들 처리는 도 19의 스텝 S188 및 스텝 S189의 처리와 마찬가지이므로, 그 설명은 생략한다.
이와 같이, 저역 부호화 데이터와 함께, 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 음질이 좋은 신호를 얻을 수 있게 된다.
게다가, 부호화 장치(111)에서는, 입력 신호의 고역 성분이 분할되는 서브밴드수마다 계수 테이블을 기록해 둘 필요가 없기 때문에, 적은 계수 테이블로 보다 효율적으로 음성의 부호화를 행할 수 있다.
또한, 입력 신호의 고역 성분이 분할되는 서브밴드수를 나타내는 정보가 고역 부호화 데이터에 포함되도록 해도 좋고, 서브밴드수를 나타내는 정보가 출력 부호열과는 다른 데이터로서 복호 장치에 송신되도록 해도 좋다.
[복호 장치의 기능적 구성예]
또한, 도 33의 부호화 장치(111)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치는, 예를 들어 도 35에 도시한 바와 같이 구성된다. 또한, 도 35에 있어서, 도 20에서의 경우와 대응하는 부분에는 동일한 부호를 붙였으며, 그 설명은 적절히 생략한다.
도 35의 복호 장치(151)는 비다중화 회로(41) 내지 합성 회로(48)로 구성되는 점에서는, 도 20의 복호 장치(40)와 동일하지만, 복호 고역 서브밴드 파워 산출 회로(46)에 확장 축소부(161)가 설치되어 있는 점에서, 도 20의 복호 장치(40)와 상이하다.
확장 축소부(161)는 고역 복호 회로(45)로부터 공급된, 복호 고역 서브밴드 파워 추정 계수로서의 계수 테이블을, 필요에 따라 확장 또는 축소한다. 복호 고역 서브밴드 파워 산출 회로(46)는, 필요에 따라 확장 또는 축소된 계수 테이블을 사용하여, 복호 고역 서브밴드 파워를 산출한다.
[복호 처리의 설명]
이어서, 도 36의 플로우차트를 참조하여, 도 35의 복호 장치(151)에 의해 행해지는 복호 처리에 대하여 설명한다. 또한, 스텝 S511 내지 스텝 S515의 처리는, 도 21의 스텝 S211 내지 스텝 S215의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S516에 있어서, 확장 축소부(161)는, 고역 복호 회로(45)로부터 공급된, 복호 고역 서브밴드 파워 추정 계수로서의 계수 테이블을, 필요에 따라 확장 또는 축소한다.
구체적으로는, 예를 들어 복호 고역 서브밴드 파워 산출 회로(46)에 의해, 고역측의 서브밴드 sb+1 내지 서브밴드 sb+q의 q개의 서브밴드의 복호 고역 서브밴드 파워가 산출된다고 하자. 즉, 복호 고역 신호가 q개의 서브밴드의 성분으로 이루어진다고 하자.
또한, 고역측의 서브밴드수 「q」는 복호 장치(151)에 있어서 미리 특정되어 있도록 해도 좋고, 사용자에 의해 지정되도록 해도 좋다. 또한, 고역측의 서브밴드수를 나타내는 정보가 고역 부호화 데이터에 포함되어 있어도 좋고, 입력 부호열과는 다른 데이터로서, 부호화 장치(111)로부터 복호 장치(151)에 고역측의 서브밴드수를 나타내는 정보가 송신되도록 해도 좋다.
또한, 고역 복호 회로(45)에, 복호 고역 서브밴드 파워 추정 계수로서, 서브밴드 sb+1 내지 서브밴드 sb+r의 r개의 서브밴드의 계수 Aib(kb) 및 계수 Bib로 이루어지는 계수 테이블이 기록되어 있다고 하자.
이 경우, 확장 축소부(161)는 q가 r보다 클(q>r일) 때, 고역 복호 회로(45)로부터 공급된 계수 테이블을 확장한다. 즉, 확장 축소부(161)는, 계수 테이블에 포함되는 서브밴드 sb+r의 계수 Asb +r(kb) 및 계수 Bsb +r을 복제하여, 그대로 서브밴드 sb+r+1 내지 서브밴드 sb+q의 각 서브밴드의 계수로 한다. 이에 의해, q개의 서브밴드의 계수 Aib(kb) 및 계수 Bib로 이루어지는 계수 테이블이 얻어진다.
또한, 확장 축소부(161)는, q가 r보다 작을(q<r일) 때, 고역 복호 회로(45)로부터 공급된 계수 테이블을 축소한다. 즉, 확장 축소부(161)는, 계수 테이블에 포함되는 서브밴드 sb+q+1 내지 서브밴드 sb+r의 각 서브밴드의 계수 Aib(kb) 및 계수 Bib를 삭제한다. 이에 의해, 서브밴드 sb+1 내지 서브밴드 sb+q의 각 서브밴드의 계수 Aib(kb) 및 계수 Bib로 이루어지는 계수 테이블이 얻어진다.
또한, 확장 축소부(161)는, q가 r과 동일한(q=r인) 경우, 고역 복호 회로(45)로부터 공급된 계수 테이블에 대한 확장도 축소도 행하지 않는다.
필요에 따라, 계수 테이블이 확장 또는 축소되면, 그 후, 스텝 S517 내지 스텝 S519의 처리가 행해져서 복호 처리는 종료되지만, 이들 처리는 도 21의 스텝 S216 내지 스텝 S218의 처리와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 복호 장치(151)에 의하면, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻어, 그 계수 인덱스에 의해 나타내어지는 복호 고역 서브밴드 파워 추정 계수를 사용해서 복호 고역 서브밴드 파워를 산출하므로, 고역 서브밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능해진다.
게다가, 복호 장치(151)에서는 복호 고역 신호를 구성하는 서브밴드의 수마는 계수 테이블을 기록해 둘 필요가 없기 때문에, 적은 계수 테이블로 보다 효율적으로 음성의 복호를 행할 수 있다.
<8. 제8 실시 형태>
[혼합 학습 방법에 대하여]
또한, 이상에서는 대역 제한 주파수, 샘플링 주파수, 코덱, 인코드 알고리즘의 차이에 대응할 수 있을 만큼의 계수 집합을 준비하고 있었지만, 테이블의 크기가 커져 버린다는 문제가 있었다. 이 문제에 대하여, 다양한 대역 제한 주파수, 샘플링 주파수, 코덱, 인코드 알고리즘 처리음을 입력으로 하여, 설명 변수(sb-3으로부터 sb) 및 피설명 변수(sb+1로부터 eb)를 준비하고, 이들을 혼합시켜 학습을 행하는 방법을 고안하였다. 이 방법에 의해, 다양한 샘플링 주파수, 코덱, 인코드 알고리즘의 신호에 대하여, 1개의 테이블로 평균적으로 고정밀도로 고역의 파워를 추정하는 것이 가능해진다.
구체적으로는, 예를 들어 도 37에 도시한 바와 같이, 조건 A 내지 조건 D 등의 조건마다, 광대역 교사 신호로부터 설명 변수와 피설명 변수가 구해지고, 복호 고역 서브밴드 파워 추정 계수(계수 테이블)이 학습에 의해 구해지고 있었다.
또한, 도 37에 있어서, 대역 제한 주파수는, 저역 신호 또는 복호 저역 신호에 포함되는 성분의 주파수 중 가장 높은 주파수를 말하고, 샘플링 주파수는 입력 신호 또는 출력 신호의 샘플링 주파수이다. 또한, 코덱은 입력 신호의 부호화 방식이고, 인코드 알고리즘은 음성의 부호화의 방법이다. 예를 들어 인코드 알고리즘이 상이하면, 복호 저역 신호가 상이하게 되고, 그 결과, 예를 들어 피설명 변수로서 사용되는 저역 서브밴드 파워의 값 등이 상이하게 된다.
조건마다 계수 테이블이 구해진 경우, 음성의 부호화시나 복호 시에, 코덱이나 인코드 알고리즘 등의 조건에 따라, 그 조건에 대하여 구한 계수 테이블로부터 1개의 계수 테이블이 선택되게 된다.
이와 같이, 조건마다 계수 테이블을 구하면, 부호화 장치나 복호 장치에서는 조건마다 많은 계수 테이블을 미리 기록해 두어야만 되어, 계수 테이블을 기록해 두는 기록 영역의 크기가 커져 버리는 경우가 있었다.
따라서, 조건마다 광대역 교사 신호로부터 구한 설명 변수와 피설명 변수를 혼합하여 학습을 행하고, 그 결과 얻어진 계수 테이블로, 조건에 구애되지 않고, 평균적으로 고정밀도로 고역 서브밴드 파워를 추정할 수 있도록 해도 좋다.
[계수 학습 장치의 기능적 구성예]
그러한 경우, 학습에 의해 복호 고역 서브밴드 파워 추정 계수로서의 계수 테이블을 생성하는 계수 학습 장치는, 예를 들어 도 38에 도시한 바와 같이 구성된다.
계수 학습 장치(191)는 서브밴드 분할 회로(201), 고역 서브밴드 파워 산출 회로(202), 특징량 산출 회로(203) 및 계수 추정 회로(204)로 구성된다.
이 계수 학습 장치(191)에는, 예를 들어 도 37의 조건 A 내지 조건 D 등의 상이한 복수의 조건의 악곡 데이터 등이 광대역 교사 신호로서 복수 공급된다. 광대역 교사 신호는 고역의 복수의 서브밴드 성분과 저역의 복수의 서브밴드 성분이 포함되어 있는 신호이다.
서브밴드 분할 회로(201)는 대역 통과 필터 등으로 이루어지고, 공급된 광대역 교사 신호를, 복수의 서브밴드 신호로 분할하고, 고역 서브밴드 파워 산출 회로(202) 및 특징량 산출 회로(203)에 공급한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브밴드의 고역 서브밴드 신호가 고역 서브밴드 파워 산출 회로(202)에 공급되고, 인덱스가 sb-3 내지 sb인 저역측의 각 서브밴드의 저역 서브밴드 신호가 특징량 산출 회로(203)에 공급된다.
고역 서브밴드 파워 산출 회로(202)는, 서브밴드 분할 회로(201)로부터 공급된 각 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하고, 계수 추정 회로(204)에 공급한다.
특징량 산출 회로(203)는, 서브밴드 분할 회로(201)로부터 공급된 각 저역 서브밴드 신호에 기초하여, 저역 서브밴드 파워를 특징량으로서 산출하고, 계수 추정 회로(204)에 공급한다.
계수 추정 회로(204)는, 고역 서브밴드 파워 산출 회로(202)로부터의 고역 서브밴드 파워와, 특징량 산출 회로(203)로부터의 특징량을 사용해서 회귀 분석을 행함으로써 복호 고역 서브밴드 파워 추정 계수를 생성하고, 출력한다.
[계수 학습 처리의 설명]
이어서, 도 39의 플로우차트를 참조하여, 계수 학습 장치(191)에 의해 행해지는 계수 학습 처리에 대하여 설명한다.
스텝 S541에 있어서, 서브밴드 분할 회로(201)는, 공급된 복수의 광대역 교사 신호 각각을, 복수의 서브밴드 신호로 분할한다. 그리고, 서브밴드 분할 회로(201)는, 인덱스가 sb+1 내지 eb인 서브밴드의 고역 서브밴드 신호를 고역 서브밴드 파워 산출 회로(202)에 공급하고, 인덱스가 sb-3 내지 sb인 서브밴드의 저역 서브밴드 신호를 특징량 산출 회로(203)에 공급한다.
여기서, 서브밴드 분할 회로(201)에 공급되는 광대역 교사 신호는, 샘플링 주파수 등의 조건이 상이한 복수의 악곡 데이터 등이 된다. 또한, 광대역 교사 신호는 상이한 조건, 예를 들어 상이한 대역 제한 주파수에서 저역 서브밴드 신호나 고역 서브밴드 신호로 분할된다.
스텝 S542에 있어서, 고역 서브밴드 파워 산출 회로(202)는, 서브밴드 분할 회로(201)로부터 공급된 각 고역 서브밴드 신호에 대하여, 상술한 수학식 1과 마찬가지의 연산을 행하여 고역 서브밴드 파워를 산출하고, 계수 추정 회로(204)에 공급한다.
스텝 S543에 있어서, 특징량 산출 회로(203)는, 서브밴드 분할 회로(201)로부터 공급된 각 저역 서브밴드 신호에 대하여, 상술한 수학식 1의 연산을 행하여 저역 서브밴드 파워를 특징량으로서 산출하고, 계수 추정 회로(204)에 공급한다.
이에 의해, 계수 추정 회로(204)에는, 복수의 광대역 교사 신호의 각 프레임에 대하여, 고역 서브밴드 파워와 저역 서브밴드 파워가 공급되게 된다.
스텝 S544에 있어서, 계수 추정 회로(204)는, 최소 제곱법을 사용한 회귀 분석을 행하여, 인덱스가 sb+1 내지 eb인 고역측의 서브밴드 ib(단, sb+1≤ib≤eb)마다 계수 Aib(kb)와 계수 Bib를 산출한다.
또한, 회귀 분석에서는, 특징량 산출 회로(203)로부터 공급된 저역 서브밴드 파워가 설명 변수가 되고, 고역 서브밴드 파워 산출 회로(202)로부터 공급된 고역 서브밴드 파워가 피설명 변수가 된다. 또한, 회귀 분석은, 계수 학습 장치(191)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임의 저역 서브밴드 파워와 고역 서브밴드 파워가 사용되어 행해진다.
스텝 S545에 있어서, 계수 추정 회로(204)는, 구한 서브밴드 ib마다의 계수 Aib(kb)와 계수 Bib를 사용하여, 광대역 교사 신호의 각 프레임의 잔차 벡터를 구한다.
예를 들어, 계수 추정 회로(204)는, 프레임 J의 서브밴드 ib(단, sb+1≤ib≤eb)마다, 고역 서브밴드 파워 power(ib, J)로부터, 계수 Aib(kb)가 승산된 저역 서브밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)의 총합과 계수 Bib의 합을 감산하여 잔차를 구한다. 그리고, 프레임 J의 각 서브밴드 ib의 잔차로 이루어지는 벡터가 잔차 벡터가 된다.
또한, 잔차 벡터는, 계수 학습 장치(191)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임에 대하여 산출된다.
스텝 S546에 있어서, 계수 추정 회로(204)는, 각 프레임에 대하여 구한 잔차 벡터를, k-means법 등에 의해 몇 개의 클러스터로 클러스터링한다.
또한, 계수 추정 회로(204)는, 클러스터마다 그 클러스터의 무게 중심 벡터를 구하고, 각 프레임의 잔차 벡터에 대하여, 클러스터의 무게 중심 벡터와 잔차 벡터의 거리를 산출한다. 그리고, 계수 추정 회로(204)는, 산출한 거리에 기초하여, 각 프레임이 속하는 클러스터를 특정한다. 즉, 프레임의 잔차 벡터와의 거리가 가장 짧은 무게 중심 벡터를 갖는 클러스터가, 그 프레임이 속하는 클러스터가 된다.
스텝 S547에 있어서, 계수 추정 회로(204)는, 클러스터링에 의해 얻어진 복수의 클러스터 중 하나의 클러스터를 처리 대상의 클러스터로서 선택한다.
스텝 S548에 있어서, 계수 추정 회로(204)는, 처리 대상의 클러스터로서 선택한 클러스터에 속하는 잔차 벡터의 프레임을 사용하여, 회귀 분석에 의해 각 서브밴드 ib(단, sb+1≤ib≤eb)의 계수 Aib(kb)와 계수 Bib를 산출한다.
즉, 처리 대상의 클러스터에 속하는 잔차 벡터의 프레임을, 처리 대상 프레임이라 칭하기로 하면, 모든 처리 대상 프레임의 저역 서브밴드 파워와 고역 서브밴드 파워가 설명 변수 및 피설명 변수가 되어, 최소 제곱법을 사용한 회귀 분석이 행해진다. 이에 의해, 서브밴드 ib마다 계수 Aib(kb)와 계수 Bib가 얻어진다.
이와 같이 하여 얻어진 각 서브밴드의 계수 Aib(kb)와 계수 Bib로 이루어지는 계수 테이블이 복호 고역 서브밴드 파워 추정 계수가 되고, 이 복호 고역 서브밴드 파워 추정 계수에 계수 인덱스가 부여된다.
스텝 S549에 있어서, 계수 학습 장치(191)는, 모든 클러스터를 처리 대상의 클러스터로서 처리했는지의 여부를 판정한다. 스텝 S549에 있어서, 아직 모든 클러스터를 처리하지 않았다고 판단되었을 경우, 처리는 스텝 S547로 돌아가, 상술한 처리가 반복된다. 즉, 다음의 클러스터가 처리 대상으로서 선택되고, 복호 고역 서브밴드 파워 추정 계수가 산출된다.
이에 반해, 스텝 S549에 있어서, 모든 클러스터를 처리했다고 판정된 경우, 구하자로 하는 소정수의 복호 고역 서브밴드 파워 추정 계수가 얻어졌으므로, 처리는 스텝 S550으로 진행된다.
스텝 S550에 있어서, 계수 추정 회로(204)는, 구한 계수 인덱스와, 복호 고역 서브밴드 파워 추정 계수를 부호화 장치나 복호 장치에 출력하여 기록시키고, 계수 학습 처리는 종료한다.
이상과 같이 하여, 계수 학습 장치(191)는, 공급된 광대역 교사 신호로부터, 각 계수 인덱스의 복호 고역 서브밴드 파워 추정 계수(계수 테이블)를 생성하고, 출력한다.
이와 같이, 복수의 상이한 조건의 광대역 교사 신호를 사용해서 학습을 행하고, 계수 테이블을 생성함으로써, 계수 테이블의 기록 영역의 크기를 작게 함과 함께, 평균적으로 고정밀도로 고역 서브밴드 파워를 추정할 수 있다.
상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 40은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터에 있어서, CPU(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(506), 디스플레이, 스피커 등으로 이루어지는 출력부(507), 하드디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(508), 네트워크 인터페이스 등으로 이루어지는 통신부(509), 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(511)를 구동하는 드라이브(510)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들면 기억부(508)에 기억되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터[CPU(501)]가 실행하는 프로그램은, 예를 들면 자기 디스크(플렉시블 디스크를 포함함), 광 디스크[CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등], 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(511)에 기록되고, 혹은 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공된다.
그리고, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해, 기억부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(509)에서 수신하고, 기억부(508)에 인스톨할 수 있다. 그 외, 프로그램은, ROM(502)이나 기억부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 발명의 실시 형태는, 상술한 실시 형태로 한정하는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
10 : 주파수 대역 확대 장치
11 : 저역 통과 필터
12 : 지연 회로
13, 13-1 내지 13-N : 대역 통과 필터
14 : 특징량 산출 회로
15 : 고역 서브밴드 파워 추정 회로
16 : 고역 신호 생성 회로
17 : 고역 통과 필터
18 : 신호 가산기
20 : 계수 학습 장치
21, 21-1 내지 21-(K＋N) : 대역 통과 필터
22 : 고역 서브밴드 파워 산출 회로
23 : 특징량 산출 회로
24 : 계수 추정 회로
30 : 부호화 장치
31 : 저역 통과 필터
32 : 저역 부호화 회로
33 : 서브밴드 분할 회로
34 : 특징량 산출 회로
35 : 의사 고역 서브밴드 파워 산출 회로
36 : 의사 고역 서브밴드 파워 차분 산출 회로
37 : 고역 부호화 회로
38 : 다중화 회로
40 : 복호 장치
41 : 비다중화 회로
42 : 저역 복호 회로
43 : 서브밴드 분할 회로
44 : 특징량 산출 회로
45 : 고역 복호 회로
46 : 복호 고역 서브밴드 파워 산출 회로
47 : 복호 고역 신호 생성 회로
48 : 합성 회로
50 : 계수 학습 장치
51 : 저역 통과 필터
52 : 서브밴드 분할 회로
53 : 특징량 산출 회로
54 : 의사 고역 서브밴드 파워 산출 회로
55 : 의사 고역 서브밴드 파워 차분 산출 회로
56 : 의사 고역 서브밴드 파워 차분 클러스터링 회로
57 : 계수 추정 회로
101 : CPU
102 : ROM
103 : RAM
104 : 버스
105 : 입출력 인터페이스
106 : 입력부
107 : 출력부
108 : 기억부
109 : 통신부
110 : 드라이브
111 : 리무버블 미디어
11 : 저역 통과 필터
12 : 지연 회로
13, 13-1 내지 13-N : 대역 통과 필터
14 : 특징량 산출 회로
15 : 고역 서브밴드 파워 추정 회로
16 : 고역 신호 생성 회로
17 : 고역 통과 필터
18 : 신호 가산기
20 : 계수 학습 장치
21, 21-1 내지 21-(K＋N) : 대역 통과 필터
22 : 고역 서브밴드 파워 산출 회로
23 : 특징량 산출 회로
24 : 계수 추정 회로
30 : 부호화 장치
31 : 저역 통과 필터
32 : 저역 부호화 회로
33 : 서브밴드 분할 회로
34 : 특징량 산출 회로
35 : 의사 고역 서브밴드 파워 산출 회로
36 : 의사 고역 서브밴드 파워 차분 산출 회로
37 : 고역 부호화 회로
38 : 다중화 회로
40 : 복호 장치
41 : 비다중화 회로
42 : 저역 복호 회로
43 : 서브밴드 분할 회로
44 : 특징량 산출 회로
45 : 고역 복호 회로
46 : 복호 고역 서브밴드 파워 산출 회로
47 : 복호 고역 신호 생성 회로
48 : 합성 회로
50 : 계수 학습 장치
51 : 저역 통과 필터
52 : 서브밴드 분할 회로
53 : 특징량 산출 회로
54 : 의사 고역 서브밴드 파워 산출 회로
55 : 의사 고역 서브밴드 파워 차분 산출 회로
56 : 의사 고역 서브밴드 파워 차분 클러스터링 회로
57 : 계수 추정 회로
101 : CPU
102 : ROM
103 : RAM
104 : 버스
105 : 입출력 인터페이스
106 : 입력부
107 : 출력부
108 : 기억부
109 : 통신부
110 : 드라이브
111 : 리무버블 미디어
Claims (14)
- 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하는 비다중화부와,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와,
고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하는 선택부와,
몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성부
를 구비하는 신호 처리 장치. - 제1항에 있어서, 상기 확장 축소부는, 상기 계수 테이블에 포함되어 있는 가장 높은 주파수의 서브밴드의 상기 계수를 복제하여, 상기 가장 높은 주파수보다도 높은 주파수의 서브밴드의 상기 계수로 함으로써, 상기 계수 테이블을 확장하는 신호 처리 장치.
- 제1항에 있어서, 상기 확장 축소부는, 상기 고역 서브밴드 신호의 서브밴드 중 가장 주파수가 높은 서브밴드보다도 높은 주파수의 서브밴드의 상기 계수를, 상기 계수 테이블로부터 삭제함으로써, 상기 계수 테이블을 축소하는 신호 처리 장치.
- 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하는 비다중화부와,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와,
고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하는 선택부와,
몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성부
를 구비하는 신호 처리 장치의 신호 처리 방법으로서,
상기 비다중화부가 상기 부호화 데이터를 비다중화하고,
상기 저역 복호부가 상기 저역 신호를 생성하고,
상기 선택부가 상기 계수 테이블을 선택하고,
상기 확장 축소부가 상기 계수 테이블을 축소 또는 확장하고,
상기 고역 서브밴드 파워 산출부가 상기 고역 서브밴드 파워를 산출하고,
상기 고역 신호 생성부가 상기 고역 신호를 생성하는
스텝을 포함하는 신호 처리 방법. - 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하고,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고,
고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하고,
몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하고,
상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하고,
상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램이 기록된 컴퓨터로 판독가능한 기록 매체. - 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와,
고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 신호의 고역 서브밴드 파워와 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하는 선택부와,
선택된 상기 계수 테이블을 얻기 위한 계수 정보가 포함되는 데이터를 생성하는 생성부
를 구비하는 신호 처리 장치. - 제6항에 있어서, 상기 확장 축소부는 상기 계수 테이블에 포함되어 있는 가장 높은 주파수의 서브밴드의 상기 계수를 복제하여, 상기 가장 높은 주파수보다도 높은 주파수의 서브밴드의 상기 계수로 함으로써, 상기 계수 테이블을 확장하는 신호 처리 장치.
- 제6항에 있어서, 상기 확장 축소부는 상기 고역 서브밴드 신호의 서브밴드 중 가장 주파수가 높은 서브밴드보다도 높은 주파수의 서브밴드의 상기 계수를, 상기 계수 테이블로부터 삭제함으로써, 상기 계수 테이블을 축소하는 신호 처리 장치.
- 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와,
고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하는 선택부와,
선택된 상기 계수 테이블을 얻기 위한 계수 정보가 포함되는 데이터를 생성하는 생성부
를 구비하는 신호 처리 장치의 신호 처리 방법으로서,
상기 서브밴드 분할부가 상기 저역 서브밴드 신호와 상기 고역 서브밴드 신호를 생성하고,
상기 확장 축소부가 상기 계수 테이블을 축소 또는 확장하고,
상기 의사 고역 서브밴드 파워 산출부가 상기 의사 고역 서브밴드 파워를 산출하고,
상기 선택부가 상기 계수 테이블을 선택하고,
상기 생성부가 상기 계수 정보가 포함되는 데이터를 생성하는
스텝을 포함하는 신호 처리 방법. - 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하고,
고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하고,
확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하고,
상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하고,
선택된 상기 계수 테이블을 얻기 위한 계수 정보가 포함되는 데이터를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램이 기록된 컴퓨터로 판독가능한 기록 매체. - 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하는 비다중화부와,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와,
고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하는 선택부와,
몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성부와,
상기 저역 신호와 상기 고역 신호를 합성하여, 출력 신호를 생성하는 합성부
를 구비하는 복호 장치. - 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와 계수 정보로 비다중화하는 비다중화부와,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하는 저역 복호부와,
고역 신호의 생성에 사용되는, 고역측의 서브밴드마다의 계수로 이루어지는 복수의 계수 테이블 중, 상기 계수 정보에 의해 얻어지는 계수 테이블을 선택하는 선택부와,
몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
상기 저역 신호를 구성하는 각 서브밴드의 저역 서브밴드 신호와, 확장 또는 축소된 상기 계수 테이블에 기초하여, 상기 고역 신호를 구성하는 각 서브밴드의 고역 서브밴드 신호의 고역 서브밴드 파워를 산출하는 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 파워와 상기 저역 서브밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성부와,
상기 저역 신호와 상기 고역 신호를 합성하여, 출력 신호를 생성하는 합성부
를 구비하는 복호 장치의 복호 방법으로서,
상기 비다중화부가 상기 부호화 데이터를 비다중화하고,
상기 저역 복호부가 상기 저역 신호를 생성하고,
상기 선택부가 상기 계수 테이블을 선택하고,
상기 확장 축소부가 상기 계수 테이블을 축소 또는 확장하고,
상기 고역 서브밴드 파워 산출부가 상기 고역 서브밴드 파워를 산출하고,
상기 고역 신호 생성부가 상기 고역 신호를 생성하고,
상기 합성부가 상기 출력 신호를 생성하는
스텝을 포함하는 복호 방법. - 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와,
고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하는 선택부와,
선택된 상기 계수 테이블을 얻기 위한 계수 정보를 부호화하여 고역 부호화 데이터를 생성하는 고역 부호화부와,
상기 입력 신호의 저역 신호를 부호화하여 저역 부호화 데이터를 생성하는 저역 부호화부와,
상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 생성하는 다중화부
를 구비하는 부호화 장치. - 입력 신호의 저역측의 복수의 서브밴드의 저역 서브밴드 신호와, 상기 입력 신호의 고역측의 복수의 서브밴드의 고역 서브밴드 신호를 생성하는 서브밴드 분할부와,
고역측의 서브밴드마다의 계수로 이루어지는 계수 테이블에 대하여, 몇 개의 서브밴드의 상기 계수를 삭제하여 상기 계수 테이블을 축소하거나, 또는 몇 개의 서브밴드의 상기 계수에 기초하여, 소정의 서브밴드의 상기 계수를 생성함으로써 상기 계수 테이블을 확장하는 확장 축소부와,
확장 또는 축소된 상기 계수 테이블과, 상기 저역 서브밴드 신호에 기초하여, 고역측의 서브밴드마다 상기 고역 서브밴드 신호의 파워의 추정값인 의사 고역 서브밴드 파워를 산출하는 의사 고역 서브밴드 파워 산출부와,
상기 고역 서브밴드 신호의 고역 서브밴드 파워와, 상기 의사 고역 서브밴드 파워를 비교하여, 복수의 상기 계수 테이블 중 어느 하나를 선택하는 선택부와,
선택된 상기 계수 테이블을 얻기 위한 계수 정보를 부호화하여 고역 부호화 데이터를 생성하는 고역 부호화부와,
상기 입력 신호의 저역 신호를 부호화하여, 저역 부호화 데이터를 생성하는 저역 부호화부와,
상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 생성하는 다중화부
를 구비하는 부호화 장치의 부호화 방법으로서,
상기 서브밴드 분할부가 상기 저역 서브밴드 신호와 상기 고역 서브밴드 신호를 생성하고,
상기 확장 축소부가 상기 계수 테이블을 축소 또는 확장하고,
상기 의사 고역 서브밴드 파워 산출부가 상기 의사 고역 서브밴드 파워를 산출하고,
상기 선택부가 상기 계수 테이블을 선택하고,
상기 고역 부호화부가 상기 고역 부호화 데이터를 생성하고,
상기 저역 부호화부가 상기 저역 부호화 데이터를 생성하고,
상기 다중화부가 상기 출력 부호열을 생성하는
스텝을 포함하는 부호화 방법.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010092689 | 2010-04-13 | ||
| JPJP-P-2010-092689 | 2010-04-13 | ||
| JPJP-P-2011-017230 | 2011-01-28 | ||
| JP2011017230 | 2011-01-28 | ||
| JPJP-P-2011-072381 | 2011-03-29 | ||
| JP2011072381A JP5609737B2 (ja) | 2010-04-13 | 2011-03-29 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| PCT/JP2011/059030 WO2011129305A1 (ja) | 2010-04-13 | 2011-04-11 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130042474A KR20130042474A (ko) | 2013-04-26 |
| KR101801996B1 true KR101801996B1 (ko) | 2017-11-27 |
Family
ID=44798678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127026089A KR101801996B1 (ko) | 2010-04-13 | 2011-04-11 | 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터로 판독가능한 기록 매체 |
Country Status (12)
| Country | Link |
|---|---|
| US (2) | US8949119B2 (ko) |
| EP (1) | EP2562754B1 (ko) |
| JP (1) | JP5609737B2 (ko) |
| KR (1) | KR101801996B1 (ko) |
| CN (1) | CN102822891B (ko) |
| BR (1) | BR112012025580A2 (ko) |
| CO (1) | CO6561766A2 (ko) |
| ES (1) | ES2534749T3 (ko) |
| MY (1) | MY168695A (ko) |
| RU (1) | RU2563160C2 (ko) |
| TW (1) | TWI484482B (ko) |
| WO (1) | WO2011129305A1 (ko) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10158337B2 (en) | 2004-08-10 | 2018-12-18 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| US8284955B2 (en) | 2006-02-07 | 2012-10-09 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| US11431312B2 (en) | 2004-08-10 | 2022-08-30 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| US10848118B2 (en) | 2004-08-10 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| US10848867B2 (en) | 2006-02-07 | 2020-11-24 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| US10701505B2 (en) | 2006-02-07 | 2020-06-30 | Bongiovi Acoustics Llc. | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| JP5652658B2 (ja) | 2010-04-13 | 2015-01-14 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5975243B2 (ja) | 2011-08-24 | 2016-08-23 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP6037156B2 (ja) | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP5942358B2 (ja) | 2011-08-24 | 2016-06-29 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| CN104221082B (zh) | 2012-03-29 | 2017-03-08 | 瑞典爱立信有限公司 | 谐波音频信号的带宽扩展 |
| US10083700B2 (en) | 2012-07-02 | 2018-09-25 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
| CN103474079A (zh) * | 2012-08-06 | 2013-12-25 | 苏州沃通信息科技有限公司 | 一种语音编码方法 |
| JP6305694B2 (ja) * | 2013-05-31 | 2018-04-04 | クラリオン株式会社 | 信号処理装置及び信号処理方法 |
| US9883318B2 (en) | 2013-06-12 | 2018-01-30 | Bongiovi Acoustics Llc | System and method for stereo field enhancement in two-channel audio systems |
| US9875746B2 (en) | 2013-09-19 | 2018-01-23 | Sony Corporation | Encoding device and method, decoding device and method, and program |
| US9906858B2 (en) | 2013-10-22 | 2018-02-27 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| CA3162763A1 (en) | 2013-12-27 | 2015-07-02 | Sony Corporation | Decoding apparatus and method, and program |
| US10820883B2 (en) | 2014-04-16 | 2020-11-03 | Bongiovi Acoustics Llc | Noise reduction assembly for auscultation of a body |
| US10958927B2 (en) | 2015-03-27 | 2021-03-23 | Qualcomm Incorporated | Motion information derivation mode determination in video coding |
| US11565365B2 (en) * | 2017-11-13 | 2023-01-31 | Taiwan Semiconductor Manufacturing Co., Ltd. | System and method for monitoring chemical mechanical polishing |
| JP2019164106A (ja) * | 2018-03-20 | 2019-09-26 | 本田技研工業株式会社 | 異音検出装置および検出方法 |
| JP2019164107A (ja) * | 2018-03-20 | 2019-09-26 | 本田技研工業株式会社 | 異音判定装置および判定方法 |
| CA3096877A1 (en) | 2018-04-11 | 2019-10-17 | Bongiovi Acoustics Llc | Audio enhanced hearing protection system |
| CN110660409A (zh) * | 2018-06-29 | 2020-01-07 | 华为技术有限公司 | 一种扩频的方法及装置 |
| WO2020028833A1 (en) | 2018-08-02 | 2020-02-06 | Bongiovi Acoustics Llc | System, method, and apparatus for generating and digitally processing a head related audio transfer function |
| KR20210153455A (ko) | 2020-06-10 | 2021-12-17 | 김승찬 | 농가용 간편 비가림 시설 |
| TWI763207B (zh) * | 2020-12-25 | 2022-05-01 | 宏碁股份有限公司 | 聲音訊號處理評估方法及裝置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003216190A (ja) | 2001-11-14 | 2003-07-30 | Matsushita Electric Ind Co Ltd | 符号化装置および復号化装置 |
| JP2010079275A (ja) | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
Family Cites Families (160)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4628529A (en) | 1985-07-01 | 1986-12-09 | Motorola, Inc. | Noise suppression system |
| JPH03254223A (ja) * | 1990-03-02 | 1991-11-13 | Eastman Kodak Japan Kk | アナログデータ伝送方式 |
| JPH1020888A (ja) | 1996-07-02 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 音声符号化・復号化装置 |
| US6073100A (en) | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| US6415251B1 (en) | 1997-07-11 | 2002-07-02 | Sony Corporation | Subband coder or decoder band-limiting the overlap region between a processed subband and an adjacent non-processed one |
| US6424938B1 (en) * | 1998-11-23 | 2002-07-23 | Telefonaktiebolaget L M Ericsson | Complex signal activity detection for improved speech/noise classification of an audio signal |
| SE9903553D0 (sv) | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| EP1126620B1 (en) | 1999-05-14 | 2005-12-21 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for expanding band of audio signal |
| TW453046B (en) * | 1999-10-11 | 2001-09-01 | Jang Jen Cheng | A technique for speech camouflage based on sub-band division |
| SE0001926D0 (sv) * | 2000-05-23 | 2000-05-23 | Lars Liljeryd | Improved spectral translation/folding in the subband domain |
| SE0004163D0 (sv) | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
| JP2002268698A (ja) | 2001-03-08 | 2002-09-20 | Nec Corp | 音声認識装置と標準パターン作成装置及び方法並びにプログラム |
| SE0101175D0 (sv) | 2001-04-02 | 2001-04-02 | Coding Technologies Sweden Ab | Aliasing reduction using complex-exponential-modulated filterbanks |
| JP4231987B2 (ja) | 2001-06-15 | 2009-03-04 | 日本電気株式会社 | 音声符号化復号方式間の符号変換方法、その装置、そのプログラム及び記憶媒体 |
| CN1272911C (zh) | 2001-07-13 | 2006-08-30 | 松下电器产业株式会社 | 音频信号解码装置及音频信号编码装置 |
| US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| US6988066B2 (en) | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
| CN100395817C (zh) | 2001-11-14 | 2008-06-18 | 松下电器产业株式会社 | 编码设备、解码设备和解码方法 |
| WO2003046891A1 (en) | 2001-11-29 | 2003-06-05 | Coding Technologies Ab | Methods for improving high frequency reconstruction |
| CN1288625C (zh) | 2002-01-30 | 2006-12-06 | 松下电器产业株式会社 | 音频编码与解码设备及其方法 |
| JP2003255973A (ja) | 2002-02-28 | 2003-09-10 | Nec Corp | 音声帯域拡張システムおよび方法 |
| US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| US7447631B2 (en) | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
| US7555434B2 (en) | 2002-07-19 | 2009-06-30 | Nec Corporation | Audio decoding device, decoding method, and program |
| JP4728568B2 (ja) | 2002-09-04 | 2011-07-20 | マイクロソフト コーポレーション | レベル・モードとラン・レングス／レベル・モードの間での符号化を適応させるエントロピー符号化 |
| JP3881943B2 (ja) | 2002-09-06 | 2007-02-14 | 松下電器産業株式会社 | 音響符号化装置及び音響符号化方法 |
| SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
| BRPI0306434B1 (pt) | 2002-09-19 | 2018-06-12 | Nec Corporation | Aparelho e método de decodificação de áudio |
| US7330812B2 (en) | 2002-10-04 | 2008-02-12 | National Research Council Of Canada | Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel |
| JP4657570B2 (ja) * | 2002-11-13 | 2011-03-23 | ソニー株式会社 | 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体 |
| EP2665294A2 (en) | 2003-03-04 | 2013-11-20 | Core Wireless Licensing S.a.r.l. | Support of a multichannel audio extension |
| US7318035B2 (en) | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
| US20050004793A1 (en) * | 2003-07-03 | 2005-01-06 | Pasi Ojala | Signal adaptation for higher band coding in a codec utilizing band split coding |
| KR20050027179A (ko) | 2003-09-13 | 2005-03-18 | 삼성전자주식회사 | 오디오 데이터 복원 방법 및 그 장치 |
| US7844451B2 (en) | 2003-09-16 | 2010-11-30 | Panasonic Corporation | Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums |
| US7949057B2 (en) | 2003-10-23 | 2011-05-24 | Panasonic Corporation | Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof |
| KR100587953B1 (ko) | 2003-12-26 | 2006-06-08 | 한국전자통신연구원 | 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템 |
| US8417515B2 (en) | 2004-05-14 | 2013-04-09 | Panasonic Corporation | Encoding device, decoding device, and method thereof |
| WO2005112001A1 (ja) | 2004-05-19 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| DE602004028171D1 (de) | 2004-05-28 | 2010-08-26 | Nokia Corp | Mehrkanalige audio-erweiterung |
| KR100608062B1 (ko) * | 2004-08-04 | 2006-08-02 | 삼성전자주식회사 | 오디오 데이터의 고주파수 복원 방법 및 그 장치 |
| TWI243615B (en) * | 2004-10-11 | 2005-11-11 | Ind Tech Res Inst | System for enhancing compression ratio of scalable video coding and method thereof |
| US7716046B2 (en) | 2004-10-26 | 2010-05-11 | Qnx Software Systems (Wavemakers), Inc. | Advanced periodic signal enhancement |
| US20060106620A1 (en) | 2004-10-28 | 2006-05-18 | Thompson Jeffrey K | Audio spatial environment down-mixer |
| SE0402651D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods for interpolation and parameter signalling |
| WO2006049205A1 (ja) | 2004-11-05 | 2006-05-11 | Matsushita Electric Industrial Co., Ltd. | スケーラブル復号化装置およびスケーラブル符号化装置 |
| KR101220621B1 (ko) | 2004-11-05 | 2013-01-18 | 파나소닉 주식회사 | 부호화 장치 및 부호화 방법 |
| KR100657916B1 (ko) | 2004-12-01 | 2006-12-14 | 삼성전자주식회사 | 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법 |
| US8082156B2 (en) | 2005-01-11 | 2011-12-20 | Nec Corporation | Audio encoding device, audio encoding method, and audio encoding program for encoding a wide-band audio signal |
| KR100956877B1 (ko) | 2005-04-01 | 2010-05-11 | 콸콤 인코포레이티드 | 스펙트럼 엔벨로프 표현의 벡터 양자화를 위한 방법 및장치 |
| WO2006108543A1 (en) | 2005-04-15 | 2006-10-19 | Coding Technologies Ab | Temporal envelope shaping of decorrelated signal |
| US20070005351A1 (en) * | 2005-06-30 | 2007-01-04 | Sathyendra Harsha M | Method and system for bandwidth expansion for voice communications |
| JP4899359B2 (ja) | 2005-07-11 | 2012-03-21 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| KR100813259B1 (ko) | 2005-07-13 | 2008-03-13 | 삼성전자주식회사 | 입력신호의 계층적 부호화/복호화 장치 및 방법 |
| CN101253556B (zh) | 2005-09-02 | 2011-06-22 | 松下电器产业株式会社 | 能量整形装置以及能量整形方法 |
| BRPI0616624A2 (pt) | 2005-09-30 | 2011-06-28 | Matsushita Electric Ind Co Ltd | aparelho de codificação de fala e método de codificação de fala |
| WO2007043648A1 (ja) | 2005-10-14 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd. | 変換符号化装置および変換符号化方法 |
| KR100958144B1 (ko) | 2005-11-04 | 2010-05-18 | 노키아 코포레이션 | 오디오 압축 |
| JP4876574B2 (ja) | 2005-12-26 | 2012-02-15 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| JP4863713B2 (ja) | 2005-12-29 | 2012-01-25 | 富士通株式会社 | 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム |
| US7953604B2 (en) * | 2006-01-20 | 2011-05-31 | Microsoft Corporation | Shape and scale parameters for extended-band frequency coding |
| US7590523B2 (en) | 2006-03-20 | 2009-09-15 | Mindspeed Technologies, Inc. | Speech post-processing using MDCT coefficients |
| WO2007114291A1 (ja) | 2006-03-31 | 2007-10-11 | Matsushita Electric Industrial Co., Ltd. | 音声符号化装置、音声復号化装置、およびこれらの方法 |
| DE602007013026D1 (de) | 2006-04-27 | 2011-04-21 | Panasonic Corp | Audiocodierungseinrichtung, audiodecodierungseinrichtung und verfahren dafür |
| JP2007316254A (ja) | 2006-05-24 | 2007-12-06 | Sony Corp | オーディオ信号補間方法及びオーディオ信号補間装置 |
| KR20070115637A (ko) | 2006-06-03 | 2007-12-06 | 삼성전자주식회사 | 대역폭 확장 부호화 및 복호화 방법 및 장치 |
| US8010352B2 (en) | 2006-06-21 | 2011-08-30 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively encoding and decoding high frequency band |
| US8260609B2 (en) | 2006-07-31 | 2012-09-04 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of inactive frames |
| US8239191B2 (en) | 2006-09-15 | 2012-08-07 | Panasonic Corporation | Speech encoding apparatus and speech encoding method |
| JP4918841B2 (ja) | 2006-10-23 | 2012-04-18 | 富士通株式会社 | 符号化システム |
| JP5141180B2 (ja) | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
| US8295507B2 (en) | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| KR101565919B1 (ko) | 2006-11-17 | 2015-11-05 | 삼성전자주식회사 | 고주파수 신호 부호화 및 복호화 방법 및 장치 |
| JP5339919B2 (ja) | 2006-12-15 | 2013-11-13 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
| RU2394283C1 (ru) * | 2007-02-14 | 2010-07-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов |
| JP2008261978A (ja) | 2007-04-11 | 2008-10-30 | Toshiba Microelectronics Corp | 再生音量自動調整方法 |
| US8015368B2 (en) | 2007-04-20 | 2011-09-06 | Siport, Inc. | Processor extensions for accelerating spectral band replication |
| KR101355376B1 (ko) | 2007-04-30 | 2014-01-23 | 삼성전자주식회사 | 고주파수 영역 부호화 및 복호화 방법 및 장치 |
| US8788264B2 (en) | 2007-06-27 | 2014-07-22 | Nec Corporation | Audio encoding method, audio decoding method, audio encoding device, audio decoding device, program, and audio encoding/decoding system |
| WO2009004727A1 (ja) | 2007-07-04 | 2009-01-08 | Fujitsu Limited | 符号化装置、符号化方法および符号化プログラム |
| JP5045295B2 (ja) | 2007-07-30 | 2012-10-10 | ソニー株式会社 | 信号処理装置及び方法、並びにプログラム |
| US8041577B2 (en) | 2007-08-13 | 2011-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for expanding audio signal bandwidth |
| CA2697920C (en) | 2007-08-27 | 2018-01-02 | Telefonaktiebolaget L M Ericsson (Publ) | Transient detector and method for supporting encoding of an audio signal |
| DK3591650T3 (da) | 2007-08-27 | 2021-02-15 | Ericsson Telefon Ab L M | Fremgangsmåde og indretning til udfyldning af spektrale huller |
| ES2403410T3 (es) | 2007-08-27 | 2013-05-17 | Telefonaktiebolaget L M Ericsson (Publ) | Frecuencia de transición adaptativa entre el rellenado con ruido y la extensión del ancho de banda |
| US8554349B2 (en) | 2007-10-23 | 2013-10-08 | Clarion Co., Ltd. | High-frequency interpolation device and high-frequency interpolation method |
| JP4733727B2 (ja) | 2007-10-30 | 2011-07-27 | 日本電信電話株式会社 | 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体 |
| KR101373004B1 (ko) | 2007-10-30 | 2014-03-26 | 삼성전자주식회사 | 고주파수 신호 부호화 및 복호화 장치 및 방법 |
| EP2214163A4 (en) | 2007-11-01 | 2011-10-05 | Panasonic Corp | CODING DEVICE, DECODING DEVICE AND METHOD THEREFOR |
| JP5547081B2 (ja) | 2007-11-02 | 2014-07-09 | 華為技術有限公司 | 音声復号化方法及び装置 |
| US20090132238A1 (en) | 2007-11-02 | 2009-05-21 | Sudhakar B | Efficient method for reusing scale factors to improve the efficiency of an audio encoder |
| WO2009059632A1 (en) * | 2007-11-06 | 2009-05-14 | Nokia Corporation | An encoder |
| CA2705968C (en) * | 2007-11-21 | 2016-01-26 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
| US8688441B2 (en) | 2007-11-29 | 2014-04-01 | Motorola Mobility Llc | Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content |
| US8423371B2 (en) | 2007-12-21 | 2013-04-16 | Panasonic Corporation | Audio encoder, decoder, and encoding method thereof |
| JPWO2009084221A1 (ja) | 2007-12-27 | 2011-05-12 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
| EP2077550B8 (en) | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
| US8422569B2 (en) | 2008-01-25 | 2013-04-16 | Panasonic Corporation | Encoding device, decoding device, and method thereof |
| KR101413968B1 (ko) | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
| US8433582B2 (en) | 2008-02-01 | 2013-04-30 | Motorola Mobility Llc | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| US20090201983A1 (en) | 2008-02-07 | 2009-08-13 | Motorola, Inc. | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| AU2009220321B2 (en) | 2008-03-03 | 2011-09-22 | Intellectual Discovery Co., Ltd. | Method and apparatus for processing audio signal |
| KR101449434B1 (ko) | 2008-03-04 | 2014-10-13 | 삼성전자주식회사 | 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치 |
| EP3273442B1 (en) | 2008-03-20 | 2021-10-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for synthesizing a parameterized representation of an audio signal |
| KR20090122142A (ko) | 2008-05-23 | 2009-11-26 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| EP2294770B1 (en) | 2008-06-20 | 2013-08-07 | Rambus, Inc. | Frequency responsive bus coding |
| JP2010007927A (ja) | 2008-06-25 | 2010-01-14 | Sumitomo Heavy Ind Ltd | 駆動回路 |
| RU2491658C2 (ru) | 2008-07-11 | 2013-08-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Синтезатор аудиосигнала и кодирующее устройство аудиосигнала |
| MX2011000382A (es) | 2008-07-11 | 2011-02-25 | Fraunhofer Ges Forschung | Codificador de audio, decodificador de audio, metodos para la codificacion y decodificacion de audio; transmision de audio y programa de computacion. |
| JP5203077B2 (ja) | 2008-07-14 | 2013-06-05 | 株式会社エヌ・ティ・ティ・ドコモ | 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 |
| DK2320416T3 (da) | 2008-08-08 | 2014-05-26 | Panasonic Corp | Indretning til spektral udglatning, kodningsindretning, afkodningsindretning, kommunikationsterminalindretning, basisstationsindretning og fremgangsmåde til spektral udglatning |
| US8532983B2 (en) | 2008-09-06 | 2013-09-10 | Huawei Technologies Co., Ltd. | Adaptive frequency prediction for encoding or decoding an audio signal |
| US8407046B2 (en) | 2008-09-06 | 2013-03-26 | Huawei Technologies Co., Ltd. | Noise-feedback for spectral envelope quantization |
| US8352279B2 (en) | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
| US8798776B2 (en) | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
| GB2466201B (en) | 2008-12-10 | 2012-07-11 | Skype Ltd | Regeneration of wideband speech |
| GB0822537D0 (en) | 2008-12-10 | 2009-01-14 | Skype Ltd | Regeneration of wideband speech |
| CN101770776B (zh) | 2008-12-29 | 2011-06-08 | 华为技术有限公司 | 瞬态信号的编码方法和装置、解码方法和装置及处理*** |
| EP2380172B1 (en) * | 2009-01-16 | 2013-07-24 | Dolby International AB | Cross product enhanced harmonic transposition |
| US8457975B2 (en) | 2009-01-28 | 2013-06-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program |
| JP4945586B2 (ja) | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
| US8463599B2 (en) | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
| JP5564803B2 (ja) | 2009-03-06 | 2014-08-06 | ソニー株式会社 | 音響機器及び音響処理方法 |
| EP2239732A1 (en) | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| CO6440537A2 (es) | 2009-04-09 | 2012-05-15 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio |
| JP5223786B2 (ja) | 2009-06-10 | 2013-06-26 | 富士通株式会社 | 音声帯域拡張装置、音声帯域拡張方法及び音声帯域拡張用コンピュータプログラムならびに電話機 |
| US8515768B2 (en) | 2009-08-31 | 2013-08-20 | Apple Inc. | Enhanced audio decoder |
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| US8600749B2 (en) * | 2009-12-08 | 2013-12-03 | At&T Intellectual Property I, L.P. | System and method for training adaptation-specific acoustic models for automatic speech recognition |
| US8447617B2 (en) | 2009-12-21 | 2013-05-21 | Mindspeed Technologies, Inc. | Method and system for speech bandwidth extension |
| EP2357649B1 (en) | 2010-01-21 | 2012-12-19 | Electronics and Telecommunications Research Institute | Method and apparatus for decoding audio signal |
| JP5375683B2 (ja) | 2010-03-10 | 2013-12-25 | 富士通株式会社 | 通信装置および電力補正方法 |
| JP5598536B2 (ja) | 2010-03-31 | 2014-10-01 | 富士通株式会社 | 帯域拡張装置および帯域拡張方法 |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5652658B2 (ja) | 2010-04-13 | 2015-01-14 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| CN103069484B (zh) | 2010-04-14 | 2014-10-08 | 华为技术有限公司 | 时/频二维后处理 |
| US9047875B2 (en) | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
| US8560330B2 (en) * | 2010-07-19 | 2013-10-15 | Futurewei Technologies, Inc. | Energy envelope perceptual correction for high band coding |
| US9117459B2 (en) | 2010-07-19 | 2015-08-25 | Dolby International Ab | Processing of audio signals during high frequency reconstruction |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP2012058358A (ja) | 2010-09-07 | 2012-03-22 | Sony Corp | 雑音抑圧装置、雑音抑圧方法およびプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| WO2012052802A1 (en) | 2010-10-18 | 2012-04-26 | Nokia Corporation | An audio encoder/decoder apparatus |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5704397B2 (ja) | 2011-03-31 | 2015-04-22 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP6037156B2 (ja) | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP5942358B2 (ja) | 2011-08-24 | 2016-06-29 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5975243B2 (ja) | 2011-08-24 | 2016-08-23 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP5845760B2 (ja) | 2011-09-15 | 2016-01-20 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
| BR112014007481A2 (pt) | 2011-09-29 | 2017-04-04 | Dolby Int Ab | detecção de alta qualidade em sinais de rádio fm estéreo |
| WO2013154027A1 (ja) | 2012-04-13 | 2013-10-17 | ソニー株式会社 | 復号装置および方法、オーディオ信号処理装置および方法、並びにプログラム |
| JP5997592B2 (ja) | 2012-04-27 | 2016-09-28 | 株式会社Ｎｔｔドコモ | 音声復号装置 |
| TWI517142B (zh) | 2012-07-02 | 2016-01-11 | Sony Corp | Audio decoding apparatus and method, audio coding apparatus and method, and program |
| US10083700B2 (en) | 2012-07-02 | 2018-09-25 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
| US9437198B2 (en) | 2012-07-02 | 2016-09-06 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
| US10140995B2 (en) | 2012-07-02 | 2018-11-27 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
| JP2014123011A (ja) | 2012-12-21 | 2014-07-03 | Sony Corp | 雑音検出装置および方法、並びに、プログラム |
| US9875746B2 (en) | 2013-09-19 | 2018-01-23 | Sony Corporation | Encoding device and method, decoding device and method, and program |
-
2011
- 2011-03-29 JP JP2011072381A patent/JP5609737B2/ja not_active Expired - Fee Related
- 2011-04-11 RU RU2012142674/08A patent/RU2563160C2/ru not_active IP Right Cessation
- 2011-04-11 US US13/639,338 patent/US8949119B2/en active Active
- 2011-04-11 ES ES11768826.7T patent/ES2534749T3/es active Active
- 2011-04-11 MY MYPI2012004363A patent/MY168695A/en unknown
- 2011-04-11 EP EP11768826.7A patent/EP2562754B1/en active Active
- 2011-04-11 BR BR112012025580A patent/BR112012025580A2/pt not_active Application Discontinuation
- 2011-04-11 CN CN201180018001.3A patent/CN102822891B/zh not_active Expired - Fee Related
- 2011-04-11 KR KR1020127026089A patent/KR101801996B1/ko active IP Right Grant
- 2011-04-11 WO PCT/JP2011/059030 patent/WO2011129305A1/ja active Application Filing
- 2011-04-12 TW TW100112671A patent/TWI484482B/zh not_active IP Right Cessation
-
2012
- 2012-10-12 CO CO12180857A patent/CO6561766A2/es not_active Application Discontinuation
-
2014
- 2014-12-30 US US14/585,974 patent/US9659573B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003216190A (ja) | 2001-11-14 | 2003-07-30 | Matsushita Electric Ind Co Ltd | 符号化装置および復号化装置 |
| JP2010079275A (ja) | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102822891B (zh) | 2014-05-07 |
| US9659573B2 (en) | 2017-05-23 |
| RU2563160C2 (ru) | 2015-09-20 |
| EP2562754B1 (en) | 2015-03-18 |
| TWI484482B (zh) | 2015-05-11 |
| KR20130042474A (ko) | 2013-04-26 |
| JP2012168495A (ja) | 2012-09-06 |
| CN102822891A (zh) | 2012-12-12 |
| MY168695A (en) | 2018-11-29 |
| CO6561766A2 (es) | 2012-11-15 |
| US8949119B2 (en) | 2015-02-03 |
| BR112012025580A2 (pt) | 2016-06-28 |
| US20150120307A1 (en) | 2015-04-30 |
| EP2562754A4 (en) | 2013-12-18 |
| WO2011129305A1 (ja) | 2011-10-20 |
| JP5609737B2 (ja) | 2014-10-22 |
| EP2562754A1 (en) | 2013-02-27 |
| ES2534749T3 (es) | 2015-04-28 |
| RU2012142674A (ru) | 2014-04-10 |
| US20130030818A1 (en) | 2013-01-31 |
| TW201209807A (en) | 2012-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101801996B1 (ko) | 신호 처리 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터로 판독가능한 기록 매체 | |
| KR101916619B1 (ko) | 복호 장치 및 방법 및 컴퓨터 판독가능 기록매체 | |
| KR101979557B1 (ko) | 복호 장치 및 방법, 및 컴퓨터 판독가능한 저장 장치 | |
| KR101786416B1 (ko) | 복호 장치 및 방법, 및 기록 매체 | |
| TWI480863B (zh) | Signal processing apparatus and method, coding apparatus and method, decoding apparatus and method, and program product | |
| JP6179571B2 (ja) | 復号装置および方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |