KR102308077B1 - Method and Apparatus for Artificial Band Conversion Based on Learning Model - Google Patents
Method and Apparatus for Artificial Band Conversion Based on Learning Model Download PDFInfo
- Publication number
- KR102308077B1 KR102308077B1 KR1020190115686A KR20190115686A KR102308077B1 KR 102308077 B1 KR102308077 B1 KR 102308077B1 KR 1020190115686 A KR1020190115686 A KR 1020190115686A KR 20190115686 A KR20190115686 A KR 20190115686A KR 102308077 B1 KR102308077 B1 KR 102308077B1
- Authority
- KR
- South Korea
- Prior art keywords
- band
- data
- low
- energy
- band energy
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000006243 chemical reaction Methods 0.000 title claims description 11
- 230000008569 process Effects 0.000 claims description 38
- 238000013136 deep learning model Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000005094 computer simulation Methods 0.000 claims 1
- 238000007906 compression Methods 0.000 abstract description 11
- 230000006835 compression Effects 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
학습 모델 기반의 인공 대역 변환장치 및 방법을 개시한다.
전송 채널의 제약으로 인하여 고압축률로 압축되어 모바일 디바이스로 전송된 저품질의 음원 데이터를 고품질 음원과 등가의 신호로 변형하기 위하여, 학습 모델 기반의 에너지 추정 방법을 이용하는 인공 대역 변환장치 및 방법을 제공하는 데 목적이 있다.Disclosed are an artificial band converter and method based on a learning model.
To transform low-quality sound source data compressed with a high compression rate and transmitted to a mobile device into a signal equivalent to a high-quality sound source due to the limitation of the transmission channel, an artificial band converter and method using an energy estimation method based on a learning model. purpose is to
Description
본 발명은 모바일 디바이스에서 이용되는 학습 모델 기반의 인공 대역 변환장치 및 방법에 관한 것이다.The present invention relates to an artificial band converter and method based on a learning model used in a mobile device.
이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다. The content described below merely provides background information related to the present invention and does not constitute the prior art.
인공 대역 변환은, 제한된 대역폭 혹은 하드웨어 성능 등의 원인에 의해 낮은 전송률로 수신된 저음질 신호에 대하여, 저주파수 대역(low frequency band, 이하 "저대역") 분석에 기반하여 고주파수 대역(high frequency band, 이하 "고대역")을 생성함으로써 신호 품질을 향상시키는 기술로서 ABE(Artificial Bandwidth Extension)로도 불리운다. 뮤직 음원신호 처리 분야에서 ABE는 데이터의 압축을 위한 인코더와 디코더를 통칭한 코덱(codec) 시스템에 적용되어 모바일 디바이스 상에서 작동되며, 주로 온라인 상황에서 품질 향상을 위해 추가적인 후처리(post-processing) 형태로 실행된다.Artificial band conversion, for a low-quality signal received at a low data rate due to a limited bandwidth or hardware performance, etc., based on a low frequency band (hereinafter "low band") analysis, a high frequency band (high frequency band, Hereinafter, it is also called ABE (Artificial Bandwidth Extension) as a technology for improving signal quality by generating a "high bandwidth"). In the field of music sound signal processing, ABE is applied to a codec system, which collectively refers to an encoder and a decoder for data compression, and operates on mobile devices. is executed with
ABE를 구현한 종래의 기술로는, G.729.1에서와 같이 고대역의 정보를 따로 압축하여 모바일 디바이스로 전송하는 방식이 있다(비특허문헌 1 참조). 대역폭 확장을 위해 고대역의 정보를 이용한다는 장점은 있으나, 추가적인 비트 할당을 위한 대역을 전송 채널에 요구하고, 사용되는 코덱의 복잡도를 증가시키는 단점이 있다. As a conventional technique for implementing ABE, there is a method of separately compressing high-band information and transmitting it to a mobile device as in G.729.1 (see Non-Patent Document 1). Although there is an advantage of using high-bandwidth information for bandwidth extension, there are disadvantages in that a band for additional bit allocation is required for a transmission channel and the complexity of a used codec is increased.
다른 기술로는 HMM(Hidden Markov Model) 및 GMM(Gaussian Mixture Model) 등 패턴인식(pattern recognition) 기반의 추정(estimation) 방식이 있다. 그러나 패턴인식 기반의 추정 방식은 목표로 하는 성능을 달성하기 위하여 모델 학습에 긴 시간을 요구하고, 학습 결과를 적용한 추론 과정 또한 복잡하다. 최근에 SoC(System on Chip) 기술의 발달에 따라 종전에 비해 추론 과정에 대한 실시간 처리 여건이 좋아졌음에도 불구하고 패턴인식 기반의 추정 방식은 모바일 디바이스에서 실시간 처리가 어렵다는 단점이 있다.As another technique, there is a pattern recognition-based estimation method such as a Hidden Markov Model (HMM) and a Gaussian Mixture Model (GMM). However, the pattern recognition-based estimation method requires a long time to train the model to achieve the target performance, and the reasoning process applying the learning result is also complicated. Although the real-time processing conditions for the inference process have improved compared to the past due to the recent development of SoC (System on Chip) technology, the pattern recognition-based estimation method has a disadvantage in that real-time processing is difficult in mobile devices.
따라서 전송 채널에 부담을 주지 않은 채로, 모바일 디바이스 상에서 실시간 처리가 가능하면서도, SNR(Signal to Noise Ratio)로 대표되는 성능은 향상된 음원 신호처리를 위한 인공 대역 변환장치 및 방법이 요구된다. Accordingly, an artificial band converter and method for processing a sound source signal with improved performance represented by Signal to Noise Ratio (SNR) are required while real-time processing is possible on a mobile device without burdening a transmission channel.
본 개시는, 전송 채널의 제약으로 인하여 고압축률로 압축되어 모바일 디바이스로 전송된 저품질의 음원 데이터를 고품질 음원과 등가의 신호로 변형하기 위하여, 학습 모델 기반의 에너지 추정 방법을 이용하는 인공 대역 변환장치 및 방법을 제공하는 데 주된 목적이 있다.The present disclosure provides an artificial band converter using a learning model-based energy estimation method in order to transform low-quality sound source data transmitted to a mobile device after being compressed at a high compression rate due to a limitation of a transmission channel into a signal equivalent to a high-quality sound source, and Its main purpose is to provide a method.
본 발명의 실시예에 의하면, 저품질 신호를 표현한 주파수 영역의 데이터를 획득하여 부대역(sub-band) 별로 저대역(low frequency band) 에너지를 추출하는 특성추출부; 사전에 트레이닝된 학습형 연산 모델을 포함하고, 상기 저대역 에너지를 상기 학습형 연산 모델에 입력하여 고대역(high frequency band) 에너지를 추정하는 대역에너지 추정부; 및 상기 고대역 에너지, 상기 저대역 에너지 및 상기 주파수 영역의 데이터를 이용하여 전대역(full frequency band) 주파수 데이터를 추정하는 재구성부를 포함하는 것을 특징으로 하는 인공 대역 변환장치를 제공한다. According to an embodiment of the present invention, a characteristic extracting unit for obtaining data of a frequency domain expressing a low-quality signal and extracting low-frequency band energy for each sub-band; a band energy estimator including a pre-trained learning-type computation model and estimating high-frequency band energy by inputting the low-band energy into the learning-type computation model; and a reconstruction unit for estimating full-band frequency data using the high-band energy, the low-band energy, and the frequency domain data.
본 발명의 다른 실시예에 의하면, 인공 대역 변환장치의 인공 대역 변환방법에 있어서, 주파수 영역의 데이터를 이용하여 부대역(sub-band) 별로 저대역(low frequency band) 에너지를 추출하는 과정: 상기 저대역 에너지를 사전에 트레이닝된 학습 모델에 입력하여 고대역 에너지(high frequency band)를 추정하는 과정; 상기 저대역 에너지 및 상기 주파수 영역의 데이터를 이용하여 평준화된 전대역(full frequency band) 데이터를 생성하는 과정; 및 상기 고대역 에너지와 상기 저대역 에너지를 합성하여 전대역 에너지를 생성한 후, 상기 평준화된 전대역 데이터와 상기 전대역 에너지를 처리하여 전대역 주파수 데이터를 추정하는 과정을 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 인공 대역 변환방법을 제공한다. According to another embodiment of the present invention, in the artificial band converting method of the artificial band converting apparatus, the process of extracting low frequency band energy for each sub-band using data in the frequency domain: The process of estimating a high frequency band by inputting the low band energy into a pre-trained learning model; generating normalized full-band data using the low-band energy and data in the frequency domain; and generating full-band energy by synthesizing the high-band energy and the low-band energy, and then processing the normalized full-band data and the full-band energy to estimate the full-band frequency data. An artificial band conversion method implemented is provided.
본 발명의 다른 실시예에 의하면, 인공 대역 변환방법의 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다. According to another embodiment of the present invention, there is provided a computer program stored in a computer-readable recording medium in order to execute each step of the artificial band conversion method.
이상에서 설명한 바와 같이 본 실시예에 의하면, 전송 채널의 제약으로 인하여 고압축률로 압축되어 전송된 저품질의 음원 데이터를 고품질 음원 신호로 변형하기 위하여, 학습 모델 기반의 에너지 추정 방법을 이용하는 인공 대역 변환장치 및 방법을 제공함으로써, 모바일 디바이스에서 고품질 음원과 등가의 음질을 서비스하여 사용자의 만족도를 높이는 효과가 있다. As described above, according to the present embodiment, an artificial band converter using an energy estimation method based on a learning model to transform low-quality sound source data compressed with a high compression rate and transmitted due to a transmission channel limitation into a high-quality sound source signal. And by providing a method, there is an effect of increasing user satisfaction by providing a sound quality equivalent to a high-quality sound source in a mobile device .
도 1은 본 발명의 일 실시예에 따른, 모바일 디바이스 상에 구현되는 인공 대역 변환기의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 대역폭 확장부의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 고대역 에너지 추정을 위한 학습 모델의 구조도이다.
도 4는 본 발명의 일 실시예에 따른 인공 대역 변환방법에 대한 순서도이다.1 is a block diagram of an artificial band converter implemented on a mobile device according to an embodiment of the present invention.
2 is a block diagram of a bandwidth extension unit according to an embodiment of the present invention.
3 is a structural diagram of a learning model for high-band energy estimation according to an embodiment of the present invention.
4 is a flowchart of an artificial band conversion method according to an embodiment of the present invention.
이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present embodiments, if it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present embodiments, the detailed description thereof will be omitted.
또한, 본 실시예들의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, in describing the components of the present embodiments, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. Throughout the specification, when a part 'includes' or 'includes' a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated. . In addition, the '... Terms such as 'unit' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced.
이하의 설명에서 음원의 품질은 음원의 압출률(kbps로 표시)과 반비례하는 것으로 가정한다, 즉 압축률이 높을수록 음원의 품질은 낮은 것으로 가정한다. 또한 낮은 품질의 음원은 높은 품질의 음원에 대하여 상대적으로 저대역(low frequency band) 데이터인 것으로 가정한다.In the following description, it is assumed that the quality of the sound source is inversely proportional to the compression rate (expressed in kbps) of the sound source, that is, the higher the compression rate, the lower the quality of the sound source. In addition, it is assumed that the low-quality sound source is relatively low-band data with respect to the high-quality sound source.
도 1은 본 발명의 일 실시예에 따른, 모바일 디바이스 상에 구현되는 인공 대역 변환기의 구성도이다.1 is a block diagram of an artificial band converter implemented on a mobile device according to an embodiment of the present invention.
도 1에 예시된 인공 대역 변환기(110)는 입력부(111), 대역폭 확장부(112) 및 출력부(113)의 전부 또는 일부를 포함한다. 여기서, 본 실시예에 따른 인공 대역 변환기(110)에 포함되는 구성요소가 반드시 이에 한정하는 것은 아니다. 예컨대, 인공 대역 변환기(110) 상에 학습 모델의 트레이닝을 위한 트레이닝부(미도시)를 추가로 구비하거나, 외부의 트레이닝부와 연동되는 형태로 구현될 수 있다. The
입력부(111)는 인공 대역폭 확장(Artificial Bandwidth Extension: ABE)을 수행하는 과정에서 필요한 데이터를 획득하여 ABE에 적절한 형태로 변환한다.The
예컨대, 본 실시예에 따른 입력부(111)는 전송된 고압축률의 음원을 스트리밍(streaming) 서비스 시스템으로부터 수신한 후, 주파수 영역(frequency domain)의 데이터로 변환(transformation)한다. 변환 방법으로는 MDCT(Modified Discrete Cosine Transform), FFT(Fast Fourier Transform), 또는 셉스트럼(cepstrum) 변환 등을 사용할 수 있으나, 반드시 이에 한정하는 것은 아니다.For example, the
본 실시예에서, 입력부(111)는 고압축률의 음원 스트리밍(streaming) 데이터를 수신한 후, 우선 코덱(codec)을 이용하여 시간 영역(time domain)의 데이터를 합성(synthesis)한다. 시간 영역 데이터의 합성 시에 샘플링 주파수(sampling frequency)는 44.1 KHz를 사용하는 것으로 가정한다. 다음, 시간 영역 상의 음원 데이터에 대하여, 수행 구간을 겹쳐가면서(overlapping and sliding) MDCT를 진행하여 주파수 영역 상의 데이터 를 생성한다. In the present embodiment, the
예컨대, 본 실시예에서, 고압축률의 음원은 64 kbps, 96 kbps 및 128 kbps 중의 하나로 압축된 음원을 의미하나 반드시 이에 한정하는 것은 아니다. ABE의 목표가 되는 고품질 음원은 320 kbps 음원 혹은 그 등가 품질의 음원을 의미하나 반드시 이에 한정하는 것을 아니며, 고압축률의 음원보다 낮은 압축률을 가지며 스트리밍 서비스에서 제공받을 수 있는 최상의 음질을 갖는 음원 중의 하나일 수 있다.For example, in the present embodiment, a sound source having a high compression rate means a sound source compressed to one of 64 kbps, 96 kbps, and 128 kbps, but is not limited thereto. The high-quality sound source targeted by ABE means a 320 kbps sound source or an equivalent quality sound source, but is not necessarily limited thereto. can
또한, 본 발명의 다른 실시예에 따른 입력부(111)는, 시간 영역 상의 데이터 형태로 기 존재하는 저품질 음원 데이터를 획득할 수 있다.In addition, the
대역폭 확장부(112)는 저품질 음원에 대한 인공 대역 변환을 실행한다. The
본 실시예에 따른 대역폭 확장부(112)는, 특성추출부(121), 대역에너지 추정부(122) 및 재구성부(123)를 포함한다. 대역폭 확장부(112)는 입력부(111)에 의하여 변환된 주파수 영역의 데이터를 입력으로 받아들인 후, ABE를 실행하여 주파수 영역 상의 데이터로 변환한다. 대역폭 확장부(112)의 구조 및 동작은 추후에 설명하기로 한다.The
출력부(113)는 변환된 음원을 인공 대역 변환기(110)의 사용자에게 청각적인 형태(audible form)로 제공한다.The output unit 113 provides the converted sound source in an audible form to the user of the
본 실시예에 따른 출력부(113)는, 대역폭 확장부(112)로부터 주파수 영역에서 변형된 데이터를 수신한 후, 합성 과정을 통하여 시간 영역에서의 확장된 음원으로 변환한다. 합성 과정은 IMDCT(Inverse MDCT), IFFT(Inverse FFT), 또는 역셉스트럼(inverse cepstrum) 변환과 같은, 주파수 영역의 데이터를 시간 영역의 데이터로 변환하는 과정을 포함할 수 있다. 최종적으로 시간 영역 상의 확장된 데이터를 청각적인 형태로 출력한다. The output unit 113 according to the present embodiment receives the data transformed in the frequency domain from the
본 실시예에 따른 인공 대역 변환기(110)는 모바일 디바이스(100) 상에 구현될 수 있다. 모바일 디바이스(100)는 전송대역의 제한을 받는 무선 또는 유선 전송로를 이용하여 음원 스트리밍서비스를 제공받을 수 있는 어느 기기든 될 수 있다. The
도 2는 본 발명의 일 실시예에 따른 대역폭 확장부의 구성도이다.2 is a block diagram of a bandwidth extension unit according to an embodiment of the present invention.
대역폭 확장부(112)는 저품질 음원에 대한 인공 대역 변환을 실행한다. 대역폭 확장부(112)는 특성추출부(121), 대역에너지 추정부(122) 및 재구성부(123)의 전부 또는 일부를 포함한다. 재구성부(123)는 정규화부(201), 주파수대역 복제부(202, Spectral Band Replication: SBR), 에너지 합성부(203) 및 전대역데이터 추정부(204)를 포함하나, 반드시 이에 한정하는 것은 아니다. 도 2의 도시는 본 실시예에 따른 예시적인 구성이며, 주파수 영역에서의 데이터 처리 기법에 의거하여 다른 구성요소 또는 구성요소 간의 다른 연결을 포함하는 구현이 가능하다.The
특성추출부(121)는, 입력부(111)에 의하여 변환되어 주파수 영역의 데이터 로 표현된 음원 신호를 입력으로 받아들여 부대역(sub-band) 별로 저대역(low frequency band) 에너지를 추출한다. 추출하는 방법은 수학식 1에 따른다. 수학식 1에 따르면 하나의 부대역 에너지를 구하기 위해 SB의 2 배수에 해당하는 주파수 영역의 데이터를 이용하고, 각 부대역은 서로 50 %씩 겹쳐져(overlapping) 있다. 전술한 바와 같은 부대역 에너지를 구하는 방법은 하나의 예시이며, SB 및 수학식 1을 변형하여 다양한 방법으로 부대역 에너지를 구하는 것이 가능하다.The
를 구성요소로 포함하는 저대역 에너지 벡터 은 대역에너지 추정부(122)에 입력으로 전달된다. 따라서 은 개의 부대역 에너지를 포함하고, 은 확장 대상 음원의 압축률에 의존한다. low-band energy vector containing as components is transmitted as an input to the band
전술한 바와 같이, 본 실시예에서는 주파수 영역의 데이터 를 처리하여 축소된 차원의 데이터인 저대역 에너지 벡터를 대역에너지 추정부(122)에 제공함으로써, 대역에너지 추정부(122) 구현 시 복잡도를 감소시키고, 감소된 복잡도에 따라 모바일 디바이스(100) 상에서의 실시간 동작 가능성 및 실시간 동작 성능을 높일 수 있다.As described above, in this embodiment, data in the frequency domain By processing and providing the low-band energy vector, which is the reduced dimensional data, to the
대역에너지 추정부(122)는 저대역 에너지 을 입력으로 받아들여 고대역(high frequency band) 에너지 를 추정한다. 대역에너지 추정부(122)는 저대역 에너지를 고대역 에너지 추정에 직접적으로 이용하기 때문에 주파수 영역 상의 음원 특성을 더 강조하는 고대역 에너지 추정이 가능하다. 대역에너지 추정부(122)는 고대역 에너지 추정을 위하여 트레이닝부에 의하여 기 학습된 신경회로망(Neural Network) 기반의 학습 모델을 이용한다. 학습 모델의 구조 및 학습 모델의 트레이닝 과정은 추후에 설명하기로 한다.
재구성부(123)는 대역에너지 추정부(122)가 추정한 고대역 에너지, 특성추출부(121)가 추출한 저대역 에너지, 및 주파수 영역의 데이터 를 이용하여 전대역(full frequency band) 주파수 데이터를 추정한다. The
정규화부(201)는 부대역 별로 추출된 저대역 에너지 및 주파수 영역의 데이터를 처리하여 평준화된 저대역 데이터를 생성한다. 평준화를 적용하는 이유는, 주파수대역 복제부(202)에서 상관도(correlation)를 구할 때 발생하는 편차를 축소할 수 있기 때문이다.The
주파수대역 복제부(202)는 평준화된 저대역 데이터를 이용하여 고대역 데이터를 복원한다. 복원 과정에서는 부대역 순서대로 복원이 이루어지는데, 현재까지 복원된 부대역의 다음(고주파수 방향) 부대역이 복원 대상이 된다. 복원 대상 부대역의 바로 앞에 위치하는 부대역과 가장 상관도가 높은 저주파수 데이터 영역을 찾은 후, 찾아진 영역의 데이터를 복원 대상 부대역에 복사한다. 여기서, 바로 앞에 위치하는 부대역은, 복원 과정의 첫 단계에서는 저대역 내의 마지막 부대역이고, 이후 단계에서는 직전에 복원된 부대역이다. 주파수대역 복제부(202)는 복원된 고대역 데이터와 평준화된 저대역 데이터를 합성하여 평준화된 전대역 데이터 를 생성한다.The
한편, 에너지 합성부(203)는 대역에너지 추정부(122)가 추정한 고대역 에너지 와 특성추출부(121)에서 추출한 저대역 에너지 을 합성하여 전대역 에너지 를 생성한다.On the other hand, the
전대역데이터 추정부(204)는 평준화된 전대역 데이터 과 전대역 에너지 를 곱하여 전대역 주파수 데이터 를 추정한다. 주파수 영역에서의 곱셈을 수행하므로, 시간 영역에서의 콘볼루션(convolution) 과정을 수행하는 것과 동일하다. 따라서 곱셈 과정은 평준화된 주파수 데이터를 부대역 별 에너지에 해당하는 계수를 갖는 필터를 이용하여 필터링하는 것과 동일한 과정이며, 달리 말하면 평준화된 전대역 데이터를 전대역 에너지로 마스킹(masking)하는 과정이다. The full-
도 3은 본 발명의 일 실시예에 따른 고대역 에너지 추정을 위한 학습 모델의 구조도이다.3 is a structural diagram of a learning model for high-band energy estimation according to an embodiment of the present invention.
도 3에 표시된 학습 모델은 딥러닝(deep learning) 모델을 기반으로 한다. 이하 도 3을 참조하여, 본 실시예에 따른 딥러닝 모델의 구조 및 학습 과정을 설명한다. The learning model shown in FIG. 3 is based on a deep learning model. Hereinafter, the structure and learning process of the deep learning model according to this embodiment will be described with reference to FIG . 3 .
딥러닝 모델은 입력 레이어(input layer), 3 개의 전연결 레이어(fully-connected layer 또는 dense layer, 이하 제1 전연결 레이어, 제2 전연결 레이어 및 제3 전연결 레이어) 및 출력 레이어(output layer)를 포함하나, 반드시 이에 한정하는 것은 아니며, 트레이닝에 소요되는 시간, 대역에너지 추정부(122)의 성능 및 실시한 구현 가능성 등에 따라 각 레이어를 구성하는 노드의 개수, 노드의 출력에 대한 활성 함수(activation function) 및 전연결 레이어의 개수 등에 대한 구조 변형이 가능하다.A deep learning model consists of an input layer, three fully-connected layers or dense layers (hereinafter, first fully-connected layer, second fully-connected layer, and third fully-connected layer) and an output layer. ), but is not necessarily limited thereto, and the number of nodes constituting each layer, an activation function ( activation function) and the number of all-connected layers can be structurally modified.
본 실시예에 따른 딥러닝 모델은 64k bps, 96 kbps 및 128 kbps의 음원 압축률에 따라, 각기 정해진 11, 16 및 23 개의 부대역 에너지 입력에 대해 31 개의 부대역 에너지를 출력한다. 따라서 입력 레이어는 11, 16 및 23 개의 부대역 에너지 입력에 해당하는 수()만큼의 노드(node)로 구성되는 한편, 출력 레이어는 31 개의 부대역 에너지에 해당하는 31 개()의 노드를 포함한다. 전연결 레이어는 연결되는 이전 레이어와 전연결(fully-connected)된다. 따라서, 도 3의 도시에서 입력 레이어는 이어지는 제1 및 제3 전연결 레이어와 전연결되나, 제2 및 제3 전연결 레이어의 출력은 뒷단의 출력 레이어에서 단순히 합성된다. The deep learning model according to this embodiment outputs 31 subband energies for 11, 16, and 23 subband energy inputs determined respectively according to the sound source compression rates of 64k bps, 96 kbps, and 128 kbps. Therefore, the input layer has a number corresponding to 11, 16 and 23 subband energy inputs ( ), while the output layer consists of 31 ( ) of the node. A fully-connected layer is fully-connected with the previous layer to which it is connected. Accordingly, in FIG. 3 , the input layer is pre-connected with the subsequent first and third pre-connected layers, but outputs of the second and third pre-connected layers are simply synthesized in the output layer at the rear end.
제1 전연결 레이어는 은닉층(hidden layer)으로 작용하고, 64개의 노드를 포함하며 31개의 노드를 포함하는 제2 전연결 레이어와 전연결된다. 제1 및 제2 전연결 레이어는 서로 직렬로 연결되어 고대역 에너지를 추정한다. 한편, 제3 전연결 레이어는 출력 레이어와 같은 수의 노드를 포함하고 제1 및 제2 전연결 레이어와는 병렬로 입력 레이어와 출력 레이어를 연결한다. 따라서, 제3 전연결 레이어는 숏컷(shortcut) 경로를 형성하여 고대역 에너지와 연관성이 높은 저대역 에너지의 정보를 출력 측으로 전달함으로써 고대역 에너지를 재귀적으로(recursively) 추정하는 것을 보조한다. The first all-connection layer acts as a hidden layer, and includes 64 nodes and is fully connected to the second all-connection layer including 31 nodes. The first and second preconnected layers are connected in series with each other to estimate high-band energy. Meanwhile, the third pre-connected layer includes the same number of nodes as the output layer and connects the input layer and the output layer in parallel with the first and second pre-connected layers. Accordingly, the third pre-connection layer forms a shortcut path and transmits information of low-band energy, which is highly correlated with high-band energy, to the output side, thereby assisting in recursively estimating high-band energy.
앞에서 기술한 바와 같은 딥러닝 모델의 동작은 수학식 2로 표현될 수 있다.The operation of the deep learning model as described above can be expressed by Equation (2).
여기서 입력 벡터 x는 저대역 에너지 이고, 는 i 레이어와 j 레이 어 사이의 전연결 가중치 행렬(weight matrix), 는 i 레이어와 j 레이어 사이의 편향치 벡터(bias vector), 는 k 레이어의 출력 벡터를 나타낸다. where the input vector x is the low-band energy ego, is the all-connection weight matrix between the i layer and the j layer, is the bias vector between the i layer and the j layer, denotes the output vector of the k layer.
이하 트레이닝부(미도시)에 의한 딥러닝 모델의 트레이닝 과정을 설명한다. 먼저 고음질 음원(예컨대, 320 kbps로 압축된 음원)에 본 발명에 따른 전처리 과정을 적용하여 타겟(target) 데이터 를 생성한다. 여기서 전처리 과정은 압축된 음원을 시간 영역 상의 데이터로 합성하는 과정, 시간 영역의 데이터를 주파수 영역의 데이터로 변환하는 과정, 및 주파수 영역의 데이터를 이용하여 부대역 별 대역 에너지를 추출하는 과정 등을 포함한다. Hereinafter, a training process of the deep learning model by the training unit (not shown) will be described. First, target data by applying the preprocessing process according to the present invention to a high-quality sound source (eg, a sound source compressed to 320 kbps) create Here, the preprocessing process includes a process of synthesizing a compressed sound source into data in the time domain, a process of converting data in the time domain into data in the frequency domain, and the process of extracting band energy for each subband using data in the frequency domain. include
다음, 고음질 음원에 해당하는 저품질의 학습용 음원(예컨대, 64 kbps, 96 kbps 또는 128 kbps로 압축된 음원)의 저대역 에너지을 대역에너지 추정부(122)에 입력하여 전대역 에너지 출력 를 산정한다. 트레이닝부는 타겟 데이터 와 딥러닝 모델의 출력 간의 거리 메트릭에 기반하여 딥러닝 모델의 파라미터를 업데이트한다. 여기서 거리 메트릭은 L1 및 L2 메트릭 등, 두 비교 대상 간의 메트릭 거리 차이를 표현할 수 있는 것이면 어느 것이든 이용 가능하다.Next, low-band energy of a low-quality learning sound source corresponding to a high-quality sound source (eg, a sound source compressed to 64 kbps, 96 kbps, or 128 kbps) is input to the band
딥러닝 모델에 대한 트레이닝 효율을 높이기 위해 각 노드의 값을 표현하는 에너지는 로그함수를 적용하여 사용한다. 에너지에 로그함수가 적용되었으므로 음수 값이 나타날 수 있다. 따라서, 트레이닝 과정에서 음수 값의 영향을 적절하게 반영하기 위해 도 3에 도시된 바대로 활성 함수 ELU(Exponential Linear Unit)를 전연결 레이어의 출력에 적용한다. In order to increase the training efficiency of the deep learning model, the energy expressing the value of each node is used by applying a logarithmic function. Since the log function is applied to the energy, negative values may appear. Therefore, in order to properly reflect the influence of negative values in the training process, the activation function ELU (Exponential Linear Unit) is applied to the output of the pre-connection layer as shown in FIG. 3 .
도 2 및 수학식 2에 따르면, 딥러닝 모델의 출력이 전대역 에너지가 아니라 고대역 에너지 로 표기되어 있다. 그 이유는 트레이닝 과정이 아닌 대역폭확대부(112)의 일부로 동작 시, 딥러닝 모델이 고대역 에너지를 추정하는 것을 표현하기 위함이다. 전술한 바와 같이 트레이닝 과정에서는 전대역에 대한 타겟 데이터가 존재하므로 전대역 에너지를 추정하도록 트레이닝하는 것이 가능하다. 그러나 대역폭확대부(112)의 일부로 동작 시, 딥러닝 모델의 입력으로 저대역 에너지가 추출되므로, 추출된 저대역 에너지를 재활용하는 것이 합리적이다. 따라서 딥러닝 모델이 대역폭확대부(112)의 일부로 동작 시에는 딥러닝 모델이 구한 전대역 에너지 중, 고대역 에너지에 해당하는 부분만을 사용한다. According to Figure 2 and Equation 2, the output of the deep learning model is not the full-band energy, but the high-band energy is marked with The reason is to express that the deep learning model estimates high-band energy when operating as a part of the
본 실시예에 따른 인공 대역 변환기(110)가 탑재되는 모바일 디바이스(100)는 프로그램가능 컴퓨터일 수 있으며, 서버(미도시)와 연결이 가능한 적어도 한 개의 통신 인터페이스를 포함한다. The
전술한 바와 같은 학습 모델에 대한 트레이닝은 서버에서 진행될 수 있다. 모바일 디바이스(100) 상에 탑재된 학습 모델과 동일한 구조의 딥러닝 모델에 대하여 서버의 트레이닝부는 트레이닝을 수행할 수 있다. 모바일 디바이스(100)와 연결되는 통신 인터페이스를 이용하여 서버는 트레이닝된 파라미터를 모바일 디바이스(100)로 전달하고, 전달받은 파라미터를 이용하여 인공 대역 변환기(110)는 학습 모델의 파라미터를 업데이트할 수 있다. 또한 모바일 디바이스(100) 출하 시점 또는 인공 대역 변환기(110)가 모바일 디바이스(100)에 탑재되는 시점에, 학습 모델의 파라미터가 설정될 수 있다. Training for the learning model as described above may be performed in the server. The training unit of the server may perform training on the deep learning model having the same structure as the learning model mounted on the
도 4는 본 발명의 일 실시예에 따른 인공 대역 변환방법에 대한 순서도이다.4 is a flowchart of an artificial band conversion method according to an embodiment of the present invention.
도 4에 도시된 순서도에서는, 대역폭확대부(112)가 수행하는 인공 대역 변환방법 위주로 표현하기 위해 도 1에 도시된 바에 따른 입력부(111) 및 출력부(113)가 수행하는 과정을 생략하였다. 또한 순서도의 각 과정을 기술함에 있어, 각 과정을 수행하는 대역폭확대부(112)의 구성요소에 대한 기술도, 도 2에 대한 설명에서 다루었으므로 더 이상의 상세한 설명은 생략한다. In the flowchart shown in FIG. 4 , processes performed by the
먼저, 주파수 영역의 데이터를 이용하여 부대역 별로 저대역 에너지를 추출하고(S401), 저대역 에너지를 대역에너지 추정부(122)에 입력하여 고대역 에너지를 추정한 후(S402), 저대역 에너지 및 주파수 영역의 데이터를 처리하여 평준화된 저대역 데이터를 생성한다(S403).First, low-band energy is extracted for each sub-band using data in the frequency domain (S401), and the high-band energy is estimated by inputting the low-band energy to the band energy estimator 122 (S402), and then the low-band energy and processing data in the frequency domain to generate normalized low-band data (S403).
다음, 평준화된 저대역 데이터를 이용하여 고대역 데이터를 복원한 후, 복원된 고대역 데이터와 평준화된 저대역 데이터를 합성하여 평준화된 전대역 데이터를 생성한다(S404).Next, after restoring the high-band data using the normalized low-band data, the normalized full-band data is generated by synthesizing the restored high-band data and the normalized low-band data (S404).
다음, 대역에너지 추정부(122)가 추정한 고대역 에너지와 특성추출부(121)에서 추출한 저대역 에너지를 합성하여 전대역 에너지를 생성한 후, 평준화된 전대역 데이터와 전대역 에너지를 곱하여 전대역 주파수 데이터를 추정한다(S405).Next, the full-band energy is generated by synthesizing the high-band energy estimated by the
이하 본 실시예에 따른 인공 대역 변환장치의 성능을 평가한 결과를 설명한다. 평가 및 학습에는 고전음악, 케이팝(K-pop) 및 팝음악 등을 압축한 음원을 사용하였다. 전술한 트레이닝 방법을 적용하여 본 실시예에 따른 대역에너지 추정부(122)를 트레이닝시킨 후, 동일한 평가용 음원을 이용하여 일반적인 HMM 기반의 추정 방식과 SNR 측정 결과를 비교하였다. 측정된 SNR은 20.8 dB로서, HMM 기반의 추정 방식에서 측정된 17.5 dB와 대비하여 더 우수한 성능을 보였다.Hereinafter, a result of evaluating the performance of the artificial band converter according to the present embodiment will be described. Compressed sound sources such as classical music, K-pop and pop music were used for evaluation and learning. After training the
이상에서 설명한 바와 같이 본 실시예에 의하면, 전송 채널의 제약으로 인하여 고압축률로 압축되어 전송된 저품질의 음원 데이터를 고품질 음원 신호로 변형하기 위하여, 학습 모델 기반의 에너지 추정 방법을 이용하는 인공 대역 변환장치 및 방법을 제공함으로써, 모바일 디바이스에서 고품질 음원과 등가의 음질을 서비스하여 사용자의 만족도를 높이는 효과가 있다. As described above, according to the present embodiment, an artificial band converter using an energy estimation method based on a learning model to transform low-quality sound source data compressed with a high compression rate and transmitted due to a transmission channel limitation into a high-quality sound source signal. And by providing the method, there is an effect of increasing user satisfaction by providing a sound quality equivalent to a high-quality sound source in a mobile device.
본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in each flowchart according to the present embodiment, the present invention is not limited thereto. In other words, since it may be applicable to change and execute the processes described in the flowchart or to execute one or more processes in parallel, the flowchart is not limited to a time-series order.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터-판독가능 매체"에 저장된다. Various implementations of the systems and techniques described herein include digital electronic circuitry, integrated circuits, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), computer hardware, firmware, software, and/or combination can be realized. These various implementations may include being implemented in one or more computer programs executable on a programmable system. The programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from, and transmit data and instructions to, a storage system, at least one input device, and at least one output device. or may be a general-purpose processor). Computer programs (also known as programs, software, software applications or code) contain instructions for a programmable processor and are stored on a “computer-readable medium”.
컴퓨터-판독가능 매체는, 명령어들 및/또는 데이터를 프로그래밍가능 프로세서에게 제공하기 위해 사용되는, 임의의 컴퓨터 프로그램 제품, 장치, 및/또는 디바이스(예를 들어, CD-ROM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성 또는 비일시적인 기록매체)를 나타낸다. A computer-readable medium includes any computer program product, apparatus, and/or device (eg, a CD-ROM, ROM, memory card, a non-volatile or non-transitory recording medium such as a hard disk, a magneto-optical disk, and a storage device).
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.Various implementations of the systems and techniques described herein may be implemented by a programmable computer. Here, the computer includes a programmable processor, a data storage system (including volatile memory, non-volatile memory, or other types of storage systems or combinations thereof), and at least one communication interface. For example, a programmable computer may be one of a server, a network appliance, a set-top box, an embedded device, a computer expansion module, a personal computer, a laptop, a Personal Data Assistant (PDA), a cloud computing system, or a mobile device.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.
100: 모바일 디바이스 110: 인공 대역 변환기
111: 입력부 112: 대역폭 확장부
113: 출력부 121: 특성추출부
122: 대역에너지 추정부 123: 재구성부
100: mobile device 110: artificial band converter
111: input unit 112: bandwidth extension unit
113: output unit 121: feature extraction unit
122: band energy estimation unit 123: reconstruction unit
Claims (13)
사전에 트레이닝된 학습형 연산 모델을 포함하고, 상기 저대역 에너지를 상기 학습형 연산 모델에 입력하여 고대역(high frequency band) 에너지를 추정하는 대역에너지 추정부, 여기서, 상기 학습형 연산 모델은 딥러닝(deep learning) 모델로 구현됨; 및
상기 고대역 에너지, 상기 저대역 에너지 및 상기 주파수 영역의 데이터를 이용하여 고품질 전대역(full frequency band) 데이터를 추정하는 재구성부
를 포함하되,
상기 재구성부는,
상기 저대역 에너지 및 상기 주파수 영역의 데이터를 처리하여 평준화된 저대역 데이터를 생성하는 정규화부;
상기 평준화된 저대역 데이터의 부대역 간의 상관도에 기반하여 상기 고대역 데이터를 복원한 후, 상기 평준화된 저대역 데이터와 복원된 고대역 데이터를 합성하여 평준화된 전대역 데이터를 생성하는 주파수대역 복제부;
상기 고대역 에너지와 상기 저대역 에너지를 합성하여 전대역 에너지를 생성하는 에너지 합성부; 및
상기 평준화된 전대역 데이터 및 상기 전대역 에너지를 처리하여 상기 고품질 전대역 데이터를 추정하는 전대역데이터 추정부
를 포함하고,
상기 딥러닝 모델은,
복수의 전연결 레이어 중 하나의 전연결 레이어를 제외한 나머지 전연결 레이어가 입력 레이어와 출력 레이어 사이에서 서로 직렬로 연결되고, 상기 하나의 전연결 레이어가 상기 입력 레이어와 상기 출력 레이어를 연결하여 상기 고대역 에너지와 연관성이 높은 저대역 에너지의 정보를 상기 출력 레이어 측으로 전달하는 것을 특징으로 하는 인공 대역 변환장치. a characteristic extraction unit for obtaining data in a frequency domain corresponding to a low-quality signal and extracting low frequency band energy for each sub-band;
A band energy estimator including a pre-trained learning-type computation model, and inputting the low-band energy to the learning-type computation model to estimate high-frequency band energy, wherein the learning-type computation model is a deep implemented as a deep learning model; and
A reconstruction unit for estimating high-quality full-band data using the high-band energy, the low-band energy, and the frequency domain data
including,
The reconstruction unit,
a normalizer for processing the low-band energy and data in the frequency domain to generate normalized low-band data;
After reconstructing the high-band data based on the degree of correlation between the sub-bands of the normalized low-band data, a frequency band replicator for synthesizing the normalized low-band data and the reconstructed high-band data to generate normalized full-band data ;
an energy synthesizing unit for synthesizing the high-band energy and the low-band energy to generate full-band energy; and
A full-band data estimator for estimating the high-quality full-band data by processing the standardized full-band data and the full-band energy
including,
The deep learning model is
All connection layers other than one pre-connection layer among the plurality of pre-connection layers are connected in series between the input layer and the output layer, and the single pre-connection layer connects the input layer and the output layer to form the high An artificial band converter, characterized in that it transmits information of low-band energy, which is highly correlated with band energy, to the output layer.
상기 특성추출부는,
상기 주파수 영역의 데이터에 대비하여 축소된 차원의 저대역 에너지를 추출하는 것을 특징으로 하는 인공 대역 변환장치.According to claim 1,
The feature extraction unit,
Artificial band converter, characterized in that for extracting the reduced-dimensional low-band energy compared to the data in the frequency domain.
상기 학습형 연산 모델은,
동일 음원 신호로부터 추출된 주파수 영역의 고품질 전대역 에너지 및 주파수 영역의 저품질 저대역 에너지 각각을 타겟(target) 및 입력으로 이용하여 사전에 트레이닝되는 것을 특징으로 하는 인공 대역 변환장치. According to claim 1,
The learning-type computation model is,
An artificial band converter, characterized in that it is trained in advance using each of the high-quality full-band energy in the frequency domain and the low-quality low-band energy in the frequency domain extracted from the same sound source signal as a target and an input.
상기 딥러닝 모델은,
상기 복수의 전연결 레이어의 출력에 적용되는 활성 함수(activation function)로서 ELU(Exponential Linear Unit)를 사용하는 것을 특징으로 하는 인공 대역 변환장치. According to claim 1,
The deep learning model is
An artificial band converter according to claim 1, wherein an Exponential Linear Unit (ELU) is used as an activation function applied to the outputs of the plurality of all-connected layers.
상기 에너지 합성부는,
상기 대역에너지 추정부가 추정한 고대역 에너지와 상기 특성추출부에서 추출한 저대역 에너지를 합성하여 상기 전대역 에너지를 생성하는 것을 특징으로 하는 인공 대역 변환장치. According to claim 1,
The energy synthesis unit,
The artificial band converter according to claim 1, wherein the high-band energy estimated by the band energy estimator and the low-band energy extracted from the characteristic extractor are synthesized to generate the full-band energy.
상기 전대역데이터 추정부는,
주파수 영역에서의 곱셈을 이용하여 상기 평준화된 전대역 데이터를 상기 전대역 에너지로 마스킹(masking)함으로써 상기 고품질 전대역 데이터를 추정하는 것을 특징으로 하는 인공 대역 변환장치. According to claim 1,
The full-band data estimating unit,
By masking the normalized full-band data with the full-band energy using multiplication in the frequency domain An artificial band converter for estimating the high-quality full-band data.
저품질의 주파수 영역 데이터를 이용하여 부대역(sub-band) 별로 저대역(low frequency band) 에너지를 추출하는 과정:
상기 저대역 에너지를 사전에 트레이닝된 학습 모델에 입력하여 고대역 에너지(high frequency band)를 추정하는 과정, 여기서, 상기 학습형 연산 모델은 딥러닝(deep learning) 모델로 구현됨;
상기 고대역 에너지, 상기 저대역 에너지 및 상기 주파수 영역의 데이터를 이용하여 고품질 전대역(full frequency band) 데이터를 추정하는 과정
을 포함하되,
상기 고품질 전대역 데이터를 추정하는 과정은,
상기 저대역 에너지 및 상기 주파수 영역의 데이터를 이용하여 평준화된 저대역 데이터를 생성하는 과정;
상기 평준화된 저대역 데이터의 부대역 간의 상관도에 기반하여 상기 고대역 데이터를 복원한 후, 상기 평준화된 저대역 데이터와 복원된 고대역 데이터를 합성하여 평준화된 전대역 데이터를 생성하는 과정;
상기 고대역 에너지와 상기 저대역 에너지를 합성하여 전대역 에너지를 생성하는 과정; 및
상기 평준화된 전대역 데이터 및 상기 전대역 에너지를 처리하여 상기 고품질 전대역 데이터를 추정하는 과정
을 포함하고,
상기 딥러닝 모델은,
복수의 전연결 레이어 중 하나의 전연결 레이어를 제외한 나머지 전연결 레이어가 입력 레이어와 출력 레이어 사이에서 서로 직렬로 연결되고, 상기 하나의 전연결 레이어가 상기 입력 레이어와 상기 출력 레이어를 연결하여 상기 고대역 에너지와 연관성이 높은 저대역 에너지의 정보를 상기 출력 레이어 측으로 전달하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 인공 대역 변환방법. An artificial band converting method of an artificial band converting device, comprising:
The process of extracting low frequency band energy for each sub-band using low-quality frequency domain data:
A process of estimating a high frequency band by inputting the low-band energy to a previously trained learning model, wherein the learning-type computational model is implemented as a deep learning model;
The process of estimating high-quality full-band data using the high-band energy, the low-band energy, and the frequency domain data
including,
The process of estimating the high-quality full-band data is
generating normalized low-band data using the low-band energy and data in the frequency domain;
generating normalized full-band data by synthesizing the normalized low-band data and the reconstructed high-band data after reconstructing the high-band data based on the correlation between the sub-bands of the normalized low-band data;
generating full-band energy by synthesizing the high-band energy and the low-band energy; and
Process of estimating the high-quality full-band data by processing the normalized full-band data and the full-band energy
including,
The deep learning model is
All connection layers other than one pre-connection layer among the plurality of pre-connection layers are connected in series between the input layer and the output layer, and the single pre-connection layer connects the input layer and the output layer to form the high An artificial band transform method implemented on a computer, characterized in that information of low band energy highly correlated with band energy is transmitted to the output layer.
상기 고대역 에너지를 추정하는 과정은,
동일 음원 신호로부터 추출된 주파수 영역의 고품질 전대역 에너지 및 주파수 영역의 저품질 저대역 에너지를 기반으로 사전에 트레이닝되는 상기 학습 모델을 이용하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 인공 대역 변환방법. 12. The method of claim 11,
The process of estimating the high-band energy is,
An artificial band conversion method implemented on a computer, characterized in that it uses the learning model trained in advance based on high-quality full-band energy in the frequency domain and low-quality low-band energy in the frequency domain extracted from the same sound source signal.
A computer program stored in a computer-readable recording medium to execute each step of the artificial band conversion method according to claim 11 or 12.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190115686A KR102308077B1 (en) | 2019-09-19 | 2019-09-19 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
KR1020210126252A KR102427874B1 (en) | 2019-09-19 | 2021-09-24 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190115686A KR102308077B1 (en) | 2019-09-19 | 2019-09-19 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210126252A Division KR102427874B1 (en) | 2019-09-19 | 2021-09-24 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210033852A KR20210033852A (en) | 2021-03-29 |
KR102308077B1 true KR102308077B1 (en) | 2021-10-01 |
Family
ID=75250021
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190115686A KR102308077B1 (en) | 2019-09-19 | 2019-09-19 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
KR1020210126252A KR102427874B1 (en) | 2019-09-19 | 2021-09-24 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210126252A KR102427874B1 (en) | 2019-09-19 | 2021-09-24 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102308077B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210133170A (en) * | 2019-09-19 | 2021-11-05 | 에스케이텔레콤 주식회사 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3017484A1 (en) * | 2014-02-07 | 2015-08-14 | Orange | ENHANCED FREQUENCY BAND EXTENSION IN AUDIO FREQUENCY SIGNAL DECODER |
KR102308077B1 (en) * | 2019-09-19 | 2021-10-01 | 에스케이텔레콤 주식회사 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
-
2019
- 2019-09-19 KR KR1020190115686A patent/KR102308077B1/en active IP Right Grant
-
2021
- 2021-09-24 KR KR1020210126252A patent/KR102427874B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210133170A (en) * | 2019-09-19 | 2021-11-05 | 에스케이텔레콤 주식회사 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
KR102427874B1 (en) * | 2019-09-19 | 2022-08-01 | 에스케이텔레콤 주식회사 | Method and Apparatus for Artificial Band Conversion Based on Learning Model |
Also Published As
Publication number | Publication date |
---|---|
KR20210133170A (en) | 2021-11-05 |
KR20210033852A (en) | 2021-03-29 |
KR102427874B1 (en) | 2022-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Braun et al. | A consolidated view of loss functions for supervised deep learning-based speech enhancement | |
Takahashi et al. | PhaseNet: Discretized Phase Modeling with Deep Neural Networks for Audio Source Separation. | |
CN107705801B (en) | Training method of voice bandwidth extension model and voice bandwidth extension method | |
CN108447495B (en) | Deep learning voice enhancement method based on comprehensive feature set | |
JP4810422B2 (en) | Encoding device, decoding device, and methods thereof | |
Deng et al. | Exploiting time-frequency patterns with LSTM-RNNs for low-bitrate audio restoration | |
CN107293306B (en) | A kind of appraisal procedure of the Objective speech quality based on output | |
Dubey et al. | Non-intrusive speech quality assessment using several combinations of auditory features | |
US20230317056A1 (en) | Audio generator and methods for generating an audio signal and training an audio generator | |
Karbasi et al. | Twin-HMM-based non-intrusive speech intelligibility prediction | |
Seo et al. | A maximum a posterior-based reconstruction approach to speech bandwidth expansion in noise | |
Pandey et al. | Monoaural Audio Source Separation Using Variational Autoencoders. | |
Dwijayanti et al. | Enhancement of speech dynamics for voice activity detection using DNN | |
KR102427874B1 (en) | Method and Apparatus for Artificial Band Conversion Based on Learning Model | |
Sanam et al. | Enhancement of noisy speech based on a custom thresholding function with a statistically determined threshold | |
US20230016637A1 (en) | Apparatus and Method for End-to-End Adversarial Blind Bandwidth Extension with one or more Convolutional and/or Recurrent Networks | |
Raj et al. | Multilayered convolutional neural network-based auto-CODEC for audio signal denoising using mel-frequency cepstral coefficients | |
Tufekci et al. | Applied mel-frequency discrete wavelet coefficients and parallel model compensation for noise-robust speech recognition | |
CN103971697A (en) | Speech enhancement method based on non-local mean filtering | |
KR20210033853A (en) | Method and Apparatus for Audio Band Conversion Based on U-Net | |
Sun et al. | An adaptive speech endpoint detection method in low SNR environments | |
Faycal et al. | Comparative performance study of several features for voiced/non-voiced classification | |
Attabi et al. | DNN-based calibrated-filter models for speech enhancement | |
KR102078350B1 (en) | Voice signal bandwidth extension device and method | |
Taher et al. | A joint bandwidth expansion and speech enhancement approach using deep neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |