KR101915120B1 - 인공신경망을 이용한 오디오의 이퀄라이징 시스템 - Google Patents
인공신경망을 이용한 오디오의 이퀄라이징 시스템 Download PDFInfo
- Publication number
- KR101915120B1 KR101915120B1 KR1020180002144A KR20180002144A KR101915120B1 KR 101915120 B1 KR101915120 B1 KR 101915120B1 KR 1020180002144 A KR1020180002144 A KR 1020180002144A KR 20180002144 A KR20180002144 A KR 20180002144A KR 101915120 B1 KR101915120 B1 KR 101915120B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- neural network
- artificial neural
- genre
- equalizer
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000001228 spectrum Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 11
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10009—Improvement or modification of read or write signals
- G11B20/10046—Improvement or modification of read or write signals filtering or equalising, e.g. setting the tap weights of an FIR filter
-
- A61B5/0408—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06N99/005—
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
본 발명은 인공신경망을 이용한 오디오의 이퀄라이징 시스템에 관한 것으로, 상기 시스템은, 재생할 음원 데이터를 주파수 성분의 주파수 스펙트럼으로 변환하여 오디오 스펙트럼 데이터를 생성하며, 인공신경망장치로부터 제공되는 음원의 장르에 따른 최적의 이퀄라이저 값에 기초하여 DSP에 대한 이퀄라이저 값을 설정하는 EQ 설정부; 및 상기 EQ 설정부로부터 오디오 스펙트럼 데이터를 제공받아 스펙트럼을 분석하여 음원의 장르를 학습하고, 학습된 장르에 따른 최적의 이퀄라이저 값을 추정해서 상기 EQ 설정부로 전송하는 인공신경망장치를 포함한다.
Description
본 발명은 인공신경망을 이용한 오디오의 이퀄라이징 시스템에 관한 것으로, 보다 상세하게는 음악의 장르에 따라 DSP(Digital Signal Processor)에 미리 입력된 이퀄라이저 값을 변경 설정할 수 있는 인공신경망을 이용한 오디오의 이퀄라이징 시스템에 관한 것이다.
일반적으로, 음원 재생 기능을 갖는 장치들, 예를 들면 MP3 플레이어, CD 플레이어, 자동차 스테레오, 스마트폰 등에서 이퀄라이저 기능은 기본적으로 제공되는 기능이다. 사용자는 이퀄라이저 기능을 이용하여 특정 주파수 밴드의 크기를 증폭하거나 감소시킴으로써 자신의 취향에 따라 음원 데이터를 재생할 수 있다. 즉, 상이한 이퀄라이저 모드들 예를 들면, 노말, 클래식, 팝, 컨트리, 락 모드 등으로 변경하여 출력부의 각 크기를 변경하여 오디오 파일을 재생하는 기능이 제공되고 있다. 예를 들면, 자동차 제조사들은 제조사의 이퀄라이저 값을 차량의 DSP 내에 탑재하여 제공하고 있다. 즉, 운전자가 이퀄라이저 기능을 수행하면 DSP에서는 탑재된 이퀄라이저 값에 따라 음향 보정이 이루어진다.
그러나, 한번 설정된 이퀄라이저 값은 사용자가 변경하기 전까지는 모든 음원들에 대하여 동일하게 적용된다. 따라서, 사용자가 다양한 장르의 음악을 최적화된 이퀄라이저 설정값을 이용하여 감상하려면 곡이 바뀔때마다 직접 기 탑재된 이퀄라이저 값을 변경해주어야 하는 불편함이 따른다.
본 발명의 목적은 인공신경망장치를 이용하여 음원의 오디오 스펙트럼 데이터를 입력받아 음원의 장르를 학습하고 그 학습된 장르에 따른 최적의 이퀄라이저 값을 제공함으로써 음원 데이터를 재생할 때 해당 음원의 장르에 따라 DSP의 이퀄라이저 값을 자동으로 변경할 수 있는 인공신경망을 이용한 오디오의 이퀄라이징 시스템을 제공하는 것이다.
이러한 목적을 달성하기 위한 본 발명은, 오디오의 이퀄라이징 시스템에 있어서, 재생할 음원 데이터를 주파수 성분의 주파수 스펙트럼으로 변환하여 오디오 스펙트럼 데이터를 생성하는 스펙트럼(SP) 데이터 생성부를 포함하고, 인공신경망장치로부터 제공되는 음원의 장르에 따른 최적의 이퀄라이저 값에 기초하여 DSP에 대한 이퀄라이저 값을 자동 설정하는 EQ 설정부; 및
상기 SP 데이터 생성부로부터 오디오 스펙트럼 데이터를 제공받아 스펙트럼을 분석하여 음원의 장르를 학습하고, 학습된 장르에 따른 최적의 이퀄라이저 값을 추정해서 상기 EQ 설정부로 전송하는 인공신경망장치를 포함한다.
그리고, 상기 EQ 설정부는 음원 데이터를 재생하는 도중에 현재 재생에 적용되고 있는 이퀄라이저 값을 DSP의 기본 이퀄라이저 값으로 변경하는 EQ 복귀부를 더 포함한다.
또한, 상기 EQ 복귀부는 음원 데이터를 재생하는 도중에 현재 재생에 적용되고 있는 이퀄라이저 값을 사전에 미리 설정된 EQ 값을 DSP에 적용가능하다.
또한, 상기 인공신경망장치는 음원 데이터가 재생되는 재생환경 또는 사용자의 생체정보를 학습 파라미터로서 추가로 입력받아 음원의 장르를 학습한다.
그리고, 상기 재생환경은 장소, 규모, 형태, 구조, 및 오디오 출력형태 중 하나 이상을 포함하고, 사용자 생체정보는 혈중산소포화도, 심전도,및 피부전기저항 중 하나 이상을 포함한다.
또한, 인공신경망장치는 사용자 생체정보를 기초로 사용자의 건강상태 또는 스트레스를 산출하고, 이를 기초로하여 최적의 이퀄라이저 설정을 학습할 수 있다.
그리고, 상기 시스템은 상기 DSP에서 이퀄라이징된 음원 데이터를 아날로그 음원 신호로 변환하는 디지털 아날로그 변환부; 및 상기 디지털 아날로그 변환부에 의해 변환된 음원 신호를 소정의 이득만큼 증폭하는 증폭부를 더 포함한다.
또한, 상기 EQ 설정부는 상기 인공신경망장치와 정보통신망을 통해 접속되어 상기 인공신경망장치와 근거리 내지 원거리에서 접속 가능하다.
그리고, 상기 재생환경 내에서 발생하는 환경음을 입력받아, 환경음에 따른 최적의 이퀄라이저 값을 추정할 수 있다.
본 발명의 인공신경망을 이용한 오디오의 이퀄라이징 시스템에 따르면, 인공신경망장치를 이용하여 음원의 오디오 스펙트럼 데이터를 입력받아 음원의 장르를 학습하고 그 학습된 장르에 따른 최적의 이퀄라이저 값을 제공함으로써 음원 데이터를 재생할 때 해당 음원의 장르에 따라 DSP의 이퀄라이저 값을 자동으로 변경할 수 있도록 함으로써, 사용자는 항상 최적의 이퀄라이징 상태로 음악을 청취할 수 있는 이점이 있다.
또한, 음원 데이터가 재생되는 재생환경 또는 사용자의 생체정보를 학습 파라미터로서 추가로 입력받아 음원의 장르를 학습함으로써 재생환경이나 사용자의 상태에 따른 최적의 이퀄라이저 값을 제공할 수 있는 부수적인 효과가 있다.
또한, 사용자는 매번 이퀄라이저 값을 변경하지 않아도 되므로, 사용자에게 편리함을 제공하는 이점이 있다.
도 1은 본 발명에 따른 인공신경망을 이용한 오디오의 이퀄라이징 시스템의 일실시예를 나타낸 도면이다.
도 2는 도 1에 도시된 인공신경망장치를 학습시키기 위한 파라미터의 구조를 나탄낸 도면이다.
도 3은 도 1에 도시된 인공신경망장치의 구조를 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 장르 분류 방법을 설명하는 도면이다.
도 2는 도 1에 도시된 인공신경망장치를 학습시키기 위한 파라미터의 구조를 나탄낸 도면이다.
도 3은 도 1에 도시된 인공신경망장치의 구조를 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 장르 분류 방법을 설명하는 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
본 출원의 발명자들은 인공신경망을 이용한 자동음향조율장치에 관한 출원에 대해 등록받았고(등록특허 제10-1764274), 이를 기초로 음향장비의 자동음향조율 대신에 오디오의 이퀄라이징을 설정할 수 있는 방안을 모색하는 중에 본 발명에 이르게 되었다. 상기 등록특허의 전체내용은 본 명세서에 참조로서 포함된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 인공신경망을 이용한 오디오의 이퀄라이징 시스템의 일실시예를 나타낸 도면이고, 도 2는 도 1에 도시된 인공신경망장치(70)를 학습시키기 위한 파라미터의 구조를 나타낸 도면이다.
도 1을 참조하면, 이퀄라이징 시스템은 이퀄라이저(EQ) 설정부(20), DSP(30), D/A(디지털 아날로그) 변환부(40), 증폭부(50), 정보통신망(60) 및 인공신경망장치(70)로 구성된다.
EQ 설정부(20)는 스펙트럼 데이터 생성부(22)와 EQ 복귀부(24)를 포함하여 재생할 음원 데이터(10)를 주파수 스펙트럼으로 변환하여 주파수 성분으로 분해 변환하여 음원의 스펙트럼(SP) 데이터를 생성하며, 인공신경망장치로부터 제공되는 음원의 장르에 따른 최적의 이퀄라이저 값에 기초하여 DSP에 대한 이퀄라이저 값을 자동 설정한다.
또한, EQ 설정부(20)는 음원 데이터를 재생하는 도중에 현재 재생에 적용되고 있는 이퀄라이저 값을 DSP의 기본 이퀄라이저 값으로 변경하는 EQ 복귀부(24)를 더 포함하고 있다. 이를 위해서, EQ 복귀부(24)는 DSP에서는 탑재된 이퀄라이저 값을 미리 백업하여 저장하고 있을 수 있다.
이는 원래 DSP에 탑재하여 제공되는 있었던 제조사의 오리지널 이퀄라이저 값을 제공받을 수 있게 하기 위한 것이다. 즉, 운전자에 의해 키입력 신호가 입력되면, DSP에서는 탑재된 이퀄라이저 값에 따라 음향 보정이 이루어도록 한다.
다른 실시예로서, EQ 복귀부(24)는, 음원사이트에서 제공하는 음악들을 블루투스 또는 와이파이를 이용해 재생할 경우, 본 시스템의 관리자 또는 타사(특히, 자동차 제조사)가 사전에 미리 설정된 EQ 값을 DSP에 적용가능하다.
음원의 스펙트럼(SP) 데이터는 스펙트럼 데이터 생성부(22)에서 얻어지며, 이를 위하여 예를 들어 음원 데이터는 음색의 특징 추출하기 위해서 서브프레임으로 나누어지고 FFT(Fast Fourier Transform) 과정을 통해 주파수 스펙트럼으로 변환될 수 있다. 음원 데이터는 파일의 확장자가 mp3, wav, aif 등인 음원 파일이며, mp4, avi, wmv, mkv 등인 비디오 파일도 포함할 수 있다.
인공신경망장치(80)는 SP 데이터 생성부(22)로부터 오디오 스펙트럼 데이터를 제공받아 스펙트럼을 분석하여 음원의 장르를 학습하고, 학습된 장르에 따른 최적의 이퀄라이저 값을 추정해서 EQ 설정부(20)로 전송한다. 여기서, 장르는 바람직하게 음악 장르로서, 클래식, 댄스, 포크, 헤비 메탈, 힙합, 재즈, 팝, 록, 라틴, 발라드, 랩 등을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다.
인공신경망장치(80)는 기본적으로 오디오 스펙트럼 데이터를 기반으로 한 기계학습을 통해 장르 인식 모델을 구축할 수 있다. 여기서, 기계학습 알고리즘은 신경망(neural network), 결정 트리(decision tree), 유전 알고리즘(Genetic Algorithm: GA), 유전자 프로그래밍(Genetic Programming: GP), 가우스 과정 회귀, 선형 분별 분석, K 근접 이웃(K-Nearest Neighbor: K-NN), 퍼셉트론, 방사 기저 함수 네트워크, 서포트 벡터 머신(Support Vector Machine: SVM), 및 딥러닝(deeplearning) 중 하나일 수 있다. 그러나 이에 한정되는 것은 아니다.
다른 실시예에서, 인공신경망장치(70)는 다수의 테스트용 음원 데이터를 기반으로 한 기계학습을 통해 장르 인식 모델을 구축할 수 있다.
또다른 실시예에서, 인공신경망장치(70)는 음원이 재생되는 재생환경 또는 사용자 생체정보를 학습 파라미터로서 추가로 입력받아 기계학습을 수행할 수 있다.
학습 파라미터로서 재생환경은 장소, 규모, 형태, 구조, 및 오디오 출력형태를 포함한다. 여기서, 장소는 지하철, 집, 학교, 공항 등을 예로 들 수 있으며, 오디오 출력형태는 스피커 또는 이어폰이 될 수 있다.
학습 파라미터로서 사용자 생체정보에는 혈중산소포화도, 심전도, 피부전기저항 등이 있을 수 있으며, 인공신경망장치(80)는 이러한 정보를 기초로 사용자의 건강상태 또는 스트레스 등을 산출할 수 있으며, 이를 기초로하여 최적의 이퀄라이저 설정을 학습할 수 있게 된다.
이를 위해서 혈중산소포화도센서(PPG), 심전도센서(ECG) 및 피부전기저항(GSR)센서와 같은 센서수단이 추가로 제공될 수 있다.
이와 같이, 인공신경망장치(70)는 오디오 스펙트럼 데이터, 테스트용 음원 데이터, 또는 재생환경 및 사용자 생체정보의 추가적인 학습 파라미터를 기반으로 전체 주파수 대역별로 설정된 음악 장르별 이퀄라이저 데이터를 이용하여 최적의 이퀄라이저 설정이 학습되는 것이 바람직하다.
또다른 실시예에서, 인공신경망장치(80)는 MIRtoolbox(Olivier Lartillot, "MIRtoolbox 1.2.4", Finnish Centre of Excellence in Interdisciplinary Music Research, March, 18th, 2010)를 사용하여 획득된 391개의 특징을 모두 이용하여 학습 및 판별을 수행할 수 있다.
또다른 실시예에서, 인공신경망장치(70)는 플레이되는 음원의 음정, 음 높이, 음 길이, 조, 박자 및 템포 등을 추출하고, 이들을 학습 파라미터로서 추가로 입력받아 최적의 이퀄라이저 설정을 위한 기계학습을 수행할 수 있다. 여기서, 음악의 음정, 음 높이, 음 길이, 조, 박자 및 템포 등의 추출은 음원의 주파수 영역 분석을 통해 가능할 수 있다.
또다른 실시예에서, 인공신경망장치(70)는 악기 및 보컬을 각기 다른 레이어로 분리하고, 이들을 학습 파라미터로서 추가로 입력받아 최적의 이퀄라이저 설정을 위한 기계학습을 수행할 수도 있다.
도 3은 도 1에 도시된 인공신경망장치의 구조를 나타낸 도면이다.
도 3에 도시된 바와 같이, 인공신경망장치(80)의 구조는 입력층, 은닉층, 출력층으로 나뉘고, 입력층은 Olivier Lartillot의 MIRtoolbox를 사용하여 획득한 특징 391개를 입력으로 한다. 또한 은닉층은 5개부터 5단위로 은닉층의 수를 증가 시키면서 50개까지 변경가능하고, 출력층은 분류된 음악의 장르 수와 동일한 개수를 사용한다. 즉, 분류한 장르의 수가 5개라면, 출력층의 수를 5개로 설정하는 방식으로 학습시 타겟값 0-0-0-0-1은 장르1, 타겟값 0-0-0-1-0은 장르2, 타겟값 0-0-1-0-0은 장르3, 타겟값 0-1-0-0-0은 장르4 그리고 타겟값 1-0-0-0-0은 장르5로 설정하여 학습시키고, 판별시 출력값이 가장 큰값을 선택하여 장르를 판별한다.
도 4는 본 발명의 다른 실시예에 따른 장르 분류 방법을 설명하는 도면이다.
이러한 방법은 여러 웹사이트의 장르 데이터를 분석하여 보다 객관적인 장르를 부여하는 방법으로서, Naver, 엠넷, 벅스, 멜론, Allmusic 등의 웹사이트에서 획득한 장르 데이터를 사용하여 장르를 분류하는 것이다.
도 4를 참조하면, 음원이 속한 앨범이 나타내는 장르를 카운팅하여 최대값에 해당하는 장르로 음악의 장르를 설정하는 방법이다. 만약 장르에 대한 출현빈도가 동등한 경우 앨범의 스타일의 출현빈도를 고려하고, 앨범의 스타일의 출현 빈도를 고려하여도 장르를 분류 하지 못하면 해당 음악의 가수가 선호하는 장르의 출현빈도를 포함하여 장르를 분류한다. 만약 가수가 선호하는 장르를 포함하여도 장르의 구분이 불가능하면 마지막으로 가수의 장르 스타일의 출현빈도까지 고려하여 장르를 분류한다.
EQ 설정부(20)는 인공신경망장치(70)와 정보통신망(60)을 통해 접속되어 인공신경망장치(70)와 근거리 내지 원거리에서 접속 가능한 것을 특징으로 한다.
디지털 아날로그 변환부(40)는 DSP(30)에서 이퀄라이징된 음원 데이터를 아날로그 음원 신호로 하며, 증폭부(50)는 디지털 아날로그 변환부(40)에 의해 변환된 음원 신호를 소정의 이득만큼 증폭시킨다.
또다른 실시예에서, 재생환경내에서 발생하는 환경음을 마이크(도시안됨)를 통해 추가로 입력받아 학습 파라미터로서 사용가능하다.
마이크로부터 환경음이 입력되는 경우, EQ 설정부(20)의 스펙트럼 데이터 생성부(22)는 입력된 환경음을 FFT를 이용하여 환경음의 주파수 성분을 생성할 수 있으며, 이를 인공신경망장치(70)로 전송한다.
인공신경망장치(70)는 EQ 설정부(20)로부터의 환경음의 주파수 성분을 분석하여 누적 학습된 자료를 기반으로 환경음에 따른 최적의 이퀄라이저 값을 추정해서 다시 EQ 설정부(20)로 전송해줌으로써 환경음의 영향을 최소화할 수 있도록 이퀄라이저를 조정할 수 있다. 예를들면, 환경음의 특정 주파수 성분이 크게 나온 경우, DSP(30)는 특정 주파수 성분을 감쇠시킬 수 있도록 제어될 수 있다.
전술한 바와 같이, 본 발명에 의한 인공신경망을 이용한 오디오의 이퀄라이징 시스템에 따르면, 인공신경망장치를 이용하여 음원의 오디오 스펙트럼 데이터를 입력받아 음원의 장르를 학습하고 그 학습된 장르에 따른 최적의 이퀄라이저 값을 제공함으로써 음원 데이터를 재생할 때 해당 음원의 장르에 따라 DSP의 이퀄라이저 값을 자동으로 변경할 수 있도록 함으로써, 사용자는 항상 최적의 이퀄라이징 상태로 음악을 청취할 수 있는 이점이 있다.
또한, 음원 데이터가 재생되는 재생환경 또는 사용자의 생체정보를 학습 파라미터로서 추가로 입력받아 음원의 장르를 학습함으로써 재생환경이나 사용자의 상태(건강상태 또는 스트레스 등)에 따른 최적의 이퀄라이저 값을 제공할 수 있는 부수적인 효과가 있다.
또한, 매번 이퀄라이저를 조작하지 않아도 되므로, 사용자에게 편리함을 제공하는 이점이 있다.
20 : 이퀄라이저 제어부 22 : SP 데이터 생성부
24 : EQ 복귀부 30 : DSP
40 : D/A 변환부 50 : 증폭부
60 : 정보통신망 70 : 인공신경망장치
24 : EQ 복귀부 30 : DSP
40 : D/A 변환부 50 : 증폭부
60 : 정보통신망 70 : 인공신경망장치
Claims (9)
- 인공신경망을 이용한 오디오의 이퀄라이징 시스템에 있어서,
재생할 음원 데이터를 주파수 성분의 주파수 스펙트럼으로 변환하여 오디오 스펙트럼 데이터를 생성하는 스펙트럼(SP) 데이터 생성부를 포함하고, 인공신경망장치로부터 제공되는 음원의 장르에 따른 이퀄라이저 값에 기초하여 DSP에 대한 이퀄라이저 값을 자동 설정하는 EQ 설정부; 및
상기 SP 데이터 생성부로부터 오디오 스펙트럼 데이터를 제공받아 스펙트럼을 분석하여 음원의 장르를 학습하고, 학습된 장르에 따른 이퀄라이저 값을 추정해서 상기 EQ 설정부로 전송하는 인공신경망장치를 포함하고,
상기 인공신경망장치는 음원 데이터가 재생되는 재생환경 또는 사용자의 생체정보를 학습 파라미터로서 추가로 입력받아 음원의 장르를 학습하며,
상기 재생환경은 장소, 규모, 형태, 구조, 및 오디오 출력형태 중 하나 이상을 포함하고, 사용자 생체정보는 혈중산소포화도, 심전도, 및 피부전기저항 중 하나 이상을 포함하는 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
- 제1항에 있어서,
상기 EQ 설정부는 음원 데이터를 재생하는 도중에 현재 재생에 적용되고 있는 이퀄라이저 값을 DSP의 기본 이퀄라이저 값으로 변경하는 EQ 복귀부를 더 포함하는 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
- 제2항에 있어서,
상기 EQ 복귀부는 음원 데이터를 재생하는 도중에 현재 재생에 적용되고 있는 이퀄라이저 값을 사전에 미리 설정된 EQ 값을 DSP에 적용가능한 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
인공신경망장치는 사용자 생체정보를 기초로 사용자의 건강상태 또는 스트레스를 산출하고, 이를 기초로하여 이퀄라이저 설정을 학습할 수 있는 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
- 제1항에 있어서,
상기 DSP에서 이퀄라이징된 음원 데이터를 아날로그 음원 신호로 변환하는 디지털 아날로그 변환부; 및
상기 디지털 아날로그 변환부에 의해 변환된 음원 신호를 소정의 이득만큼 증폭하는 증폭부를 더 포함하는 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
- 제1항에 있어서,
상기 EQ 설정부는 상기 인공신경망장치와 정보통신망을 통해 접속되어 상기 인공신경망장치와 근거리 내지 원거리에서 접속 가능한 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
- 제1항에 있어서,
상기 재생환경 내에서 발생하는 환경음을 입력받아, 환경음에 따른 이퀄라이저 값을 추정할 수 있는 것을 특징으로 하는 인공신경망을 이용한 오디오의 이퀄라이징 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180002144A KR101915120B1 (ko) | 2018-01-08 | 2018-01-08 | 인공신경망을 이용한 오디오의 이퀄라이징 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180002144A KR101915120B1 (ko) | 2018-01-08 | 2018-01-08 | 인공신경망을 이용한 오디오의 이퀄라이징 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101915120B1 true KR101915120B1 (ko) | 2018-11-05 |
Family
ID=64329263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180002144A KR101915120B1 (ko) | 2018-01-08 | 2018-01-08 | 인공신경망을 이용한 오디오의 이퀄라이징 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101915120B1 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020226224A1 (ko) * | 2019-05-07 | 2020-11-12 | 주식회사 사운드플렛폼 | 인공지능 기반 음원 가공방법, 장치 및 프로그램 |
| CN112687283A (zh) * | 2020-12-23 | 2021-04-20 | 广州智讯通信***有限公司 | 一种基于指挥调度***的语音均衡方法、装置及存储介质 |
| WO2021108664A1 (en) * | 2019-11-26 | 2021-06-03 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| WO2021137551A1 (en) * | 2019-12-31 | 2021-07-08 | Samsung Electronics Co., Ltd. | Equalizer for equalization of music signals and methods for the same |
| CN113468674A (zh) * | 2021-07-23 | 2021-10-01 | 上海紫荆桃李科技有限公司 | 一种基于神经网络的汽车内饰件表面发声调校*** |
| CN113993026A (zh) * | 2021-10-19 | 2022-01-28 | 江苏米笛声学科技有限公司 | 耳机svm机器学习自适应调节方法 |
| US11375311B2 (en) | 2019-11-26 | 2022-06-28 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| US11481628B2 (en) | 2019-11-26 | 2022-10-25 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| KR102480265B1 (ko) * | 2022-04-14 | 2022-12-23 | 주식회사 지브이코리아 | 오디오 사운드의 장르에 따라 이퀄라이징을 수행하는 전자 장치, 및 시스템 |
| US11748594B2 (en) | 2019-10-23 | 2023-09-05 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101716467B1 (ko) * | 2015-09-17 | 2017-03-15 | 주식회사 원캐스트 | 외부 환경을 고려한 오디오 조절 방법 및 오디오 장치 |
| KR101764274B1 (ko) * | 2017-05-04 | 2017-08-07 | 이기만 | 인공신경망을 이용한 자동음향조율장치 |
-
2018
- 2018-01-08 KR KR1020180002144A patent/KR101915120B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101716467B1 (ko) * | 2015-09-17 | 2017-03-15 | 주식회사 원캐스트 | 외부 환경을 고려한 오디오 조절 방법 및 오디오 장치 |
| KR101764274B1 (ko) * | 2017-05-04 | 2017-08-07 | 이기만 | 인공신경망을 이용한 자동음향조율장치 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020226224A1 (ko) * | 2019-05-07 | 2020-11-12 | 주식회사 사운드플렛폼 | 인공지능 기반 음원 가공방법, 장치 및 프로그램 |
| US11748594B2 (en) | 2019-10-23 | 2023-09-05 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| US11375311B2 (en) | 2019-11-26 | 2022-06-28 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| US11902760B2 (en) | 2019-11-26 | 2024-02-13 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| WO2021108664A1 (en) * | 2019-11-26 | 2021-06-03 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| US11481628B2 (en) | 2019-11-26 | 2022-10-25 | Gracenote, Inc. | Methods and apparatus for audio equalization based on variant selection |
| US11515853B2 (en) | 2019-12-31 | 2022-11-29 | Samsung Electronics Co., Ltd. | Equalizer for equalization of music signals and methods for the same |
| WO2021137551A1 (en) * | 2019-12-31 | 2021-07-08 | Samsung Electronics Co., Ltd. | Equalizer for equalization of music signals and methods for the same |
| CN112687283A (zh) * | 2020-12-23 | 2021-04-20 | 广州智讯通信***有限公司 | 一种基于指挥调度***的语音均衡方法、装置及存储介质 |
| CN113468674B (zh) * | 2021-07-23 | 2022-03-04 | 上海紫荆桃李科技有限公司 | 一种基于神经网络的汽车内饰件表面发声调校*** |
| CN113468674A (zh) * | 2021-07-23 | 2021-10-01 | 上海紫荆桃李科技有限公司 | 一种基于神经网络的汽车内饰件表面发声调校*** |
| CN113993026A (zh) * | 2021-10-19 | 2022-01-28 | 江苏米笛声学科技有限公司 | 耳机svm机器学习自适应调节方法 |
| KR102480265B1 (ko) * | 2022-04-14 | 2022-12-23 | 주식회사 지브이코리아 | 오디오 사운드의 장르에 따라 이퀄라이징을 수행하는 전자 장치, 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101915120B1 (ko) | 인공신경망을 이용한 오디오의 이퀄라이징 시스템 | |
| US11605393B2 (en) | Audio cancellation for voice recognition | |
| US8436241B2 (en) | Beat enhancement device, sound output device, electronic apparatus and method of outputting beats | |
| JP4640463B2 (ja) | 再生装置、表示方法および表示プログラム | |
| KR100832360B1 (ko) | 음원 재생기에서의 이퀄라이저 조정 방법 및 그 시스템 | |
| CN110019931B (zh) | 音频分类方法、装置、智能设备和存储介质 | |
| US20080160943A1 (en) | Method and apparatus to post-process an audio signal | |
| DE102012103553A1 (de) | Audiosystem und verfahren zur verwendung von adaptiver intelligenz, um den informationsgehalt von audiosignalen in verbraucheraudio zu unterscheiden und eine signalverarbeitungsfunktion zu steuern | |
| KR20210129032A (ko) | 오디오 특성의 분석을 기반으로 오디오 재생 설정을 조정하는 방법 및 장치 | |
| US20230054864A1 (en) | Methods and Apparatus for Audio Equalization Based on Variant Selection | |
| US11902760B2 (en) | Methods and apparatus for audio equalization based on variant selection | |
| JP4959861B1 (ja) | 信号処理方法、信号処理装置、再生装置およびプログラム | |
| JP2023527473A (ja) | オーディオ再生方法、装置、コンピュータ可読記憶媒体及び電子機器 | |
| CN110853606A (zh) | 一种音效配置方法、装置及计算机可读存储介质 | |
| Itoyama et al. | Integration and adaptation of harmonic and inharmonic models for separating polyphonic musical signals | |
| JPWO2011122522A1 (ja) | 感性表現語選択システム、感性表現語選択方法及びプログラム | |
| Berdich et al. | Fingerprinting smartphones based on microphone characteristics from environment affected recordings | |
| JP2005037845A (ja) | 音楽再生装置 | |
| US20240213943A1 (en) | Dynamic audio playback equalization using semantic features | |
| US20210377662A1 (en) | Techniques for audio track analysis to support audio personalization | |
| WO2017135350A1 (ja) | 記録媒体、音響処理装置および音響処理方法 | |
| WO2022180092A1 (fr) | Dispositif et procédé de modification d'un état émotionnel d'un utilisateur | |
| KR102480265B1 (ko) | 오디오 사운드의 장르에 따라 이퀄라이징을 수행하는 전자 장치, 및 시스템 | |
| US11501745B1 (en) | Musical instrument pickup signal processing system | |
| JP7105320B2 (ja) | 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |