KR20170101629A - 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법 - Google Patents

스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20170101629A
KR20170101629A KR1020160024431A KR20160024431A KR20170101629A KR 20170101629 A KR20170101629 A KR 20170101629A KR 1020160024431 A KR1020160024431 A KR 1020160024431A KR 20160024431 A KR20160024431 A KR 20160024431A KR 20170101629 A KR20170101629 A KR 20170101629A
Authority
KR
South Korea
Prior art keywords
sound sources
information
sound
source
signal
Prior art date
Application number
KR1020160024431A
Other languages
English (en)
Inventor
정영호
이태진
장대영
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160024431A priority Critical patent/KR20170101629A/ko
Priority to US15/400,755 priority patent/US9905246B2/en
Publication of KR20170101629A publication Critical patent/KR20170101629A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/0332—Details of processing therefor involving modification of waveforms
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)

Abstract

스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법이 개시된다. 다국어 오디오 컨텐츠 제작 방법은 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정하는 단계; 상기 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각을 설정하는 단계; 상기 설정된 초기 방위각에 기초하여 상기 복수의 음원들을 스테레오 신호로 믹싱하는 단계; 상기 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리하는 단계; 및 상기 분리된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 단계를 포함할 수 있다.

Description

스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING MULTILINGUAL AUDIO SERVICE BASED ON STEREO AUDIO SIGNAL}
본 발명은 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법에 관한 것으로, L/R(Left/Right) 스테레오 오디오 신호를 기반으로 다국어 오디오 서비스를 제공하는 장치 및 방법에 관한 것이다.
1930년대 초, 알란 D. 블룸레인(Alan Dower Blumlein )이 스테레오 오디오 시스템 관련 아이디어를 구체화한 이후로, 사람들은 기존 모노 신호에서는 느낄 수 없었던 음원에 대한 공간감을 인지할 수 있게 되었다. 1940년대 말 LP(Long-Playing Record)의 등장, 1980년대 초 CD(Compact Disk)의 등장 이후, 2000년대에 들어 MP3플레이어/스마트폰/스마트패드 등과 같은 개인형 디바이스 및 클라우드/스트리밍 서비스 등의 대중화에 힘입어 스테레오 음악과 관련된 컨텐츠 시장은 지속적으로 성장해 오고 있다.
현재 이용자들이 소비하고 있는 스테레오 오디오 컨텐츠는 클래식, 팝, 재즈, 발라드 등과 같은 다양한 장르의 음악들이 주를 이루고 있으며, 해당 컨텐츠는 공연 현장 또는 스튜디오에서 녹음된 보컬 및 다양한 악기 음원들에 대한 믹싱 작업을 통해 제작된다. 이때 음원의 공간감을 제공하기 위해, 좌/우 귀에 입력되는 오디오 신호 간 강도 차(IID: Inter-aural Intensity Difference)를 기반으로 음원의 위치를 인지하는 인간의 청각 특성을 활용한 패닝 효과가 스테레오 신호에 적용된다.
최근 들어 Google, Apple, Amazon, Netflix 등의 글로벌 컨텐츠 플랫폼 사업자들의 등장과 더불어, 컨텐츠의 현지화(localization)를 위해 해당 국가의 언어로 더빙되는 다국어 서비스에 대한 관심이 집중되고 있다. 또한 우리나라를 포함한 세계 대부분의 국가가 다양한 국적의 사람들로 다문화되어 감에 따라, 자국에서 소비되는 동영상 컨텐츠에 대해 다국어 서비스를 지원할 필요성이 대두되고 있다. 팟캐스트(Podcast)와 같이 주로 오디오 컨텐츠만을 제공하는 새로운 컨텐츠 플랫폼도 글로벌화에 필요한 현지화를 위해 다국어 오디오 서비스에 대한 지원이 필요하다.
대부분의 다국어 오디오 서비스는 제공하고자 하는 국가 언어별로 하나의 오디오 채널을 할당하여 서비스함으로써 다채널 오디오 전송 및 저장으로 인한 네트워크 및 스토리지 자원 낭비를 초래하는 문제점을 안고 있다. 이를 해결하기 위한 방법으로 본 발명에서는 기존 스테레오 신호를 이용하여 효과적으로 다국어 오디오 서비스를 제공하는 방법에 대해 제안하고자 한다.
본 발명은 L/R(Left/Right) 스테레오 오디오 신호를 기반으로 다국어 오디오 서비스를 제공함으로써 네트워크 및 스토리지의 자원 낭비를 줄일 수 있는 다국어 오디오 서비스 제공 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 방법은 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정하는 단계; 상기 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각을 설정하는 단계; 상기 설정된 초기 방위각에 기초하여 상기 복수의 음원들을 스테레오 신호로 믹싱하는 단계; 상기 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리하는 단계; 및 상기 분리된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 단계를 포함할 수 있다.
상기 분리된 복수의 음원들 각각의 음질을 평가하는 단계를 더 포함하고, 상기 저장하는 단계는 상기 평가된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장할 수 있다.
상기 평가하는 단계는 상기 분리된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나를 이용하여 평가할 수 있다.
상기 평가하는 단계는 상기 평가된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나가 미리 설정한 임계치 보다 낮은 경우, 상기 복수의 음원들 각각의 방위각 및 신호 강도를 조정할 수 있다.
상기 조정하는 단계는 상기 복수의 음원들 각각의 에너지 값을 확인하고, 상기 확인된 에너지 값 중 최대값으로 상기 복수의 음원들의 에너지 값을 조정할 수 있다.
상기 믹싱하는 단계는 상기 복수의 음원들 각각의 초기 방위각에 기초하여 상기 복수의 음원들 각각에 대한 좌/우 신호의 신호 강도비를 계산하는 단계; 상기 계산된 신호 강도비에 기초하여 좌/우 스테레오 신호에 믹싱될 상기 복수의 음원들 각각에 대한 좌/우 신호 성분을 결정하는 단계; 및 상기 결정된 복수의 음원들 각각에 대한 좌/우 신호 성분을 믹싱하여 좌/우 스테레오 신호를 생성하는 단계를 포함할 수 있다.
상기 저장하는 단계는 상기 믹싱된 복수의 음원들 각각에 대한 부가 정보를 삽입하는 단계를 더 포함하고, 상기 부가 정보는 상기 믹싱된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 장치는 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정하는 조정부; 상기 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각을 설정하는 설정부; 상기 설정된 초기 방위각에 기초하여 상기 복수의 음원들 각각을 스테레오 신호로 믹싱하는 믹싱부; 상기 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리하는 분리부; 및 상기 분리된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 저장부를 포함할 수 있다.
상기 분리된 복수의 음원들 각각의 음질을 평가하는 평가부를 더 포함하고, 상기 저장부는 상기 평가된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장할 수 있다.
상기 평가부는 상기 분리된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나를 이용하여 평가할 수 있다.
상기 평가부는 상기 분리된 복수의 음원들 각각에 대한 성분 분해를 통해 상기 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보를 정의할 수 있다.
본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 재생 방법은 다국어 오디오 컨텐츠를 수신하는 단계; 상기 수신된 다국어 오디오 컨텐츠에 포함된 스테레오 신호를 출력하는 단계; 상기 출력된 스테레오 신호에 포함된 복수의 음원들에 대한 부가 정보 중 상기 복수의 음원들 각각에 대한 언어 정보를 사용자에게 제공하는 단계; 음원 분리 알고리즘을 이용하여 상기 출력된 스테레오 신호에 포함된 복수의 음원들 중 상기 사용자가 선택한 언어 정보에 대응하는 음원을 분리하는 단계; 및 상기 분리된 음원을 재생하는 단계를 포함할 수 있다.
상기 부가 정보는 상기 출력된 스테레오 신호에 포함된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 재생 장치는 다국어 오디오 컨텐츠를 수신하는 수신부; 상기 수신된 다국어 오디오 컨텐츠에 포함된 스테레오 신호를 출력하는 출력부; 상기 출력된 스테레오 신호에 포함된 복수의 음원들에 대한 부가 정보 중 상기 복수의 음원들 각각에 대한 언어 정보를 사용자에게 제공하는 제공부; 음원 분리 알고리즘을 이용하여 상기 출력된 스테레오 신호에 포함된 복수의 음원들 중 상기 사용자가 선택한 언어 정보에 대응하는 음원을 분리하는 분리부; 및 상기 분리된 음원을 재생하는 재생부를 포함할 수 있다.
상기 부가 정보는 상기 출력된 스테레오 신호에 포함된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 의하면, L/R(Left/Right) 스테레오 오디오 신호를 기반으로 다국어 오디오 서비스를 제공함으로써 네트워크 및 스토리지의 자원 낭비를 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 방법을 순서대로 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 개별 음원의 방위각 및 신호 강도 조정 방법을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 3개국 오디오 음원에 대한 스테레오 오디오 신호의 구성 및 상기 구성에 따른 객관적 성능평가 결과의 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 다국어 오디오 서비스용 부가정보의 구성을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 재생 장치를 도시한 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 장치를 도시한 도면이다.
본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 장치(100)는 조정부(110), 설정부(120), 믹싱부(130), 분리부(140), 평가부(150) 및 저장부(160)로 구성될 수 있다.
먼저, 조정부(110)는 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정할 수 있다. 조정부(110)는 다국어 오디오 컨텐츠가 재생되는 과정에서 음원의 방위각을 추출하거나 분리 음원을 합성할 때 발생하는 왜곡을 줄이기 위하여 입력되는 복수의 음원들 각각에 대해 에너지 정규화 과정을 거칠 수 있다.
설정부(120)는 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각 및 신호 강도를 설정할 수 있다. 이때, 설정부(120)는 복수의 음원들 간 방위각 차이가 가장 커지도록 복수의 음원들 각각의 초기 방위각을 설정할 수 있고, 복수의 음원들 각각의 신호 강도는 1로 설정할 수 있다.
믹싱부(130)는 설정된 초기 방위각 및 신호 강도에 기초하여 상기 복수의 음원들을 스테레오 신호로 믹싱할 수 있다. 믹싱부(130)는 복수의 음원들 각각의 초기 방위각에 기초하여 상기 복수의 음원들 각각에 대한 좌/우 신호의 신호 강도비를 계산하고, 계산된 신호 강도비에 기초하여 좌/우 스테레오 신호에 믹싱될 상기 복수의 음원들 각각에 대한 좌/우 신호 성분을 결정할 수 있다. 이후 믹싱부(130)는 결정된 복수의 음원들 각각에 대한 좌/우 신호 성분을 믹싱하여 좌/우 스테레오 신호를 생성할 수 있다.
분리부(140)는 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리할 수 있다.
평가부(150)는 분리된 복수의 음원들 각각에 대해 음질을 평가할 수 있다. 이때, 평가부(150)는 음원들의 음질을 평가하기 위하여 객관적 평가지표를 이용할 수 있다. 구체적으로 평가부(150)는 객관적 평가지표로 분리된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나를 이용할 수 있다.
이때, 평가부(150)는 평가된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나가 미리 설정한 임계치 보다 낮은 경우, 상기 복수의 음원들 각각의 방위각 및 신호 강도를 조정할 수 있고, 믹싱부(130)는 조정된 방위각 및 신호 강도에 기초하여 상기 복수의 음원들을 스테레오 신호로 믹싱할 수 있다.
저장부(160)는 평가된 복수의 음원들 각각의 음질에 기초하여 스테레오 신호로 믹싱된 복수의 음원들을 저장할 수 있다. 이때, 저장되는 스테레오 신호는 기존의 오디오 파일 포맷을 기반으로 저장될 수 있으며, 스테레오 신호에 포함된 복수의 음원들 각각에 대한 상세 정보를 포함하는 부가 정보를 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 제작 방법을 순서대로 도시한 도면이다.
단계(210)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정할 수 있다. 다국어 오디오 컨텐츠 제작 장치(100)는 다국어 오디오 컨텐츠가 재생되는 과정에서 음원의 방위각을 추출하거나 분리 음원을 합성할 때 발생하는 왜곡을 줄이기 위하여 입력되는 복수의 음원들 각각에 대해 에너지 정규화 과정을 거칠 수 있다.
구체적으로 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들 각각의 에너지 값을 상호 비교한 후, 그 중 최대값으로 모든 음원들의 에너지 값을 조정할 수 있다.
단계(220)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각 및 신호 강도를 설정할 수 있다. 이때, 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들 간 방위각 차이가 가장 커지도록 복수의 음원들 각각의 초기 방위각을 설정할 수 있고 복수의 음원들 각각의 신호 강도는 1로 설정할 수 있다.
예를 들어, 음원의 수가 3개인 경우, 다국어 오디오 컨텐츠 제작 장치(100)는 음원 간 방위각 차이가 가장 커지도록
Figure pat00001
범위 내에서 좌측(방위각
Figure pat00002
)과 우측(방위각
Figure pat00003
)에 2개의 음원의 방위각을 먼저 설정할 수 있다. 이후 다국어 오디오 컨텐츠 제작 장치(100)는 나머지 1개의 음원을 중앙(방위각
Figure pat00004
)으로 설정함으로써 복수의 음원들 간 방위각 차이가 가장 커지도록 초기 방위각을 설정할 수 있다.
만약 음원의 수가 4개인 경우라면 다국어 오디오 컨텐츠 제작 장치(100)는 음원 간 방위각 차이가 가장 커지도록
Figure pat00005
범위 내에서 좌측(방위각
Figure pat00006
)과 우측(방위각
Figure pat00007
)에 2개의 음원의 방위각을 먼저 설정할 수 있다. 이후, 다국어 오디오 컨텐츠 제작 장치(100)는 나머지 2개의 음원을 방위각
Figure pat00008
및
Figure pat00009
으로 설정함으로써 복수의 음원들 간 방위각 차이가 가장 커지도록 초기 방위각을 설정할 수 있다.
단계(230)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 설정된 초기 방위각 및 신호 강도에 기초하여 상기 복수의 음원들을 스테레오 신호로 믹싱할 수 있다. 먼저 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들 각각의 초기 방위각에 기초하여 상기 복수의 음원들 각각에 대한 좌/우 신호의 신호 강도비
Figure pat00010
를 하기의 수학식 1과 같이 계산할 수 있다.
Figure pat00011
이때
Figure pat00012
는 i 번째 음원
Figure pat00013
에 대한 방위각을 나타내며,
Figure pat00014
<
Figure pat00015
≤
Figure pat00016
범위의 정수값을 의미할 수 있다.
이후, 다국어 오디오 컨텐츠 제작 장치(100)는 계산된 신호 강도비에 기초하여 좌/우 스테레오 신호에 믹싱될 상기 복수의 음원들 각각에 대한 좌/우 신호 성분인
Figure pat00017
와
Figure pat00018
를 하기의 수학식 2와 같이 결정할 수 있다.
Figure pat00019
다국어 오디오 컨텐츠 제작 장치(100)는 식 2에서 결정된 복수의 음원들 각각에 대한 좌/와 신호 성분인
Figure pat00020
와
Figure pat00021
를 하기의 수학식 3과 같이 각각 합함으로써 좌/우 스테레오 신호
Figure pat00022
와
Figure pat00023
를 생성할 수 있다.
Figure pat00024
단계(240)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리할 수 있다.
단계(250)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 분리된 복수의 음원들 각각에 대해 음질을 평가할 수 있다. 이때, 다국어 오디오 컨텐츠 제작 장치(100)는 음원들의 음질을 평가하기 위하여 객관적 평가지표를 이용할 수 있다. 구체적으로 다국어 오디오 컨텐츠 제작 장치(100)는 객관적 평가지표로 분리된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나를 이용할 수 있다.
이와 같은 객관적 평가지표는 하기의 수학식 4와 같이 단계(240)에서 분리된 분리 음원
Figure pat00025
에 대한 성분 분해를 통해 정의 될 수 있다.
Figure pat00026
다국어 오디오 컨텐츠 제작 장치(100)는 식 4를 통해 분해된 분리 음원
Figure pat00027
의 성분을 이용하여 하기의 수학식 5 ~ 수학식 7과 같이 SIR 정보, SDR 정보 및 SAR 정보를 정의할 수 있다.
Figure pat00028
Figure pat00029
Figure pat00030
단계(260)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 단계(250)에서 정의된 복수의 음원들 각각의 객관적 평가지표가 미리 설정된 임계치를 넘지 않는 경우 단계(280)과 같이 복수의 음원들 각각의 방위각 및 신호 강도를 조정할 수 있다. 이후, 다국어 오디오 컨텐츠 제작 장치(100)는 새로운 좌/우 스테레오 신호
Figure pat00031
와
Figure pat00032
를 생성하고, 음원 분리 통해 복수의 음원들 각각에 대해 음질을 평가할 수 있다. 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들 각각의 객관적 평가지표가 미리 설정된 임계치를 넘을 때까지 상기 단계(230~260)를 반복할 수 있다.
단계(270)에서, 다국어 오디오 컨텐츠 제작 장치(100)는 평가된 복수의 음원들 각각의 음질이 미리 설정된 임계치를 만족하는 경우, 해당하는 복수의 음원들로 구성된 스테레오 신호를 저장하여 다국어 오디오 서비스를 제공하기 위한 스테레오 오디오 컨텐츠의 제작을 마무리 할 수 있다. 이때, 저장되는 스테레오 신호는 기존의 오디오 파일 포맷을 기반으로 저장될 수 있으며, 스테레오 신호에 포함된 복수의 음원들 각각에 대한 상세 정보를 포함하는 부가 정보를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 복수의 음원들 각각에 대한 음원의 방위각 및 신호 강도 조정 방법을 도시한 도면이다.
다국어 오디오 컨텐츠 제작 장치(100)는 스펙트럼 공간에서의 특정 주파수 성분이 유사한 값을 갖는 경우 분리된 음원의 음질에 나쁜 영향을 미치므로 이를 경감시키기 위해 복수의 음원들 각각에 대한 방위각 및 신호 강도를 조정할 수 있다.
예를 들어, 2개 이상의 음원이 합쳐지는 경우, 방위각(Azimuth) 공간 상에 공통 부분(Common partial) 성분이 발생할 수 있다. 이때, 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원의 방위각을 조정함으로써 상기 복수의 음원의 공통 부분 성분의 위치를 조정할 수 있다.
또한, 동일 스펙트럼 상에 복수의 신호 성분이 존재하는 경우, 복수의 신호 성분 간 상호 간섭원으로 작용할 수 있으므로 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원의 신호 강도를 조정하여 이를 감쇄시킬 수 있다.
본 발명의 일실시예에 따라 다국어 오디오 컨텐츠 제작 장치(100)는 도 3과 같이 모든 음원에 대해 방위각 및 신호 강도를 조정할 수 있다. 또는 다국어 오디오 컨텐츠 제작 장치(100)는 좌측에 위치한 음원(310)과 우측에 위치한 음원(320)의 방위각과 신호 강도는 고정하고, 나머지 중앙에 위치한 음원(330)의 방위각과 신호 강도를 조정할 수 있다.
다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들 각각의 조정된 방위각
Figure pat00033
의 조건에 따라 식 1을 이용하여 해당 방위각에 상응하는 좌/우 신호의 신호 강도비
Figure pat00034
를 재계산할 수 있다. 이후, 다국어 오디오 컨텐츠 제작 장치(100)는 조정된 신호 강도의 값
Figure pat00035
가 적용된 하기의 수학식 8을 이용하여 좌/우 스테레오 신호에 믹싱될 상기 복수의 음원들 각각에 대한 좌/우 신호 성분인
Figure pat00036
와
Figure pat00037
를 결정할 수 있다.
Figure pat00038
이후 다국어 오디오 컨텐츠 제작 장치(100)는 복수의 음원들 각각에 대한 좌/와 신호 성분인
Figure pat00039
와
Figure pat00040
를 이용하여 좌/우 스테레오 신호
Figure pat00041
와
Figure pat00042
를 생성하는 음원 믹싱 과정을 재수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 3개국 오디오 음원에 대한 스테레오 오디오 신호의 구성 및 상기 구성에 따른 객관적 성능평가 결과의 예를 도시한 도면이다.
도 4의 (a)와 (b)는 3개의 다국어로 구성된 음원들의 방위각과 신호 강도의 설정 예를 보여준다. 즉, 도 4의 (a)는 3개의 다국어로 구성된 음원들의 방위각이 좌측(방위각
Figure pat00043
), 우측(방위각
Figure pat00044
) 및 중앙(방위각
Figure pat00045
)에 설정되어 믹싱된 신호를 나타내고, 도 4의 (b)는 좌측과 우측의 방위각은 그대로 유지하고, 중앙에 위치했던 음원의 방위각을
Figure pat00046
로 변경하고, 신호 강도의 값
Figure pat00047
는 1로 설정하였다.
도 4의 (c)를 확인해보면 음원의 방위각 및 신호 강도의 조정에 따라 객관적 성능평가를 위한 객관적 평가지표인 SIR 정보, SDR 정보 및 SAR 정보가 변동되는 것을 확인할 수 있다. 특히, 방위각이 그대로 유지된 좌측과 우측에 위치한 음원의 SIR 정보, SDR 정보 및 SAR 정보는 CASE 1과 CASE 2에서 큰 차이가 없지만, 방위각이 변경된 중앙에 위치한 음원의 SIR 정보, SDR 정보 및 SAR 정보는 CASE 1과 CASE 2에서 비교적 큰 차이가 나는 것을 확인할 수 있다.
도 5는 본 발명의 일실시예에 따른 다국어 오디오 서비스용 부가정보의 구성을 도시한 도면이다.
다국어 오디오 컨텐츠 제작 장치(100)는 다국어 오디오 서비스를 제공하기 위한 스테레오 오디오 컨텐츠의 제작 할 수 있다. 이때, 저장되는 스테레오 신호는 기존의 오디오 파일 포맷을 기반으로 저장될 수 있으며, 스테레오 신호에 포함된 복수의 음원들 각각에 대한 상세 정보를 포함하는 부가 정보를 포함할 수 있다.
이때, 스테레오 오디오 컨텐츠에 포함되는 부가 정보는 다국어 음원의 개수, 개별 음원들에 대한 상세 정보인 언어의 종류(Attribute), 방위각(Azimuth) 및 신호 강도(Intensity)를 포함할 수 있다.
만약 부가 정보가 다국어 오디오 서비스 이외에 일반 음악 컨텐츠에 적용되는 경우, 언어의 종류(Attribute)에 대응하는 필드는 음원의 속성 정보인 보컬 또는 악기 정보를 포함할 수 있다. 이와 같은 부가 정보를 이용하여 음원 분리를 위한 계산량을 줄이는 것은 물론, 사용자에게 더욱 직관적인 유저인터페이스(User Interface, UI)를 제공할 수 있다.
도 6은 본 발명의 일실시예에 따른 다국어 오디오 컨텐츠 재생 장치를 도시한 도면이다.
다국어 오디오 컨텐츠 재생 장치(600)는 수신부(610), 출력부(620), 제공부(630), 분리부(640) 및 재생부(650)로 구성될 수 있다. 수신부(610)는 다국어 오디오 컨텐츠를 수신할 수 있다. 이때, 수신되는 다국어 오디오 컨텐츠는 다국어에 대응하는 복수의 음원들이 믹싱된 스테레오 신호를 포함할 수 있다.
출력부(620)는 수신된 다국어 오디오 컨텐츠에 포함된 스테레오 신호를 출력할 수 있다. 이때, 출력된 스테레오 신호에는 다국어에 대응하는 복수의 음원들에 대한 부가 정보를 포함될 수 있다. 상기 부가 정보는 출력된 스테레오 신호에 포함된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함할 수 있다.
제공부(630)는 출력된 스테레오 신호에 포함된 복수의 음원들에 대한 부가 정보를 사용자에게 제공할 수 있다. 구체적으로 제공부(630)는 스테레오 신호에 포함된 복수의 음원들에 대한 부가 정보를 파싱(parsing)하여 복수의 음원들 각각에 대한 언어 정보를 사용자에게 제공할 수 있다.
분리부(640)는 음원 분리 알고리즘을 이용하여 스테레오 신호에 포함된 복수의 음원들 중 사용자가 선택한 언어 정보에 대응하는 음원을 분리할 수 있다. 이때, 분리부(640)는 부가 정보 내에 포함된 복수의 음원들 각각에 대한 방위각 및 신호 강도 정보를 기반으로 복수의 음원들 중 사용자가 선택한 언어 정보에 대응하는 음원을 분리할 수 있다.
만약, 스테레오 신호가 포함된 다국어 오디오 컨텐츠 내에 부가 정보가 포함되어 있지 않다면 다국어 오디오 컨텐츠 재생 장치(600)는 먼저 스테레오 신호에 포함된 복수의 음원들을 분리하고, 분리된 복수의 음원들의 목록을 생성하여 사용자에게 제공할 수 있다. 이후, 다국어 오디오 컨텐츠 재생 장치는 분리된 복수의 음원들 중 사용자가 선택한 음원을 선택하여 출력할 수 있다.
재생부(650)는 분리부(640)에서 분리된 사용자가 선택한 언어 정보에 대응하는 음원을 재생할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100 : 다국어 오디오 컨텐츠 제작 장치
110 : 조정부
120 : 설정부
130 : 믹싱부
140, 240 : 분리부
150 : 평가부
160 : 저장부
200 : 다국어 오디오 컨텐츠 제작 장치
210 : 수신부
220 : 출력부
230 : 제공부
250 : 재생부

Claims (15)

  1. 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정하는 단계;
    상기 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각을 설정하는 단계;
    상기 설정된 초기 방위각에 기초하여 상기 복수의 음원들을 스테레오 신호로 믹싱하는 단계;
    상기 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리하는 단계; 및
    상기 분리된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 단계
    를 포함하는 다국어 오디오 컨텐츠 제작 방법.
  2. 제1항에 있어서,
    상기 분리된 복수의 음원들 각각의 음질을 평가하는 단계
    를 더 포함하고,
    상기 저장하는 단계는,
    상기 평가된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 다국어 오디오 컨텐츠 제작 방법.
  3. 제2항에 있어서,
    상기 평가하는 단계는,
    상기 분리된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나를 이용하여 평가하는 다국어 오디오 컨텐츠 제작 방법.
  4. 제3항에 있어서,
    상기 평가하는 단계는,
    상기 평가된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나가 미리 설정한 임계치 보다 낮은 경우, 상기 복수의 음원들 각각의 방위각 및 신호 강도를 조정하는 다국어 오디오 컨텐츠 제작 방법.
  5. 제1항에 있어서,
    상기 조정하는 단계는,
    상기 복수의 음원들 각각의 에너지 값을 확인하고, 상기 확인된 에너지 값 중 최대값으로 상기 복수의 음원들의 에너지 값을 조정하는 다국어 오디오 컨텐츠 제작 방법.
  6. 제1항에 있어서,
    상기 믹싱하는 단계는,
    상기 복수의 음원들 각각의 초기 방위각에 기초하여 상기 복수의 음원들 각각에 대한 좌/우 신호의 신호 강도비를 계산하는 단계;
    상기 계산된 신호 강도비에 기초하여 좌/우 스테레오 신호에 믹싱될 상기 복수의 음원들 각각에 대한 좌/우 신호 성분을 결정하는 단계; 및
    상기 결정된 복수의 음원들 각각에 대한 좌/우 신호 성분을 믹싱하여 좌/우 스테레오 신호를 생성하는 단계
    를 포함하는 다국어 오디오 컨텐츠 제작 방법.
  7. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 믹싱된 복수의 음원들 각각에 대한 부가 정보를 삽입하는 단계
    를 더 포함하고,
    상기 부가 정보는,
    상기 믹싱된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함하는 다국어 오디오 컨텐츠 제작 방법.
  8. 다국어로 구성된 복수의 음원들 각각의 에너지 값을 조정하는 조정부;
    상기 복수의 음원들의 개수에 기초하여 상기 복수의 음원들 각각의 초기 방위각을 설정하는 설정부;
    상기 설정된 초기 방위각에 기초하여 상기 복수의 음원들 각각을 스테레오 신호로 믹싱하는 믹싱부;
    상기 믹싱된 복수의 음원들을 재생하기 위해 음원 분리 알고리즘을 이용하여 분리하는 분리부; 및
    상기 분리된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 저장부
    를 포함하는 다국어 오디오 컨텐츠 제작 장치.
  9. 제8항에 있어서,
    상기 분리된 복수의 음원들 각각의 음질을 평가하는 평가부
    를 더 포함하고,
    상기 저장부는,
    상기 평가된 복수의 음원들 각각의 음질에 기초하여 상기 믹싱된 복수의 음원들을 저장하는 다국어 오디오 컨텐츠 제작 장치.
  10. 제9항에 있어서,
    상기 평가부는,
    상기 분리된 복수의 음원들 각각의 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보 중 적어도 하나를 이용하여 평가하는 다국어 오디오 컨텐츠 제작 장치.
  11. 제9항에 있어서,
    상기 평가부는,
    상기 분리된 복수의 음원들 각각에 대한 성분 분해를 통해 상기 SIR(Source to Interference Ratio) 정보, SDR(Source to Distortion Ratio) 정보 및 SAR(Source to Artifact Ratio) 정보를 정의하는 다국어 오디오 컨텐츠 제작 장치.
  12. 다국어 오디오 컨텐츠를 수신하는 단계;
    상기 수신된 다국어 오디오 컨텐츠에 포함된 스테레오 신호를 출력하는 단계;
    상기 출력된 스테레오 신호에 포함된 복수의 음원들에 대한 부가 정보 중 상기 복수의 음원들 각각에 대한 언어 정보를 사용자에게 제공하는 단계;
    음원 분리 알고리즘을 이용하여 상기 출력된 스테레오 신호에 포함된 복수의 음원들 중 상기 사용자가 선택한 언어 정보에 대응하는 음원을 분리하는 단계; 및
    상기 분리된 음원을 재생하는 단계
    를 포함하는 다국어 오디오 컨텐츠 재생 방법.
  13. 제12항에 있어서,
    상기 부가 정보는,
    상기 출력된 스테레오 신호에 포함된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함하는 다국어 오디오 컨텐츠 재생 방법.
  14. 다국어 오디오 컨텐츠를 수신하는 수신부;
    상기 수신된 다국어 오디오 컨텐츠에 포함된 스테레오 신호를 출력하는 출력부;
    상기 출력된 스테레오 신호에 포함된 복수의 음원들에 대한 부가 정보 중 상기 복수의 음원들 각각에 대한 언어 정보를 사용자에게 제공하는 제공부;
    음원 분리 알고리즘을 이용하여 상기 출력된 스테레오 신호에 포함된 복수의 음원들 중 상기 사용자가 선택한 언어 정보에 대응하는 음원을 분리하는 분리부; 및
    상기 분리된 음원을 재생하는 재생부
    를 포함하는 다국어 오디오 컨텐츠 재생 장치.
  15. 제14항에 있어서,
    상기 부가 정보는,
    상기 출력된 스테레오 신호에 포함된 복수의 음원들 각각에 대한 언어 정보, 방위각 정보 및 신호 강도 정보 중 적어도 하나를 포함하는 다국어 오디오 컨텐츠 재생 장치.
KR1020160024431A 2016-02-29 2016-02-29 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법 KR20170101629A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160024431A KR20170101629A (ko) 2016-02-29 2016-02-29 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법
US15/400,755 US9905246B2 (en) 2016-02-29 2017-01-06 Apparatus and method of creating multilingual audio content based on stereo audio signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160024431A KR20170101629A (ko) 2016-02-29 2016-02-29 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170101629A true KR20170101629A (ko) 2017-09-06

Family

ID=59678635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160024431A KR20170101629A (ko) 2016-02-29 2016-02-29 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법

Country Status (2)

Country Link
US (1) US9905246B2 (ko)
KR (1) KR20170101629A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333531A (zh) * 2020-07-09 2021-02-05 深圳Tcl新技术有限公司 音频数据播放方法、设备及可读存储介质
KR20210110622A (ko) * 2018-12-21 2021-09-08 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 음질의 추정 및 제어를 이용한 소스 분리 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903753B (zh) * 2018-12-28 2022-07-15 广州索答信息科技有限公司 基于声源角度的多人语句分类方法、设备、介质及***
CN112017636B (zh) * 2020-08-27 2024-02-23 大众问问(北京)信息科技有限公司 基于车辆的用户发音模拟方法、***、设备及存储介质
CN113782047B (zh) * 2021-09-06 2024-03-08 云知声智能科技股份有限公司 语音分离方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4000095B2 (ja) * 2003-07-30 2007-10-31 株式会社東芝 音声認識方法、装置及びプログラム
JP4295798B2 (ja) * 2005-06-21 2009-07-15 独立行政法人科学技術振興機構 ミキシング装置及び方法並びにプログラム
US8111830B2 (en) 2005-12-19 2012-02-07 Samsung Electronics Co., Ltd. Method and apparatus to provide active audio matrix decoding based on the positions of speakers and a listener
KR100943215B1 (ko) 2007-11-27 2010-02-18 한국전자통신연구원 음장 합성을 이용한 입체 음장 재생 장치 및 그 방법
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
US20120095729A1 (en) 2010-10-14 2012-04-19 Electronics And Telecommunications Research Institute Known information compression apparatus and method for separating sound source
US8843364B2 (en) * 2012-02-29 2014-09-23 Adobe Systems Incorporated Language informed source separation
KR101374353B1 (ko) 2012-10-18 2014-03-17 광주과학기술원 음향 재생 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110622A (ko) * 2018-12-21 2021-09-08 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 음질의 추정 및 제어를 이용한 소스 분리 장치 및 방법
CN112333531A (zh) * 2020-07-09 2021-02-05 深圳Tcl新技术有限公司 音频数据播放方法、设备及可读存储介质

Also Published As

Publication number Publication date
US20170251320A1 (en) 2017-08-31
US9905246B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
CN102597987B (zh) 用于扬声器或耳机播放的虚拟音频处理
KR20170101629A (ko) 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법
KR102226071B1 (ko) 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치
JP5144272B2 (ja) 音声データ処理装置及び方法、コンピュータプログラム要素並びにコンピュータ可読媒体
CN104471960B (zh) 用于向后兼容音频译码的***、方法、设备和计算机可读媒体
US9319819B2 (en) Binaural rendering method and apparatus for decoding multi channel audio
US9530396B2 (en) Visually-assisted mixing of audio using a spectral analyzer
US10595144B2 (en) Method and apparatus for generating audio content
US20170098452A1 (en) Method and system for audio processing of dialog, music, effect and height objects
KR102516627B1 (ko) 객체 기반 오디오를 위한 저음 관리
CN108293165A (zh) 增强音场的装置和方法
KR101871234B1 (ko) 사운드 파노라마 생성 장치 및 방법
JP2019533195A (ja) 分離されたオブジェクトを使用してオーディオ信号を編集する方法および関連装置
US8351622B2 (en) Audio mixing device
US8116469B2 (en) Headphone surround using artificial reverberation
JP5943982B2 (ja) オーディオ再生装置及びオーディオ再生方法
KR20150009426A (ko) 멀티채널 오디오 신호를 다운믹스 및 채널변환하는 오디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal