KR101724514B1 - 사운드 신호 처리 방법 및 장치 - Google Patents
사운드 신호 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR101724514B1 KR101724514B1 KR1020150075144A KR20150075144A KR101724514B1 KR 101724514 B1 KR101724514 B1 KR 101724514B1 KR 1020150075144 A KR1020150075144 A KR 1020150075144A KR 20150075144 A KR20150075144 A KR 20150075144A KR 101724514 B1 KR101724514 B1 KR 101724514B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- microphone
- sound
- mobile terminal
- rti
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Telephone Function (AREA)
Abstract
본 발명의 실시예는 오디오 신호 처리 분야와 관련된 사운드 신호 처리 방법 및 장치를 개시하며, 단말기를 둘러싸는 3차원 사운드 필드(three-dimensional sound field) 내의 신호를 수집하고 처리할 수 있다. 본 발명의 방법은, 이동 단말기(mobile terminal)가 3차원 사운드 필드로부터 사운드 신호를 획득하는 단계, 상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계, 및 상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하는 단계를 포함하고, 적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용된다. 본 발명은 단말기를 둘러싸는 3차원 사운드 필드 내의 신호를 수집하고 처리하는 프로세스에 적용될 수 있다.
Description
본 발명은 오디오 신호 처리 분야에 관련된 것으로서, 구체적으로, 사운드 신호 처리 방법 및 장치에 관한 것이다.
전자 정보 기술이 발달함에 따라, 3차원 사운드 필드(three-dimensional sound field) 수집 및 처리는 지속적으로 향상되고 있다. 이동 단말기(mobile terminal)는 3차원 사운드 필드 수집 및 처리 시스템 내의 일반적인 장치이다. 종래 기술에서, 이동 단말기에 의해 3차원 사운드 필드 수집 및 처리를 실행하기 위한 구체적인 방법은 다음과 같다.
2차원 사운드 필드 수집을 위한 빔포밍(beam forming) 기술은 이동 단말기에 적용되고, 0도 방향과 180도 방향에서 하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔은 빔포밍 기술을 이용하여 생성된다. 이 기술은 3차원 사운드 필드 수집에 적용되고, 상이한 방향의 빔은 빔포밍 기술을 이용하여 얻어지고, 빔은 사운드 필드 수집 시스템 5.1과 사운드 채널 내의 중앙 사운드 채널, 왼쪽 전방 사운드 채널, 오른쪽 전방 사운드 채널, 왼쪽 후방 서라운드(surround) 채널, 및 오른쪽 후방 서라운드 채널을 시뮬레이션하는데 사용된다.
현재, 2차원 사운드 필드 수집을 위한 빔포밍 기술을 이용하여 이동 단말기에 시뮬레이션되는 3차원 사운드 필드에 대해, 2차원 사운드 필드 수집을 위한 빔포밍 기술이 사용되고, 0도 방향과 180도 방향에서의 하트 모양의 지향성을 가지는 빔이 생성되기 때문에, 시뮬레이션된 3차원 사운드 필드의 실제 플레이백 효과(playback effect)에서 왼쪽과 오른쪽 방향 사이의 차이가 전방과 후방 방향 사이의 차이보다 분명하게 되는 현상이 있어서, 시뮬레이션된 3차원 사운드 필드는 2차원 사운드 필드의 특징을 가지고 있음에도 시뮬레이션된 3차원 사운드 필드의 질이 비교적 좋지 않았다.
본 발명의 실시예는, 단말기를 둘러싸는 3차원 사운드 필드 내의 신호를 수집하고 처리할 수 있는, 사운드 신호 처리 방법 및 장치를 제공한다.
전술한 목적을 달성하기 위해, 본 발명의 실시예는 다음과 같은 기술적 해결책을 사용한다.
제1 측면에 따르면, 본 발명의 일 실시예는 사운드 신호 처리 방법을 제공한다. 상기 사운드 신호 처리 방법은,
이동 단말기(mobile terminal)가 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하는 단계; 상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계; 및
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하는 단계
를 포함하고,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
제1 측면과 관련하여, 제1 측면의 제1 가능 구현 방법에서, 상기 획득된 사운드 신호에 따라 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하는 단계; 및
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계
를 포함하고,
상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있다.
제1 측면의 제1 가능 구현 방법과 관련하여, 제1 측면의 제2 가능 구현 방법에서, 상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착 시간 차이를 획득하는 단계는,
를 포함하고,
p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고, 
은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
이며, 여기서, 
는 
과 
사이의 상관 스펙트럼(correlated spectrum)을 나타내고, 
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
제1 측면의 제2 가능 구현 방법과 관련하여, 제1 측면의 제3 가능 구현 방법에서, 상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
를 포함하고,
상기 제1 마이크로폰과 상기 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 상기 제1 마이크로폰과 상기 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 상기 제1 마이크로폰의 중앙점(central point)과 상기 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 상기 제2 마이크로폰의 중앙점과 상기 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 상기 제1 마이크로폰의 중앙점과 상기 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 상기 제3 마이크로폰의 중앙점과 상기 제4 마이크로폰의 중앙점 사이의 거리와 동일하고, 
는 상기 제1 마이크로폰과 상기 제4 마이크로폰이 위치되어 있는 각도의 일측과 상기 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
제1 측면의 제2 가능 구현 방법과 관련하여, 제1 측면의 제4 가능 구현 방법에서, 상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
를 포함하고,
제1 마이크로폰과 제2 마이크로폰은 상기 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 상기 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 상기 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 상기 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고, 
은 제1 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
제1 측면 또는 제1 측면의 제1 내지 제4 가능 구현 방법 중 어느 하나에 따른 사운드 신호 처리방법과 관련하여, 제1 측면의 제5 가능 구현 방법에서, 상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 단계는,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하는 단계;
상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하는 단계; 및
상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하는 단계
를 포함하고,
상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
, 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 포함하고, 추가로, 상기 이동 단말기에 대한 음원의 방향에 대해, 
일 때 
, 
일 때 
, 
일 때 
, 
일 때 
이다.
제1 측면의 제5 가능 구현 방법과 관련하여, 제1 측면의 제6 가능 구현 방법에서, 상기 공간 오디오 신호는 2-채널 신호(two-channel signal)를 더 포함하고,
상기 사운드 신호 처리 방법은, 상기 2-채널 신호를 생성하기 위해, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하는 단계를 더 포함한다.
제1 측면의 제5 가능 구현 방법과 관련하여, 제1 측면의 제7 가능 구현 방법에서, 상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터를 생성하는 단계는,
를 포함하고,
제1 측면의 제7 가능 구현 방법과 관련하여, 제1 측면의 제8 가능 구현 방법에서, 상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호를 생성하는 단계는,
를 포함하고,
제1 측면의 제7 가능 구현 방법과 관련하여, 제1 측면의 제9 가능 구현 방법에서, 상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하는 단계는,
하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔 
, 
, 
, 및 
을 획득하는 단계
를 포함하고,
상기 왼쪽 방향에서의 신호의 초기값 
=
, 상기 중앙 방향에서의 신호의 초기값 
, 상기 중앙 방향에서의 신호의 초기값 
=
, 상기 왼쪽 후방 서라운드 신호의 초기값 
=
, 및 상기 오른쪽 후방 서라운드 신호의 초기값 
=
이고, 
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 상기 중앙 방향에서의 신호의 초기값을 나타내고, 
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 상기 왼쪽 후방 서라운드 신호의 초기값을, 
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
제1 측면의 제9 가능 구현 방법과 관련하여, 제1 측면의 제10 가능 구현 방법에서, 상기 하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
을 획득하는 단계는,
상기 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔 
을 획득하는 단계; 및
를 포함하고,
제1 측면의 제7 가능 구현 방법과 관련하여, 제1 측면의 제11 가능 구현 방법에서, 상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따른 상기 공간 오디오 신호 내의 모든 방향의 신호를 생성하는 단계는,
를 포함하고,
제2 측면에 따르면, 본 발명은 사운드 신호 처리 장치를 제공한다. 이 사운드 신호 처리 장치는,
3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하도록 구성되어 있는 제1 획득 모듈;
상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 모듈; 및
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있는 제1 처리 모듈
을 포함하고,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
제2 측면과 관련하여, 제2 측면의 제1 가능 구현 방법에서, 상기 제2 획득 모듈은,
상기 이동 단말기의 마이크로폰에 의해 수신된 하나의 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하도록 구성되어 있는 제1 획득 유닛; 및
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 유닛
을 포함하고,
상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있다.
제2 측면의 제1 가능 구현 방법과 관련하여, 제2 측면의 제2 가능 구현 방법에서, 
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이 
를 획득하도록 구성되어 있는 제1 획득 서브유닛을 포함하고,
p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고, 
은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
에서, 
는 
과 
사이의 상관 스펙트럼(correlated spectrum)을 나타내고, 
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
제2 측면의 제2 가능 구현 방법과 관련하여, 제2 측면의 제3 가능 구현 방법에서, 상기 제2 획득 유닛은,
을 포함하고,
상기 제1 마이크로폰과 상기 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 상기 제1 마이크로폰과 상기 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 상기 제1 마이크로폰의 중앙점(central point)과 상기 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 상기 제2 마이크로폰의 중앙점과 상기 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 상기 제1 마이크로폰의 중앙점과 상기 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 상기 제3 마이크로폰의 중앙점과 상기 제4 마이크로폰의 중앙점 사이의 거리와 동일하고, 
는 상기 제1 마이크로폰과 상기 제4 마이크로폰이 위치되어 있는 각도의 일측과 상기 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
제2 측면의 제2 가능 구현 방법과 관련하여, 제2 측면의 제4 가능 구현 방법에서, 상기 제2 획득 유닛은,
를 포함하고,
제1 마이크로폰과 제2 마이크로폰은 상기 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 상기 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 상기 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 상기 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고, 
은 제1 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
제2 측면 또는 제2 측면의 제1 내지 제4 가능 구현 방법 중 어느 하나에 따른 사운드 신호 처리장치와 관련하여, 상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
상기 제1 처리 모듈은,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하도록 구성되어 있는 제1 처리 유닛;
상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하도록 구성되어 있는 제2 처리 유닛; 및
상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하도록 구성되어 있는 제3 처리 유닛
을 포함하고,
상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
, 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 포함하고, 추가로, 상기 이동 단말기에 대한 음원의 방향에 대해, 
일 때 
, 
일 때 
, 
일 때 
, 
일 때 
이다.
제2 측면의 제4 가능 구현 방법과 관련하여, 제2 측면의 제6 가능 구현 방법에서, 상기 공간 오디오 신호는 2-채널 신호(two-channel signal)를 더 포함하고,
상기 사운드 신호 처리 장치는, 상기 2-채널 신호를 생성하기 위해, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하도록 구성되어 있는 제4 처리 유닛을 더 포함한다.
본 발명의 실시예에서 제공되는 사운드 신호 처리 방법 및 장치에 따르면, 사운드 신호는 이동 단말기를 둘러싸는 3차원 사운드 필드로부터 획득될 수 있으며, 이동 단말기에 대한 모든 음원의 방향이 획득되며, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 생성된다. 본 발명에서 제공되는 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성을 이용하여 수집되거나 처리될 수 있다. 추가로, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 얻어진다. 그 후, 3차원 사운드 필드의 효과는 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 시뮬레이션된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 2가지 방향, 즉 0도와 180도에서의 빔만 이용하여 시뮬레이션된다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 음원은 2가지 방향, 즉 0도와 180도에 한정되지 않는다. 그러므로, 왼쪽과 오른쪽 방향 사이의 차이는 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 명백한 현상이 완화될 수 있고, 이에 따라 시뮬레이션된 3차원 사운드 필드의 질이 향상된다.
본 발명의 실시예의 기술적 해결책을 보다 명확히 설명하기 위해, 이하에 실시예를 설명하기 위한 첨부된 도면을 간략하게 소개한다. 명백하게, 이하의 설명에서의 첨부된 도면은 단지 본 발명의 임의의 실시예를 도시하는 것이며, 통상의 기술자는 특별한 창조적 노력 없이 이러한 첨부된 도면으로부터 다른 도면을 이끌어낼 수 있다.
도 1은 본 발명의 실시예에 따른 사운드 신호 처리 방법의 흐름도이다.
도 1a, 도 1b, 도 1c, 도 1d, 및 도 1e는, 본 발명의 실시예에 따른 사운드 신호 처리의 응용 시나리오(application scenario)의 개략적인 구조도이다.
도 2는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 흐름도이다.
도 2a는 본 발명의 실시예에 따른 사운드 신호 처리 방법의 구체적인 실행 방법의 흐름도이다.
도 2b는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 구체적인 실행 방법의 흐름도이다.
도 2c는 본 발명의 실시예에 따른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 2d는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 2e는 본 발명의 실시예에 따른 또 다른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 3은 본 발명의 실시예에 따른 사운드 신호 처리 방법의 흐름도이다.
도 3a는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 사운드 신호 처리 장치의 개략적인 구조도이다.
도 4a, 도 4b, 도 4c, 도 4d, 도 4e, 도 4f, 도 4g, 도 4h, 도 4i, 및 도 4j는, 본 발명의 실시예에 따른 사운드 신호 처리 장치의 특정 구조의 개략적인 도면이다.
도 5는 본 발명의 실시예에 따른 사운드 신호 처리 엔티티(entity)의 개략적인 구조도이다.
도 1은 본 발명의 실시예에 따른 사운드 신호 처리 방법의 흐름도이다.
도 1a, 도 1b, 도 1c, 도 1d, 및 도 1e는, 본 발명의 실시예에 따른 사운드 신호 처리의 응용 시나리오(application scenario)의 개략적인 구조도이다.
도 2는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 흐름도이다.
도 2a는 본 발명의 실시예에 따른 사운드 신호 처리 방법의 구체적인 실행 방법의 흐름도이다.
도 2b는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 구체적인 실행 방법의 흐름도이다.
도 2c는 본 발명의 실시예에 따른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 2d는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 2e는 본 발명의 실시예에 따른 또 다른 사운드 신호 처리 방법의 응용 시나리오의 개략적인 구조도이다.
도 3은 본 발명의 실시예에 따른 사운드 신호 처리 방법의 흐름도이다.
도 3a는 본 발명의 실시예에 따른 다른 사운드 신호 처리 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 사운드 신호 처리 장치의 개략적인 구조도이다.
도 4a, 도 4b, 도 4c, 도 4d, 도 4e, 도 4f, 도 4g, 도 4h, 도 4i, 및 도 4j는, 본 발명의 실시예에 따른 사운드 신호 처리 장치의 특정 구조의 개략적인 도면이다.
도 5는 본 발명의 실시예에 따른 사운드 신호 처리 엔티티(entity)의 개략적인 구조도이다.
이하는 본 발명의 실시예의 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 해결책을 명확하고 완전하게 설명한다. 명백하게, 설명되는 실시예는 단지 본 발명의 일부 실시예일 뿐이며, 본 발명의 모든 실시예는 아니다. 통상의 기술자가 창조적 노력 없이 본 발명의 실시예에 기초하여 얻을 수 있는 모든 다른 실시예는 본 발명의 보호 범위에 속할 것이다.
본 발명의 일 실시예는 사운드 신호 처리 방법을 제공하며, 도 1에 도시된 바와 같이, 이 방법은 다음의 단계를 포함한다:
단계 101: 이동 단말기(mobile terminal)가, 적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있는, 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득한다.
하나의 마이크로폰은 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있다.
본 발명의 이 실시예는 이동 단말기에 적용될 수 있으며, 마이크로폰은 이동 단말기에 배치되어 있고, 이 마이크로폰은 3차원 사운드 필드를 측정하고, 3차원 사운드 필드로부터 사운드 신호를 획득하고, 개선 프로세싱(enhancement processing)을 위해 사운드 신호를 이동 단말기의 프로세서에 전송하도록 구성되어 있으며, 또한, 저장을 위한 이동 단말기 내의 기억 장치의 개선 전과 후에 사운드 신호를 전송할 수 있다. 구체적으로, 이동 단말기에 배치되어 있는 마이크로폰은 전방향성 마이크로폰일 수 있고, 또는 특정 지향성을 가지는 마이크로폰일 수 있다. 예를 들면, MEMS(Micro-Electro-Mechanical System) 마이크로폰 또는 ECM(Electret Condenser Microphone) 마이크로폰은 이동 단말기에 배치될 수 있다.
이 실시예에서, 이동 단말기의 마이크로폰을 배치하기 위한 여러 가지 방법이 있을 수 있다. 상이한 배치 방법에서, 이동 단말기의 마이크로폰의 수와 위치는 한정되지 않는다. 이 실시예에서, 4개의 마이크로폰과 3개의 마이크로폰의 경우는 설명을 위한 예시로써 사용된다. 예를 들면, 도 1a에 도시된 바와 같이, 이동 단말기 상에서 4개의 마이크로폰이 이동 단말기의 4개의 모서리에 각각 배치될 수 있다. 선택적으로, 도 1b에 도시된 바와 같이, 4개의 마이크로폰은 이동 단말기의 4개의 측면에 각각 배치될 수도 있다. 선택적으로, 도 1c에 도시된 바와 같이, 하나의 마이크로폰은 이동 단말기의 하부 측면, 전방 수화부분(earpiece) 근처, 후방 카메라 근처, 및 후방 하부 측면에 각각 배치될 수도 있다. 다른 예시를 들면, 단순히 3개의 마이크로폰이 이동 단말기에 배치될 수 있다. 도 1d에 도시된 바와 같이, 2개의 마이크로폰은 이동 단말기의 하부 측면에 배치되어 있고, 하나의 마이크로폰은 전방 수화부분 근처에 배치되어 있을 수 있다. 선택적으로, 도 1e에 도시된 바와 같이, 하나의 마이크로폰은 이동 단말기의 하부 측면, 전방 수화부분 근처, 및 후방 카메라 근처에 각각 배치될 수 있다.
단계 102: 획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득한다.
이동 단말기는 마이크로폰을 이용하여 방출된 음원을 추정하고, 이동 단말기에 대한 음원의 방향을 얻는다. 이 실시예에서는, 예를 들면, 최대-출력-전력-기반(maximum-output-power-based) 조절 가능한 빔포밍 기술 또는 도착의 시간 차이 기반(time-difference-of-arrival-based) 포지셔닝 기술(positioning technology), 또는 고해상도-스펙트럼-추정-기반(high-resolution-spectrum-estimation-based) 포지셔닝 기술에 기초하는 것과 같은, 음원을 추정하기 위한 여러 가지 방법이 있을 수 있다.
또한, 음원의 위치를 추정할 때, 이동 단말기는 수신된 음원에 개선 프로세싱을 추가로 실행할 수 있다. 예를 들면, 이동 단말기는, 빔포밍, 공간 예측, 또는 청각 시나리오 분석과 같은 기술적 방법을 사용하여 모든 방향에서 개선된 음원을 얻을 수 있다. 예를 들면, 빔포밍의 방법에 의해 음원을 개선시키는 이동 단말기에 의해 사용되는 구체적인 방법은, 지연-및-합(delay-and-sum) 빔포밍 또는 필터링-및-합(filtering-and-sum) 빔포밍과 같은 고정 빔포밍 기술, 또는 MVDR(minimum variance distortionless response) 원칙에 기초한 적응적(adaptive) 빔포밍 알고리즘, 선형 제한 최소 분산(linear constraint minimum variance) 빔포밍, 또는 사이드로브 취소 알고리즘(sidelobe cancellation algorithm), 또는 상이한 빔포밍 기술을 포함할 수 있다. 공간 예측의 방법에 의해 음원을 개선시키는 이동 단말기에 의해 사용되는 구체적인 방법은, 일부 방향에서 수집되리라 예상되는 공간 사운드 신호를 미리 설정하는 단계, 및 그 후, 출력된 개선된 사운드 신호의 노이즈가 최소가 되게 하고 예상 에러가 0에 도달하도록, 미리 조작한 최적의 필터 그룹과 공간 예측 기술을 이용하여, 이동 단말기의 사운드 수신기에 의해 수신된 모든 방향의 사운드 신호를 일부 방향에서 출력되리라 예상되는 미리 설정된 신호로 전환하는 단계를 포함한다. 이 실시예에서, 청각 시나리오 분석 기술은 구체적으로 블라인드 음원 분리 알고리즘(blind source separation algorithm)일 수 있다.
적어도 2개의 방향에서 빔 지향성을 가지는 사운드 신호는 개선의 방법에 의해 획득된다. 예를 들어, 하나의 마이크로폰에 의해 수신된 사운드 신호에 대해 개선 처리의 방법에 의해 획득된 하나의 방향에서 빔 지향성을 가지는 사운드 신호는, 이동 단말기에 대한 전방, 후방, 왼쪽, 및 오른쪽과 같은 상이한 방향에서 음원으로부터 전송된 모든 방향에서의 사운드 신호로 구분될 수 있다. 예를 들면, 이동 단말기가 수신된 사운드 신호에 개선 프로세싱을 실행한 후, 4개의 방향에서의 개선된 사운드 신호는 각각 왼쪽 전방, 오른쪽 전방, 왼쪽 후방, 및 오른쪽 후방 빔 지향성을 가지며 생성되거나, 4개의 방향에서의 개선된 사운드 신호는 각각 전방, 후방, 왼쪽, 및 오른쪽 빔 지향성을 가지며 생성된다. 이 실시예에서, 복수의 방향에서 상이한 지향성을 가지는 사운드 신호는, 특정 필요에 따라 하나의 특정 방향에서의 사운드 신호로 합쳐질 수도 있고, 개선 프로세싱의 방법에 의해 획득된 빔 지향성을 가지는 사운드 신호의 빔 형상은 하트 모양의 지향성일 수 있거나, 슈퍼-하트 모양(super-heart-shaped) 또는 다른 모양일 수 있다.
단계 103: 이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라, 공간 오디오 신호를 획득한다.
공간 오디오 신호는 3차원 사운드 필드를 시뮬레이션하는데 이용된다. 3차원 사운드 필드는 이동 단말기를 둘러싸는 특정 범위 내의 사운드 필드로 이해될 수 있다. 음원은 3차원 사운드 필드 내의 임의의 방향으로부터 음원을 전송할 수 있고, 사운드 신호는 이동 단말기에 의해 수신된다.
예를 들면, 이동 단말기는, 이동 단말기에 대한 음원의 방향과 모든 방향 내에서 수신된 사운드 신호를 이용하여, 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 사용되는 공간 오디오 신호를 생성한다. 이동 단말기는 모든 방향 내의 개선된 사운드 신호를, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드를 형성하는데 이용되는 공간 오디오 신호를 위해 필요한, 총 6개 방향 내의 사운드 신호로 매핑할 수 있고, 뿐만 아니라, 이동 단말기에 대한 음원의 방향을 이용하여, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드를 형성하는데 이용되는 공간 오디오 신호를 위해 필요한, 6개 방향 내의 음원의 각각의 각도(degree of separation)를 향상시킨다. 예를 들면, 이동 단말기는, 이동 단말기에 대한 음원의 방향에 따라, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호를 위해 필요한 사운드 신호의 각 방향의 게인 조정 파라미터(gain adjusting parameter)를 계산할 수 있고, 이 게인 조정 파라미터를 이용하여, 5.1 사운드 채널 플레이백 시스템의 스뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호를 위해 필요한 사운드 신호를 조정할 수 있다. 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함한다.
이동 단말기에 의해 수신되는 모든 방향 내의 사운드 신호와 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 6개 방향 내의 사운드 신호 사이의 다중 관계가 있을 수 있다. 예를 들면, 이동 단말기에 의해 수신된 사운드 신호는 개선되고, 왼쪽 전방, 왼쪽 후방, 오른쪽 전방, 및 오른쪽 후방 각각에 해당하는, 4개 방향 내의 사운드 신호가 출력된다. 왼쪽 전방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 방향 내의 사운드 신호에 매핑되고, 오른쪽 전방 방향의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 방향 내의 사운드 신호에 매핑된다. 평균 신호는 왼쪽 전방 방향 내의 사운드 신호와 오른쪽 전방 방향 내의 사운드 신호 사이에서 선택되며, 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 중앙 방향 내의 신호에 매핑된다. 왼쪽 후방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 후방 서라운드 사운드 신호에 매핑되고, 오른쪽 후방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 후방 서라운드 사운드 신호에 매핑된다. 평균 값은 왼쪽 전방 방향, 왼쪽 후방 방향, 오른쪽 전방 방향, 및 오른쪽 후방 방향 내의 사운드 신호 중에 선택되며, 150 Hz 저역 필터 프로세싱(low-pass filtering processing)은 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 초저음역 신호(super bass signal)를 획득하기 위해 평균 값에 실행된다.
다른 실시예에서, 이동 단말기에 의해 수신된 사운드 신호가 개선되고, 전방, 후방, 왼쪽 및 오른쪽인 4개 방향 내의 사운드 신호 각각이 출력된다. 왼쪽 방향과 전방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 방향 내의 사운드 신호에 매핑된다. 오른쪽 방향과 전방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 방향 내의 사운드 신호에 매핑된다. 전방 방향 내의 사운드 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 중앙 방향 내의 사운드 신호에 매핑된다. 왼쪽 방향과 후방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 왼쪽 후방 서라운드 사운드 신호에 매핑된다. 오른쪽 방향과 후방 방향 내의 사운드 신호의 평균 신호는 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 오른쪽 후방 서라운드 사운드 신호에 매핑된다. 평균 값은 전방 방향, 후방 방향, 왼쪽 방향, 및 오른쪽 방향 내의 사운드 신호 중 선택되고, 150 Hz 저역 필터 프로세싱은 5.1 사운드 채널 플레이백 시스템의 시뮬레이션된 사운드 필드에 이용되는 공간 오디오 신호에 필요한 초저음역 신호를 획득하기 위해 평균 값에 실행된다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
이 실시예에서, 이동 단말기에 대한 음원의 방향을 획득하기 위해 이동 단말기에 의해 이용되는 다양한 방법이 있을 수 있다. 예를 들면, 이동 단말기의 공간 좌표와 음원으로써 기능하는 이동 단말기는 포지셔닝 기술을 이용하여 획득될 수 있고, 이동 단말기에 대한 음원의 방향은 이동 단말기의 공간 좌표와 음원으로써 기능하는 이동 단말기에 따라 결정될 수 있다. 그러나, 이동 단말기를 포지셔닝하는 프로세스는 네트워크 대역폭을 차지하기 위해 필요하고, 포지셔닝 프로세스는 일정 지연을 가진다. 이 실시예에서, 이동 단말기는, 복수의 방향 내에 있으며 이동 단말기에 대한, 음원의 방향을 획득하기 위해 필요하고, 이동 단말기에 대한 음원의 방향은 도착의 시간 차이 기반(time-difference-of-arrival-based) 포지셔닝 기술을 이용하여 획득될 수 있다. 그러므로, 도 2에 도시된 바와 같이, 단계 102의 구체적인 구현 방법은 다음을 포함할 수 있다.
단계 1021: 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득한다.
이동 단말기의 마이크로폰은 적어도 4개 방향 내의 사운드 신호를 수신하도록 구성되어 있다.
구체적으로, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이 
는 
에 따라 획득된다. 여기서, p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고, 
은 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
에서, 
는 
과 
사이의 상관 스펙트럼(correlated spectrum)을 나타내고, 
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
단계 1022: 획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득한다.
이동 단말기의 마이크로폰을 배치하는 방법 간의 차이에 따라, 이동 단말기에 대한 음원의 방향을 획득하기 위해 이동 단말기에 의해 이용되는 다양한 구체적인 방법이 있을 수 있다.
예를 들면, 이동 단말기 상에서, 제1 마이크로폰과 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 제1 마이크로폰과 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 제1 마이크로폰의 중앙점(central point)과 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 제2 마이크로폰의 중앙점과 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 제1 마이크로폰의 중앙점과 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 제3 마이크로폰의 중앙점과 제4 마이크로폰의 중앙점 사이의 거리와 동일하고, 
는 제1 마이크로폰과 제4 마이크로폰이 위치되어 있는 각도의 일측과 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
도 2a에 도시된 바와 같이, 단계 1022는 단계 10221 내지 단계 10222로써 구체적으로 구현될 수 있다.
단계 10221: 
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향 을 추정하고, 
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향 
을 추정하고, 
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향 
을 추정한다.
방향 
, 
, 및 
는, 
, 
, 및 
에 따라 획득된 값으로 추정된다. 단계 10222에서 
을 이용하여 샘플링된 데이터 샘플을 평균하여 얻어진 값이 정확한 값이다.
단계 10222: 
에 따라 이동 단말기에 대한 음원의 방향 
을 획득한다.
다른 예시를 들면, 다른 이동 단말기 상에, 제1 마이크로폰과 제2 마이크로폰은 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고, 
은 제1 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
도 2b에 도시된 바와 같이, 단계 1022는 단계 10223로써 구체적으로 구현될 수 있다.
단계 10223: 
에 따라, 이동 단말기에 대한 음원의 방향 
을 획득한다.
예를 들면, 이 실시예에서, 도 2c에 도시된 바와 같이, 이동 단말기의 마이크로폰에 놓이는 방법은 이동 단말기 상의 4 각에 각각 놓여질 수 있고, 이동 단말기의 4개의 마이크로폰은 3차원 사운드 필드의 사운드 신호를 획득하는 것을 맡고 있다. 그 후, 음원의 위치는 획득된 사운드 신호을 이용하여 추정되고, 게인 프로세싱은 획득된 사운드 신호에 실행된다.
예를 들면, 도 2c에 도시된 바와 같이, 3차원 사운드 필드는 이동 단말기에 놓여진 4개의 마이크로폰을 이용하여 측정되고, 획득된 사운드 신호는 
, 
, 
, 및 
로 각각 표시된다. 먼저, 한 마이크로폰은 기준 마이크로폰으로 선택되고, 다른 마이크로폰에 의해 획득된 신호와 이 마이크로폰에 의해 획득된 신호 사이의 도착의 시간 차이가 계산된다. 여기서, 제1 마이크로폰은 기준 마이크로폰으로 선택되고, 일반화된 상관 관계 알고리즘(generalized cross-correlation algorithm)을 이용하여, 시간 차이 
이 다음과 같이 계산된다. 여기서, m = 2, 3, 4는 제2 마이크로폰, 제3 마이크로폰, 및 제4 마이크로폰과 제1 마이크로폰 사이의 도착을 나타낸다.
여기서, 
이며,
그 후, 음원과 이동 단말기 사이의 입사각, 즉 이동 단말기에 대한 음원의 방향 
는 도착의 시간 차이, 이동 단말기의 마이크로폰의 놓여진 위치, 및 마이크로폰의 위치 사이의 관계에 따라 계산된다. 구체적은 계산 프로세스는 다음과 같다.
여기서, c는 사운드 속도를 나타내고, 일반적으로는 340 m/s이다. d는 제1 마이크로폰과 제4 마이크로폰 사이의 거리를 나타내며, 제2 마이크로폰과 제3 마이크로폰 사이의 거리와 동일하다. h는 제1 마이크로폰과 제2 마이크로폰 사이의 거리를 나타내며, 제3 마이크로폰과 제4 마이크로폰 사이의 거리와 동일하다.
다른 예시를 들면, 이 실시예에서는, 도 2d에 도시된 바와 같이, 이동 단말기 상에 마이크로폰을 놓는 방법은 이동 단말기의 하부 측면, 전방 수화부분 근처, 후방 카메라 근처, 및 후방 하부 측면 상에 각각 하나의 마이크로폰을 놓는 것일 수 있고, 각 마이크로폰은 3차원 사운드 필드의 사운드 신호를 획득하는 것을 맡고 있다. 그 후, 음원의 위치는 획득된 사운드 신호를 이용하여 추정되고, 게인 프로세싱은 획득된 사운드 신호에 실행된다.
예를 들면, 도 2d 및 도 2e에 도시된 바와 같이, 3차원 사운드 필드는 이동 단말기에 놓여진 4개의 마이크로폰을 이용하여 측정되고, 획득된 사운드 신호는 
, 
, 
, 및 
로 각각 표시된다. 먼저, 한 마이크로폰은 기준 마이크로폰으로 선택되고, 다른 마이크로폰에 의해 획득된 신호와 이 마이크로폰에 의해 획득된 신호 사이의 도착의 시간 차이가 계산된다. 여기서, 제1 마이크로폰은 기준 마이크로폰으로 선택되고, 일반화된 상관 관계 알고리즘(generalized cross-correlation algorithm)을 이용하여, 시간 차이 
이 다음과 같이 계산된다. 여기서, m = 2, 3, 4는 제2 마이크로폰, 제3 마이크로폰, 및 제4 마이크로폰과 제1 마이크로폰 사이의 도착을 나타낸다.
여기서, 
이며,
그 후, 음원과 이동 단말기 사이의 입사각, 즉 이동 단말기에 대한 음원의 방향 
는 도착의 시간 차이, 이동 단말기의 마이크로폰의 놓여진 위치, 및 마이크로폰의 위치 사이의 관계에 따라 계산된다. 도 2e에서, 제1 마이크로폰에 대응하는 좌표는 
, 제2 마이크로폰에 대응하는 좌표는 
, 제3 마이크로폰에 대응하는 좌표는 
, 제4 마이크로폰에 대응하는 좌표는 
인 것으로 가정한다. 구체적으로, 이동 단말기에 대한 음원의 방향 
와 도착의 시간 차이 사이의 관계는 다음과 같다.
여기서, c는 사운드 속도를 나타내고, 일반적으로는 340 m/s이다.
더욱이, 이 실시예에서, 이동 단말기에 대한 음원의 방향이 획득된 후, 각 사운드 채널 내의 신호의 게임 조정 파라미터는 이동 단말기에 대한 음원의 획득된 방향에 따라 추가로 계산되어야 한다. 따라서, 도 3에 도시된 바와 같이, 단계 103은 단계 1031로 구체적으로 구현될 수 있다.
단계 1031: 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터를 생성한다.
게인 조정 파라미터는, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
, 및 오른쪽 방향에서의 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 포함하고, 또한, 이동 단말기에 대한 음원의 방향에 대해, 
일 때 
, 
일 때 
, 
일 때 
, 
일 때 
이다.
단계 1031은 구체적으로 단계 1031a, 단계 1031b, 단계 1031c, 및 단계 1031d를 포함한다.
단계 1031a: 
에 따라 왼쪽 방향에서의신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터 
를 생성한다.
단계 1031b: 
에 따라 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 
를 생성한다.
여기서, 
,
및 
는 0보다 큰 상수이고, 
,
,
,
,
, 및 
이다.
단계 1031c: 
에 따라 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 생성한다.
단계 1031d: 
에 따라 오른쪽 방향에서의 신호, 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 생성한다.
여기서, 
, 
및 
는 0보다 큰 상수이고, 
, 
, 
, 
, 및 
이다.
본 발명의 이 실시예에서, 이동 단말기에 대한 음원의 방향에 대한 정보는 음원의 위치에 대한 추청에 따라 획득되고, 각 사운드 채널 내의 신호의 게인 조정 파라미터가 계산된다. 그 후, 마지막 5.1 채널 서라운드 사운드 출력 신호가 각 사운드 채널의 신호를 대응하는 게인 조정 파라미터로 곱해 얻는다. 일반적으로, 조정(adjustment)은 5.1 사운드 채널 신호의 왼쪽 방향, 중앙 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향 및 오른쪽 후방 서라운드 방향 내의 게인에 실행되어야 한다. 명백하게, 조정은 왼쪽 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향, 및 오른쪽 후방 서라운드 방향에서의 게인에만 실행될 수도 있다.
단계 1032: 사운드 신호에 따라 공간 오디오 신호 내의 모든 방향에서의 신호의 초기 값을 획득한다. 
은 왼쪽 방향에서의 신호의 초기값을 나타내고, 
은 오른쪽 방향에서의 신호의 초기값을 나타내고, 
은 중앙 방향에서의 신호의 초기값을 나타내고, 
은 왼쪽 후방 서라운드의 신호의 초기값을 나타내고, 
은 오른쪽 후방 서라운드의 신호의 초기값을 나타낸다.
나아가, 뿐만 아니라, 사운드 신호에 따라 공간 오디오 신호 내의 모든 방향에서의 신호의 초기 값을 획득하는 단계는 하트 모양의 지향성을 가지는 빔을 획득하여 실행되는 계산을 필요로 한다. 하트 모양의 지향성을 가지는 빔은 제1 마이크로폰 내지 제4 마이크로폰에 의해 수신된 사운드 신호에 빔포밍 알고리즘(beamforming algorithm)을 이용하여 획득될 수 있다. 단계 1032는 다음과 같은 단계로 구체적으로 구현될 수 있다.
단계 1032b1: 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔 
을 획득한다. 여기서, 
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제i 마이크로폰을 가리키는 방향에 있으며, 
의 지향성의 제로 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
단계 1032b2: 
에 따라 하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
을 획득한다.
하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
이 획득되고, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있다.
왼쪽 방향에서의 신호의 초기값 
=
, 중앙 방향에서의 신호의 초기값 
, 중앙 방향에서의 신호의 초기값 
=
, 왼쪽 후방 서라운드 신호의 초기값 
=
, 및 오른쪽 후방 서라운드 신호의 초기값 
=
이고, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
예를 들면, 도 2c에 도시된 어플리케이션 시나리오에서, 음원의 위치가 추정됨과 동시에, 개선 프로세싱이 이동 단말기에 놓여진 마이크로폰에 의해 수집된 여러 방향 내의 오리지널 사운드 신호(original sound signal)에 더 실행되어야 한다. 차이 빔포밍 방법(difference beamforming method)은 여기서 이용된다. 제1차 차이 빔포밍 알고리즘(first-order difference beamforming algorithm)에 따르면, 대각선 상에 있는 제1 마이크로폰과 제3 마이크로폰의 오리지널 입력 신호(original input signal)를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은 
및 
로 표시된다. 또한, 대각선 상에 있는 제2 마이크로폰과 제4 마이크로폰의 오리지널 입력 신호를 이용하여 생성된 2개 방향 내의 하트 모양의 지향성을 가지는 빔은 
및 
로 표시된다. 여기서, 
, 
, 
, 및 
은 개선 프로세싱 이후에 획득되는 여러 방향 내의 신호이다.
다른 예를 들면, 도 2d 및 도 2e에 도시된 어플리케이션 시나리오에서, 음원의 위치가 추정됨과 동시에, 개선 프로세싱이 이동 단말기에 놓여진 마이크로폰에 의해 수집된 멀티 채널(multi-channel) 오리지널 사운드 신호에 추가로 실행되어야 한다. 차이 빔포밍 방법은 여기서 이용된다. 구체적으로, 제1차 차이 빔포밍 알고리즘에 따르면, 제1 마이크로폰과 제4 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내에서 하트 모양의 지향성을 가지는 빔은 
및 
로 표시되며, 
의 최대 지향성의 포인트는 제1 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제4 마이크로폰으로 향하는 방향에 있고, 
의 최대 지향성의 포인트는 제4 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제1 마이크로폰으로 향하는 방향에 있다. 제2 마이크로폰과 제3 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은 
및 
로 표시되며, 
의 최대 지향성의 포인트는 제2 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제3 마이크로폰으로 향하는 방향에 있고, 
의 최대 지향성의 포인트는 제3 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제2 마이크로폰으로 향하는 방향에 있다. 제1 마이크로폰과 제2 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은 
및 
로 표시되며, 
의 최대 지향성의 포인트는 제1 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제2 마이크로폰으로 향하는 방향에 있고, 
의 최대 지향성의 포인트는 제2 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제1 마이크로폰으로 향하는 방향에 있다. 제3 마이크로폰과 제4 마이크로폰의 오리지널 입력 신호를 이용하여 생성되는 2개 방향 내의 하트 모양의 지향성을 가지는 빔은 
및 로 표시되며, 
의 최대 지향성의 포인트는 제3 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제4 마이크로폰으로 향하는 방향에 있고, 
의 최대 지향성의 포인트는 제4 마이크로폰으로 향하는 방향에 있고, 
의 지향성의 제로 포인트는 제3 마이크로폰으로 향하는 방향에 있다. 개선 프로세싱 이후에 획득된 멀티 채널 내의 신호가 
, 
, 
, 및 
로 표시된다고 가정하면, 빔 사이의 관계는 다음과 같다.
이 실시예에서, 하트 모양의 지향성을 가지는 빔은 차이 빔포밍 방법을 이용하여 획득되고, 공간 오디오 신호 내의 모든 방향에서의 신호의 초기 값은 하트 모양의 지향성을 가지는 빔을 이용하여 획득될 수 있으므로, 공간 오디오 신호 내의 모든 방향에서의 신호는 뒤이어 계산될 수 있다. 따라서, 단계 1032의 구현이 완료된 후에, 이하의 단계가 더 포함된다.
단계 1033: 게인 조정 파라미터와 공간 오디오 신호 내의 모든 방향에서의 신호의 초기값에 따라 공간 오디오 신호 내의 모든 방향에서의 신호를 생성한다.
단계 1033은 단계 1033a로써 구체적으로 구현될 수 있다.
단계 1033a: 
에 따라, 왼쪽 방향에서의 신호 
, 중앙 방향에서의 신호 
, 오른쪽 방향에서의 신호 
, 왼쪽 후방 서라운드 신호 
, 오른쪽 후방 서라운드 신호 
을 획득한다. 여기서, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
예를 들면, 도 2c에 도시된 어플리케이션 시나리오에서, 음원의 방향의 추정의 결과, 멀티 채널 내의 개선된 신호, 및 플레이백 시스템의 타입에 따라, 대응하는 방법이, 최종 공간 오디오 출력 신호를 획득하기 위한 공간 오디오 신호의 복원을 실행하기 위해, 선택된다.
플레이백 시스템이 5.1 채널 서라운드 사운드 시스템이라면, 4개 방향 내의 개선된 출력 신호는 플레이백을 위해 5.1 채널 서라운드 사운드 시스템에 의해 필요한 6개 방향 내의 신호에 매핑되어야 한다. 또한, 공간 사운드 필드 개선 조정(enhancement adjustment)이, 음원의 위치의 추정의 결과에 따라, 매핑 후에 얻어진 6개 방향 내의 신호에 실행됨으로써, 최종 출력 신호가 획득된다. 구체적으로, 
은 5.1 사운드 채널 신호 내의 왼쪽 방향 내의 신호로 직접 이용될 수 있고, 
은 5.1 사운드 채널 신호 내의 오른쪽 방향 내의 신호로 직접 이용될 수 있고, 
와 
의 평균은 중앙 방향 내의 신호로써 선택될 수 있다. 
은 5.1 사운드 채널 신호 내의 왼쪽 후방 서라운드 신호로 직접 이용될 수 있고, 
은 5.1 사운드 채널 신호 내의 오른쪽 후방 서라운드 신호로 직접 이용될 수 있고, 4개 방향 내의 
, 
, 
, 및 
의 평균 값이 선택될 수 있으며, 그 후 150Hz 저역 필터 프로세싱이 5.1 사운드 채널 신호 내의 초저음역 신호를 획득하기 위해 평균 값에 실행된다.
각 방향 내의 신호의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향 
에 따라 계산된다. 최종 5.1 채널 서라운드 사운드 출력 신호는 각 사운드 채널의 신호를 대응하는 게인 조정 파라미터로 곱하여 얻어진다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는 
로 표시되며, 중앙 방향 내의 신호는 
로 표시되며, 오른쪽 방향 내의 신호는 
로 표시되며, 왼쪽 후방 서라운드 신호는 
로 표시되며, 오른쪽 후방 서라운드 신호는 
로 표시된다.
플레이백 시스템이 스테레오 스피커(stereo speaker)라면, 제2 타입의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향
에 따라 계산될 수 있다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는 
로 표시되며, 중앙 방향 내의 신호는 
로 표시되며, 오른쪽 방향 내의 신호는 
로 표시되며, 왼쪽 후방 서라운드 신호는 
로 표시되며, 오른쪽 후방 서라운드 신호는 
로 표시된다.
공간 사운드 필드 개선 조정 후에 얻어진, 즉, 왼쪽 방향에서의 신호 
, 오른쪽 방향에서의 신호 
, 중앙 방향에서의 신호 
, 왼쪽 후방 서라운드 신호 
, 및 오른쪽 후방 서라운드 신호 
와 같은, 출력 신호는 출력을 위해, 단계 1034를 실행하여, 2-채널 신호로 다운믹스될 수 있다.
다른 예를 들면, 도 2d 및 도 2e에 도시된 어플리케이션 시나리오에서, 음원의 방향의 추정의 결과, 멀티 채널 내의 개선된 신호, 및 플레이백 시스템의 타입에 따라, 대응하는 방법이, 최종 공간 오디오 출력 신호를 획득하기 위한 공간 오디오 신호의 복원을 실행하기 위해, 선택된다.
플레이백 시스템이 5.1 채널 서라운드 사운드 시스템이라면, 4개 방향 내의 개선된 출력 신호는 플레이백을 위해 5.1 채널 서라운드 사운드 시스템에 의해 필요한 6개 방향 내의 신호에 매핑되어야 한다. 또한, 공간 사운드 필드 개선 조정(enhancement adjustment)이, 음원의 위치의 추정의 결과에 따라, 매핑 후에 얻어진 6개 방향 내의 신호에 실행됨으로써, 최종 출력 신호가 획득된다. 구체적으로, 
은 5.1 사운드 채널 신호 내의 왼쪽 방향 내의 신호로 직접 이용될 수 있고, 
은 5.1 사운드 채널 신호 내의 오른쪽 방향 내의 신호로 직접 이용될 수 있고, 
와 
의 평균은 중앙 방향 내의 신호로써 선택될 수 있다. 
은 5.1 사운드 채널 신호 내의 왼쪽 후방 서라운드 신호로 직접 이용될 수 있고, 
은 5.1 사운드 채널 신호 내의 오른쪽 후방 서라운드 신호로 직접 이용될 수 있고, 4개 방향 내의 
, 
, 
, 및 
의 평균 값이 선택될 수 있으며, 그 후 150Hz 저역 필터 프로세싱이 5.1 사운드 채널 신호 내의 초저음역 신호를 획득하기 위해 평균 값에 실행된다.
각 방향 내의 신호의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향 
에 따라 계산된다. 최종 5.1 채널 서라운드 사운드 출력 신호는 각 사운드 채널의 신호를 대응하는 게인 조정 파라미터로 곱하여 얻어진다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는 
로 표시되며, 중앙 방향 내의 신호는 
로 표시되며, 오른쪽 방향 내의 신호는 
로 표시되며, 왼쪽 후방 서라운드 신호는 
로 표시되며, 오른쪽 후방 서라운드 신호는 
로 표시된다.
플레이백 시스템이 스테레오 스피커(stereo speaker)라면, 제2 타입의 게인 조정 파라미터는, 이동 단말기에 대한 음원의 방향이며 음원의 위치의 추정의 방법에 의해 얻어진, 방향
에 따라 계산될 수 있다. 최종 5.1 채널 서라운드 사운드 출력 신호에서, 왼쪽 방향 내의 신호는 
로 표시되며, 중앙 방향 내의 신호는 
로 표시되며, 오른쪽 방향 내의 신호는 
로 표시되며, 왼쪽 후방 서라운드 신호는 
로 표시되며, 오른쪽 후방 서라운드 신호는 
로 표시된다.
그 후, 공간 사운드 필드 개선 조정 후에 얻어진, 즉, 왼쪽 방향에서의 신호 
, 오른쪽 방향에서의 신호 
, 중앙 방향에서의 신호 
, 왼쪽 후방 서라운드 신호 
, 및 오른쪽 후방 서라운드 신호 
와 같은, 출력 신호는 출력을 위해, 단계 1034를 실행하여, 2-채널 신호로 다운믹스될 수 있다.
하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
의 어플리케이션 시나리오에서, 하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
이 단계 1032b1 내지 단계 1032b2에 따라 얻어진 후에, 단계 1033이 구현될 수 있다.
단계 1033b1: 
에 따라 왼쪽 방향에서의 신호 
을 획득한다.
단계 1033b2: 
에 따라 중앙 방향에서의 신호 
을 획득한다.
단계 1033b3: 
에 따라 오른쪽 방향에서의 신호 
을 획득한다.
단계 1033b4: 
에 따라 왼쪽 후방 서라운드 신호 
을 획득한다.
단계 1033b5: 
에 따라 오른쪽 후방 서라운드 신호 
을 획득한다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
나아가, 이 실시예에서, 공간 오디오 신호는 2-채널 신호를 더 포함하며, 이동 단말기에 대한 음원의 방향이 획득된 후, 왼쪽 방향 내의 신호, 오른쪽 방향 내의 신호, 중앙 방향 내의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호가 2-채널 신호를 생성하기 위해 추가로 다운믹스되어야 한다. 따라서, 도 3a에 도시된 바와 같이, 단계 103은 단계 1034로 구체적으로 구현될 수 있다.
단계 1034: 2-채널 신호를 생성하기 위해, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 다운믹스한다.
예를 들면, 플레이백 시스템이 이어폰인 경우, N 방향 내의 개선된 출력 신호는 5.1 채널 서라운드 사운드 시스템에 플레이백을 위한, 왼쪽 방향, 중앙 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향, 및 오른쪽 후방 서라운드 방향 내의 신호에 매핑되어야 하고, 또한, 공간 사운드 필드 개선 조정이 음원의 위치의 추정의 결과에 따라 매핑이 상술한 방법에 따라 실행된 후에 획득된 5 방향 내의 신호에 실행되므로, 공간 사운드 필드 개선 조정 후의 출력 신호가 얻어진다. 이어폰 플레이백 시스템에 대해, 공간 사운드 필드 개선 조정 후에 획득된 출력 신호는 2-채널 신호로 다운믹스되어야 한다. 하나의 선택적 다운믹스 방법은 국제 통신 전기 연합(International Telecommunication Union) 표준의 5.1 채널 서라운드 사운드를 2-채널 신호로 다운믹스하는 방법이다. 또 다른 방법은 다운믹스 전에 컨볼루션(convolution)이 왼쪽 방향, 오른쪽 방향, 왼쪽 후방 서라운드 방향, 및 오른쪽 후방 서라운드 방향 내의 신호와 대응하는 각도의 헤드 전달함수(head transfer function)에 개별적으로 실행되도록 하여야 하며, 그 후 다운믹스가 실행되므로, 신호 다운믹스 후에 전방, 후방, 왼쪽, 및 오른쪽 방향 내의 공간 분리(spatial separation)의 정도가 향상될 수 있다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
본 발명의 실시예는 사운드 신호 처리 장치(40)의 구조를 제공하며, 도 4에 도시된 바와 같이 사운드 신호 처리 장치(40)는 다음의 구성을 포함한다.
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있는, 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하도록 구성되어 있는 제1 획득 모듈(41);
획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 모듈(42); 및
이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있는 제1 처리 모듈(43).
공간 오디오 신호는 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
도 4a에 도시된 바와 같이, 제2 획득 모듈(42)은 다음의 구성을 포함한다.
적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있는, 이동 단말기의 마이크로폰에 의해 수신된 하나의 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하도록 구성되어 있는 제1 획득 유닛(421); 및
획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 유닛(422).
도 4b에 도시된 바와 같이, 제1 획득 유닛(421)은 다음의 구성을 포함한다.
여기서, p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고, 
은 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
은 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
에서, 
는 
과 
사이의 상관 스펙트럼(correlated spectrum)을 나타내고, 
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
도 4c에 도시된 바와 같이, 제2 획득 유닛(422)은 다음의 구성을 포함한다.
여기서, 제1 마이크로폰과 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 제1 마이크로폰과 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 제1 마이크로폰의 중앙점(central point)과 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 제2 마이크로폰의 중앙점과 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 제1 마이크로폰의 중앙점과 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 제3 마이크로폰의 중앙점과 제4 마이크로폰의 중앙점 사이의 거리와 동일하고, 
는 제1 마이크로폰과 제4 마이크로폰이 위치되어 있는 각도의 일측과 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
도 4d에 도시된 바와 같이, 이동 단말기에 대한 음원의 방향이 획득된 후에, 제2 획득 유닛(422)은 다음의 구성을 더 포함한다.
여기서, 제1 마이크로폰과 제2 마이크로폰은 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고, 
은 제1 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
나아가, 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함한다.
도 4e에 도시된 바와 같이, 제1 처리 모듈(43)은 다음의 구성을 포함한다.
이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하도록 구성되어 있는 제1 처리 유닛(431);
사운드 신호에 따라 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하도록 구성되어 있는 제2 처리 유닛(432); 및
게인 조정 파라미터와 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 생성하도록 구성되어 있는 제3 처리 유닛(433).
여기서, 게인 조정 파라미터는, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
, 및 오른쪽 방향에서의 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 포함하고, 또한, 이동 단말기에 대한 음원의 방향에 대해, 
일 때 
, 
일 때 
, 
일 때 
, 
일 때 
이다.
나아가, 공간 오디오 신호는 2-채널 신호를 더 포함하며, 도 4f에 도시된 바와 같이, 장치(40)는 다음의 구성을 더 포함한다.
2-채널 신호를 생성하기 위해, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하도록 구성되어 있는 제4 처리 유닛(434).
선택적으로, 전술한 구현 방법에 따라, 도 4g에 도시된 바와 같이, 제1 처리 유닛(431)은 이하의 구성을 더 포함할 수 있다.
여기서, 
,
및 
는 0보다 큰 상수이고, 
,
,
,
,
, 및 
이고,
공간 오디오 신호 내의 모든 방향 내의 신호는 제3 처리 유닛(433)에 따라 생성되며, 도 4h에 도시된 바와 같이, 제3 처리 유닛(433)은 다음의 구성을 포함한다.
여기서, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
도 4i에 도시된 바와 같이, 제2 처리 유닛(432)은 다음의 구성을 포함한다.
하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔 
, 
, 
, 및 
을 획득하도록 구성되어 있는 제6 처리 서브 유닛(4321).
여기서, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있다.
왼쪽 방향에서의 신호의 초기값 
=
, 중앙 방향에서의 신호의 초기값 
, 중앙 방향에서의 신호의 초기값 
=
, 왼쪽 후방 서라운드 신호의 초기값 
=
, 및 오른쪽 후방 서라운드 신호의 초기값 
=
이고, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
제6 처리 서브 유닛(4321)은 구체적으로 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔 
을 획득하고, 
에 따라 하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
을 획득하도록 구성되어 있다.
여기서, 
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제i 마이크로폰을 가리키는 방향에 있으며, 
의 지향성의 제로 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
도 4j에 도시된 바와 같이, 제3 처리 유닛(433)은 다음의 구성을 더 포함한다.
여기서, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향이 획득되고, 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
본 발명의 일 실시예는 사운드 신호 처리 장치(50)의 구성을 추가로 제공한다. 도 5에 도시된 바와 같이, 사운드 신호 처리 장치(50)는, CPU와 같은 적어도 하나의 프로세서(501), 적어도 하나의 네트워크 포드(502) 또는 다른 사용자 포트(503), 메모리(504), 및 적어도 하나의 통신 버스(505)를 포함한다. 통신 버스(505)는 구성 요소 사이의 연결 및 통신을 구현하도록 구성되어 있다. 선택적으로, 사용자 포트(503)는 디스플레이, 키보드, 또는 (마우스, 트랙볼(trackball), 또는 터치 판넬 또는 터치 디스플레이 스크린과 같은) 클릭 장치를 더 포함한다. 메모리(504)는 고속 RAM 메모리를 포함할 수 있으며, 예를 들면 적어도 하나의 디스크 메모리와 같은, 비휘발성 메모리(non-valatile memory)를 더 포함할 수 있다. 메모리(504)는 전술한 프로세서(501)로부터 멀리 떨어져서 위치되는 적어도 하나의 저장 장치를 선택적으로 포함할 수 있다.
일부 구현 방법에서, 메모리(504)는 이하의 구성 요소, 실행 가능한 모듈 또는 데이터 구조, 또는 그것의 서브 세트 또는 그것의 확장 세트(extension set)를 저장한다:
다양한 시스템 프로그램을 포함하며, 다양한 기본 서비스를 구현하고 하드웨어 기반 과제(hardware-based task)를 처리하도록 구성되어 있는 운영 체제(5041), 및 다양한 어플리케이션 프로그램을 포함하며 다양한 어플리케이션 서비스를 구현하도록 구성되어 있는 어플리케이션 프로그램(5042).
프로세서(501)는,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있는, 3차원 사운드 필드로부터 사운드 신호를 획득하도록 구성되어 있으며,
획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있으며,
이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있다.
공간 오디오 신호는 3차원 사운드 필드를 시뮬레이션하는데 이용된다.
프로세서(501)는, 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있는, 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하고,
획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 더 구성되어 있다.
프로세서(501)는 구체적으로, 
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이 
를 획득하도록 구성되어 있으며,
여기서, p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고, 
은 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
은 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고, 
에서, 
는 
과 
사이의 상관 스펙트럼(correlated spectrum)을 나타내고, 
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타낸다.
획득된 도착의 시간 차이와 이동 단말기의 마이크로폰의 위치에 따라, 이동 단말기에 대한 음원의 방향을 획득하는 것은 다음의 구성을 포함한다:
제1 마이크로폰과 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 제1 마이크로폰과 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 제1 마이크로폰의 중앙점(central point)과 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 제2 마이크로폰의 중앙점과 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 제1 마이크로폰의 중앙점과 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 제3 마이크로폰의 중앙점과 제4 마이크로폰의 중앙점 사이의 거리와 동일하고, 
는 제1 마이크로폰과 제4 마이크로폰이 위치되어 있는 각도의 일측과 이동 단말기의 대각선 사이의 끼인 각을 나타낸다.
프로세서(501)는 구체적으로, 
에 따라, 이동 단말기에 대한 음원의 방향 
을 획득하도록 구성되어 있으며,
여기서, 제1 마이크로폰과 제2 마이크로폰은 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 다른 표면 상의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고, 
은 제1 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제2 마이크로폰에 대응하는 좌표를 나타내고, 
은 제4 마이크로폰에 대응하는 좌표를 나타낸다.
공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함한다.
구체적으로, 프로세서(501)이 이동 단말기에 대한 음원의 방향과 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 것은 다음을 포함한다.
이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하는 것;
사운드 신호에 따라 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하는 것; 및
게인 조정 파라미터와 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 생성하는 것.
여기서, 게인 조정 파라미터는, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 및 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 왼쪽 후방 서라운드 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터 
, 왼쪽 방향에서의 신호 및 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
, 및 오른쪽 방향에서의 신호 및 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터 
을 포함하고, 또한, 이동 단말기에 대한 음원의 방향에 대해, 
일 때 
, 
일 때 
, 
일 때 
, 
일 때 
이다.
장치(50)에서, 공간 오디오 신호는 2-채널 신호를 더 포함하며,
프로세서(501)는, 2-채널 신호를 생성하기 위해, 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방 서라운드 신호, 및 오른쪽 후방 서라운드 신호를 다운믹스하도록 구성되어 있다.
선택적으로, 전술한 구현 방법의 기초로, 프로세서(501)는 추가로,
여기서,
,
및 
는 0보다 큰 상수이고, 
,
,
,
,
, 및 
이고,
프로세서(501)는, 
에 따라, 왼쪽 방향에서의 신호 
, 오른쪽 방향에서의 신호 
, 중앙 방향에서의 신호 
, 왼쪽 후방 서라운드 신호 
, 및 오른쪽 후방 서라운드 신호 
을 획득하도록 추가로 구성되어 있다.
여기서, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을 나타내고, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
프로세서(501)는 하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔 
, 
, 
, 및 
을 획득하도록 구성되어 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있으며, 
의 최대 지향성은 
내에 있다.
여기서, 왼쪽 방향에서의 신호의 초기값 
=
, 중앙 방향에서의 신호의 초기값 
, 중앙 방향에서의 신호의 초기값 
=
, 왼쪽 후방 서라운드 신호의 초기값 
=
, 및 오른쪽 후방 서라운드 신호의 초기값 
=
이고, 
는 왼쪽 방향에서의 신호의 초기값을 나타내고, 
는 중앙 방향에서의 신호의 초기값을 나타내고, 
는 오른쪽 방향에서의 신호의 초기값을 나타내고, 
는 왼쪽 후방 서라운드 신호의 초기값을, 
는 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호를 나타낸다.
나아가, 하트 모양의 지향성을 가지는 빔 
, 
, 
, 및 
을 획득하는 것은 다음을 포함한다.
제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔 
을 획득하는 것; 및
여기서, 
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제i 마이크로폰을 가리키는 방향에 있으며, 
의 지향성의 제로 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4이다.
프로세서(501)는, 구체적으로, 
에 따라 왼쪽 방향에서의 신호 
을 획득하고,
본 발명의 이 실시예에서 제공된 사운드 신호 처리 방법에 따르면, 사운드 신호는 이동 단말기의 3차원 사운드 필드로부터 획득될 수 있다. 이동 단말기에 대한 모든 음원의 방향이 획득되고, 그 후 3차원 사운드 필드를 시뮬레이션하는데 이용되는 공간 오디오 신호가 이동 단말기에 대한 음원의 방향과 사운드 신호를 이용하여 획득된다. 본 발명에서 제공된 기술적 해결책에서, 3차원 사운드 필드를 시뮬레이션하는데 이용되는 사운드 신호는 이동 단말기의 구성 요소를 이용하여 수집되고 처리될 수 있다. 또한, 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향은 분석의 방법에 의해 획득되고, 그 후 3차원 사운드 필드의 효과가 모든 방향에서 수신된 음원의, 이동 단말기에 대한, 방향에 따라 개선된다. 종래 기술의 기술적 해결책에서는, 3차원 사운드 필드는 오직 빔을 이용해서만 시뮬레이션되었다. 반면, 본 발명에서는, 모든 방향에서 수신된 음원의, 이동 단말기에 대한에 대한에 대한 나아가 게인 조정이 방향에 대한 정보를 이용하여 빔포밍에 실행된다. 따라서, 왼쪽과 오른쪽 방향 사이의 차이가 시뮬레이션된 3차원 사운드 필드 내의 전방과 후방 방향 사이의 차이보다 더 두드러지게 되는 현상을 완화할 수 있으며, 이에 따라 시뮬레이션되는 3차원 사운드 필드의 질이 향상된다.
이 명세서에서의 실시예는 실시예에서의 동일 또는 유사한 부분에 대해 점진적인 방법(progressive manner)으로 설명되어 있고, 이러한 실시예를 참조할 수 있다. 각 실시예는 다른 실시예로부터의 차이에 중점을 두었다. 특히, 장치 실시예는 기본적으로 방법 실시예와 유사하므로, 관련된 부분에 대해서는 간략하게 설명되었고, 방법 실시예에서의 부분적인 설명이 참조될 수 있다.
통상의 기술자는 실시예에서의 방법의 모든 또는 일부의 프로세스가 관련 하드웨어를 명령하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 것이다. 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 실시예에서의 방법의 프로세스가 실행된다. 전술한 저장 매체는, 마그네틱 디스크, 광 디스크, 리드-온리-메모리(read-only memory; ROM), 랜덤 액세스 메모리(random access memory; RAM), 또는 이와 유사한 것을 포함할 수 있다.
전술한 설명은 단지 본 발명의 특정 실시예이며, 본 발명의 보호 범위를 제한하고자 하는 의도는 아니다. 임의의 변형 또는 대체는 본 발명이 개시한 기술 분야 내의 통상의 기술자가 본 발명의 보호 범위 내에 속하게 된다는 것을 쉽게 알 수 있다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위의 대상이 될 것이다.
Claims (15)
- 사운드 신호 처리 방법에 있어서,
이동 단말기(mobile terminal)가 3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하는 단계;
상기 획득된 사운드 신호에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계; 및
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라, 공간 오디오 신호(spatial audio signal)를 획득하는 단계
를 포함하고,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서의 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용되고,
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 단계는,
상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하는 단계; 및
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계
를 포함하고,
상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있고,
상기 이동 단말기의 마이크로폰에 의해 수신된 한 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하는 단계는,
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
를 획득하는 단계
를 포함하고,
p는 다수의 지연 샘플링 포인트(quantity of delay quantity of delay sampling point)를 나타내고,은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
이며, 여기서,
는
과
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타내고,
상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호를 획득하는 단계는,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하는 단계;
상기 사운드 신호에 따라 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하는 단계; 및
상기 게인 조정 파라미터와 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하는 단계
를 포함하고,
상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터, 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
, 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
, 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
을 포함하고, 또한, 상기 이동 단말기에 대한 음원의 방향에 대해,
일 때
,
일 때
,
일 때
,
일 때
인,
사운드 신호 처리 방법. - 제1항에 있어서,
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
에 따라 제2 마이크로폰에 의해 수신된 사운드 신호의 방향
을 추정하고,
에 따라 제3 마이크로폰에 의해 수신된 사운드 신호의 방향
을 추정하고,
에 따라 제4 마이크로폰에 의해 수신된 사운드 신호의 방향
을 추정하는 단계; 및
에 따라 상기 이동 단말기에 대한 음원의 방향
을 획득하는 단계
를 포함하고,
상기 제1 마이크로폰과 상기 제4 마이크로폰은 동일한 측(side)에 위치되어 있고, 상기 제1 마이크로폰과 상기 제2 마이크로폰은 동일한 측에 위치되어 있으며, c는 사운드 속도를 나타내고, d는 상기 제1 마이크로폰의 중앙점(central point)과 상기 제4 마이크로폰의 중앙점 사이의 거리를 나타내고, d는 상기 제2 마이크로폰의 중앙점과 상기 제3 마이크로폰의 중앙점 사이의 거리와 동일하고, h는 상기 제1 마이크로폰의 중앙점과 상기 제2 마이크로폰의 중앙점 사이의 거리를 나타내고, h는 상기 제3 마이크로폰의 중앙점과 상기 제4 마이크로폰의 중앙점 사이의 거리와 동일하고,는 상기 제1 마이크로폰과 상기 제4 마이크로폰이 위치되어 있는 각도의 일측과 상기 이동 단말기의 대각선 사이의 끼인 각을 나타내는,
사운드 신호 처리 방법. - 제1항에 있어서,
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하는 단계는,
에 따라, 상기 이동 단말기에 대한 음원의 방향
을 획득하는 단계
를 포함하고,
상기 제1 마이크로폰과 제2 마이크로폰은 상기 이동 단말기의 한 면의 대칭축에 위치되어 있으며, 상기 한 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, 제3 마이크로폰과 제4 마이크로폰은 상기 이동 단말기의 다른 면의 대칭축에 위치되어 있으며, 상기 다른 면에서의 2개의 평행한 모서리에 떨어져서 위치되어 있고, c는 사운드 속도를 나타내고,은 상기 제1 마이크로폰에 대응하는 좌표를 나타내고,
은 상기 제2 마이크로폰에 대응하는 좌표를 나타내고,
은 상기 제2 마이크로폰에 대응하는 좌표를 나타내고,
은 상기 제4 마이크로폰에 대응하는 좌표를 나타내는,
사운드 신호 처리 방법. - 제1항에 있어서,
상기 공간 오디오 신호는 2-채널 신호(two-channel signal)를 더 포함하고,
상기 사운드 신호 처리 방법은, 상기 2-채널 신호를 생성하기 위해, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 다운믹스(downmix)하는 단계를 더 포함하는,
사운드 신호 처리 방법. - 제1항에 있어서,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터를 생성하는 단계는,
에 따라 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터
를 생성하는 단계;
에 따라 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
를 생성하는 단계;
에 따라 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
을 생성하는 단계; 및
에 따라 상기 오른쪽 방향에서의 신호, 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
을 생성하는 단계
를 포함하고,
,
및
는 0보다 큰 상수이고,
,
,
,
,
, 및
이고,
,
및
는 0보다 큰 상수이고,
,
,
,
, 및
인,
사운드 신호 처리 방법. - 제5항에 있어서,
상기 게인 조정 파라미터와 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따라 상기 공간 오디오 신호에서의 모든 방향의 신호를 생성하는 단계는,
에 따라, 상기 왼쪽 방향에서의 신호
, 상기 오른쪽 방향에서의 신호
, 상기 중앙 방향에서의 신호
, 상기 왼쪽 후방 서라운드 신호
, 및 상기 오른쪽 후방 서라운드 신호
을 획득하는 단계
를 포함하고,
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
는 상기 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타내는,
사운드 신호 처리 방법. - 제5항에 있어서,
상기 사운드 신호에 따라 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값을 획득하는 단계는,
하트 모양(heart-shaped)의 지향성(directivity)을 가지는 빔,
,
, 및
을 획득하는 단계
를 포함하고,
의 최대 지향성은
내에 있으며,
의 최대 지향성은
내에 있으며,
의 최대 지향성은
내에 있으며,
의 최대 지향성은
내에 있고,
상기 왼쪽 방향에서의 신호의 초기값=
, 상기 중앙 방향에서의 신호의 초기값
, 상기 중앙 방향에서의 신호의 초기값
=
, 상기 왼쪽 후방 서라운드 신호의 초기값
=
, 및 상기 오른쪽 후방 서라운드 신호의 초기값
=
이고,
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
는 상기 왼쪽 후방 서라운드 신호의 초기값을,
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타내는,
사운드 신호 처리 방법. - 제7항에 있어서,
상기 하트 모양의 지향성을 가지는 빔,
,
, 및
을 획득하는 단계는,
상기 제1 내지 제4 마이크로폰에 의해 수신된 사운드 신호를 이용하여 하트 모양의 지향성을 가지는 빔을 획득하는 단계; 및
에 따라 하트 모양의 지향성을 가지는 상기 빔
,
,
, 및
을 획득하는 단계
를 포함하고,
의 최대 지향성의 포인트는 제i 마이크로폰과 제j 마이크로폰 사이의 연결선으로부터 상기 제i 마이크로폰을 가리키는 방향에 있으며,
의 지향성의 제로 포인트는 상기 제i 마이크로폰과 상기 제j 마이크로폰 사이의 연결선으로부터 상기 제j 마이크로폰을 가리키는 방향에 있으며, i 및 j는 1, 2, 3, 또는 4인,
사운드 신호 처리 방법. - 제5항에 있어서,
상기 게인 조정 파라미터와 상기 공간 오디오 신호에서의 모든 방향의 신호의 초기값에 따른 상기 공간 오디오 신호에서의 모든 방향의 신호를 생성하는 단계는,
에 따라 상기 왼쪽 방향에서의 신호
을 획득하는 단계;
에 따라 상기 중앙 방향에서의 신호
을 획득하는 단계;
에 따라 상기 오른쪽 방향에서의 신호
을 획득하는 단계;
에 따라 상기 왼쪽 후방 서라운드 신호
을 획득하는 단계; 및
에 따라 상기 오른쪽 후방 서라운드 신호
을 획득하는 단계
를 포함하고,
는 상기 왼쪽 방향에서의 신호의 초기값을 나타내고,
는 상기 중앙 방향에서의 신호의 초기값을 나타내고,
는 상기 오른쪽 방향에서의 신호의 초기값을 나타내고,
는 상기 왼쪽 후방 서라운드 신호의 초기값을 나타내고,
는 상기 오른쪽 후방 서라운드 신호의 초기값을 나타내고, n은 샘플링 포인트 번호(sampling point number)를 나타내는,
사운드 신호 처리 방법. - 사운드 신호 처리 장치에 있어서,
3차원 사운드 필드(three-dimensional sound field)로부터 사운드 신호를 획득하도록 구성되어 있는 제1 획득 모듈;
상기 획득된 사운드 신호에 따라, 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 모듈; 및
상기 이동 단말기에 대한 음원의 방향과 상기 획득된 사운드 신호에 따라 공간 오디오 신호(spatial audio signal)를 획득하도록 구성되어 있는 제1 처리 모듈
을 포함하고,
적어도 3개의 마이크로폰이 이동 단말기에 배치되어 있고, 하나의 마이크로폰이 적어도 한 방향에서 사운드 신호를 수신하도록 구성되어 있고, 상기 공간 오디오 신호는 상기 3차원 사운드 필드를 시뮬레이션하는데 이용되고,
상기 제2 획득 모듈은,
상기 이동 단말기의 마이크로폰에 의해 수신된 하나의 방향에서의 사운드 신호와 다른 방향에서의 사운드 신호 사이의 도착의 시간 차이를 획득하도록 구성되어 있는 제1 획득 유닛; 및
상기 획득된 도착의 시간 차이와 상기 이동 단말기의 마이크로폰의 위치에 따라, 상기 이동 단말기에 대한 음원의 방향을 획득하도록 구성되어 있는 제2 획득 유닛
을 포함하고,
상기 이동 단말기의 마이크로폰은 적어도 4개 방향에서 사운드 신호를 수신하도록 구성되어 있고,
상기 제1 획득 유닛은,
에 따라, 제m 마이크로폰에 의해 수신된 사운드 신호와 제1 마이크로폰에 의해 수신된 사운드 신호 사이의 도착의 시간 차이
를 획득하도록 구성되어 있는 제1 획득 서브 유닛을 포함하고,
p는 다수의 지연 샘플링 포인트(quantity of delay sampling point)를 나타내고,은 상기 제1 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
은 상기 제m 마이크로폰에 의해 수신된 사운드 신호를 나타내고,
에서,
는
과
사이의 상관 스펙트럼(correlated spectrum)을 나타내고,
는 모든 방향에서 수신되는 사운드 신호가 위치하는 주파수 도메인의 가중치 함수를 나타내고,
상기 공간 오디오 신호는 적어도 왼쪽 방향에서의 신호, 오른쪽 방향에서의 신호, 중앙 방향에서의 신호, 왼쪽 후방(rear) 서라운드 신호(surround signal), 및 오른쪽 후방 서라운드 신호를 포함하고,
상기 제1 처리 모듈은,
상기 이동 단말기에 대한 음원의 방향을 이용하여 게인 조정 파라미터(gain adjusting parameters)를 생성하도록 구성되어 있는 제1 처리 유닛;
상기 사운드 신호에 따라 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값을 획득하도록 구성되어 있는 제2 처리 유닛; 및
상기 게인 조정 파라미터와 상기 공간 오디오 신호 내의 모든 방향의 신호의 초기값에 따라, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 상기 중앙 방향에서의 신호, 상기 왼쪽 후방 서라운드 신호, 및 상기 오른쪽 후방 서라운드 신호를 생성하도록 구성되어 있는 제3 처리 유닛
을 포함하고,
상기 게인 조정 파라미터는, 상기 왼쪽 방향에서의 신호, 상기 오른쪽 방향에서의 신호, 및 상기 중앙 방향에서의 신호에 대응하는 제1 타입의 게인 조정 파라미터, 상기 왼쪽 후방 서라운드 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제1 타입의 게인 조정 파라미터
, 상기 왼쪽 방향에서의 신호 및 상기 왼쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
, 및 상기 오른쪽 방향에서의 신호 및 상기 오른쪽 후방 서라운드 신호에 대응하는 제2 타입의 게인 조정 파라미터
을 포함하고, 추가로, 상기 이동 단말기에 대한 음원의 방향에 대해,
일 때
,
일 때
,
일 때
,
일 때
인,
사운드 신호 처리 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410439142.8A CN105451151B (zh) | 2014-08-29 | 2014-08-29 | 一种处理声音信号的方法及装置 |
| CN201410439142.8 | 2014-08-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160026652A KR20160026652A (ko) | 2016-03-09 |
| KR101724514B1 true KR101724514B1 (ko) | 2017-04-07 |
Family
ID=53434189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150075144A KR101724514B1 (ko) | 2014-08-29 | 2015-05-28 | 사운드 신호 처리 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9439019B2 (ko) |
| EP (1) | EP2991382B1 (ko) |
| JP (1) | JP2016052117A (ko) |
| KR (1) | KR101724514B1 (ko) |
| CN (1) | CN105451151B (ko) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170236547A1 (en) * | 2015-03-04 | 2017-08-17 | Sowhat Studio Di Michele Baggio | Portable recorder |
| US9583113B2 (en) * | 2015-03-31 | 2017-02-28 | Lenovo (Singapore) Pte. Ltd. | Audio compression using vector field normalization |
| BR112017002758B1 (pt) * | 2015-06-17 | 2022-12-20 | Sony Corporation | Dispositivo e método de transmissão, e, dispositivo e método de recepção |
| TWI577194B (zh) * | 2015-10-22 | 2017-04-01 | 山衛科技股份有限公司 | 環境音源辨識系統及其環境音源辨識之方法 |
| CN105407443B (zh) * | 2015-10-29 | 2018-02-13 | 小米科技有限责任公司 | 录音方法及装置 |
| US11722821B2 (en) * | 2016-02-19 | 2023-08-08 | Dolby Laboratories Licensing Corporation | Sound capture for mobile devices |
| CN105548955A (zh) * | 2016-03-04 | 2016-05-04 | 上海易景信息科技有限公司 | 一种快速室内声源定向装置及方法 |
| US10356514B2 (en) | 2016-06-15 | 2019-07-16 | Mh Acoustics, Llc | Spatial encoding directional microphone array |
| US10477304B2 (en) | 2016-06-15 | 2019-11-12 | Mh Acoustics, Llc | Spatial encoding directional microphone array |
| US10451719B2 (en) * | 2016-06-22 | 2019-10-22 | Loose Cannon Systems, Inc. | System and method to indicate relative location of nodes in a group |
| CN109417668A (zh) * | 2016-07-05 | 2019-03-01 | 索尼公司 | 声场形成装置和方法、以及程序 |
| CN106448693B (zh) * | 2016-09-05 | 2019-11-29 | 华为技术有限公司 | 一种语音信号处理方法及装置 |
| US10034083B2 (en) * | 2016-09-21 | 2018-07-24 | International Business Machines Corporation | Crowdsourcing sound captures to determine sound origins and to predict events |
| WO2018096582A1 (ja) * | 2016-11-22 | 2018-05-31 | 三菱電機株式会社 | 劣化個所推定装置、劣化個所推定システム及び劣化個所推定方法 |
| CN106782584B (zh) * | 2016-12-28 | 2023-11-07 | 北京地平线信息技术有限公司 | 音频信号处理设备、方法和电子设备 |
| US10334360B2 (en) * | 2017-06-12 | 2019-06-25 | Revolabs, Inc | Method for accurately calculating the direction of arrival of sound at a microphone array |
| CN109218920B (zh) * | 2017-06-30 | 2020-09-18 | 华为技术有限公司 | 一种信号处理方法、装置及终端 |
| US10310082B2 (en) * | 2017-07-27 | 2019-06-04 | Quantenna Communications, Inc. | Acoustic spatial diagnostics for smart home management |
| US9866308B1 (en) * | 2017-07-27 | 2018-01-09 | Quantenna Communications, Inc. | Composite WiFi and acoustic spatial diagnostics for smart home management |
| US10656268B2 (en) * | 2017-07-27 | 2020-05-19 | On Semiconductor Connectivity Solutions, Inc. | Acoustic spatial diagnostics for smart home management |
| CN108269582B (zh) * | 2018-01-24 | 2021-06-01 | 厦门美图之家科技有限公司 | 一种基于双麦克风阵列的定向拾音方法及计算设备 |
| GB2572368A (en) | 2018-03-27 | 2019-10-02 | Nokia Technologies Oy | Spatial audio capture |
| CN108769874B (zh) * | 2018-06-13 | 2020-10-20 | 广州国音科技有限公司 | 一种实时分离音频的方法和装置 |
| CN111383655B (zh) * | 2018-12-29 | 2023-08-04 | 嘉楠明芯(北京)科技有限公司 | 一种波束形成方法、装置及计算机可读存储介质 |
| CN109769181B (zh) * | 2019-01-28 | 2020-08-25 | 努比亚技术有限公司 | 一种扬声器出音孔、终端及扬声器出音孔控制方法 |
| CN110103867A (zh) * | 2019-05-09 | 2019-08-09 | 贵安新区新特电动汽车工业有限公司 | 声音强度调整方法及装置 |
| CN110225445A (zh) * | 2019-05-22 | 2019-09-10 | 上海德衡数据科技有限公司 | 一种处理声音信号实现三维声场听觉效果的方法及装置 |
| CN118235431A (zh) * | 2022-10-19 | 2024-06-21 | 北京小米移动软件有限公司 | 空间音频采集方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235334A (ja) * | 2006-02-28 | 2007-09-13 | Victor Co Of Japan Ltd | オーディオ装置及び指向音生成方法 |
| US20080037796A1 (en) * | 2006-08-08 | 2008-02-14 | Creative Technology Ltd | 3d audio renderer |
| US20130272097A1 (en) * | 2012-04-13 | 2013-10-17 | Qualcomm Incorporated | Systems, methods, and apparatus for estimating direction of arrival |
| US20130317830A1 (en) * | 2012-05-24 | 2013-11-28 | Qualcomm Incorporated | Three-dimensional sound compression and over-the-air transmission during a call |
| JP2014501064A (ja) * | 2010-10-25 | 2014-01-16 | クゥアルコム・インコーポレイテッド | マルチマイクロフォンを用いた３次元サウンド獲得及び再生 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPO099696A0 (en) * | 1996-07-12 | 1996-08-08 | Lake Dsp Pty Limited | Methods and apparatus for processing spatialised audio |
| TWM273904U (en) | 2004-08-19 | 2005-08-21 | Inventec Appliances Corp | Mobile phone with stereo recording functions |
| JP4379505B2 (ja) * | 2007-08-23 | 2009-12-09 | 株式会社カシオ日立モバイルコミュニケーションズ | 携帯端末装置 |
| JP5397131B2 (ja) * | 2009-09-29 | 2014-01-22 | 沖電気工業株式会社 | 音源方向推定装置及びプログラム |
| US9445174B2 (en) * | 2012-06-14 | 2016-09-13 | Nokia Technologies Oy | Audio capture apparatus |
| CN102707262A (zh) * | 2012-06-20 | 2012-10-03 | 太仓博天网络科技有限公司 | 一种基于麦克风阵列的声源定位*** |
| CN202818484U (zh) | 2012-08-21 | 2013-03-20 | 徐丙川 | 会议通信装置和*** |
| CN103634561A (zh) | 2012-08-21 | 2014-03-12 | 徐丙川 | 会议通信装置和*** |
| WO2014090277A1 (en) * | 2012-12-10 | 2014-06-19 | Nokia Corporation | Spatial audio apparatus |
| CN103064061B (zh) * | 2013-01-05 | 2014-06-11 | 河北工业大学 | 三维空间声源定位方法 |
| CN103778657B (zh) * | 2014-02-28 | 2017-01-25 | 中山大学 | 一种基于空间剖分的声线束追踪方法 |
-
2014
- 2014-08-29 CN CN201410439142.8A patent/CN105451151B/zh active Active
-
2015
- 2015-05-06 EP EP15166654.2A patent/EP2991382B1/en active Active
- 2015-05-28 KR KR1020150075144A patent/KR101724514B1/ko active IP Right Grant
- 2015-06-04 JP JP2015113909A patent/JP2016052117A/ja active Pending
- 2015-08-10 US US14/822,476 patent/US9439019B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235334A (ja) * | 2006-02-28 | 2007-09-13 | Victor Co Of Japan Ltd | オーディオ装置及び指向音生成方法 |
| US20080037796A1 (en) * | 2006-08-08 | 2008-02-14 | Creative Technology Ltd | 3d audio renderer |
| JP2014501064A (ja) * | 2010-10-25 | 2014-01-16 | クゥアルコム・インコーポレイテッド | マルチマイクロフォンを用いた３次元サウンド獲得及び再生 |
| US20130272097A1 (en) * | 2012-04-13 | 2013-10-17 | Qualcomm Incorporated | Systems, methods, and apparatus for estimating direction of arrival |
| US20130317830A1 (en) * | 2012-05-24 | 2013-11-28 | Qualcomm Incorporated | Three-dimensional sound compression and over-the-air transmission during a call |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2991382B1 (en) | 2017-04-19 |
| US9439019B2 (en) | 2016-09-06 |
| CN105451151B (zh) | 2018-09-21 |
| KR20160026652A (ko) | 2016-03-09 |
| CN105451151A (zh) | 2016-03-30 |
| JP2016052117A (ja) | 2016-04-11 |
| EP2991382A1 (en) | 2016-03-02 |
| US20160066117A1 (en) | 2016-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101724514B1 (ko) | 사운드 신호 처리 방법 및 장치 | |
| US9641929B2 (en) | Audio signal processing method and apparatus and differential beamforming method and apparatus | |
| US10397722B2 (en) | Distributed audio capture and mixing | |
| KR101415026B1 (ko) | 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 | |
| RU2663343C2 (ru) | Система, устройство и способ для совместимого воспроизведения акустической сцены на основе адаптивных функций | |
| US9838825B2 (en) | Audio signal processing device and method for reproducing a binaural signal | |
| CA2857611C (en) | Apparatus and method for microphone positioning based on a spatial power density | |
| EP2647222B1 (en) | Sound acquisition via the extraction of geometrical information from direction of arrival estimates | |
| KR101555416B1 (ko) | 음향 삼각 측량에 의한 공간 선택적 사운드 취득 장치 및 방법 | |
| CN105981404B (zh) | 使用麦克风阵列的混响声的提取 | |
| US9838646B2 (en) | Attenuation of loudspeaker in microphone array | |
| CN109804559A (zh) | 空间音频***中的增益控制 | |
| US20150189455A1 (en) | Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields | |
| Ziegelwanger et al. | Modeling the direction-continuous time-of-arrival in head-related transfer functions | |
| Oreinos et al. | Objective analysis of ambisonics for hearing aid applications: Effect of listener's head, room reverberation, and directional microphones | |
| EP3409025A1 (en) | System and apparatus for tracking moving audio sources | |
| EP3643079A1 (en) | Determination of targeted spatial audio parameters and associated spatial audio playback | |
| KR102008745B1 (ko) | 이동 디바이스들을 위한 서라운드 사운드 레코딩 | |
| KR101678305B1 (ko) | 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법 | |
| Wan et al. | Robust and low complexity localization algorithm based on head-related impulse responses and interaural time difference | |
| JP6650245B2 (ja) | インパルス応答生成装置及びプログラム | |
| JP2018170617A (ja) | 収音装置、プログラム及び方法 | |
| Cha et al. | Development of an integrated smart sensor system for sound synthesis and reproduction in telepresence | |
| SE534861C2 (sv) | Syntes av virtuell direktiv mikrofon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |