KR102548014B1 - 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상 - Google Patents

공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상 Download PDF

Info

Publication number
KR102548014B1
KR102548014B1 KR1020217027321A KR20217027321A KR102548014B1 KR 102548014 B1 KR102548014 B1 KR 102548014B1 KR 1020217027321 A KR1020217027321 A KR 1020217027321A KR 20217027321 A KR20217027321 A KR 20217027321A KR 102548014 B1 KR102548014 B1 KR 102548014B1
Authority
KR
South Korea
Prior art keywords
crosstalk
channel
compensation
processor
processing
Prior art date
Application number
KR1020217027321A
Other languages
English (en)
Other versions
KR20210107922A (ko
Inventor
재커리 셀데스
Original Assignee
붐클라우드 360 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 붐클라우드 360 인코포레이티드 filed Critical 붐클라우드 360 인코포레이티드
Priority to KR1020237021018A priority Critical patent/KR20230101927A/ko
Publication of KR20210107922A publication Critical patent/KR20210107922A/ko
Application granted granted Critical
Publication of KR102548014B1 publication Critical patent/KR102548014B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Optical Communication System (AREA)
  • Optical Recording Or Reproduction (AREA)

Abstract

오디오 시스템은 입력 오디오 신호의 공간적 향상, 크로스토크 처리 및 크로스토크 보상을 가능케 한다. 크로스토크 보상은 공간적으로 향상된 신호에의 크로스토크 처리의 적용에 의해 야기된 스펙트럼 결함을 보상한다. 크로스토크 보상은 크로스토크 처리 전에, 크로스토크 처리 후에, 또는 크로스토크 처리와 병렬로 수행될 수 있다. 크로스토크 보상은 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함을 보상하기 위해 좌측 및 우측 입력 채널의 중간 및 측면 컴포넌트에 필터를 적용하는 것을 포함한다. 크로스토크 처리는 크로스토크 시뮬레이션 또는 크로스토크 소거를 포함할 수 있다. 몇몇 실시예에서, 크로스토크 보상은 오디오 신호를 공간적으로 향상시키는 부대역 공간적 처리와 통합될 수 있다.

Description

공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상{SPECTRAL DEFECT COMPENSATION FOR CROSSTALK PROCESSING OF SPATIAL AUDIO SIGNALS}
발명자: 셀데스 재커리
본 개시의 실시예는 일반적으로 오디오 신호 처리의 분야에 관련되고, 더욱 구체적으로, 공간적으로 향상된 다채널 오디오(spatially enhanced multi-channel audio)의 크로스토크 처리(crosstalk processing)에 관련된다.
입체음 재생(stereophonic sound reproduction)은 음장(sound field)의 공간적 속성을 포함한 신호를 인코딩하고 재생하는 것을 수반한다. 입체음은 청취자(listener)로 하여금 헤드폰(headphone) 또는 라우드스피커(loudspeaker)를 사용하여 스테레오 신호(stereo signal)로부터 음장 내의 공간적 감각을 지각할(perceive) 수 있게 한다. 그러나, 원래의 신호를 원본의 지연된, 그리고 가능하게는 반전된(inverted) 또는 위상 변경된(phase-altered) 버전과 조합함으로써 입체음을 처리하는 것은 결과적인 신호 내에 가청(audible)이고 흔히 지각적으로 불쾌한 콤 필터링(comb-filtering) 아티팩트(artifact)를 산출할 수 있다. 그러한 아티팩트의 지각되는 효과는 가벼운 컬러레이션(coloration)에서 믹스(mix) 내의 특정한 음파 요소(sonic element)의 상당한 감쇠(attenuation)나 증폭(amplification)(즉 음성 쇠진(voice receding) 등등)까지 걸칠 수 있다.
실시예는 좌측 입력 채널(left input channel) 및 우측 입력 채널(right input channel)을 포함하는 오디오 신호를 향상시키는 것에 관련된다. 좌측 입력 채널 및 우측 입력 채널로부터 비공간적 컴포넌트(nonspatial component) 및 공간적 컴포넌트(spatial component)가 생성된다. 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함(spectral defect)을 보상하는 제1 필터를 비공간적 컴포넌트에 적용함으로써 중간 보상 채널(mid compensation channel)이 생성된다. 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함을 보상하는 제2 필터를 공간적 컴포넌트에 적용함으로써 측면 보상 채널(side compensation channel)이 생성된다. 중간 보상 채널 및 측면 보상 채널로부터 좌측 보상 채널(left compensation channel) 및 우측 보상 채널(right compensation channel)이 생성된다. 좌측 보상 채널을 사용하여 좌측 출력 채널(left output channel)이 생성되고, 우측 보상 채널을 사용하여 우측 출력 채널(right output channel)이 생성된다.
몇몇 실시예에서, 오디오 신호에 대해 크로스토크 처리 및 부대역 공간적 처리(subband spatial processing)가 수행된다. 크로스토크 처리는 크로스토크 소거(cancellation), 또는 크로스토크 시뮬레이션(simulation)을 포함할 수 있다. 라우드스피커를 사용하여 경험될 수 있는 크로스토크를 시뮬레이션하기 위해 두부 장착형 스피커(head-mounted speaker)로의 출력을 생성하는 데에 크로스토크 시뮬레이션이 사용될 수 있다. 라우드스피커를 사용하여 경험될 수 있는 크로스토크를 제거하기 위해 라우드스피커로의 출력을 생성하는 데에 크로스토크 소거가 사용될 수 있다. 크로스토크 처리는 크로스토크 소거 전에, 크로스토크 소거 후에, 또는 크로스토크 소거와 병렬로 수행될 수 있다. 부대역 공간적 처리는 좌측 및 우측 입력 채널의 비공간적 컴포넌트 및 공간적 컴포넌트의 부대역에 이득(gain)을 적용하는 것을 포함한다. 크로스토크 처리는, 부대역 공간적 처리와 함께 또는 부대역 공간적 처리 없이, 크로스토크 소거 또는 크로스토크 시뮬레이션에 의해 야기된 스펙트럼 결함을 보상한다.
몇몇 실시예에서, 시스템은 좌측 입력 채널 및 우측 입력 채널을 갖는 오디오 신호를 향상시킨다. 시스템은, 좌측 입력 채널 및 우측 입력 채널로부터 비공간적 컴포넌트 및 공간적 컴포넌트를 생성하고, 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함을 보상하는 제1 필터를 비공간적 컴포넌트에 적용함으로써 중간 보상 채널을 생성하고, 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함을 보상하는 제2 필터를 공간적 컴포넌트에 적용함으로써 측면 보상 채널을 생성하도록 구성된 회로부(circuitry)를 포함한다. 회로부는 중간 보상 채널 및 측면 보상 채널로부터 좌측 보상 채널 및 우측 보상 채널을 생성하고, 좌측 보상 채널을 사용하여 좌측 출력 채널을 생성하고, 우측 보상 채널을 사용하여 우측 출력 채널을 생성하도록 또한 구성된다.
몇몇 실시예에서, 크로스토크 보상은 부대역 공간적 처리와 통합된다(integrated). 좌측 입력 채널 및 우측 입력 채널은 공간적 컴포넌트 및 비공간적 컴포넌트로 처리된다. 향상된 공간적 컴포넌트(enhanced spatial component)를 생성하기 위해 공간적 컴포넌트의 부대역에 제1 부대역 이득이 적용되고, 향상된 비공간적 컴포넌트(enhanced nonspatial component)를 생성하기 위해 비공간적 컴포넌트의 부대역에 제2 부대역 이득이 적용된다. 향상된 비공간적 컴포넌트에 필터를 적용함으로써 중간의 향상된 보상 채널(mid enhanced compensation channel)이 생성된다. 중간의 향상된 보상 채널은 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함에 대한 보상을 갖는 향상된 비공간적 컴포넌트를 포함한다. 중간의 향상된 보상 채널로부터 좌측의 향상된 보상 채널(left enhanced compensation channel) 및 우측의 향상된 보상 채널(right enhanced compensation channel)이 생성된다. 좌측 보상 채널을 사용하여 좌측 출력 채널이 생성되고, 우측의 향상된 보상 채널을 사용하여 우측 출력 채널이 생성된다.
몇몇 실시예에서, 향상된 공간적 컴포넌트에 제2 필터를 적용함으로써 측면의 향상된 보상 채널이 생성되는데, 측면의 향상된 보상 채널은 오디오 신호의 크로스토크 처리로부터의 스펙트럼 결함에 대한 보상을 갖는 향상된 공간적 컴포넌트를 포함한다. 좌측의 향상된 보상 채널 및 우측의 향상된 보상 채널은 중간의 향상된 보상 채널 및 측면의 향상된 보상 채널로부터 생성된다.
다른 양상은 이상의 것 중의 임의의 것에 관련된 컴포넌트, 디바이스, 시스템, 개선, 방법, 프로세스, 애플리케이션, 컴퓨터 판독가능 매체 및 다른 기술을 포함한다.
도 1a는 하나의 실시예에 따라, 라우드스피커를 위한 스테레오 오디오 재생 시스템의 예를 보여준다.
도 1b는 하나의 실시예에 따라, 헤드폰을 위한 스테레오 오디오 재생 시스템의 예를 보여준다.
도 2a는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템의 예를 보여준다.
도 2b는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템의 예를 보여준다.
도 3은 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템의 예를 보여준다.
도 4는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템의 예를 보여준다.
도 5a는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템의 예를 보여준다.
도 5b는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템의 예를 보여준다.
도 5c는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템의 예를 보여준다.
도 6은 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템의 예를 보여준다.
도 7은 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템의 예를 보여준다.
도 8은 하나의 실시예에 따라, 크로스토크 보상 처리기(crosstalk compensation processor)의 예를 보여준다.
도 9는 하나의 실시예에 따라, 크로스토크 보상 처리기의 예를 보여준다.
도 10은 하나의 실시예에 따라, 크로스토크 보상 처리기의 예를 보여준다.
도 11은 하나의 실시예에 따라, 크로스토크 보상 처리기의 예를 보여준다.
도 12는 하나의 실시예에 따라, 공간적 주파수 대역 분할기(spatial frequency band divider)의 예를 보여준다.
도 13은 하나의 실시예에 따라, 공간적 주파수 대역 처리기(spatial frequency band processor)의 예를 보여준다.
도 14는 하나의 실시예에 따라, 공간적 주파수 대역 조합기(spatial frequency band combiner)의 예를 보여준다.
도 15는 하나의 실시예에 따라, 크로스토크 소거 처리기(crosstalk cancellation processor)를 보여준다.
도 16a는 하나의 실시예에 따라, 크로스토크 시뮬레이션 처리기(crosstalk simulation processor)를 보여준다.
도 16b는 하나의 실시예에 따라, 크로스토크 시뮬레이션 처리기를 보여준다.
도 17은 하나의 실시예에 따라, 조합기를 보여준다.
도 18은 하나의 실시예에 따라, 조합기를 보여준다.
도 19는 하나의 실시예에 따라, 조합기를 보여준다.
도 20은 하나의 실시예에 따라, 조합기를 보여준다.
도 21 내지 도 26은 하나의 실시예에 따라, 크로스토크 소거 및 크로스토크 보상을 사용하여 신호의 공간적 및 비공간적 컴포넌트의 도표(plot)를 보여준다.
도 27a 및 도 27b는 하나의 실시예에 따라, 크로스토크 보상 처리기의 필터 설정의 표(table)를 크로스토크 소거 지연의 함수로서 보여준다.
도 28a, 도 28b, 도 28c, 도 28d 및 도 28e는 몇몇 실시예에 따라, 크로스토크 소거, 크로스토크 보상 및 부대역 공간적 처리의 예를 보여준다.
도 29a, 도 29b, 도 29c, 도 29d, 도 29e, 도 29f, 도 29g 및 도 29h는 몇몇 실시예에 따라, 크로스토크 시뮬레이션, 크로스토크 보상 및 부대역 공간적 처리의 예를 보여준다.
도 30은 몇몇 실시예에 따른, 컴퓨터의 개략적인 블록도이다.
명세서에 기술된 특징 및 이점은 총망라한 것이 아니며, 특히, 도면, 명세서 및 청구항에 비추어 통상의 기술자에게 많은 추가적인 특징 및 이점이 명백할 것이다. 더욱이, 명세서에서 사용된 언어는 주로 가독성 및 교시 목적으로 선택되었으며, 발명적 주제(subject matter)를 묘사하거나 한정하기 위해 선택되지 않았을 수 있음에 유의하여야 한다.
도면(도) 및 다음의 설명은 오직 예시로서 바람직한 실시예에 관련된다. 다음의 논의로부터, 본 문서에 개시된 구조 및 방법의 대안적인 실시예가 본 발명의 원리로부터 벗어나지 않고서 이용될 수 있는 실행 가능한 대안으로서 쉽게 인식될 수 있음에 유의하여야 한다.
첨부된 도면에 예가 보여진 본 발명(들)의 몇 개의 실시예가 이제 상세히 언급될 것이다. 실현 가능한 곳 어디에서든 유사한 또는 비슷한 참조 번호가 도면에서 사용될 수 있고 유사한 또는 비슷한 기능을 나타낼 수 있음에 유의한다. 도면은 오직 예시의 목적으로 실시예를 묘사한다. 당업자는 본 문서에 보여진 구조 및 방법의 대안적인 실시예가 본 문서에 기술된 원리로부터 벗어나지 않고서 이용될 수 있음을 다음의 설명으로부터 쉽게 인식할 것이다.
본 문서에서 논의된 오디오 시스템은 공간적으로 향상된 오디오 신호를 위해 크로스토크 처리를 제공한다. 크로스토크 처리는 라우드스피커를 위한 크로스토크 소거, 또는 헤드폰을 위한 크로스토크 시뮬레이션을 포함할 수 있다. 공간적으로 향상된 신호를 위해 크로스토크 처리를 수행하는 오디오 시스템은, 공간적 향상과 함께 또는 공간적 향상 없이, 오디오 신호의 크로스토크 처리로부터 기인하는 스펙트럼 결함에 대해 조절하는 크로스토크 보상 처리기를 포함할 수 있다.
도 1a에 예시된 바와 같은 라우드스피커 배열에서, 라우드스피커 110L 및 110R의 양자 모두에 의해 산출된 음파가 청취자(120)의 좌측 및 우측 귀 125L, 125R 양자 모두에서 수신된다. 라우드스피커 110L 및 110R 각각으로부터의 음파는 좌측 귀 125L 및 우측 귀 125R 간의 약간의 지연과, 청취자(120)의 두부(head)에 의해 야기된 필터링을 갖는다. 청취자의 두부의 동일 측면 상의 스피커에 의해 출력되고 그 측면 상의 청취자의 귀에 의해 수신된 신호 컴포넌트(가령, 118L, 118R)는 본 문서에서 "동측 소리 컴포넌트"(ipsilateral sound component)(가령, 좌측 귀에서 수신된 좌측 채널 신호와, 우측 귀에서 수신된 우측 채널 신호)로 지칭되고 청취자의 두부의 반대 측면 상의 스피커에 의해 출력된 신호 컴포넌트(가령, 112L, 112R)는 본 문서에서 "반측 소리 컴포넌트"(contralateral sound component)(가령, 우측 귀에서 수신된 좌측 채널 신호와, 좌측 귀에서 수신된 우측 채널 신호)로 지칭된다. 반측 소리 컴포넌트는 크로스토크 간섭(interference)에 기여하는데, 이는 공간성의 약화된 지각을 초래한다. 그러므로, 청취자(120)에 의한 크로스토크 간섭의 경험을 감소시키기 위해 라우드스피커(110)에 입력되는 오디오 신호에 크로스토크 소거가 적용될 수 있다.
도 1b에 보여진 바와 같은 두부 장착형 스피커 배열에서, 전용 좌측 스피커 130L는 좌측 귀 125L 내로 소리를 발하고(emit), 전용 우측 스피커 130R는 우측 귀 125R 내로 소리를 발한다. 두부 장착형 스피커는 사용자의 귀 가까이에서 음파를 발하고, 따라서 더 낮은 트랜스오럴(trans-aural) 음파 전파(propagation)를 생성하거나 어떤 트랜스오럴 음파 전파도 생성하지 않으며, 따라서 크로스토크 간섭을 야기하는 어떤 반측 컴포넌트도 생성하지 않는다. 청취자(120)의 각각의 귀는 대응하는 스피커로부터 동측 소리 컴포넌트를 수신하고, 다른 스피커로부터 어떤 반측 크로스토크 소리 컴포넌트도 수신하지 않는다. 이에 따라, 청취자(120)는 두부 장착형 스피커로써 상이한, 그리고 전형적으로 더 작은 음장을 지각할 것이다. 그러므로, 오디오 신호가 가상적인 라우드스피커 음원(120A 및 120B)에 의해 출력되는 경우에 청취자(120)에 의해 경험될 바와 같은 크로스토크 간섭을 시뮬레이션하기 위해 두부 장착형 스피커(110)에 입력되는 오디오 신호에 크로스토크 시뮬레이션이 적용될 수 있다.
예시적인 오디오 시스템
도　2a, 도 2b, 도 3 및 도 4는 공간적으로 향상된 오디오 신호 E로써 크로스토크 소거를 수행하는 오디오 시스템의 예를 도시한다. 이들 오디오 시스템은 각각 입력 신호 X를 수신하고, 감소된 크로스토크 간섭을 갖는, 라우드스피커를 위한 출력 신호 O를 생성한다. 도 5a, 도 5b, 도 5c, 도 6 및 도 7은 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하는 오디오 시스템의 예를 도시한다. 이들 오디오 시스템은 입력 신호 X를 수신하고, 라우드스피커를 사용하여 경험될 바와 같은 크로스토크 간섭을 시뮬레이션하는, 두부 장착형 스피커를 위한 출력 신호 O를 생성한다. 크로스토크 소거 및 크로스토크 시뮬레이션은 또한 "크로스토크 처리"로 지칭된다. 도 2a 내지 도 7에 도시된 오디오 시스템 각각에서, 크로스토크 보상 처리기는 공간적으로 향상된 오디오 신호의 크로스토크 처리에 의해 야기된 스펙트럼 결함을 제거한다.
크로스토크 보상은 다양한 방식으로 적용될 수 있다. 하나의 예에서, 크로스토크 처리 전에 크로스토크 보상이 수행된다. 예를 들어, 조합된 결과를 생성하기 위해 입력 오디오 신호 X의 부대역 공간적 처리와 병렬로 크로스토크 보상이 수행될 수 있고, 조합된 결과는 차후에 크로스토크 처리를 받을 수 있다. 다른 예에서, 크로스토크 보상은 입력 오디오 신호의 부대역 공간적 처리와 통합되고, 부대역 공간적 처리의 출력은 차후에 크로스토크 처리를 받는다. 다른 예에서, 크로스토크 보상은 공간적으로 향상된 신호 E에 대해 크로스토크 처리가 수행된 후 수행될 수 있다.
몇몇 실시예에서, 크로스토크 보상은 입력 오디오 신호 X의 중간 컴포넌트(mid component) 및 측면 컴포넌트(side component)의 향상(가령, 필터링)을 포함할 수 있다. 다른 실시예에서, 크로스토크 보상은 오직 중간 컴포넌트를, 또는 오직 측면 컴포넌트를 향상시킨다.
도 2a는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템(200)의 예를 보여준다. 오디오 시스템(200)은 좌측 입력 채널 XL 및 우측 입력 채널 XR을 포함하는 입력 오디오 신호 X를 수신한다. 몇몇 실시예에서, 입력 오디오 신호 X는 디지털 비트스트림(digital bitstream)(가령, PCM 데이터) 내에서 소스 컴포넌트(source component)로부터 제공된다. 소스 컴포넌트는 컴퓨터, 디지털 오디오 플레이어(digital audio player), 광 디스크 플레이어(optical disk player)(가령, DVD, CD, 블루레이(Blu-ray)), 디지털 오디오 스트리머(digital audio streamer), 또는 디지털 오디오 신호의 다른 소스일 수 있다. 오디오 시스템(200)은 입력 채널 XL 및 XR을 처리함으로 2개의 출력 채널 OL 및 OR을 포함하는 출력 오디오 신호 O를 생성한다. 오디오 출력 신호 O는 크로스토크 보상 및 크로스토크 소거가 있는 입력 오디오 신호 X의 공간적으로 향상된 오디오 신호이다. 도 2a에 도시되지 않으나, 오디오 시스템(200)은 크로스토크 소거 처리기(270)로부터의 출력 오디오 신호 O를 증폭하고, 출력 채널 OL 및 OR을 소리로 변환하는 라우드스피커 280L 및 280R와 같은 출력 디바이스에 신호 O를 제공하는 증폭기를 더 포함할 수 있다.
오디오 처리 시스템(200)은 부대역 공간적 처리기(210), 크로스토크 보상 처리기(220), 조합기(260) 및 크로스토크 소거 처리기(270)를 포함한다. 오디오 처리 시스템(200)은 입력 오디오 입력 채널 XL, XR의 크로스토크 보상 및 부대역 공간적 처리를 수행하고, 부대역 공간적 처리의 결과를 크로스토크 보상의 결과와 조합하고, 이후 조합된 신호에 대해 크로스토크 소거를 수행한다.
부대역 공간적 처리기(210)는 공간적 주파수 대역 분할기(spatial frequency band divider)(240), 공간적 주파수 대역 처리기(spatial frequency band processor)(245) 및 공간적 주파수 대역 조합기(spatial frequency band combiner)(250)를 포함한다. 공간적 주파수 대역 분할기(240)는 입력 채널 XL 및 XR 및 공간적 주파수 대역 처리기(245)에 커플링된다(coupled). 공간적 주파수 대역 분할기(240)는 좌측 입력 채널 XL 및 우측 입력 채널 XR을 수신하고, 입력 채널을 공간적(또는 "측면") 컴포넌트 Ys 및 비공간적(또는 "중간") 컴포넌트 Ym로 처리한다. 예를 들어, 공간적 컴포넌트 Ys는 좌측 입력 채널 XL 및 우측 입력 채널 XR 간의 차이에 기반하여 생성될 수 있다. 비공간적 컴포넌트 Ym는 좌측 입력 채널 XL 및 우측 입력 채널 XR의 합에 기반하여 생성될 수 있다. 공간적 주파수 대역 분할기(240)는 공간적 컴포넌트 Ys 및 비공간적 컴포넌트 Ym를 공간적 주파수 대역 처리기(245)에 제공한다. 공간적 주파수 대역 분할기에 관한 추가적인 세부사항이 도 12와 관련하여 아래에서 논의된다.
공간적 주파수 대역 처리기(245)는 공간적 주파수 대역 분할기(240) 및 공간적 주파수 대역 조합기(250)에 커플링된다. 공간적 주파수 대역 처리기(245)는 공간적 주파수 대역 분할기(240)로부터 공간적 컴포넌트 Ys 및 비공간적 컴포넌트 Ym를 수신하고, 수신된 신호를 향상시킨다. 특히, 공간적 주파수 대역 처리기(245)는 향상된 공간적 컴포넌트 Es를 공간적 컴포넌트 Ys로부터, 그리고 향상된 비공간적 컴포넌트 Em를 비공간적 컴포넌트 Ym로부터 생성한다.
예를 들어, 공간적 주파수 대역 처리기(245)는 향상된 공간적 컴포넌트 Es를 생성하기 위해 공간적 컴포넌트 Ys에 부대역 이득을 적용하고, 향상된 비공간적 컴포넌트 Em를 생성하기 위해 비공간적 컴포넌트 Ym에 부대역 이득을 적용한다. 몇몇 실시예에서, 공간적 주파수 대역 처리기(245)는 추가적으로 또는 대안적으로, 향상된 공간적 컴포넌트 Es를 생성하기 위해 공간적 컴포넌트 Ys에 부대역 지연을, 그리고 향상된 비공간적 컴포넌트 Em를 생성하기 위해 비공간적 컴포넌트 Ym에 부대역 지연을 제공한다. 부대역 이득 및/또는 지연은 공간적 컴포넌트 Ys 및 비공간적 컴포넌트 Ym의 상이한(가령, n개의) 부대역에 대해 상이할 수 있거나, (가령, 2개 이상의 부대역에 대해) 동일할 수 있다. 공간적 주파수 대역 처리기(245)는 향상된 공간적 컴포넌트 Es 및 향상된 비공간적 컴포넌트 Em를 생성하기 위해 서로에 관해서 공간적 컴포넌트 Ys 및 비공간적 컴포넌트 Ym의 상이한 부대역에 대해 이득 및/또는 지연을 조절한다. 이후에 공간적 주파수 대역 처리기(245)는 향상된 공간적 컴포넌트 Es 및 향상된 비공간적 컴포넌트 Em를 공간적 주파수 대역 조합기(250)에 제공한다. 공간적 주파수 대역 분할기에 관한 추가적인 세부사항이 도 13과 관련하여 아래에서 논의된다.
공간적 주파수 대역 조합기(250)는 공간적 주파수 대역 처리기(245)에 커플링되고, 조합기(260)에 또한 커플링된다. 공간적 주파수 대역 조합기(250)는 향상된 공간적 컴포넌트 Es 및 향상된 비공간적 컴포넌트 Em를 공간적 주파수 대역 처리기(245)로부터 수신하고, 향상된 공간적 컴포넌트 Es 및 향상된 비공간적 컴포넌트 Em를 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER로 조합한다. 예를 들어, 좌측의 공간적으로 향상된 채널 EL은 향상된 공간적 컴포넌트 Es 및 향상된 비공간적 컴포넌트 Em의 합에 기반하여 생성될 수 있고, 우측의 공간적으로 향상된 채널 ER은 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es 간의 차이에 기반하여 생성될 수 있다. 공간적 주파수 대역 조합기(250)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 조합기(260)에 제공한다. 공간적 주파수 대역 분할기에 관한 추가적인 세부사항이 도 14와 관련하여 아래에서 논의된다.
크로스토크 보상 처리기(220)는 크로스토크 소거에서의 스펙트럼 결함 또는 아티팩트를 보상하기 위해 크로스토크 보상을 수행한다. 크로스토크 보상 처리기(220)는 입력 채널 XL 및 XR을 수신하고, 크로스토크 소거 처리기(270)에 의해 수행되는, 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es의 차후의 크로스토크 소거에서의 임의의 아티팩트를 보상하기 위해 처리를 수행한다. 몇몇 실시예에서, 크로스토크 보상 처리기(220)는 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 포함하는 크로스토크 보상 신호 Z를 생성하기 위해 필터를 적용함으로써 비공간적 컴포넌트 Xm 및 공간적 컴포넌트 Xs에 대해 향상을 수행할 수 있다. 다른 실시예에서, 크로스토크 보상 처리기(220)는 오직 비공간적 컴포넌트 Xm에 대해 향상을 수행할 수 있다. 크로스토크 보상 처리기에 관한 추가적인 세부사항이 도 8 내지 도 10과 관련하여 아래에서 논의된다.
조합기(260)는 좌측의 향상된 보상 채널 TL을 생성하기 위해 좌측의 공간적으로 향상된 채널 EL을 좌측 크로스토크 보상 채널 ZL과 조합하고, 우측의 향상된 보상 채널 TR을 생성하기 위해 우측의 공간적으로 향상된 채널 ER을 우측 크로스토크 보상 채널 ZR과 조합한다. 조합기(260)는 크로스토크 소거 처리기(270)에 커플링되고, 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 크로스토크 소거 처리기(270)에 제공한다. 조합기(260)에 관한 추가적인 세부사항이 도 18과 관련하여 아래에서 논의된다.
크로스토크 소거 처리기(270)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 수신하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 포함하는 출력 오디오 신호 O를 생성하기 위해 채널 TL, TR에 대해 크로스토크 소거를 수행한다. 크로스토크 소거 처리기(270)에 관한 추가적인 세부사항이 도 15와 관련하여 아래에서 논의된다.
도 2b는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템(202)의 예를 보여준다. 오디오 시스템(202)은 부대역 공간적 처리기(210), 크로스토크 보상 처리기(222), 조합기(262) 및 크로스토크 소거 처리기(270)를 포함한다. 오디오 시스템(202)은, 크로스토크 보상 처리기(222)가 중간 크로스토크 보상 신호 Zm를 생성하기 위해 필터를 적용함으로써 비공간적 컴포넌트 Xm에 대해 향상을 수행한다는 점을 제외하고, 오디오 시스템(200)과 유사하다. 조합기(262)는 중간 크로스토크 보상 신호 Zm를 부대역 공간적 처리기(210)로부터의 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER과 조합한다. 크로스토크 보상 처리기(222)에 관한 추가적인 세부사항이 도 10과 관련하여 아래에서 논의되고, 조합기(262)에 관한 추가적인 세부사항이 도 18과 관련하여 아래에서 논의된다.
도 3은 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템(300)의 예를 보여준다. 오디오 처리 시스템(300)은 크로스토크 보상 처리기(320)를 포함하는 부대역 공간적 처리기(310)를 포함하고, 크로스토크 소거 처리기(270)를 더 포함한다. 부대역 공간적 처리기(310)는 공간적 주파수 대역 분할기(240), 공간적 주파수 대역 처리기(245), 크로스토크 보상 처리기(320) 및 공간적 주파수 대역 조합기(250)를 포함한다. 도 2a 및 도 2b에 도시된 오디오 시스템(200 및 202)과 달리, 크로스토크 보상 처리기(320)는 부대역 공간적 처리기(310)와 통합된다.
특히, 크로스토크 보상 처리기(320)는 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es를 수신하기 위해 공간적 주파수 대역 처리기(245)에 커플링되고, 중간의 향상된 보상 채널 Tm 및 측면의 향상된 보상 채널 Ts를 생성하기 위해 (가령, 오디오 시스템(200 및 202)에 대해 위에서 논의된 바와 같은 입력 신호 X 대신에) 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es를 사용하여 크로스토크 보상을 수행한다. 공간적 주파수 대역 조합기(250)는 중간의 향상된 보상 채널 Tm 및 측면의 향상된 보상 채널 Ts를 수신하고, 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 생성한다. 크로스토크 소거 처리기(270)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR에 대해 크로스토크 소거를 수행함으로써 좌측 출력 채널 OL 및 우측 출력 채널 OR을 포함하는 출력 오디오 신호 O를 생성한다. 크로스토크 보상 처리기(320)에 관한 추가적인 세부사항이 도 11과 관련하여 아래에서 논의된다.
도 4는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 소거를 수행하기 위한 오디오 시스템(400)의 예를 보여준다. 오디오 시스템(200, 202 및 300)과 달리, 오디오 시스템(400)은 크로스토크 소거 후에 크로스토크 보상을 수행한다. 오디오 시스템(400)은 크로스토크 소거 처리기(270)에 커플링된 부대역 공간적 처리기(210)를 포함한다. 크로스토크 소거 처리기(270)는 크로스토크 보상 처리기(420)에 커플링된다. 크로스토크 소거 처리기(270)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측의 향상된 대역 내외 크로스토크 채널(left enhanced in-out-band crosstalk channel) CL 및 우측의 향상된 대역 내외 크로스토크 채널(right enhanced in-out-band crosstalk channel) CR을 생성하기 위해 크로스토크 소거를 수행한다. 크로스토크 보상 처리기(420)는 좌측의 향상된 대역 내외 크로스토크 채널 CL 및 우측의 향상된 대역 내외 크로스토크 채널 CR을 수신하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 생성하기 위해 좌측의 향상된 대역 내외 크로스토크 채널 CL 및 우측의 향상된 대역 내외 크로스토크 채널 CR의 중간 및 측면 컴포넌트를 사용하여 크로스토크 보상을 수행한다. 크로스토크 보상 처리기(420)에 관한 추가적인 세부사항이 도 8 및 도 9와 관련하여 아래에서 논의된다.
도 5a는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템(500)의 예를 보여준다. 오디오 시스템(500)은 좌측 두부 장착형 스피커(580L)를 위한 좌측 출력 채널 OL 및 우측 두부 장착형 스피커(580R)를 위한 우측 출력 채널 OR을 포함하는 출력 오디오 신호 O를 생성하기 위해 입력 오디오 신호 X를 위한 크로스토크 시뮬레이션을 수행한다. 오디오 시스템(500)은 부대역 공간적 처리기(210), 크로스토크 보상 처리기(520), 크로스토크 시뮬레이션 처리기(580) 및 조합기(560)를 포함한다.
크로스토크 보상 처리기(520)는 입력 채널 XL 및 XR을 수신하고, 크로스토크 시뮬레이션 처리기(580)에 의해 생성된 크로스토크 시뮬레이션 신호 W 및 향상된 채널 E의 차후의 조합에서의 아티팩트를 보상하기 위해 처리를 수행한다. 크로스토크 보상 처리기(520)는 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 포함하는 크로스토크 보상 신호 Z를 생성한다. 크로스토크 시뮬레이션 처리기(580)는 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 생성한다. 부대역 공간적 처리기(210)는 좌측의 향상된 채널 EL 및 우측의 향상된 채널 ER을 생성한다. 크로스토크 보상 처리기(520)에 관한 추가적인 세부사항이 도 9 및 도 10과 관련하여 아래에서 논의된다. 크로스토크 시뮬레이션 처리기(580)에 관한 추가적인 세부사항이 도 16a 및 도 16b와 관련하여 아래에서 논의된다.
조합기(560)는 좌측의 향상된 채널 EL, 우측의 향상된 채널 ER, 좌측 크로스토크 시뮬레이션 채널 WL, 우측 크로스토크 시뮬레이션 채널 WR, 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 수신한다. 조합기(560)는 좌측의 향상된 채널 EL, 우측 크로스토크 시뮬레이션 채널 WR 및 좌측 크로스토크 보상 채널 ZL을 조합함으로써 좌측 출력 채널 OL을 생성한다. 조합기(560)는 좌측의 향상된 채널 EL, 우측 크로스토크 시뮬레이션 채널 WR 및 좌측 크로스토크 보상 채널 ZL을 조합함으로써 우측 출력 채널 OR을 생성한다. 조합기(560)에 관한 추가적인 세부사항이 도 19과 관련하여 아래에서 논의된다.
도 5b는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템(502)의 예를 보여준다. 오디오 시스템(502)은, 크로스토크 시뮬레이션 처리기(580) 및 크로스토크 보상 처리기(520)가 직렬로 된다는 점을 제외하고, 오디오 시스템(500)과 비슷하다. 특히, 크로스토크 시뮬레이션 처리기(580)는 입력 채널 XL 및 XR을 수신하고 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 생성하기 위해 크로스토크 시뮬레이션을 수행한다. 크로스토크 보상 처리기(520)는 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 수신하고, 좌측 시뮬레이션 보상 채널 SCL 및 우측 시뮬레이션 보상 채널 SCR을 포함하는 시뮬레이션 보상 신호 SC를 생성하기 위해 크로스토크 보상을 수행한다.
조합기(562)는 좌측 출력 채널 OL을 생성하기 위해 부대역 공간적 처리기(210)로부터의 좌측의 향상된 채널 EL을 우측 시뮬레이션 보상 채널 SCR과 조합하고, 우측 출력 채널 OR을 생성하기 위해 부대역 공간적 처리기(210)로부터의 우측의 향상된 채널 ER을 좌측 시뮬레이션 보상 채널 SCL과 조합한다. 조합기(562)에 관한 추가적인 세부사항이 도 20과 관련하여 아래에서 논의된다.
도 5c는 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템(504)의 예를 보여준다. 오디오 시스템(504)은, 크로스토크 시뮬레이션 전에 입력 신호 X에 크로스토크 보상이 적용된다는 점을 제외하고, 오디오 시스템(502)과 비슷하다. 크로스토크 보상 처리기(520)는 입력 채널 XL 및 XR을 수신하고 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 생성하기 위해 크로스토크 보상을 수행한다. 크로스토크 시뮬레이션 처리기(580)는 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 수신하고, 좌측 시뮬레이션 보상 채널 SCL 및 우측 시뮬레이션 보상 채널 SCR을 포함하는 시뮬레이션 보상 신호 SC를 생성하기 위해 크로스토크 시뮬레이션을 수행한다. 조합기(562)는 좌측 출력 채널 OL을 생성하기 위해 좌측의 향상된 채널 EL을 우측 시뮬레이션 보상 채널 SCR과 조합하고, 우측 출력 채널 OR을 생성하기 위해 우측의 향상된 채널 ER을 좌측 시뮬레이션 보상 채널 SCL과 조합한다.
도 6은 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템(600)의 예를 보여준다. 오디오 시스템(500, 502 및 504)과 달리, 크로스토크 보상 처리기(620)는 부대역 공간적 처리기(610)와 통합된다. 오디오 시스템(600)은 크로스토크 보상 처리기(620)를 포함하는 부대역 공간적 처리기(610)와, 크로스토크 시뮬레이션 처리기(580)와, 조합기(562)를 포함한다. 크로스토크 보상 처리기(620)는 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es를 수신하기 위해 공간적 주파수 대역 처리기(245)에 커플링되고, 중간의 향상된 보상 채널 Tm 및 측면의 향상된 보상 채널 Ts을 생성하기 위해 크로스토크 보상을 수행한다. 공간적 주파수 대역 조합기(562)는 중간의 향상된 보상 채널 Tm 및 측면의 향상된 보상 채널 Ts을 수신하고, 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 생성한다. 조합기(562)는 좌측의 향상된 보상 채널 TL을 우측 크로스토크 시뮬레이션 채널 WR과 조합함으로써 좌측 출력 채널 OL을 생성하고, 우측의 향상된 보상 채널 TR을 좌측 크로스토크 시뮬레이션 채널 WL과 조합함으로써 우측 출력 채널 OR을 생성한다. 크로스토크 보상 처리기(620)에 관한 추가적인 세부사항이 도 11과 관련하여 아래에서 논의된다.
도 7은 하나의 실시예에 따라, 공간적으로 향상된 오디오 신호로써 크로스토크 시뮬레이션을 수행하기 위한 오디오 시스템(700)의 예를 보여준다. 오디오 시스템(500, 502, 504 및 600)과 달리, 오디오 시스템(700)은 크로스토크 시뮬레이션 후에 크로스토크 보상을 수행한다. 오디오 시스템(700)은 부대역 공간적 처리기(210), 크로스토크 시뮬레이션 처리기(580), 조합기(562) 및 크로스토크 보상 처리기(720)를 포함한다. 조합기(562)는 부대역 공간적 처리기(210) 및 크로스토크 시뮬레이션 처리기(580)에 커플링되고, 크로스토크 소거 처리기(720)에 또한 커플링된다. 조합기(562)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 크로스토크 시뮬레이션 처리기(580)로부터 수신한다. 조합기(562)는 좌측의 공간적으로 향상된 채널 EL 및 우측 크로스토크 시뮬레이션 채널 WR을 조합함으로써 좌측의 향상된 보상 채널 TL을 생성하고, 우측의 공간적으로 향상된 채널 ER 및 좌측 크로스토크 시뮬레이션 채널 WL을 조합함으로써 우측의 향상된 보상 채널 TR을 생성한다. 크로스토크 보상 처리기(720)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 수신하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 생성하기 위해 크로스토크 보상을 수행한다. 크로스토크 보상 처리기(720)에 관한 추가적인 세부사항이 도 8 및 도 9와 관련하여 아래에서 논의된다.
도 8은 하나의 실시예에 따라, 크로스토크 보상 처리기(800)의 예를 보여준다. 크로스토크 보상 처리기(800)는 좌측 및 우측 입력 채널을 수신하고, 입력 채널에 대해 크로스토크 보상을 적용함으로써 좌측 및 우측 출력 채널을 생성한다. 크로스토크 보상 처리기(800)는 도 2a에 도시된 크로스토크 보상 처리기(220), 도 4에 도시된 크로스토크 보상 처리기(420), 도 5a, 도 5b 및 도 5c에 도시된 크로스토크 보상 처리기(520), 또는 도 7에 도시된 크로스토크 보상 처리기(720)의 예이다. 크로스토크 보상 처리기(800)는 L/R 대 M/S 변환기(L/R to M/S converter)(812), 중간 컴포넌트 처리기(mid component processor)(820), 측면 컴포넌트 처리기(side component processor)(830) 및 M/S 대 L/R 변환기(M/S to L/R converter)(814)를 포함한다.
크로스토크 보상 처리기(800)가 오디오 시스템(200, 400, 500, 504, 또는 700)의 일부인 경우에, 크로스토크 보상 처리기(800)는 좌측 및 우측 입력 채널(가령, XL 및 XR)을 수신하고, 예컨대 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 생성하기 위해, 크로스토크 보상 처리를 수행한다. 채널 ZL, ZR은 크로스토크 소거 또는 시뮬레이션과 같은 크로스토크 처리에서의 임의의 아티팩트를 보상하는 데에 사용될 수 있다. L/R 대 M/S 변환기(812)는 좌측 입력 오디오 채널 XL 및 우측 입력 오디오 채널 XR을 수신하고, 입력 채널 XL, XR의 비공간적 컴포넌트 Xm 및 공간적 컴포넌트 Xs를 생성한다. 일반적으로, 좌측 및 우측 채널은 좌측 및 우측 채널의 비공간적 컴포넌트를 생성하기 위해 합산되고(summed), 좌측 및 우측 채널의 공간적 컴포넌트를 생성하기 위해 감산될(subtracted) 수 있다.
중간 컴포넌트 처리기(820)는 m개의 중간 필터(840(a), 840(b) 내지 840(m))와 같은 복수의 필터(840)를 포함한다. 여기서, m개의 중간 필터(840) 각각은 비공간적 컴포넌트 Xm의 m개의 주파수 대역 중 하나를 처리한다. 중간 컴포넌트 처리기(820)는 비공간적 컴포넌트 Xm를 처리함으로써 중간 크로스토크 보상 채널 Zm을 생성한다. 몇몇 실시예에서, 중간 필터(840)는 시뮬레이션을 통해 크로스토크 처리가 있는 비공간적 컴포넌트 Xm의 주파수 응답 도표를 사용하여 구성된다. 추가로, 주파수 응답 도표를 분석함으로써, 사전결정된 역치(threshold)(가령, 10 dB)를 넘는 주파수 응답 도표 내의 피크(peak) 또는 저점(trough)이 크로스토크 처리의 아티팩트로서 발생하는 것과 같은 임의의 스펙트럼 결함이 추정될 수 있다. 이들 아티팩트는 지연된, 그리고 (가령, 크로스토크 소거를 위해) 가능하게는 반전된 반측 신호를 크로스토크 처리에서 그것의 대응하는 동측 신호와 합산하는 것으로부터 주로 기인하는바, 사실상 콤 필터와 비슷한 주파수 응답을 최종적인 제시된 결과에 도입한다. 중간 크로스토크 보상 채널 Zm은 추정된 피크 또는 저점을 보상하기 위해 중간 컴포넌트 처리기(820)에 의해 생성될 수 있는데, m개의 주파수 대역 각각은 피크 또는 저점과 대응한다. 구체적으로, 크로스토크 처리에서 적용되는 특정한 지연, 필터링 주파수 및 이득에 기반하여, 주파수 응답에서 피크 및 저점이 위아래로 이동하여, 스펙트럼의 특정한 영역 내의 에너지의 가변적인 증폭 및/또는 감쇠를 야기한다. 중간 필터(840) 각각은 피크 및 저점 중 하나 이상에 대해 조절하도록 구성될 수 있다.
측면 컴포넌트 처리기(830)는 m개의 측면 필터(850(a), 850(b) 내지 850(m))와 같은 복수의 필터(850)를 포함한다. 측면 컴포넌트 처리기(830)는 공간적 컴포넌트 Xs를 처리함으로써 측면 크로스토크 보상 채널 Zs을 생성한다. 몇몇 실시예에서, 크로스토크 처리가 있는 공간적 컴포넌트 Xs의 주파수 응답 도표가 시뮬레이션을 통해 획득될 수 있다. 주파수 응답 도표를 분석함으로써, 사전결정된 임계(가령, 10 dB)를 넘는 주파수 응답 도표 내의 피크 또는 저점이 크로스토크 처리의 아티팩트로서 발생하는 것과 같은 임의의 스펙트럼 결함이 추정될 수 있다. 측면 크로스토크 보상 채널 Zs은 추정된 피크 또는 저점을 보상하기 위해 측면 컴포넌트 처리기(830)에 의해 생성될 수 있다. 구체적으로, 크로스토크 처리에서 적용되는 특정한 지연, 필터링 주파수 및 이득에 기반하여, 주파수 응답에서 피크 및 저점이 위아래로 이동하여, 스펙트럼의 특정한 영역 내의 에너지의 가변적인 증폭 및/또는 감쇠를 야기한다. 측면 필터(850) 각각은 피크 및 저점 중 하나 이상에 대해 조절하도록 구성될 수 있다. 몇몇 실시예에서, 중간 컴포넌트 처리기(820) 및 측면 컴포넌트 처리기(830)는 상이한 수의 필터를 포함할 수 있다.
몇몇 실시예에서, 중간 필터(840) 및 측면 필터(850)는 식 1에 의해 정의된 전달 함수를 갖는 바이쿼드 필터(biquad filter)를 포함할 수 있다:
Figure 112021098730947-pat00001
식 (1)
여기서 z는 복소 변수이고, a0, a1, a2, b0, b1 및 b2는 디지털 필터 계수이다. 그러한 필터를 구현하는 한 가지 방식은 식 2에 의해 정의된 바와 같은 직접형 I 토폴로지(direct form I topology)이다.
Figure 112021098730947-pat00002
식 (2)
여기서 X는 입력 벡터이고, Y는 출력이다. 다른 토폴로지가 그것의 최대 워드 길이(word-length) 및 포화(saturation) 거동에 따라서 사용될 수 있다.
이후에 바이쿼드 필터는 실수값으로 된 입력 및 출력으로써 2차 필터(second-order filter)를 구현하는 데에 사용될 수 있다. 이산 시간(discrete-time) 필터를 설계하기 위해, 연속 시간(continuous-time) 필터가 설계되고, 이후에 이선형 변환(bilinear transform)을 통해 이산 시간으로 변환된다. 나아가, 대역폭 및 중심 주파수에서의 결과적인 이동은 주파수 워핑(frequency warping)을 사용하여 보상될 수 있다.
예를 들어, 피킹 필터(peaking filter)는 식 3에 의해 정의된 S 평면 전달 함수를 가질 수 있다:
Figure 112021098730947-pat00003
식 (3)
여기서 s는 복소 변수이고, A는 피크의 진폭이고, Q는 필터 "품질"이고, 디지털 필터 계수는 다음에 의해 정의된다:
Figure 112021098730947-pat00004
여기서
Figure 112021098730947-pat00005
는 라디안 단위로 필터의 중심 주파수이고
Figure 112021098730947-pat00006
이다.
나아가, 필터 품질 Q는 식 4에 의해 정의될 수 있다:
Figure 112021098730947-pat00007
식 (4)
여기서
Figure 112021098730947-pat00008
는 대역폭이고 fc는 중심 주파수이다.
M/S 대 L/R 변환기(814)는 중간 크로스토크 보상 채널 Zm 및 측면 크로스토크 보상 채널 Zs을 수신하고, 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 생성한다. 일반적으로, 중간 및 측면 채널은 중간 및 측면 컴포넌트의 좌측 채널을 생성하기 위해 합산될 수 있고, 중간 및 측면 채널은 중간 및 측면 컴포넌트의 우측 채널을 생성하기 위해 감산될 수 있다.
크로스토크 보상 처리기(800)가 오디오 시스템(502)의 일부인 경우에, 크로스토크 보상 처리기(800)는 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 크로스토크 시뮬레이션 처리기(580)로부터 수신하고, 좌측 시뮬레이션 보상 채널 SCL 및 우측 시뮬레이션 보상 채널 SCR을 생성하기 위해 (가령, 입력 채널 XL 및 XR에 대해 위에서 논의된 바와 같이) 사전처리를 수행한다.
크로스토크 보상 처리기(800)가 오디오 시스템(700)의 일부인 경우에, 크로스토크 보상 처리기(800)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 조합기(562)로부터 수신하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 생성하기 위해 (가령, 입력 채널 XL 및 XR에 대해 위에서 논의된 바와 같이) 사전처리를 수행한다.
도 9는 하나의 실시예에 따라, 크로스토크 보상 처리기(900)의 예를 보여준다. 크로스토크 보상 처리기(800)와 달리, 크로스토크 보상 처리기(900)는, 비공간적 컴포넌트 Xm 및 공간적 컴포넌트 Xs 양자 모두 대신에, 비공간적 컴포넌트 Xm에 대해 처리를 수행한다. 크로스토크 보상 처리기(900)는 도 2a에 도시된 크로스토크 보상 처리기(220), 도 4에 도시된 크로스토크 보상 처리기(420), 도 5a, 도 5b 및 도 5c에 도시된 크로스토크 보상 처리기(520), 또는 도 7에 도시된 크로스토크 보상 처리기(720)의 다른 예이다. 크로스토크 보상 처리기(900)는 L 및 R 조합기(L&R combiner)(910), 중간 컴포넌트 처리기(820) 및 M 대 L/R 변환기(M to L/R converter)(960)를 포함한다.
예를 들어, 크로스토크 보상 처리기(900)가 오디오 시스템(200, 500 또는 504)의 일부인 경우에, L 및 R 조합기(910)는 좌측 입력 오디오 채널 XL 및 우측 입력 오디오 채널 XR을 수신하고, 채널 XL, XR을 합함으로써 비공간적 컴포넌트 Xm를 생성한다. 중간 컴포넌트 처리기(820)는 비공간적 컴포넌트 Xm을 수신하고, 중간 필터(840(a) 내지 840(m))를 사용하여 비공간적 컴포넌트 Xm를 처리함으로써 중간 크로스토크 보상 채널 Zm을 생성한다. M 대 L/R 변환기(950)는 중간 크로스토크 보상 채널 Zm을 수신하고, 중간 크로스토크 보상 채널 Zm을 사용하여 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR 각각을 생성한다. 예를 들어, 크로스토크 보상 처리기(900)가 오디오 시스템(400, 502, 또는 700)의 일부인 경우에, 크로스토크 보상 처리기(800)에 대해 위에서 논의된 바와 같이 입력 및 출력 신호는 상이할 수 있다.
도 10은 하나의 실시예에 따라, 크로스토크 보상 처리기(222)의 예를 보여준다. 크로스토크 보상 처리기(222)는 도 2b와 관련하여 위에서 논의된 바와 같은 오디오 시스템(202)의 컴포넌트이다. 중간 크로스토크 보상 채널 Zm을 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR로 변환하는 크로스토크 보상 처리기(900)와 달리, 크로스토크 보상 처리기(222)는 중간 크로스토크 보상 채널 Zm을 출력한다. 이와 같이, 크로스토크 보상 처리(900)는 크로스토크 보상 처리기(900)에 대해 위에서 논의된 바와 같은 L 및 R 조합기(910) 및 중간 컴포넌트 처리기(820)를 포함한다.
도 11은 하나의 실시예에 따라, 크로스토크 보상 처리기(1100)의 예를 보여준다. 크로스토크 보상 처리기(1100)는 도 3에 도시된 크로스토크 보상 처리기(320), 또는 도 6에 도시된 크로스토크 보상 처리기(620)의 예이다. 크로스토크 보상 처리기(1100)는 부대역 공간적 처리기 내에 통합된다. 크로스토크 보상 처리기(1100)는 신호의 입력 중간 Em 및 측면 Es 컴포넌트를 수신하고, 중간 Tm 및 측면 Ts 출력 채널을 생성하기 위해 중간 및 측면 컴포넌트에 대해 크로스토크 보상을 수행한다.
크로스토크 보상 처리기(1100)는 중간 컴포넌트 처리기(820) 및 측면 컴포넌트 처리기(830)를 포함한다. 중간 컴포넌트 처리기(820)는 향상된 비공간적 컴포넌트 Em를 공간적 주파수 대역 처리기(245)로부터 수신하고, 중간 필터(840(a) 내지 840(m))를 사용하여 중간의 향상된 보상 채널 Tm을 생성한다. 측면 컴포넌트 처리기(830)는 향상된 공간적 컴포넌트 Es를 공간적 주파수 대역 처리기(245)로부터 수신하고, 측면 필터(850(a) 내지 850(m))를 사용하여 측면의 향상된 보상 채널 Ts을 생성한다.
도 12는 하나의 실시예에 따라, 공간적 주파수 대역 분할기(240)의 예를 보여준다. 공간적 주파수 대역 분할기(240)는 도 2a 내지 도 7에 도시된 부대역 공간적 처리기(210, 310, 또는 610)의 컴포넌트이다. 공간적 주파수 대역 분할기(240)는 좌측 입력 채널 XL 및 우측 입력 채널 XR을 수신하고, 이들 입력을 공간적 컴포넌트 Ys 및 비공간적 컴포넌트 Ym로 변환하는 L/R 대 M/S 변환기(1212)를 포함한다.
도 13은 하나의 실시예에 따라, 공간적 주파수 대역 처리기(245)의 예를 보여준다. 공간적 주파수 대역 처리기(245)는 도 2a 내지 도 7에 도시된 부대역 공간적 처리기(210, 310, 또는 610)의 컴포넌트이다. 공간적 주파수 대역 처리기(245)는 비공간적 컴포넌트 Ym를 수신하고, 향상된 비공간적 부대역 컴포넌트 Em를 생성하기 위해 부대역 필터의 세트를 적용한다. 공간적 주파수 대역 처리기(245)는 또한 공간적 부대역 컴포넌트 Ys를 수신하고, 향상된 비공간적 부대역 컴포넌트 Em를 생성하기 위해 부대역 필터의 세트를 적용한다. 부대역 필터는 피크 필터(peak filter), 노치 필터(notch filter), 저역 통과 필터, 고역 통과 필터, 저역 쉘프 필터(low shelf filter), 고역 쉘프 필터(high shelf filter), 대역통과 필터(bandpass filter), 대역저지 필터(bandstop filter) 및/또는 전역 통과 필터(all pass filter)의 다양한 조합을 포함할 수 있다.
더욱 구체적으로, 공간적 주파수 대역 처리기(245)는 비공간적 컴포넌트 Ym의 n개의 주파수 부대역 각각을 위한 부대역 필터 및 공간적 컴포넌트 Ys의 n개의 부대역 각각을 위한 부대역 필터를 포함한다. 예를 들어, n = 4 개의 부대역에 대해, 공간적 주파수 대역 처리기(245)는 부대역 (1)을 위한 중간 등화(equalization)(EQ) 필터(1362(1)), 부대역 (2)을 위한 중간 EQ 필터(1362(2)), 부대역 (3)을 위한 중간 EQ 필터(1362(3)) 및 부대역 (4)을 위한 중간 EQ 필터(1362(4))를 포함하는, 비공간적 컴포넌트 Ym를 위한 일련의 부대역 필터를 포함한다. 각각의 중간 EQ 필터(1362)는 향상된 비공간적 컴포넌트 Em를 생성하기 위해 비공간적 컴포넌트 Ym의 주파수 부대역 부분에 필터를 적용한다.
공간적 주파수 대역 처리기(245)는 부대역 (1)을 위한 측면 등화(EQ) 필터(1364(1)), 부대역 (2)을 위한 측면 EQ 필터(1364(2)), 부대역 (3)을 위한 측면 EQ 필터(1364(3)) 및 부대역 (4)을 위한 측면 EQ 필터(1364(4))를 포함하는, 공간적 컴포넌트 Ys의 주파수 부대역을 위한 일련의 부대역 필터를 더 포함한다. 각각의 측면 EQ 필터(1364)는 향상된 공간적 컴포넌트 Es를 생성하기 위해 공간적 컴포넌트 Ys의 주파수 부대역 부분에 필터를 적용한다.
비공간적 컴포넌트 Ym 및 공간적 컴포넌트 Ys의 n개의 주파수 부대역 각각은 주파수의 범위와 대응할 수 있다. 예를 들어, 주파수 부대역 (1)은 0 내지 300 Hz에 대응할 수 있고, 주파수 부대역(2)은 300 내지 510 Hz에 대응할 수 있고, 주파수 부대역(3)은 510 내지 2700 Hz에 대응할 수 있고, 주파수 부대역(4)은 2700 Hz 내지 나이퀴스트 주파수(Nyquist frequency)에 대응할 수 있다. 몇몇 실시예에서, n개의 주파수 부대역은 임계(critical) 대역의 혼일된 세트(consolidated set)이다. 임계 대역은 매우 다양한 음악 장르로부터의 오디오 샘플의 집성(corpus)을 사용하여 판정될 수 있다. 24개의 바크 스케일(Bark scale) 임계 대역에 걸친 중간 대 측면 컴포넌트의 장기 평균 에너지 비율(long term average energy ratio)이 샘플로부터 판정된다. 유사한 장기 평균 비율을 가진 인접하는 주파수 대역은 이후에 함께 그룹핑되어(grouped) 임계 대역의 세트를 형성한다. 주파수 부대역의 범위는, 또 주파수 부대역의 수도, 조절가능할 수 있다.
도 14는 하나의 실시예에 따라, 공간적 주파수 대역 조합기(250)의 예를 보여준다. 공간적 주파수 대역 조합기(250)는 도 2a 내지 도 7에 도시된 부대역 공간적 처리기(210, 310, 또는 610)의 컴포넌트이다. 공간적 주파수 대역 조합기(250)는 중간 및 측면 컴포넌트를 수신하고, 컴포넌트 각각에 이득을 적용하고, 중간 및 측면 컴포넌트를 좌측 및 우측 채널로 변환한다. 예를 들어, 공간적 주파수 대역 조합기(250)는 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es를 수신하고, 향상된 비공간적 컴포넌트 Em 및 향상된 공간적 컴포넌트 Es를 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER로 변환하기 전에 전역(global) 중간 및 측면 이득을 수행한다.
더욱 구체적으로, 공간적 주파수 대역 조합기(250)는 전역 중간 이득(global mid gain)(1422), 전역 측면 이득(global side gain)(1424), 그리고 전역 중간 이득(1422) 및 전역 측면 이득(1424)에 커플링된 M/S 대 L/R 변환기(1426)를 포함한다. 전역 중간 이득(1422)은 향상된 비공간적 컴포넌트 Em를 수신하고 이득을 적용하고, 전역 측면 이득(1424)은 향상된 공간적 컴포넌트 Es를 수신하고 이득을 적용한다. M/S 대 L/R 변환기(1426)는 향상된 비공간적 컴포넌트 Em를 전역 중간 이득(1422)으로부터, 그리고 향상된 공간적 컴포넌트 Es를 전역 측면 이득(1424)으로부터 수신하고, 이들 입력을 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER로 변환한다.
공간적 주파수 대역 조합기(250)가 도 3에 도시된 부대역 공간적 처리기(310) 또는 도 6에 도시된 부대역 공간적 처리기(610)의 일부인 경우에, 공간적 주파수 대역 조합기(250)는 비공간적 컴포넌트 Em 대신 중간의 향상된 보상 채널 Tm을 수신하고, 비공간적 컴포넌트 Em 대신 측면의 향상된 보상 채널 Ts을 수신한다. 공간적 주파수 대역 조합기(250)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 생성하기 위해 중간의 향상된 보상 채널 Tm 및 측면의 향상된 보상 채널 Ts를 처리한다.
도 15는 하나의 실시예에 따라, 크로스토크 소거 처리기(270)를 보여준다. 오디오 시스템(200, 202 및 300)에 대해 위에서 논의된 바와 같이 크로스토크 보상 후에 크로스토크 소거가 수행되는 경우에, 크로스토크 소거 처리기(270)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 수신하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 생성하기 위해 채널 TL, TR에 대해 크로스토크 소거를 수행한다. 오디오 시스템(400)에 대해 위에서 논의된 바와 같이 크로스토크 보상 전에 크로스토크 소거가 수행되는 경우에, 크로스토크 소거 처리기(270)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 수신하고, 좌측의 향상된 대역 내외 크로스토크 채널 CL 및 우측의 향상된 대역 내외 크로스토크 채널 CR을 생성하기 위해 채널 EL, ER에 대해 크로스토크 소거를 수행한다.
하나의 실시예에서, 크로스토크 소거 처리기(270)는 대역 내외 분할기(in-out band divider)(1510), 반전기(1520 및 1522), 반측 추정기(1530 및 1540), 조합기(1550 및 1552) 및 대역 내외 조합기(in-out band combiner)(1560)를 포함한다. 이들 컴포넌트는 입력 채널 TL, TR을 대역내(in-band) 컴포넌트 및 대역외(out-of-band) 컴포넌트로 분할하고, 출력 채널 OL, OR을 생성하기 위해 대역내 컴포넌트에 대해 크로스토크 소거를 수행하기 위해 함께 동작한다.
입력 오디오 신호 T를 상이한 주파수 대역 컴포넌트로 분할함으로써, 그리고 선택적인 컴포넌트(가령, 대역내 컴포넌트)에 대해 크로스토크 소거를 수행함으로써, 다른 주파수 대역에서의 열화를 예방하면서 특정한 주파수 대역에 대해 크로스토크 소거가 수행될 수 있다. 만일 입력 오디오 신호 T를 상이한 주파수 대역 컴포넌트로 분할하지 않고서 크로스토크 소거가 수행되는 경우, 그러한 크로스토크 소거 후의 오디오 신호는 낮은 주파수(가령, 350 Hz 미만), 더 높은 주파수(가령, 12000 Hz 초과), 또는 양자 모두에서 비공간적 및 공간적 컴포넌트에서의 상당한 감쇠 또는 증폭을 보일 수 있다. 영향력 있는 공간적 큐(spatial cue)의 대다수가 귀속하는(reside) 대역내(가령, 250 Hz 및 14000 Hz 사이)에 대해 크로스토크 소거를 선택적으로 수행함으로써, 믹스 내의 스펙트럼에 걸쳐서, 특히 비공간적 컴포넌트 내에서, 균형 잡힌 전반적인 에너지가 유지될 수 있다.
대역 내외 분할기(1510)는 입력 채널 TL, TR을 각각 대역내 채널 TL,In, TR,In 및 대역외 채널 TL,Out, TR,Out로 분리한다. 특히, 대역 내외 분할기(1510)는 좌측의 향상된 보상 채널 TL을 좌측 대역내 채널 TL,In 및 좌측 대역외 채널 TL,Out로 분할한다. 유사하게, 대역 내외 분할기(1510)는 우측의 향상된 보상 채널 TR을 우측 대역내 채널 TR,In 및 우측 대역외 채널 TR,Out로 분리한다. 각각의 대역내 채널은, 예를 들어, 250 Hz 내지 14 kHz를 포함하는 주파수 범위에 대응하는 각자의 입력 채널의 부분을 망라할 수 있다. 주파수 대역의 범위는, 예를 들어 스피커 파라미터에 따라, 조절가능할 수 있다.
반전기(1520) 및 반측 추정기(1530)는 좌측 대역내 채널 TL,In로 인한 반측 소리 컴포넌트를 보상하기 위해 좌측 반측 소거 컴포넌트 SL를 생성하도록 함께 동작한다. 유사하게, 반전기(1522) 및 반측 추정기(1540)는 우측 대역내 채널 TR,In로 인한 반측 소리 컴포넌트를 보상하기 위해 우측 반측 소거 컴포넌트 SR를 생성하도록 함께 동작한다.
하나의 접근법에서, 반전기(1520)은 대역내 채널 TL,In을 수신하고, 수신된 대역내 채널 TL,In의 극성(polarity)을 반전된 대역내 채널 TL,In'을 생성하기 위해 반전한다. 반측 추정기(1530)는 반전된 대역내 채널 TL,In'을 수신하고, 필터링을 통해 반측 소리 컴포넌트에 대응하는 반전된 대역내 채널 TL,In'의 부분을 추출한다. 반전된 대역내 채널 TL,In'에 대해 필터링이 수행되기 때문에, 반측 추정기(1530)에 의해 추출된 부분은 반측 소리 컴포넌트에 말미암은 대역내 채널 TL,In의 부분의 반전(inverse)이 된다. 그래서, 반측 추정기(1530)에 의해 추출된 부분은 좌측 반측 소거 컴포넌트 SL가 되는데, 이는 대역내 채널 TL,In로 인한 반측 소리 컴포넌트를 감소시키기 위해 상대측(counterpart) 대역내 채널 TR,In에 합해질 수 있다. 몇몇 실시예에서, 반전기(1520) 및 반측 추정기(1530)는 상이한 순서로 구현된다.
반전기(1522) 및 반측 추정기(1540)는 우측 반측 소거 컴포넌트 SR를 생성하기 위해 대역내 채널 TR,In에 대해서 유사한 동작을 수행한다. 따라서, 간결함을 위해 본 문서에서 이의 상세한 설명이 생략된다.
하나의 예시적인 구현에서, 반측 추정기(1530)는 필터(1532), 증폭기(1534) 및 지연 유닛(1536)을 포함한다. 필터(1532)는 반전된 입력 채널 TL,In'을 수신하고 필터링 기능을 통해 반측 소리 컴포넌트에 대응하는 반전된 대역내 채널 TL,In'의 부분을 추출한다. 예시적인 필터 구현은 중심 주파수가 5000 및 10000 Hz 사이에서 선택되고, Q가 0.5 및 1.0 사이에서 선택된 노치 또는 고역쉘프 필터이다. 데시벨 단위의 이득(GdB)이 식 5로부터 도출될 수 있다:
Figure 112021098730947-pat00009
식 (5)
여기서 D는, 예를 들어, 48 KHz의 샘플링 레이트(sampling rate)에서, 샘플 단위로 지연 유닛(1536 및 1546)에 의한 지연 양(delay amount)이다. 대체 구현은 절점 주파수(corner frequency)가 5000 및 10000 Hz 사이에서 선택되고, Q가 0.5 및 1.0 사이에서 선택된 저역통과 필터이다. 더욱이, 증폭기(1534)는 추출된 부분을 대응하는 이득 계수 GL,In만큼 증폭하고, 지연 유닛(1536)은 좌측 반측 소거 컴포넌트 SL를 생성하기 위해 지연 함수 D에 따라 증폭기(1534)로부터의 증폭된 출력을 지연한다. 반측 추정기(1540)는 필터(1542), 증폭기(1544) 및 지연 유닛(1546)을 포함하는데 이는 우측 반측 소거 컴포넌트 SR를 생성하기 위해 반전된 대역내 채널 TR,In'에 대해 유사한 동작을 수행한다. 하나의 예에서, 반측 추정기(1530, 1540)는 아래의 식에 따라, 좌측 및 우측 반측 소거 컴포넌트 SL, SR를 생성한다:
Figure 112021098730947-pat00010
식 (6)
Figure 112021098730947-pat00011
식 (7)
여기서 F[]는 필터 함수이고, D[]는 지연 함수이다.
크로스토크 소거의 구성은 스피커 파라미터에 의해 정해질 수 있다. 하나의 예에서, 청취자에 대해서 2개의 스피커(280) 간에 형성된 각도에 따라, 필터 중심 주파수, 지연 양, 증폭기 이득 및 필터 이득이 정해질 수 있다. 몇몇 실시예에서, 스피커 각도 간의 값이 다른 값을 보간하는 데에 사용된다.
조합기(1550)는 좌측 대역내 크로스토크 채널 UL을 생성하기 위해 좌측 대역내 채널 TL,In에 우측 반측 소거 컴포넌트 SR를 조합하고, 조합기(1552)는 우측 대역내 크로스토크 채널 UR을 생성하기 위해 우측 대역내 채널 TR,In에 좌측 반측 소거 컴포넌트 SL를 조합한다. 대역 내외 조합기(1560)는 좌측 출력 채널 OL을 생성하기 위해 좌측 대역내 크로스토크 채널 UL을 대역외 채널 TL,Out과 조합하고, 우측 출력 채널 OR을 생성하기 위해 우측 대역내 크로스토크 채널 UR을 대역외 채널 TR,Out과 조합한다.
이에 따라, 좌측 출력 채널 OL은 반측 소리에 말미암은 대역내 채널 TR,In의 부분의 반전에 대응하는 우측 반측 소거 컴포넌트 SR를 포함하고, 우측 출력 채널 OR은 반측 소리에 말미암은 대역내 채널 TL,In의 부분의 반전에 대응하는 좌측 반측 소거 컴포넌트 SL를 포함한다. 이 구성에서, 우측 귀에 도달되는 우측 출력 채널 OR에 따라 라우드스피커(280R)에 의해 출력된 동측 소리 컴포넌트의 파면(wavefront)은 좌측 출력 채널 OL에 따라 라우드스피커(280L)에 의해 출력된 반측 소리 컴포넌트의 파면을 소거할 수 있다. 유사하게, 좌측 귀에 도달되는 좌측 출력 채널 OL에 따라 라우드스피커(280L)에 의해 출력된 동측 소리 컴포넌트의 파면은 우측 출력 채널 OR에 따라 라우드스피커(280R)에 의해 출력된 반측 소리 컴포넌트의 파면을 소거할 수 있다. 그러므로, 공간적 검출가능성을 향상시키기 위해 반측 소리 컴포넌트가 감소될 수 있다.
도 16a는 하나의 실시예에 따라, 크로스토크 시뮬레이션 처리기(1600)를 보여준다. 크로스토크 시뮬레이션 처리기(1600)는 각각 도 5a, 도 5b, 도 5c, 도 6 및 도 7에 도시된 바와 같은 오디오 시스템(500, 502, 504, 600 및 700)의 크로스토크 시뮬레이션 처리기(580)의 예이다. 크로스토크 시뮬레이션 처리기(1600)는 두부 장착형 스피커(580L 및 580R)로의 출력을 위해 반측 소리 컴포넌트를 생성하는바, 이로써 두부 장착형 스피커(580L 및 580R) 상에서 라우드스피커 같은 청취 경험을 제공한다.
크로스토크 시뮬레이션 처리기(1600)는 좌측 입력 채널 XL을 처리하기 위해 좌측 두부 음영(shadow) 저역 통과 필터(1602), 좌측 크로스토크 지연(1604) 및 좌측 두부 음영 이득(1610)을 포함한다. 크로스토크 시뮬레이션 처리기(1600)는 또한 우측 입력 채널 XR을 처리하기 위해 우측 두부 음영 저역 통과 필터(1606), 우측 크로스토크 지연(1608) 및 우측 두부 음영 이득(1612)을 포함한다. 좌측 두부 음영 저역 통과 필터(1602)는 좌측 입력 채널 XL을 수신하고, 청취자의 두부를 거쳐간 후의 신호의 주파수 응답을 모델링하는 변조(modulation)를 적용한다. 좌측 두부 음영 저역 통과 필터(1602)의 출력은 좌측 크로스토크 지연(1604)에 제공되는데, 이는 좌측 두부 음영 저역 통과 필터(1602)의 출력에 시간 지연을 적용한다. 시간 지연은 동측 소리 컴포넌트에 대해 상대적으로 반측 소리 컴포넌트에 의해 횡단된(traversed) 트랜스오럴 거리를 나타낸다. 주파수 응답은 청취자의 두부에 의한 음파 변조의 주파수 종속적 특성을 판정하기 위해 경험적 실험에 기반하여 생성될 수 있다. 예를 들어, 그리고 도 1b를 참조하면, 우측 귀(125R)로 전파되는 반측 소리 컴포넌트(112L)는 우측 귀(125R)에 이르기 위해 (동측 소리 컴포넌트(118R)에 대해 상대적으로) 반측 소리 컴포넌트(112L)가 이동하는 증가된 거리를 모델링하는 시간 지연과, 트랜스오럴 전파로부터의 음파 변조를 나타내는 주파수 응답으로써 동측 소리 컴포넌트(118L)를 필터링함으로써 좌측 귀(125L)에 전파되는 동측 소리 컴포넌트(118L)로부터 도출될 수 있다. 몇몇 실시예에서, 크로스토크 지연(1604)은 두부 음영 저역 통과 필터(1602) 전에 적용된다. 좌측 두부 음영 이득(1610)은 좌측 크로스토크 시뮬레이션 채널 WL을 생성하기 위해 좌측 크로스토크 지연(1604)의 출력에 이득을 적용한다. 좌측 및 우측 채널 각각을 위한 두부 음영 저역 통과 필터, 크로스토크 지연 및 두부 음영 이득의 적용은 상이한 순서로 수행될 수 있다.
우측 입력 채널 XR에 대해 유사하게, 우측 두부 음영 저역 통과 필터(1606)는 우측 입력 채널 XR을 수신하고, 청취자의 두부의 주파수 응답을 모델링하는 변조를 적용한다. 우측 두부 음영 저역 통과 필터(1606)의 출력은 우측 크로스토크 지연(1608)에 제공되는데, 이는 우측 두부 음영 저역 통과 필터(1606)의 출력에 시간 지연을 적용한다. 우측 두부 음영 이득(1612)은 우측 크로스토크 시뮬레이션 채널 WR을 생성하기 위해 우측 크로스토크 지연(1608)의 출력에 이득을 적용한다.
몇몇 실시예에서, 두부 음영 저역 통과 필터(1602 및 1606)는 2023 Hz의 차단 주파수(cutoff frequency)를 갖는다. 크로스토크 지연(1604 및 1608)은 0.792 밀리초(millisecond) 지연을 적용한다. 두부 음영 이득(1610 및 1612)은 -14.4 dB 이득을 적용한다. 도 16b는 하나의 실시예에 따라, 크로스토크 시뮬레이션 처리기(1650)를 보여준다. 크로스토크 시뮬레이션 처리기(1650)는 각각 도 5a, 도 5b, 도 5c, 도 6 및 도 7에 도시된 바와 같은 오디오 시스템(500, 502, 504, 600 및 700)의 크로스토크 시뮬레이션 처리기(580)의 다른 예이다. 크로스토크 시뮬레이션 처리기(1600)의 컴포넌트에 더하여, 크로스토크 시뮬레이션 처리기(1650)는 좌측 두부 음영 고역 통과 필터(1624) 및 우측 두부 음영 고역 통과 필터(1626)를 더 포함한다. 좌측 두부 음영 고역 통과 필터(1624)는 청취자의 두부를 거쳐간 후의 신호의 주파수 응답을 모델링하는 변조를 좌측 입력 채널 XL에 적용하고, 우측 두부 음영 고역 통과 필터는 청취자의 두부를 거쳐간 후의 신호의 주파수 응답을 모델링하는 변조를 우측 입력 채널 XR에 적용한다. 좌측 및 우측 입력 채널 XL 및 XR에 대한 저역 통과 및 고역 통과 필터 양자 모두의 사용은 청취자의 두부를 거친 주파수 응답의 더 정확한 모델을 초래할 수 있다.
크로스토크 시뮬레이션 처리기(1600 및 1650)의 컴포넌트는 상이한 순서로 배열될 수 있다. 예를 들어, 크로스토크 시뮬레이션 처리기(1650)가 좌측 두부 음영 고역 통과 필터(1624)와 커플링된 좌측 두부 음영 저역 통과 필터(1602), 좌측 크로스토크 지연(1604)에 커플링된 좌측 두부 음영 고역 통과 필터(1624) 및 좌측 두부 음영 이득(1610)에 커플링된 좌측 크로스토크 지연(1604)을 포함하나, 컴포넌트(1602, 1624, 1604 및 1610)는 상이한 순서로 좌측 입력 채널 XL을 처리하도록 재배열될 수 있다. 유사하게, 우측 입력 채널 XR을 처리하는 컴포넌트(1606, 1626, 1608 및 1612)는 상이한 순서로 배열될 수 있다.
도 17은 하나의 실시예에 따라, 조합기(260)를 보여준다. 조합기(260)는 도 2a에 도시된 오디오 시스템(200)의 일부일 수 있다. 조합기(260)는 합산 좌측(sum left)(1702), 합산 우측(sum right)(1704) 및 출력 이득(output gain)(1706)을 포함한다. 조합기(260)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 크로스토크 보상 처리기(220)로부터 수신한다. 합산 좌측(1702)은 좌측의 향상된 보상 채널 TL을 생성하기 위해 좌측의 공간적으로 향상된 채널 EL을 좌측 크로스토크 보상 채널 ZL과 조합한다. 합산 우측(1704)은 우측의 향상된 보상 채널 TR을 생성하기 위해 우측의 공간적으로 향상된 채널 ER을 우측 크로스토크 보상 채널 ZR과 조합한다. 출력 이득(1706)은 좌측의 향상된 보상 채널 TL에 이득을 적용하고, 좌측의 향상된 보상 채널 TL을 출력한다. 출력 이득(1706)은 또한 우측의 향상된 보상 채널 TR에 이득을 적용하고, 우측의 향상된 보상 채널 TR을 출력한다.
도 18은 하나의 실시예에 따라, 조합기(262)를 보여준다. 조합기(262)는 도 2b에 도시된 오디오 시스템(202)의 일부일 수 있다. 조합기(262)는 조합기(260)에 대해 위에서 논의된 바와 같이 합산 좌측(1702), 합산 우측(1704) 및 출력 이득(1706)을 포함한다. 조합기(260)와 달리, 조합기(262)는 중간 크로스토크 보상 신호 Zm를 크로스토크 보상 처리기(222)로부터 수신한다. M 대 L/R 변환기(1826)는 중간 크로스토크 보상 채널 Zm을 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR로 분리하는 것이다. 조합기(262)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 M 대 L/R 변환기(1826)로부터 수신한다. 합산 좌측(1702)은 좌측의 향상된 보상 채널 TL을 생성하기 위해 좌측의 공간적으로 향상된 채널 EL을 좌측 크로스토크 보상 채널 ZL과 조합한다. 합산 우측(1704)은 우측의 향상된 보상 채널 TR을 생성하기 위해 우측의 공간적으로 향상된 채널 ER을 우측 크로스토크 보상 채널 ZR과 조합한다. 출력 이득(1706)은 좌측의 향상된 보상 채널 TL에 이득을 적용하고, 좌측의 향상된 보상 채널 TL을 출력한다. 출력 이득(1706)은 또한 우측의 향상된 보상 채널 TR에 이득을 적용하고, 우측의 향상된 보상 채널 TR을 출력한다.
도 19는 하나의 실시예에 따라, 조합기(560)를 보여준다. 조합기(560)는 도 5a에 도시된 오디오 시스템(500)의 일부일 수 있다. 조합기(560)는 합산 좌측(1902), 합산 우측(1904) 및 출력 이득(1906)을 포함한다. 조합기(560)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 보상 채널 ZR을 크로스토크 보상 처리기(520)로부터 수신하고, 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 크로스토크 시뮬레이션 처리기(580)로부터 수신한다. 합산 좌측(1902)은 좌측 출력 채널 OL을 생성하기 위해 좌측의 공간적으로 향상된 채널 EL, 좌측 크로스토크 보상 채널 ZL 및 우측 크로스토크 시뮬레이션 채널 WR을 조합한다. 합산 우측(1904)은 우측 출력 채널 OR을 생성하기 위해 우측의 공간적으로 향상된 채널 ER, 우측 크로스토크 보상 채널 ZR 및 좌측 크로스토크 시뮬레이션 채널 WL을 조합한다. 출력 이득(1906)은 좌측 출력 채널 OL에 이득을 적용하고, 좌측 출력 채널 OL을 출력한다. 출력 이득(1906)은 또한 우측 출력 채널 OR에 이득을 적용하고, 우측 출력 채널 OR을 출력한다.
도 20은 하나의 실시예에 따라, 조합기(562)를 보여준다. 조합기(562)는 각각 도 5b, 도 5c, 도 6 및 도 7에 도시된 오디오 시스템(502, 504, 600 및 700)의 일부일 수 있다. 오디오 시스템(502 및 504)에 대해, 조합기(562)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측 시뮬레이션 보상 채널 SCL 및 우측 시뮬레이션 보상 채널 SCR을 수신하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 생성한다.
합산 좌측(2002)은 좌측 출력 채널 OL을 생성하기 위해 좌측의 공간적으로 향상된 채널 EL 및 좌측 시뮬레이션 보상 채널 SC L을 조합한다. 합산 우측(2004)은 우측 출력 채널 OR을 생성하기 위해 우측의 공간적으로 향상된 채널 ER 및 우측 시뮬레이션 보상 채널 SC R을 조합한다. 출력 이득(2006)은 좌측 출력 채널 OL 및 우측 출력 채널 OR에 이득을 적용하고, 좌측 출력 채널 OL 및 우측 출력 채널 OR을 출력한다.
오디오 시스템(600)에 대해, 조합기(562)는 좌측의 향상된 보상 채널 TL 및 우측의 향상된 보상 채널 TR을 부대역 공간적 처리기(610)로부터 수신하고, 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 크로스토크 시뮬레이션 처리기(580)로부터 수신한다. 합산 좌측(2002)은 좌측의 향상된 보상 채널 TL 및 우측 크로스토크 시뮬레이션 채널 WR을 조합함으로써 좌측 출력 채널 OL을 생성한다. 합산 우측(2004)은 우측의 향상된 보상 채널 TR 및 좌측 크로스토크 시뮬레이션 채널 WL을 조합함으로써 우측 출력 채널 OR을 생성한다.
오디오 시스템(700)에 대해, 조합기(562)는 좌측의 공간적으로 향상된 채널 EL 및 우측의 공간적으로 향상된 채널 ER을 부대역 공간적 처리기(210)로부터 수신하고, 좌측 크로스토크 시뮬레이션 채널 WL 및 우측 크로스토크 시뮬레이션 채널 WR을 크로스토크 시뮬레이션 처리기(580)로부터 수신한다. 합산 좌측(2002)은 좌측의 공간적으로 향상된 채널 EL 및 우측 크로스토크 시뮬레이션 채널 WR을 조합함으로써 좌측의 향상된 보상 채널 TL을 생성한다. 합산 우측(2004)은 우측의 공간적으로 향상된 채널 ER 및 좌측 크로스토크 시뮬레이션 채널 WL을 조합함으로써 우측의 향상된 보상 채널 TR을 생성한다.
예시적인 크로스토크 보상
위에서 논의된 바와 같이, 크로스토크 보상 처리기는 크로스토크 소거에서의 다양한 크로스토크 지연 및 이득의 결과로서 공간적 및 비공간적 신호 컴포넌트에서 발생하는 콤 필터링 아티팩트를 보상할 수 있다. 이들 크로스토크 소거 아티팩트는 독립적으로 비공간적 및 공간적 컴포넌트에 보정 필터를 적용함으로써 다루어질 수 있다. (연관된 M/S 디매트릭싱(de-matrixing)을 가진) 중간/측면 필터링은 알고리즘의 전반적 신호 흐름 내의 다양한 지점에서 삽입될 수 있고, 공간적 및 비공간적 신호 컴포넌트의 주파수 응답 내의 크로스토크 유발된(crosstalk-induced) 콤 필터 피크 및 노치는 병렬로 다루어질 수 있다.
도 21 내지 도 26은, 오직 크로스토크 소거 처리가 입력 신호에 적용된 채로, 상이한 스피커 각도 및 스피커 크기 구성을 위해 크로스토크 보상 처리기의 필터를 적용할 때 공간적 및 비공간적 신호 컴포넌트에 대한 효과를 보여준다. 크로스토크 보상 처리기는 신호 컴포넌트의 주파수 응답을 선택적으로 평탄화할 수 있는바, 최소한도로 컬러링되고(minimally colored) 최소한도로 이득 조절된(minimally gain-adjusted) 크로스토크 소거 후(post-crosstalk-cancelled) 출력을 제공한다.
이들 예에서, 독립적으로 공간적 및 비공간적 컴포넌트에 보상 필터가 적용되어, 비공간적 (L+R, 또는 중간) 컴포넌트 내의 모든 콤 필터 피크 및/또는 저점을, 그리고 공간적 (L-R, 또는 측면) 컴포넌트 내의 최저 콤 필터 피크 및/또는 저점 외의 전부를 타겟팅한다(targeting). 보상의 방법은 절차적으로 도출되거나, 귀와 손에 의해 튜닝되거나, 조합일 수 있다.
도 21은 하나의 실시예에 따라, 크로스토크 소거된(crosstalk cancelled) 신호의 도표(2100)를 보여준다. 라인(2102)은 백색 잡음 입력 신호이다. 라인(2104)은 크로스토크 소거가 있는 입력 신호의 비공간적 컴포넌트이다. 라인(2106)은 크로스토크 소거가 있는 입력 신호의 공간적 컴포넌트이다. 10도의 스피커 각도 및 소형 스피커 설정에 대해, 크로스토크 소거는 48 KHz 샘플링 레이트에서의 1개 샘플의 크로스토크 지연, -3 dB의 크로스토크 이득, 그리고 350 Hz의 저주파수 바이패스(bypass) 및 12000 Hz의 고주파수 바이패스에 의해 정의된 대역내 주파수 범위를 포함할 수 있다.
도 22는 하나의 실시예에 따라, 도 21의 비공간적 컴포넌트에 적용된 크로스토크 보상을 위한 도표(2200)를 보여준다. 라인(2204)은 도 21에서 라인(2104)에 의해 나타내어진 바와 같은, 크로스토크 소거가 있는 입력 신호의 비공간적 컴포넌트에 적용된 크로스토크 보상을 나타낸다. 특히, 1000 Hz 중심 주파수, 12.5 dB 이득 및 0.4 Q를 갖는 피크노치 필터(peaknotch filter)와, 15000 Hz 중심 주파수, -1 dB 이득 및 1.0 Q를 갖는 다른 피크노치 필터를 포함하여 2개의 중간 필터가 크로스토크 소거된 비공간적 컴포넌트에 적용된다. 도 22에 도시되지 않으나, 크로스토크 소거가 있는 입력 신호의 공간적 컴포넌트를 나타내는 라인(2106)은 또한 크로스토크 보상으로써 수정될 수 있다.
도 23은 하나의 실시예에 따라, 크로스토크 소거된 신호의 도표(2300)를 보여준다. 라인(2302)은 백색 잡음 입력 신호이다. 라인(2304)은 크로스토크 소거가 있는 입력 신호의 비공간적 컴포넌트이다. 라인(2306)은 크로스토크 소거가 있는 입력 신호의 공간적 컴포넌트이다. 30도의 스피커 각도 및 소형 스피커 설정에 대해, 크로스토크 소거는 48 KHz 샘플링 레이트에서의 3개 샘플의 크로스토크 지연, -6.875 dB의 크로스토크 이득, 그리고 350 Hz의 저주파수 바이패스 및 12000 Hz의 고주파수 바이패스에 의해 정의된 대역내 주파수 범위를 포함할 수 있다.
도 24는 하나의 실시예에 따라, 도 23의 비공간적 컴포넌트 및 공간적 컴포넌트에 적용된 크로스토크 보상을 위한 도표(2400)를 보여준다. 라인(2404)은 도 23에서 라인(2304)에 의해 나타내어진 바와 같은, 크로스토크 소거가 있는 입력 신호의 비공간적 컴포넌트에 적용된 크로스토크 보상을 나타낸다. 650 Hz 중심 주파수, 8.0 dB 이득 및 0.65 Q를 갖는 제1 피크노치 필터와, 5000 Hz 중심 주파수, -3.5 dB 이득 및 0.5 Q를 갖는 제2 피크노치 필터와, 16000 Hz 중심 주파수, 2.5 dB 이득 및 2.0 Q를 갖는 제3 피크노치 필터를 포함하여 3개의 중간 필터가 크로스토크 소거된 비공간적 컴포넌트에 적용된다. 라인(2406)은 도 23에서 라인(2306)에 의해 나타내어진 바와 같은, 크로스토크 소거가 있는 입력 신호의 공간적 컴포넌트에 적용된 크로스토크 보상을 나타낸다. 6830 Hz 중심 주파수, 4.0 dB 이득 및 1.0 Q를 갖는 제1 피크노치 필터와, 15500 Hz 중심 주파수, -2.5 dB 이득 및 2.0 Q를 갖는 제2 피크노치 필터를 포함하여 2개의 측면 필터가 크로스토크 소거된 공간적 컴포넌트에 적용된다. 일반적으로, 크로스토크 보상 처리기에 의해 적용되는 중간 및 측면 필터의 수는, 또 그것의 파라미터도, 달라질 수 있다.
도 25는 하나의 실시예에 따라, 크로스토크 소거된 신호의 도표(2500)를 보여준다. 라인(2502)은 백색 잡음 입력 신호이다. 라인(2504)은 크로스토크 소거가 있는 입력 신호의 비공간적 컴포넌트이다. 라인(2506)은 크로스토크 소거가 있는 입력 신호의 공간적 컴포넌트이다. 50도의 스피커 각도 및 소형 스피커 설정에 대해, 크로스토크 소거는 48 KHz 샘플링 레이트에서의 5개 샘플의 크로스토크 지연, -8.625 dB의 크로스토크 이득, 그리고 350 Hz의 저주파수 바이패스 및 12000 Hz의 고주파수 바이패스에 의해 정의된 대역내를 포함할 수 있다.
도 26는 하나의 실시예에 따라, 도 25의 비공간적 컴포넌트 및 공간적 컴포넌트에 적용된 크로스토크 보상을 위한 도표(2600)를 보여준다. 라인(2604)은 도 25에서 라인(2504)에 의해 나타내어진 바와 같은, 크로스토크 소거가 있는 입력 신호의 비공간적 컴포넌트에 적용된 크로스토크 보상을 나타낸다. 500 Hz 중심 주파수, 6.0 dB 이득 및 0.65 Q를 갖는 제1 피크노치 필터와, 3200 Hz 중심 주파수, -4.5 dB 이득 및 0.6 Q를 갖는 제2 피크노치 필터와, 9500 Hz 중심 주파수, 3.5 dB 이득 및 1.5 Q를 갖는 제3 피크노치 필터와, 14000 Hz 중심 주파수, -2.0 dB 이득 및 2.0 Q를 갖는 제4 피크노치 필터를 포함하여 4개의 중간 필터가 크로스토크 소거된 비공간적 컴포넌트에 적용된다. 라인(2606)은 도 25에서 라인(2506)에 의해 나타내어진 바와 같은, 크로스토크 소거가 있는 입력 신호의 공간적 컴포넌트에 적용된 크로스토크 보상을 나타낸다. 4000 Hz 중심 주파수, 8.0 dB 이득 및 2.0 Q를 갖는 제1 피크노치 필터와, 8800 Hz 중심 주파수, -2.0 dB 이득 및 1.0 Q를 갖는 제2 피크노치 필터와, 15000 Hz 중심 주파수, 1.5 dB 이득 및 2.5 Q를 갖는 제3 피크노치 필터를 포함하여 3개의 측면 필터가 크로스토크 소거된 공간적 컴포넌트에 적용된다.
도 27a는 하나의 실시예에 따라, 크로스토크 보상 처리기를 위한 필터 설정의 표(2700)를 크로스토크 소거 지연의 함수로서 보여준다. 특히, 표(2700)는 크로스토크 소거 처리기가 48 KHz에서 350 내지 12000 Hz의 대역내 주파수 범위를 적용하는 경우에 크로스토크 보상 처리기의 중간 필터(840)를 위한 중심 주파수(Fc), 이득 및 Q 값을 제공한다.
도 27b는 하나의 실시예에 따라, 크로스토크 보상 처리기를 위한 필터 설정의 표(2750)를 크로스토크 소거 지연의 함수로서 보여준다. 특히, 표(2750)는 크로스토크 소거 처리기가 48 KHz에서 200 내지 14000 Hz의 대역내 주파수 범위를 적용하는 경우에 크로스토크 보상 처리기의 중간 필터(840)를 위한 중심 주파수(Fc), 이득 및 Q 값을 제공한다.
도 27a 및 도 27b에 도시된 바와 같이, 상이한 크로스토크 지연 시간이, 예를 들어, 스피커 위치 또는 각도에 의해 야기될 수 있고, 상이한 콤 필터링 아티팩트를 초래할 수 있다. 나아가, 크로스토크 소거에서 사용되는 상이한 대역내 주파수는 또한 상이한 콤 필터링 아티팩트를 초래할 수 있다. 이와 같이, 크로스토크 소거 처리기의 중간 및 측면 필터는 콤 필터링 아티팩트를 보상하기 위해 중심 주파수, 이득 및 Q를 위해 상이한 설정을 적용할 수 있다.
예시적인 처리
본 문서에서 논의된 오디오 시스템은 부대역 공간적 처리(subband spatial processing)(SBS), 크로스토크 보상 처리(crosstalk compensation processing)(CCP) 및 크로스토크 처리(crosstalk processing)(CP)를 포함하여 입력 오디오 신호에 대해 다양한 타입의 처리를 수행한다. 크로스토크 처리는 크로스토크 시뮬레이션 또는 크로스토크 소거를 포함할 수 있다. SBS, CCP 및 CP를 위한 처리의 순서는 달라질 수 있다. 몇몇 실시예에서, SBS, CCP 또는 CP 처리의 다양한 단계는 통합될 수 있다. 크로스토크 처리가 크로스토크 소거인 경우에 대해 도 28a, 도 28b, 도 28c, 도 28d 및 도 28e에, 그리고 크로스토크 처리가 크로스토크 시뮬레이션인 경우에 대해 도 29a, 도 29b, 도 29c, 도 29d, 도 29e, 도 29f, 도 29g 및 도 29h에 처리 실시예의 몇몇 예가 도시된다.
도 28a를 참조하면, 결과를 생성하기 위해 입력 오디오 신호 X에 대해 크로스토크 보상 처리와 병렬로 부대역 공간적 처리가 수행되고, 이후 출력 오디오 신호 O를 생성하기 위해 결과에 크로스토크 소거 처리가 적용된다.
도 28b를 참조하면, 입력 오디오 신호 X로부터 결과를 생성하기 위해 부대역 공간적 처리는 크로스토크 보상 처리와 통합된다. 크로스토크 보상 처리기(320)가 부대역 공간적 처리기(310)와 통합된 예가 도 3에 도시된다. 이후 출력 오디오 신호 O를 생성하기 위해 결과에 크로스토크 소거 처리가 적용된다.
도 28c를 참조하면, 결과를 생성하기 위해 입력 오디오 신호 X에 대해 부대역 공간적 처리가 수행되고, 부대역 공간적 처리의 결과에 대해 크로스토크 소거 처리가 수행되고, 출력 오디오 신호 O를 생성하기 위해 크로스토크 소거 처리의 결과에 대해 크로스토크 보상 처리가 수행된다.
도 28d를 참조하면, 결과를 생성하기 위해 입력 오디오 신호 X에 대해 크로스토크 보상 처리가 수행되고, 크로스토크 보상 처리의 결과에 대해 부대역 공간적 처리가 수행되고, 출력 오디오 신호 O를 생성하기 위해 크로스토크 보상 처리의 결과에 대해 크로스토크 소거 처리가 수행된다.
도 28e를 참조하면, 결과를 생성하기 위해 입력 오디오 신호 X에 대해 부대역 공간적 처리가 수행되고, 부대역 공간적 처리의 결과에 대해 크로스토크 보상 처리가 수행되고, 출력 오디오 신호 O를 생성하기 위해 크로스토크 보상 처리의 결과에 대해 크로스토크 소거 처리가 수행된다.
도 29a를 참조하면, 입력 오디오 신호 X에 대해 부대역 공간적 처리, 크로스토크 보상 처리 및 크로스토크 시뮬레이션 처리가 각각 수행되고, 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다.
도 29b를 참조하면, 입력 오디오 신호 X에 대해 크로스토크 시뮬레이션 처리 및 크로스토크 보상 처리가 수행되는 것과 병렬로 입력 오디오 신호 X에 대해 부대역 공간적 처리가 수행된다. 병렬 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다. 여기에서, 크로스토크 시뮬레이션 처리는 크로스토크 보상 처리 전에 적용된다.
도 29c를 참조하면, 입력 오디오 신호 X에 대해 크로스토크 보상 처리 및 크로스토크 시뮬레이션 처리가 수행되는 것과 병렬로 입력 오디오 신호 X에 대해 부대역 공간적 처리가 수행된다. 병렬 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다. 여기에서, 크로스토크 보상 처리는 크로스토크 시뮬레이션 처리 전에 적용된다.
도 29d를 참조하면, 입력 오디오 신호 X로부터 결과를 생성하기 위해 부대역 공간적 처리가 크로스토크 보상 처리와 통합된다. 병렬로, 입력 오디오 신호 X에 크로스토크 시뮬레이션 처리가 적용된다. 병렬 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다.
도 29e를 참조하면, 입력 오디오 신호 X에 부대역 공간적 처리 및 크로스토크 시뮬레이션 처리가 각각 적용된다. 출력 오디오 신호 O를 생성하기 위해 병렬 결과에 크로스토크 보상 처리가 적용된다.
도 29f를 참조하면, 입력 신호 X에 크로스토크 보상 처리 및 부대역 공간적 처리가 적용되는 것과 병렬로 입력 오디오 신호 X에 크로스토크 시뮬레이션 처리가 적용된다. 병렬 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다. 여기에서, 크로스토크 보상 처리는 부대역 공간적 처리 전에 수행된다.
도 29f를 참조하면, 입력 신호 X에 부대역 공간적 처리 및 크로스토크 보상 처리가 적용되는 것과 병렬로 입력 오디오 신호 X에 크로스토크 시뮬레이션 처리가 적용된다. 병렬 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다. 여기에서, 부대역 공간적 처리는 크로스토크 보상 처리 전에 수행된다.
도 29h를 참조하면, 입력 오디오 신호에 크로스토크 보상 처리가 적용된다. 부대역 공간적 처리 및 크로스토크 시뮬레이션이 크로스토크 보상 처리의 결과에 병렬로 적용된다. 부대역 공간적 처리 및 크로스토크 시뮬레이션 처리의 결과는 출력 오디오 신호 O를 생성하기 위해 조합된다.
예시적인 컴퓨터
도 30은 하나의 실시예에 따른, 컴퓨터(3000)의 개략적인 블록도이다. 컴퓨터(3000)는 오디오 시스템을 구현하는 회로부의 예이다. 칩셋(3004)에 커플링된 적어도 하나의 프로세서(3002)가 보여진다. 칩셋(3004)은 메모리 제어기 허브(memory controller hub)(3020) 및 입력/출력(Input/Output: I/O) 제어기 허브(3022)를 포함한다. 메모리(3006) 및 그래픽 어댑터(graphics adapter)(3012)는 메모리 제어기 허브(3020)에 커플링되고, 디스플레이 디바이스(3018)는 그래픽 어댑터(3012)에 커플링된다. 저장 디바이스(3008), 키보드(3010), 포인팅 디바이스(pointing device)(3014) 및 네트워크 어댑터(network adapter)(3016)는 I/O 제어기 허브(3022)에 커플링된다. 컴퓨터(3000)는 다양한 타입의 입력 또는 출력 디바이스를 포함할 수 있다. 컴퓨터(3000)의 다른 실시예는 상이한 아키텍처를 갖는다. 예를 들어, 메모리(3006)는 몇몇 실시예에서 프로세서(3002)에 직접적으로 커플링된다.
저장 디바이스(3008)는 하드 드라이브, 콤팩트 디스크 판독 전용 메모리(Compact Disk Read-Only Memory: CD-ROM), DVD, 또는 솔리드 스테이트(solid-state) 메모리 디바이스와 같은 하나 이상의 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체를 포함한다. 메모리(3006)는 프로세서(3002)에 의해 사용되는 명령어 및 데이터를 유지한다. 포인팅 디바이스(3014)는 데이터를 컴퓨터 시스템(3000) 내에 입력하기 위해 키보드(3010)와 조합되어 사용된다. 그래픽 어댑터(3012)는 디스플레이 디바이스(3018) 상에 이미지 및 다른 정보를 디스플레이한다. 몇몇 실시예에서, 디스플레이 디바이스(3018)는 사용자 입력 및 선택을 수신하기 위한 터치 스크린 능력을 포함한다. 네트워크 어댑터(3016)는 컴퓨터 시스템(3000)을 네트워크에 커플링한다. 컴퓨터(3000)의 몇몇 실시예는 도 30에 도시된 것과는 상이한 및/또는 다른 컴포넌트를 갖는다.
컴퓨터(3000)는 본 문서에 기술된 기능을 제공하기 위한 컴퓨터 프로그램 모듈을 실행하도록 적응된다. 예를 들어, 몇몇 실시예는 본 문서에서 논의된 바와 같은 처리를 수행하도록 구성된 하나 이상의 모듈을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 본 문서에서 사용되는 바와 같이, 용어 "모듈"은 지정된 기능을 제공하는 데에 사용되는 컴퓨터 프로그램 명령어 및/또는 다른 로직을 지칭한다. 그러므로, 모듈은 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 하나의 실시예에서, 실행가능 컴퓨터 프로그램 명령어로 형성된 프로그램 모듈이 저장 디바이스(3008) 상에 저장되고, 메모리(3006) 내에 로딩되고(loaded), 프로세서(3002)에 의해 실행된다.
이 개시를 읽을 때, 당업자는 본 문서에서의 개시된 원리의 또 추가적인 대안적 실시예를 인식할 것이다. 그러므로, 특정한 실시예 및 적용이 예시되고 기술되었으나, 개시된 실시예는 본 문서에 개시된 정확한 구성 및 컴포넌트에 제한되지 않음이 이해되어야 한다. 당업자에게 명백할 다양한 수정, 변경 및 변형이 본 문서에 기술된 범위로부터 벗어나지 않고서 본 문서에 개시된 방법 및 장치의 배열, 동작 및 세부사항에서 행해질 수 있다.
본 문서에 기술된 단계, 동작, 또는 프로세스 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈로써, 단독으로 또는 다른 디바이스와의 조합으로, 수행되거나 구현될 수 있다. 하나의 실시예에서, 기술된 단계, 동작, 또는 프로세스 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체(가령, 비일시적 컴퓨터 판독가능 매체)를 포함하는 컴퓨터 프로그램 제품으로써 소프트웨어 모듈이 구현된다.

Claims (30)

  1. 좌측 채널 및 우측 채널을 갖는 오디오 신호를 향상시키기 위한 방법으로서,
    회로에 의해,
    상기 오디오 신호에 크로스토크(crosstalk) 처리를 적용하는 단계와,
    상기 좌측 채널과 상기 우측 채널의 합을 사용하여 중간 컴포넌트를 생성하는 단계 - 상기 중간 컴포넌트는 상기 오디오 신호의 비공간적 컴포넌트임 - 와,
    상기 오디오 신호에 상기 크로스토크 처리를 적용하는 단계에 후속하여, 상기 크로스토크 처리로 인한 상기 크로스토크 처리된 오디오 신호 내의 스펙트럼 결함(spectral defect)을 보상하는 필터를 상기 중간 컴포넌트에 적용함으로써 중간 보상 채널(mid compensation channel)을 생성하는 단계와,
    상기 중간 보상 채널을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하는 단계를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 크로스토크 처리는 크로스토크 소거(cancellation)를 포함하는,
    방법.
  3. 제2항에 있어서,
    상기 크로스토크 소거를 포함하는 상기 크로스토크 처리를 적용하는 것은,
    상기 좌측 채널의 일부에 제1 필터 및 제1 시간 지연을 적용하는 것과,
    상기 우측 채널의 일부에 제2 필터 및 제2 시간 지연을 적용하는 것을 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 크로스토크 처리는 크로스토크 시뮬레이션(simulation)을 포함하는,
    방법.
  5. 제4항에 있어서,
    상기 크로스토크 시뮬레이션을 포함하는 상기 크로스토크 처리를 적용하는 것은,
    상기 좌측 채널에 제1 필터 및 제1 시간 지연을 적용하는 것과,
    상기 우측 채널에 제2 필터 및 제2 시간 지연을 적용하는 것을 포함하는,
    방법.
  6. 제1항에 있어서,
    상기 회로에 의해, 상기 좌측 및 우측 채널의 중간 부대역 컴포넌트 및 측면 부대역 컴포넌트를 이득 조정함으로써 상기 오디오 신호에 부대역 공간적 처리를 적용하는 단계를 더 포함하고,
    상기 중간 부대역 컴포넌트는 상기 중간 컴포넌트의 주파수 대역인,
    방법.
  7. 제6항에 있어서,
    상기 중간 보상 채널은 상기 오디오 신호에 대한 상기 부대역 공간적 처리의 적용 이후에 생성되는,
    방법.
  8. 제6항에 있어서,
    상기 중간 보상 채널은 상기 오디오 신호에 대한 상기 부대역 공간적 처리의 적용 이전에 생성되는,
    방법.
  9. 삭제
  10. 삭제
  11. 좌측 채널 및 우측 채널을 갖는 오디오 신호를 향상시키기 위한 시스템으로서,
    회로를 포함하되,
    상기 회로는,
    상기 오디오 신호에 크로스토크 처리를 적용하고,
    상기 좌측 채널과 상기 우측 채널의 합을 사용하여 중간 컴포넌트를 생성 - 상기 중간 컴포넌트는 상기 오디오 신호의 비공간적 컴포넌트임 - 하며,
    상기 오디오 신호에 상기 크로스토크 처리를 적용하는 것에 후속하여, 상기 크로스토크 처리로 인한 상기 크로스토크 처리된 오디오 신호 내의 스펙트럼 결함을 보상하는 필터를 상기 중간 컴포넌트에 적용함으로써 중간 보상 채널을 생성하고,
    상기 중간 보상 채널을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하도록 구성되는,
    시스템.
  12. 제11항에 있어서,
    상기 크로스토크 처리는 크로스토크 소거를 포함하는,
    시스템.
  13. 제12항에 있어서,
    상기 크로스토크 소거를 포함하는 상기 크로스토크 처리를 적용하도록 구성된 상기 회로는, 상기 회로가,
    상기 좌측 채널의 일부에 제1 필터 및 제1 시간 지연을 적용하고,
    상기 우측 채널의 일부에 제2 필터 및 제2 시간 지연을 적용하도록 구성되는 것을 포함하는,
    시스템.
  14. 제11항에 있어서,
    상기 크로스토크 처리는 크로스토크 시뮬레이션을 포함하는,
    시스템.
  15. 제14항에 있어서,
    상기 크로스토크 시뮬레이션을 포함하는 상기 크로스토크 처리를 적용하도록 구성된 상기 회로는, 상기 회로가,
    상기 좌측 채널에 제1 필터 및 제1 시간 지연을 적용하는 것과,
    상기 우측 채널에 제2 필터 및 제2 시간 지연을 적용하는 것을 포함하는,
    시스템.
  16. 제11항에 있어서,
    상기 회로는 상기 좌측 및 우측 채널의 중간 부대역 컴포넌트 및 측면 부대역 컴포넌트를 이득 조정함으로써 상기 오디오 신호에 부대역 공간적 처리를 적용하도록 더 구성되고,
    상기 중간 부대역 컴포넌트는 상기 중간 컴포넌트의 주파수 대역인,
    시스템.
  17. 제16항에 있어서,
    상기 회로는 상기 오디오 신호에 대한 상기 부대역 공간적 처리의 적용 이후에 상기 중간 보상 채널을 생성하도록 구성되는,
    시스템.
  18. 제16항에 있어서,
    상기 회로는 상기 오디오 신호에 대한 상기 부대역 공간적 처리의 적용 이전에 상기 중간 보상 채널을 생성하도록 구성되는,
    시스템.
  19. 삭제
  20. 삭제
  21. 저장된 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    좌측 채널 및 우측 채널을 포함하는 오디오 신호에 크로스토크 처리를 적용하게 하고,
    상기 좌측 채널과 상기 우측 채널의 합을 사용하여 중간 컴포넌트를 생성 - 상기 중간 컴포넌트는 상기 오디오 신호의 비공간적 컴포넌트임 - 하게 하며,
    상기 오디오 신호에 상기 크로스토크 처리를 적용하는 것에 후속하여, 상기 크로스토크 처리로 인한 상기 크로스토크 처리된 오디오 신호 내의 스펙트럼 결함을 보상하는 필터를 상기 중간 컴포넌트에 적용함으로써 중간 보상 채널을 생성하게 하고,
    상기 중간 보상 채널을 사용하여 좌측 출력 채널 및 우측 출력 채널을 생성하게 하는,
    컴퓨터 판독가능 매체.
  22. 제21항에 있어서,
    상기 크로스토크 처리는 크로스토크 소거를 포함하는,
    컴퓨터 판독가능 매체.
  23. 제22항에 있어서,
    상기 프로세서로 하여금 상기 크로스토크 소거를 포함하는 상기 크로스토크 처리를 적용하게 하는 상기 프로그램 코드는, 상기 프로그램 코드가 상기 프로세서로 하여금,
    상기 좌측 채널의 일부를 필터링하고 시간 지연시킴으로써 좌측 크로스토크 소거 컴포넌트를 생성하게 하고,
    상기 우측 채널의 일부를 필터링하고 시간 지연시킴으로써 우측 크로스토크 소거 컴포넌트를 생성하게 하는 것을 포함하는,
    컴퓨터 판독가능 매체.
  24. 제21항에 있어서,
    상기 크로스토크 처리는 크로스토크 시뮬레이션을 포함하는,
    컴퓨터 판독가능 매체.
  25. 제24항에 있어서,
    상기 프로세서로 하여금 상기 크로스토크 시뮬레이션을 포함하는 상기 크로스토크 처리를 적용하게 하는 상기 프로그램 코드는, 상기 프로그램 코드가 상기 프로세서로 하여금,
    상기 좌측 채널에 제1 필터 및 제1 시간 지연을 적용하게 하고,
    상기 우측 채널에 제2 필터 및 제2 시간 지연을 적용하게 하는 것을 포함하는,
    컴퓨터 판독가능 매체.
  26. 제21항에 있어서,
    상기 프로그램 코드는 또한 상기 프로세서로 하여금 상기 좌측 및 우측 채널의 중간 부대역 컴포넌트 및 측면 부대역 컴포넌트를 이득 조정함으로써 상기 오디오 신호에 부대역 공간적 처리를 적용하게 하고,
    상기 중간 부대역 컴포넌트는 상기 중간 컴포넌트의 주파수 대역인,
    컴퓨터 판독가능 매체.
  27. 제26항에 있어서,
    상기 프로그램 코드는 상기 프로세서로 하여금 상기 오디오 신호에 대한 상기 부대역 공간적 처리의 적용 이후에 상기 중간 보상 채널을 생성하게 하는,
    컴퓨터 판독가능 매체.
  28. 제26항에 있어서,
    상기 프로그램 코드는 상기 프로세서로 하여금 상기 오디오 신호에 대한 상기 부대역 공간적 처리의 적용 이전에 상기 중간 보상 채널을 생성하게 하는,
    컴퓨터 판독가능 매체.
  29. 삭제
  30. 삭제
KR1020217027321A 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상 KR102548014B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237021018A KR20230101927A (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/013,804 US10575116B2 (en) 2018-06-20 2018-06-20 Spectral defect compensation for crosstalk processing of spatial audio signals
US16/013,804 2018-06-20
KR1020217001847A KR102296801B1 (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
PCT/US2018/041125 WO2019245588A1 (en) 2018-06-20 2018-07-06 Spectral defect compensation for crosstalk processing of spatial audio signals

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217001847A Division KR102296801B1 (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237021018A Division KR20230101927A (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Publications (2)

Publication Number Publication Date
KR20210107922A KR20210107922A (ko) 2021-09-01
KR102548014B1 true KR102548014B1 (ko) 2023-06-27

Family

ID=68982366

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217001847A KR102296801B1 (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
KR1020217027321A KR102548014B1 (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
KR1020237021018A KR20230101927A (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217001847A KR102296801B1 (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237021018A KR20230101927A (ko) 2018-06-20 2018-07-06 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상

Country Status (7)

Country Link
US (2) US10575116B2 (ko)
EP (1) EP3811636A4 (ko)
JP (2) JP7113920B2 (ko)
KR (3) KR102296801B1 (ko)
CN (2) CN112313970B (ko)
TW (2) TWI690220B (ko)
WO (1) WO2019245588A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772930B (zh) * 2020-10-21 2022-08-01 美商音美得股份有限公司 適合即時應用之分析濾波器組及其運算程序、基於分析濾波器組之信號處理系統及程序
US11373662B2 (en) 2020-11-03 2022-06-28 Bose Corporation Audio system height channel up-mixing
US11837244B2 (en) 2021-03-29 2023-12-05 Invictumtech Inc. Analysis filter bank and computing procedure thereof, analysis filter bank based signal processing system and procedure suitable for real-time applications
KR20230103734A (ko) * 2021-12-31 2023-07-07 엘지디스플레이 주식회사 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US20170208411A1 (en) * 2016-01-18 2017-07-20 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
US20170230777A1 (en) * 2016-01-19 2017-08-10 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995631A (en) * 1996-07-23 1999-11-30 Kabushiki Kaisha Kawai Gakki Seisakusho Sound image localization apparatus, stereophonic sound image enhancement apparatus, and sound image control system
JP3368836B2 (ja) 1998-07-31 2003-01-20 オンキヨー株式会社 音響信号処理回路および方法
JP4264686B2 (ja) 2000-09-14 2009-05-20 ソニー株式会社 車載用音響再生装置
JPWO2005062672A1 (ja) * 2003-12-24 2007-07-19 三菱電機株式会社 音響信号再生方法
EP1848243B1 (en) * 2006-04-18 2009-02-18 Harman/Becker Automotive Systems GmbH Multi-channel echo compensation system and method
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
CN101212834A (zh) * 2006-12-30 2008-07-02 上海乐金广电电子有限公司 音频***的串扰消除装置
US8705748B2 (en) 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US20090086982A1 (en) * 2007-09-28 2009-04-02 Qualcomm Incorporated Crosstalk cancellation for closely spaced speakers
US8295498B2 (en) * 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
WO2010094812A2 (en) 2010-06-07 2010-08-26 Phonak Ag Bone conduction hearing aid system
JP2013110682A (ja) * 2011-11-24 2013-06-06 Sony Corp 音響信号処理装置、音響信号処理方法、プログラム、および、記録媒体
KR20170136004A (ko) * 2013-12-13 2017-12-08 앰비디오 인코포레이티드 사운드 스테이지 강화를 위한 장치 및 방법
CN108293165A (zh) 2015-10-27 2018-07-17 无比的优声音科技公司 增强音场的装置和方法
US9888318B2 (en) * 2015-11-25 2018-02-06 Mediatek, Inc. Method, system and circuits for headset crosstalk reduction
CA3011628C (en) * 2016-01-18 2019-04-09 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US20170208411A1 (en) * 2016-01-18 2017-07-20 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
US20170230777A1 (en) * 2016-01-19 2017-08-10 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers

Also Published As

Publication number Publication date
JP2021522755A (ja) 2021-08-30
US10575116B2 (en) 2020-02-25
EP3811636A4 (en) 2022-03-09
KR102296801B1 (ko) 2021-09-01
EP3811636A1 (en) 2021-04-28
US11051121B2 (en) 2021-06-29
CN112313970A (zh) 2021-02-02
WO2019245588A1 (en) 2019-12-26
JP7113920B2 (ja) 2022-08-05
TW202027517A (zh) 2020-07-16
KR20210012042A (ko) 2021-02-02
US20200120439A1 (en) 2020-04-16
JP7370415B2 (ja) 2023-10-27
KR20210107922A (ko) 2021-09-01
CN114222226A (zh) 2022-03-22
CN112313970B (zh) 2021-12-14
US20190394600A1 (en) 2019-12-26
TWI690220B (zh) 2020-04-01
JP2022101630A (ja) 2022-07-06
KR20230101927A (ko) 2023-07-06
TW202002678A (zh) 2020-01-01
TWI787586B (zh) 2022-12-21

Similar Documents

Publication Publication Date Title
JP6832968B2 (ja) クロストーク処理の方法
JP6891350B2 (ja) クロストークプロセッシングｂ−チェーン
KR102548014B1 (ko) 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
KR102660704B1 (ko) 스펙트럼적 직교 오디오 성분 처리
TWI692256B (zh) 次頻帶空間音訊增強
US11284213B2 (en) Multi-channel crosstalk processing
CN109791773B (zh) 音频输出产生***、音频通道输出方法和计算机可读介质
JP7191214B2 (ja) ステレオ信号の空間クロストーク処理

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right