KR20220018540A

KR20220018540A - 개인용 청각 디바이스의 적응적 사운드 이퀄라이제이션 시스템 및 방법

Info

Publication number: KR20220018540A
Application number: KR1020227000019A
Authority: KR
Inventors: 마이클 엠 굿윈; 마틴 왈시
Original assignee: 디티에스, 인코포레이티드
Priority date: 2019-06-07
Filing date: 2020-06-07
Publication date: 2022-02-15
Also published as: CN114128307A; WO2020247892A1; EP3981167A1; US20220166396A1; JP2022535299A

Abstract

개인용 청각 디바이스의 적응적 사운드 이퀄라이제이션 시스템 및 방법의 실시형태가 개시된다. 일부 실시형태에서 개인용 청각 디바이스 내의 마이크로폰은 청취자의 환경으로부터 사운드를 수신한다. 그런 다음 사운드는 하나 이상의 원하는 타겟, 예컨대 라우드니스 레벨 또는 스펙트럼 균형을 결정하기 위해 분석된다. 그후 결정된 타겟은 개선된 사운드를 생성하여 청취자에게 렌더링하기 위해 마이크로폰에 의해 수신된 사운드의 적응적 처리를 제어하는 데 사용된다.

Description

개인용 청각 디바이스의 적응적 사운드 이퀄라이제이션 시스템 및 방법

[관련 출원 및 우선권 주장]

본원은 2019년 1월 7일에 출원한 발명의 명칭이 "ACTIVE AND PASSIVE NOISE CANCELATION WITH ACTIVE EQUALIZATION"인 미국 가출원 제62/858,469호에 관련되고 이것을 우선권 주장하며, 이 우선권 출원은 여기에의 인용에 의해 그 전체가 본 명세서에 포함된다.

음악 콘서트와 같은 일부 청취 경험은 지각적으로 차선책일 수 있다. 예를 들어, 대규모 장소에서 열리는 대중 음악 콘서트는 청취자의 취향에 불만족스럽고 잠재적으로 청취자의 청력에 해로울 수 있는 극도의 높은 레벨로 렌더링될 수 있다. 더욱이, 음악은 예를 들어 과도한 베이스와 같은 원치 않는 스펙트럼 불균형으로 렌더링될 수도 있다. 이러한 문제는 다른 시나리오에서도 발생하며 청취 경험을 방해하는 일반적인 요소이다. 예를 들어, 청취자는 비행기와 같이 시끄러운 환경이나 대중 교통을 이용할 때 대화를 보다 명확하게 듣기를 원할 수 있다. 다른 예에서, 도심의 자전거 타는 사람은 안전을 위해 청취 디바이스를 음향적으로 투명하게 하면서도 지나가는 차량이나 도로 공사로 인한 과도한 소음 공해의 유해한 영향을 여전히 제한하기를 원할 수 있다. 레벨 및 이퀄라이제이션에 대한 취향(preference)은 사람마다 다를 수 있으며 청취 환경에 따라 달라질 수 있다. 따라서 청취자의 개인 취향에 기초하여 청취자가 경험하는 사운드 장면의 라우드니스(loudness)와 스펙트럼 이퀄라이제이션(spectral equalization) 둘 다를 제어하고 커스터마이징할 수 있는 것이 바람직하다.

음악 콘서트와 같은 시끄러운 청취 환경에서의 라우드니스 감소 및 청력 보호에 대한 일반적인 접근방식은 폼 이어플러그(foam ear plug)를 사용하는 것이다. 폼 이어플러그를 사용하는 목적은 외이도를 물리적으로 막음으로써 고막에 도달하는 소리를 감쇠시키는 것이다. 이렇게 하면 고막에 도달하는 사운드는 줄어들지만 이러한 이어플러그는 저주파 콘텐츠보다 고주파 콘텐츠를 불균형적으로 더 많이 줄인다. 이것은 청취자의 사운드 스펙트럼 균형에 부정적인 영향을 줄 수 있다. 스펙트럼 균형 문제는 소비자인 청취자가 사용할 수 있는 현재 솔루션으로 해결되지 않는다.

본 개요는 아래의 상세한 설명에서 더 설명되는 다양한 개념을 단순화된 형식으로 소개하기 위해 제공된다. 본 개요는 청구 주제의 주요 기능 또는 필수 기능을 식별하기 위한 것이 아니며 청구 주제의 범위를 제한하는 데 사용되지 않는다.

라이브 음악 콘서트 및 기타 시나리오에서의 청취 경험은 지각적으로 차선택일 수 있다. 예를 들어, 이러한 경험은 청취자의 편안함이나 청각 건강에 너무 큰 레벨로 그리고 청취자의 취향과 일치하지 않는 스펙트럼 균형으로 렌더링될 수 있다. 본 발명의 실시형태는 청취 경험을 개선하기 위해 라우드니스 및 스펙트럼 균형 문제를 모두 다룬다.

여기에 개시하는 시스템 및 방법의 실시형태는 개인용 가청 디바이스에서 실시간으로 인커밍 오디오 신호를 처리하기 위해 수동적 사운드 억제 및 적응적 사운드 이퀄라이제이션을 통합하는 새로운 기술을 사용한다. 여기에 설명하는 시스템 및 방법의 실시형태는 타겟 성능 기준에 적응적으로 매칭시키기 위해 '실세계' 청각 이벤트(예컨대, 음악 연주)의 스펙트럼 균형, 다이내믹스 및 라우드니스 특성을 능동적으로 모니터링하고 적응시키는 새로운 기술을 포함한다. 이것은 다른 제품이나 애플리케이션에서는 시도한 적이 없고 라이브 음향 성능과 같은 시나리오에서 효과적인 청력 보호와 음질 개선의 조합과 관련하여 일반적으로 경험하는 문제를 해결한다.

본 발명의 실시형태는 이어플러그를 사용할 때와 같이 레벨 감쇠를 위해 이어버드 폼팩터(earbud form factor)를 사용한다. 일부 실시형태에서 본 발명은 음향적으로 밀폐된 오버이어 헤드셋(over-the-ear headset)을 사용한다. 일부 실시형태에서, 청취자는 한 쌍의 이어버드를 각 귀에 하나씩 사용한다. 다른 실시형태에서, 이어버드는 인커밍 사운드를 수신하기 위한 외부 마이크로폰, 인커밍 사운드를 처리하기 위한 내부 신호 처리 유닛, 및 처리된 사운드를 청취자에게 렌더링하기 위한 트랜듀서를 각각 포함한다. 일부 실시형태에서, 이어버드 각각은 청취자에게 렌더링된 사운드를 모니터링하기 위한 내부 마이크로폰을 더 포함한다. 본 발명의 다른 실시형태는 음향적으로 밀폐된 이어컵(ear cup)을 가진 헤드폰 폼팩터를 사용한다. 일부 실시형태에서, 헤드폰은 각 귀에 인커밍 사운드를 수신하기 위한 외부 마이크로폰을 포함한다. 일부 실시형태에서, 청취자에게 렌더링된 사운드를 모니터링하기 위해 각 귀에 내부 마이크로폰이 또한 포함된다.

청취자의 취향은 청취 환경에 따라 변할 수 있다. 예를 들어, 순전히 시끄러운 환경에서는 청취자의 취향이 그 환경의 어떤 사운드도 듣지 않는 것일 수 있다. 다른 경우, 청취자의 취향은 예를 들어 해당 환경에 대한 약간의 인식을 유지하기 위해 환경의 사운드를 단지 감쇠된 수준으로 듣는 것일 수 있다. 다른 경우, 청취자의 취향은 해당 환경의 사운드를 스펙트럼 균형이 개선된 상태로 듣는 것일 수 있다. 다른 경우, 청취자의 취향은 해당 환경 사운드의 양태를 선택적으로 듣는 것일 수 있다. 어떤 경우에는 환경 사운드가 시간에 따라 변할 수 있으므로 청취자의 취향을 지속적으로 충족시키려면 환경에 약간의 적응이 필요할 수도 있다. 이처럼, 청취 경험을 개선하기 위해 인커밍 사운드의 레벨 및 스펙트럼 균형을 적응적으로 제어하는 것이 중요하다. 일부 실시형태에서, 인커밍 사운드의 적응적 처리는 타겟 레벨을 달성하도록 구성된다. 일부 실시형태에서, 인커밍 사운드의 적응적 처리는 타겟 스펙트럼 균형을 달성하도록 구성된다.

본 발명의 일부 실시형태는 사용자 취향에 부분적으로 기초하여 사운드를 렌더링하도록 타겟 라우드니스를 설정한다. 본 발명의 일부 실시형태는 의무적인 청력 보호 가이드라인에 부분적으로 기초하여 사운드를 렌더링하도록 타겟 라우드니스를 설정한다. 일부 실시형태는 사용자 설정에 부분적을 기초하여 인커밍 사운드를 렌더링하도록 타겟 스펙트럼 균형을 설정한다. 일부 실시형태는 분석 결과에 따라 스펙트럼 균형을 결정하기 위해 인커밍 사운드를 분석함으로써 타겟 스펙트럼 균형을 설정한다. 예를 들어, 분석은, 사용자의 재즈 음악에 대한 이퀄라이제이션 취향이 타겟 균형의 선택을 통지하게 하도록 인커밍 사운드가 재즈 음악인 것을 결정할 수 있다.

개인용 청각 디바이스의 적응적 사운드 이퀄라이제이션 시스템 및 방법의 실시형태가 개시된다. 일부 실시형태에서, 인커밍 오디오 신호를 처리하기 위한 방법은 인커밍 오디오 신호에 능동적 이퀄라이제이션을 적용하여 이퀄라이징된 오디오 신호를 획득한다. 이 이퀄라이징된 오디오 신호가 타겟 이퀄라이제이션으로 튜닝되어 출력 오디오 신호를 획득한다. 출력 오디오 신호는 재생을 위해 청취자에게 렌더링된다. 출력 오디오 신호는 적어도, 타겟 이퀄라이제이션이 튜닝되는 특정 청취자에 대한 인커밍 오디오 신호의 지각적으로 개선된 버전이다.

일부 실시형태에서, 방법은 아티스트의 레코딩에 대한 지식에 기초하여 타겟 이퀄라이제이션을 결정하는 단계를 포함한다. 통상 이것은 인커밍 오디오 신호에 레코딩이 포함되어 있는 음악 관련 아티스트이다. 일부 실시형태에서, 하나 이상의 머신 러닝 기술이 아티스트의 레코딩을 포함한 데이터베이스를 분석하는 데 사용된다. 이에 시스템 및 방법의 실시형태에서는 아티스트의 레코딩에 대한 지식에 기초하여 타겟 이퀄라이제이션을 결정할 수 이다. 일부 실시형태에서, 이퀄라이징된 오디오 신호를 타겟 이퀄라이제이션으로 튜닝하기 위해 능동형 필터(active filter)가 사용된다.

본 발명의 실시형태는 또한 인커밍 오디오 신호의 오디오 특성을 능동적으로 모니터링하는 단계와, 타겟 성능 기준을 포함하는 타겟 데이터를 제공하는 단계를 포함하는, 인커밍 오디오 신호를 처리하기 위한 방법도 포함한다. 일부 경우에 이 타겟 데이터는 청취자의 청력도(audiogram) 또는 측정된 청력 손실 곡선을 포함한다. 이에 청취자가 듣기에 문제가 있을 수 있는 특정 주파수가 증폭될 수 있도록 인커밍 오디오가 튜닝 또는 적응될 수 있다. 일부 실시형태에서 방법은 적응된 오디오 특성을 획득하기 위해 대화 주파수 대역을 강조하는 단계를 포함한다. 이에 청취자는 청취자가 듣기 어려울 수 있는 텔레비전 쇼 또는 영화의 대화를 들을 수 있다.

본 방법의 실시형태는 또한 인커밍 오디오 신호의 오디오 특성을 타겟 성능 기준에 적응시켜 인커밍 오디오 신호의 적응된 오디오 특성을 획득하는 단계도 포함한다. 일부 실시형태에서, 오디오 특성을 적응시키는 것은 타겟 성능 기준에 기초하여 적응형 필터를 업데이트함으로써 달성된다. 적응된 오디오 특성은 출력 신호에 렌더링된다. 이것은 인커밍 오디오 신호와 비교해 출력 신호에서 청취자에게 더 나은 청취 경험을 제공한다. 일부 실시형태에서, 오디오 신호의 적응된 오디오 특성은 개인용 청각 디바이스 상에서 렌더링된다.

일부 실시형태에서 개인용 청각 디바이스 내의 마이크로폰은 청취자의 환경으로부터 사운드를 수신한다. 그런 다음 사운드는 하나 이상의 원하는 타겟, 예컨대 라우드니스 레벨 또는 스펙트럼 균형을 결정하기 위해 분석된다. 그후 결정된 타겟은 지각적으로 개선된 사운드를 생성하여 청취자에게 렌더링하기 위해 마이크로폰에 의해 수신된 사운드의 적응적 처리(adaptive processing)를 제어하는 데 사용된다.

방법의 실시형태는 또한 인커밍 오디오 신호에 있는 노래를 식별하여 식별된 노래를 획득하는 단계 및 식별된 노래에 기초하여 타겟 데이터를 결정하는 단계를 포함한다. 다른 실시형태는 인커밍 오디오 신호에 있는 노래의 장르를 식별하여 식별된 장르를 획득하는 단계 및 식별된 장르에 기초하여 타겟 데이터를 결정하는 단계를 포함한다. 또 다른 실시형태는 인커밍 오디오 신호에서 원치 않는 사운드의 오디오 특성을 식별하는 단계 및 원치 않는 사운드의 오디오 특성에 기초하여 타겟 데이터를 결정하는 단계를 포함한다.

실시형태는 또한 인커밍 오디오 신호를 처리하기 위한 히어러블 디바이스(hearable device)를 포함한다. 히어러블 디바이스는 프로세서 및 명령어를 저장한 메모리를 포함한다. 이들 명령어는 프로세서에 의해 실행될 때 인커밍 오디오 신호의 오디오 특성을 능동적으로 모니터링하도록 히어러블 디바이스를 구성한다. 히어러블 디바이스는 또한 타겟 성능 기준을 포함하는 타겟 데이터를 제공하고 목표 성능 기준에 인커밍 오디오 신호의 오디오 특성을 적응시켜 인커밍 오디오 신호의 적응된 오디오 특성을 획득하도록 구성된다. 이들 적응된 오디오 특성은 청취자에게 개선된 청각 경험으로서 출력 신호에 렌더링된다.

본 개시내용을 정리하는 목적으로, 본 발명의 특정 측면, 이점 및 신규 특징을 여기에서 설명하였다. 이러한 모든 이점이 본 명세서에 개시된 발명의 임의의 특정 실시형태에 따라 반드시 달성될 수 있는 것은 아님을 이해할 것이다. 따라서, 본 명세서에 개시된 발명은 본 명세서에서 교시되거나 제안될 수 있는 바와 같은 다른 이점을 반드시 달성하지 않으면서 본 명세서에서 교시된 바와 같은 하나의 이점 또는 이점의 그룹을 달성하거나 최적화하는 방식으로 구현되거나 수행될 수 있다.

대안의 실시형태들이 가능하고, 여기에 설명한 단계 및 요소는 특정 실시형태에 따라 변경, 추가 또는 제거될 수 있음을 알아야 한다. 이들 대안의 실시형태는 본 발명의 범위를 벗어나지 않으면서 이용할 수 있는 대안의 단계 및 대안의 요소, 및 이루어질 수 있는 구조적 변화를 포함한다.

도면 전체를 통해, 참조되는 요소들 사이에서 대응관계를 지시하기 위해 참조 번호들이 재사용된다. 도면은 여기에서 설명하는 발명의 실시형태들을 예시하기 위해 제공되는 것이지 발명의 범위를 제한하는 것이 아니다.
도 1은 본 발명의 실시형태에 따른 이어버드 폼팩터의 개인용 청각 디바이스의 제1 예시적인 실시형태를 도시한다.
도 2는 본 발명의 실시형태에 따른 이어버드 폼팩터의 개인용 청각 디바이스의 제2 예시적인 실시형태를 도시한다.
도 3은 본 발명의 실시형태에 따른 도 1에 도시한 오디오 프로세서의 시스템 블록도이다.
도 4는 본 발명의 실시형태에 따른 도 3에 도시한 중앙 프로세서의 블록도이다.
도 5는 본 발명의 실시형태에 따른 도 4에 도시한 타겟 결정 모듈의 블록도이다.
도 6은 본 발명의 실시형태에 따른 도 4에 도시한 적응적 처리 모듈의 블록도이다.
도 7은 본 발명의 실시형태에 따른 도 4에 도시한 적응적 처리 모듈의 블록도이다.
도 8은 본 발명의 제1 실시형태 세트의 방법을 예시하는 일반적 흐름도이다.
도 9는 본 발명의 제2 실시형태 세트의 방법을 예시하는 일반적 흐름도이다.

배경 및 개요에서 전술한 바와 같이, 실세계 청취 경험은 극도의 라우드니스, 불량한 스펙트럼 균형, 또는 기타 요인으로 인해 지각적으로 저하될 수 있다. 이 경우 유용한 솔루션은 라우드니스 감소 및 바람직한 스펙트럼 균형의 보존이라는 두 가지 목표를 해결할 것이다. (Nielsen에 따르면) 2014년에 3,200만명이 최소한 한 번 라이브 뮤직 페스티벌에 참석하였기 때문에 개선된 라이브 음악 청취 경험의 혜택을 받을 수 있는 잠재적인 사용자가 많다는 것은 분명하다.

저하된 청취 경험의 일례는 대규모 공연장의 음악 콘서트이다. 일반적인 록 콘서트의 청중은 평균 120dB SPL의 소음 레벨에 노출될 수 있으며, 이는 귀울림과 같은 단기적인 청력 문제와 영구적인 청력 상실과 같은 장기적인 청력 문제를 유발할 수 있다. 청취 경험에 대한 추가 저하로서, 공연장의 대형 서브우퍼와 저주파 음향 모드는 심각한 스펙트럼 불균형과 연주의 명료성 손실을 유발할 수 있다. 이러한 저하는 좌석 위치에 따라 달라질 수 있다. 저하된 청취 경험의 또 다른 예는 극장내 사운드 레벨이 위험할 정도로 클 수 있는 블록버스터 영화이다. 콘서트나 영화와 같은 시나리오에서 청취자는 라우드니스를 원하는 레벨로 제한하는 것을 선호할 수 있다. 청취자는 원하는 스펙트럼 균형으로 사운드를 렌더링하는 것을 선호할 수도 있다. 경우에 따라 청취자는 청취자의 청력도를 보상하는 스펙트럼 균형 타겟 또는 대화를 강조하는 스펙트럼 균형을 선택할 수도 있다. 경우에 따라 청취자는 청취 환경의 스펙트럼 저하 효과를 일으키지 않고 오리지널 프로그램 자료의 스펙트럼 균형으로 사운드를 렌더링하는 것을 선호할 수도 있다. 따라서, 본 발명의 실시형태는 이러한 취향을 다루기 위해 개인용 청각 디바이스에서 적응적 사운드 이퀄라이제이션 및 레벨 조정을 제공한다.

청취자는 전술한 것과는 또 다른 청취 시나리오에 있어서 개인용 청각 디바이스에서의 외부 사운드의 적응적 재생을 선호할 수도 있다. 예를 들어, 비행기나 대중 교통과 같은 시끄러운 환경에서 대화를 수행할 때 청취자는 음성을 향상시키면서 배경 소음을 줄이는 것을 선호할 수도 있다. 다른 예로서, 음악을 듣기 위해 이어폰이나 헤드폰과 같은 개인용 청각 디바이스를 사용하는 청취자는 예컨대 차량 교통 또는 전관 방송(public address announcement)의 사운드와 같은 외부 환경으로부터 잠재적으로 중요한 소리를 듣지 못할 수 있다. 이러한 외부 사운드는 청취자에게 불쾌감을 주거나 청취자의 청력에 해로울 수 있는 지나치게 높은 사운드 레벨에서의 청취자의 노출을 제한하면서 청취자에게 렌더링될 수 있다. 따라서, 본 발명의 실시형태는 청취자에게 관심 있는 외부 사운드의 개선된 렌더링을 가능하게 하기 위해 개인용 청각 디바이스에서 적응적 사운드 이퀄라이제이션 및 레벨 조정을 제공한다.

본 발명의 실시형태는 또한 이어버드 폼팩터의 개인용 청각 디바이스를 포함한다. 이어버드 폼팩터는 외이도를 물리적으로 막음으로써 사용자 환경으로부터의 인커밍 사운드의 일부 감쇠(또는 수동적 억제)를 제공한다. 본 발명의 실시형태는 또한 마찬가지로 사용자 환경으로부터의 사운드의 수동적 감쇠를 제공할 수 있는 헤드폰 폼팩터의 개인용 청각 디바이스를 포함한다.

콘서트에서는 수동적 라우드니스 감쇠를 위해 이어플러그를 사용하는 것이 일반적이다. 일부 능동적 개인용 청각 디바이스는 청취자 환경으로부터의 사운드에 고정된 게인 또는 고정된 이퀄라이제이션을 적용하도록 구성된다. 본 발명의 실시형태는 청취자에게 렌더링되는 사운드를, 청취자에 의해 또는 안전한 청취 레벨에 대한 가이드라인에 따라 지정될 수 있는 특정 라우드니스 레벨로 적응시킴으로써, 이전의 접근방식을 개선한다. 본 발명의 실시형태는 청취자에 의해 지정되거나 렌더링될 사운드와 관련된 데이터에 따라 지정될 수 있는 지정된 스펙트럼 균형을 달성하기 위해 청취자에게 렌더링된 사운드를 적용함으로써 이전의 접근방식보다 개선된다.

본 발명의 일부 실시형태에 따르면, 도 1은 청취자의 외이도에 삽입될 이어플러그 또는 이어버드 폼팩터의 개인용 청각 디바이스(100)인 본 발명의 제1 예시적인 실시형태를 도시한다. 묘사된 디바이스는 인커밍 사운드를 수신하기 위한 외부 마이크로폰, 수신된 사운드를 처리하기 위한 오디오 프로세서, 그리고 사운드를 청취자에게 렌더링하기 위한 내부 트랜듀서를 포함한다. "외부 마이크로폰"은 외부 청취 환경에 개방된 마이크로폰인 것을 알아야 한다. 반면, "내부 마이크로폰"은 청취자의 귀에 개방된 마이크로폰이다. 마찬가지로, "내부 라우드스피커"는 청취자의 귀에 개방된 라우드스피커이다. 일반적으로 외부 마이크로폰과 내부 마이크로폰 사이에는 일종의 물리적 음향 장벽이 있다. 도면에는 단일 엘리먼트를 보여주지만, 통상의 실시형태에서는 이러한 디바이스가 청취자의 각각의 귀에 사용된다.

도 1을 참조하면, 개인용 청각 디바이스(100)는 외부 사운드가 외이도에 도달하는 것을 물리적으로 차단하기 위해 청취자의 외이도를 폐쇄하도록 설계된 형상으로 되어 있다. 포팅된 마이크로폰(102)은 외부 환경에 개방되어 인커밍 음향 신호를 수신한다. 즉, 사운드는 청취자의 환경으로부터 청취자에게 음향적으로 전파된다. 포팅된 마이크로폰(102)은 수신된 음향 신호를 전기적 형태로 변환한다. 변환된 전기 신호는 오디오 프로세서(104)에 제공되고, 그런 다음 오디오 프로세서(104)는 외이도에 포팅되는 라우드스피커(106)에 처리된 신호를 제공한다. 라우드스피커(106)는 처리된 신호를 사용자의 외이도를 통해 사용자의 고막으로 전달할 음향 신호로 변환한다.

본 발명의 일부 실시형태에 따르면, 도 2는 청취자의 외이도에 삽입될 이어플러그 또는 이어버드 폼팩터의 개인용 청각 디바이스(200)인 본 발명의 제2 예시적인 실시형태를 도시한다. 도면에는 단일 엘리먼트를 보여주지만, 통상의 실시형태에서는 이러한 디바이스가 청취자의 각각의 귀에 사용된다. 개인용 청각 디바이스(200)는 인커밍 사운드를 수신하기 위한 외부 마이크로폰, 수신된 사운드를 처리하기 위한 오디오 프로세서, 사운드를 청취자에게 렌더링하기 위한 내부 트랜듀서, 및 청취자에게 렌더링되는 사운드를 모니터링하기 위한 내부 마이크로폰을 포함한다. 내부 마이크로폰에서 수신된 신호는 프로세서에도 제공된다.

도 2를 참조하면, 개인용 청각 디바이스(200)는 외부 사운드가 외이도에 도달하는 것을 물리적으로 차단하기 위해 외이도를 폐쇄하도록 설계된 형상으로 되어 있다. 포팅된 마이크로폰(202)은 외부 환경에 개방되어 인커밍 음향 신호를 수신한다. 마이크로폰은 수신된 음향 신호를 전기적 형태로 변환한다. 변환된 전기 신호는 오디오 프로세서(204)에 제공되고, 그런 다음 오디오 프로세서(104)는 외이도에 포팅되는 라우드스피커(206)에 처리된 신호를 제공한다. 라우드스피커(206)는 처리된 신호를 사용자의 외이도를 통해 사용자의 고막으로 전달할 음향 신호로 변환한다.

포팅된 마이크로폰(208)은 내부 음향 신호를 전기적 형태로 변환하기 위해 외이도에 개방되어 있다. 전기적 형태의 신호는 외이도 내의 음향 신호를 모니터링하기 위해 오디오 프로세서(204)에 제공되는데, 이것은 라우드스피커(206)에 의해 렌더링되는 음향 신호와 물리적으로 내부에 전파되는 임의의 외부 사운드의 조합이다. 예를 들어, 외부 사운드는 개인용 청각 디바이스(200)의 외이도 폐쇄에 의해 완전히 차단되지 않을 수 있고 따라서 외이도에 부분적으로 전파될 수 있다.

도 3은 본 발명의 일부 실시형태에 따른 도 1에 도시한 오디오 프로세서(104)의 블록도이다. 오디오 프로세서(104)는 마이크로폰(도시 생략)으로부터의 출력 신호를 라인(302)을 통해 입력으로서 수신한다. 아날로그/디지털 컨버터(304)는 신호(302)를 아날로그 신호에서 프로세서(306)에 대한 입력으로서 제공되는 디지털 신호로 컨버팅한다.

프로세서(306)는 처리된 디지털 신호를 출력하는데 이 신호는 디지털/아날로그 컨버터(308)에 의해 디지털 신호에서 아날로그 신호로 컨버팅된다. 디지털/아날로그 컨버터의 출력은 라우드스피커(도시 생략)에 의한 후속 변환을 위해 라인(310)을 통해 제공된다. 당업자라면 도 2에 도시한 오디오 프로세서(204)(또는 본 발명의 또 다른 실시형태의 오디오 프로세서들)가 오디오 프로세서(104)에 대해 설명하는 것과 유사한 구성요소를 포함할 것임을 이해할 것이다. 예를 들어, 오디오 프로세서(204)를 사용하는 실시형태는 제2 마이크로폰 입력, 제2 아날로그/디지털 컨버터, 및 중앙 프로세서에 대한 제2 디지털 입력을 포함할 것이다.

도 3에 도시하는 블록도에서, 중앙 프로세서(306)는 메모리 유닛(312)에 접속된다. 일부 실시형태에서 중앙 프로세서(306)는 메모리 유닛(312)에 정보를 저장하고 메모리 유닛(312)으로부터 정보를 리트리빙한다. 일부 실시형태에서 메모리 유닛(312)은 제어 로직(314)을 포함한다. 일부 실시형태에서 메모리 유닛(312)은 데이터 유닛(316)을 포함한다. 데이터 유닛(316)은 중앙 프로세서(306)에 의해 도출된 데이터, 예를 들어 입력 오디오 신호의 다수의 주파수 대역에 대한 에너지 측정치를 저장한다. 일부 실시형태에서 데이터 유닛(316)은 중앙 프로세서(306)에 의해 사용될 데이터를 저장한다. 일부 실시형태에서, 데이터 유닛(316)은 청취자에게 렌더링될 사운드에 대한 타겟 라우드니스 레벨을 저장한다. 일부 실시형태의 타겟 라우드니스는 프로세서 출력 신호를 결정하는 데 있어서 프로세서 입력 신호에 필요한 처리를 적어도 부분적으로 결정하기 위해 중앙 프로세서(306)에 의해 사용된다. 일부 실시형태에서, 데이터 유닛(316)은 청취자에게 렌더링될 사운드에 대한, 스펙트럼 이퀄라이제이션(spectral equalization)이라고도 하는, 타겟 스펙트럼 균형을 저장한다. 일부 실시형태의 타겟 스펙트럼 균형은 프로세서 출력 신호를 결정하는 데 있어서 프로세서 입력 신호에 필요한 처리를 적어도 부분적으로 결정하기 위해 중앙 프로세서(306)에 의해 사용된다.

전술한 바와 같이, 일부 실시형태에서 데이터 유닛(316)은 출력 신호를 생성하기 위해 입력 신호에 필요한 처리를 결정할 때 중앙 프로세서(316)에 의해 사용할 타겟 데이터를 저장한다. 타겟 데이터는 출력 신호에 대한 타겟 평균 라우드니스 레벨을 포함할 수 있다. 타겟 데이터는 출력 신호에 대한 타겟 피크 라우드니스 레벨을 포함할 수 있다. 타겟 데이터는 출력 신호에 대한 타겟 스펙트럼 균형 또는 이퀄라이제이션을 포함할 수 있다. 타겟 데이터는 타겟 라우드니스 레벨 또는 타겟 스펙트럼 균형 이외의 정보를 포함할 수도 있다. 본 발명의 일부 실시형태에서, 타겟 데이터는 디폴트 설정에 대응한다. 일부 실시형태에서, 타겟 데이터는 사용자 선택 프리셋에 적어도 부분적으로 기초한다. 일부 실시형태에서 타겟 데이터는 고정될 수 있다. 경우에 따라 타겟 데이터는 가변적일 수도 있다. 일부 실시형태에서, 타겟 데이터는 사용자 입력에 적어도 부분적으로 기초한다. 예를 들어, 사용자가 타겟 라우드니스 레벨을 선택하거나 타겟 스펙트럼 균형을 설정한다. 일부 실시형태에서, 타겟 데이터는 외부 마이크로폰(예컨대, 도 1에 도시한 마이크로폰(102) 또는 도 2에 도시한 마이크로폰(202))에 의해 변환된 신호의 분석에 적어도 부분적으로 기초한다. 다시 말해, 타겟 데이터는 청취자 환경 내의 사운드 분석에 적어도 부분적으로 기초할 수 있다.

예를 들어, 라이브 콘서트 시나리오에서 입력 신호, 또는 입력 신호의 특정 피처는, 노래를 식별하고 해당 노래에 관련된 타겟 데이터, 예컨대, 타겟 라우드니스 또는 타겟 스펙트럼 균형을 반환할 수 있는 음악 인식 애플리케이션에 스트리밍될 수 있다. 이 데이터는 중앙 프로세서(316)에 의해 사용되는 타겟 데이터를 적어도 부분적으로 결정하는 데 사용될 수 있다. 다른 경우로, 예를 들어 이러한 데이터를 음악 인식 서비스의 일부로 사용할 수 없는 경우, 이러한 노래 고유의 타겟 데이터는, 예를 들어 라이브러리의 관련 부분, 예컨대 특정 아티스트의 노래 또는 특정 장르의 노래의 스펙트럼 균형 및 라우드니스 특성을 분석함으로써 사용자 자신의 콘텐츠 라이브러리를 사용하여 로컬로 오프라인에서 사전에 산출될 수도 있다.

도 4는 본 발명의 실시형태에 따른 도 3에 도시한 중앙 프로세서(306)의 처리 블록도이다. 도 4를 참조하면, 중앙 프로세서(306)는 적응적 처리 모듈(404)과, 적응적 처리 모듈(404)의 동작을 적어도 부분적으로 제어하기 위해 데이터를 제공하는 타겟 결정 모듈(408)을 포함한다. 중앙 프로세서(306)는 라인(402)을 통해 입력으로서 디지털 오디오 신호를 수신한다. 디지털 오디오 신호는 라인(406)을 통해 출력으로서 디지털 오디오 신호를 제공하는 적응적 처리 모듈(404)에 의해 처리된다. 라인(402) 상의 디지털 오디오 신호는 타겟 결정 모듈(408)에 대한 입력으로도 제공된다. 일부 실시형태에서 타겟 결정 모듈(408)은 라인(402) 상의 입력 디지털 오디오 신호에 적어도 부분적으로 기초하여 라인(410)을 통해 적응적 처리 모듈(404)에 제공할 타겟 데이터를 결정한다. 일부 실시형태에서, 적응적 처리 모듈(404)은 라인(412)을 통해 타겟 결정 모듈(408)에 데이터를 제공한다. 일부 실시형태에서 타겟 결정 모듈(408)은 라인(410)을 통해 적응적 처리 모듈(404)에 제공할 타겟 데이터를 적어도 부분적으로 결정하기 위해 라인(412) 상의 데이터를 사용한다.

일부 실시형태에서, 적응적 처리 모듈(404)은 타겟 결정 모듈(408)에 데이터를 제공하지 않도록 구성된다. 일부 실시형태에서, 타겟 결정 모듈(408)은 라인(402)을 통해 디지털 오디오 신호를 수신하지 않도록 구성된다. 당업자라면 중앙 프로세서(306)의 구성이 변경될 수 있음을 이해하고 알 것이다. 예를 들어, 본 발명의 일부 실시형태는 도 2에 도시한 오디오 프로세서(204)에 따라 프로세서에 대한 제2 디지털 오디오 입력 신호의 통합을 포함한다.

도 5는 본 발명의 실시형태에 따른 도 4에 도시한 타겟 결정 모듈(408)의 블록도이다. 일부 실시형태에서, 타겟 결정 모듈(408)은 라인(402)을 통해 입력으로서 디지털 오디오 신호를 수신한다. 일부 실시형태에서, 타겟 결정 모듈(408)은 라인(412)을 통해 적응적 처리 모듈(404)로부터 데이터를 수신한다.

일부 실시형태에서, 피처 결정 모듈(502)은 라인(402) 상의 입력 디지털 오디오 신호에 적어도 부분적으로 기초하여 청취자 환경 내의 사운드에 관련된 피처를 결정한다. 일부 실시형태에서, 피처 결정 모듈(502)은 라인(412)을 통해 제공된 적응적 퍼치 모듈(404)로부터의 데이터에 적어도 부분적으로 기초하여 청취자 환경 내의 사운드에 관련된 피처를 결정한다. 피처 결정 모듈(502)은 피처 매핑 모듈(504)에 피처를 출력한다. 피처 매핑 모듈(504)은 피처 결정 모듈(502)에 의해 제공된 피처에 적어도 부분적으로 기초하여 타겟 데이터를 결정한다. 피처 매핑 모듈(504)은 라인(410)을 통해 적응적 처리 모듈(404)에 타겟 데이터를 제공한다.

일부 실시형태에서, 피처 매핑 모듈(504)은 청각 디바이스(200)를 대신하여 청각 디바이스(100) 외부에 있는 디바이스 또는 시스템과 통신하기 위한 컴포넌트를 포함한다. 예를 들어, 이들 컴포넌트는 스마트폰과 같은 개인 디바이스 또는 데이터 서버와 같은 클라우드 기반 시스템을 포함한다. 피처 매핑 모듈(504)은 외부 디바이스 또는 시스템에 피처를 전달한다. 외부 디바이스 또는 시스템은 피처를 사용하여 타겟 데이터를 결정한다. 외부 디바이스 또는 시스템은 타겟 데이터를 피처 매핑 모듈(504)에 전달한다.

일부 실시형태에서, 외부 디바이스 또는 시스템은 피처를 사용하여, 청취자의 환경에서 재생되고 있는 노래를 식별하고 식별된 노래에 따라 타겟 데이터를 결정한다. 일부 실시형태에서, 외부 디바이스 또는 시스템은 피처를 사용하여, 청취자의 환경에서 재생되고 있는 음악의 장르를 식별하고 또 식별된 장르에 따라 타겟 데이터를 결정한다. 일부 실시형태에서, 외부 디바이스 또는 시스템은 피처를 사용하여, 배경 잡음과 같은, 청취자 환경 내의 원치 않는 사운드의 특성을 결정하고 결정된 특성에 따라 타겟 데이터를 결정한다.

도 6은 본 발명의 제1 실시형태에 따른 도 4에 도시한 적응적 처리 모듈(404)의 블록도이다. 도 6에 도시하는 바와 같이, 적응적 처리 모듈(404)은 라인(402)을 통해 입력 신호(

)를 수신하며, 이 신호는 청각 디바이스의 외부 포팅된 마이크로폰, 예컨대 도 1에 도시한 마이크로폰(102)에 의해 수신된 신호의 디지털 형태에 대응한다. 입력 신호(

)는 적응형 필터(602)에 입력으로서 제공된다. 적응형 필터(602)의 전달 함수는 도 6에서

로 명시된다. 입력 신호는 또한 적응 제어 모듈(606) 및 누출 모델(604)에도 입력으로서 제공된다. 누출 모델(604)은 적어도 부분적으로 전달 함수(

)를 포함한다. 누출 모델(604)의 출력(

)은 청각 디바이스(예컨대 도 1에 도시한 개인용 청각 디바이스(100))의 폐쇄를 통해 청취자의 외이도로 누출되는 청취자 환경으로부터의 사운드의 추정치에 대응한다. 당업자라면 ω이 주파수 변수이고 여기의 신호 및 시스템이 주파수 도메인에서 고려되고 있음을 이해할 것이다. 예를 들어,

는 입력 신호의 주파수 도메인의 표현이다. 당업자라면 예를 들어 프로세서(306)에서의 디지털 신호 처리가 주파수 도메인 처리 이전의 적절한 순방향 변환 및 주파수 도메인 처리 이후의 적절한 역변환 변환, 예컨대 순방향 변환으로서의 슬라이딩 윈도우 숏타임 푸리에 변환(short-time Fourier transform) 및 역변환으로서 오버랩-애드(overlap-add)를 포함한 인버스 숏타임 푸리에 변환을 통합함으로써 주파수 도메인에서 수행될 수 있음을 이해할 것이다.

일부 예시적인 실시형태에서는 이 누출이 적응 제어 모듈(606)에서 고려된다. 타겟 데이터(

)는 라인(410)을 통해 적응 제어 모듈(606)에 제공된다. 적응 제어 모듈(606)은 라인(608)을 통해 적응형 필터(602)에 제어 데이터를 제공한다. 이 적응형 필터(602)는 예를 들어 적응 제어 모듈(606)에 대한 입력 중 하나 이상에 따라 업데이트될 수 있다.

일부 실시형태에서, 적응 제어 모듈(606)은 청취자가 수신한 사운드가 타겟 스펙트럼 균형(

)을 갖게 하는 필터를 결정하도록 구성된다. 이 수학적 전개를 위해, 청취자가 수신한 사운드는 적응형 필터(602)의 출력과 개인용 청각 디바이스(100)의 폐쇄에 의한 청취자의 외이도로의 외부 사운드의 누출의 합으로서 표현된다.

이것은 수학적으로 다음과 같이 명시된다:

(1)

여기서

는 청취자가 수신한 사운드를 나타내고,

는 적응형 필터의 출력이고,

는 누출 추정치이다.

필터(

)는 출력 스펙트럼(

)과 타겟(

) 사이의 차이 크기(measure)를 최소화함으로써 결정된다. 일부 실시형태에서, 오차 제곱 메트릭(squared-error metric)이 차이의 크기로서 사용되며, 구체적으로 다음과 같다:

(2)

수학식 (1)을 사용하면, 오차 제곱 메트릭에 대한 최적의 필터(

)는 다음과 같이 결정되고,

(3)

또는 통계적 크기의 관점에서는 다음과 같다:

(4)

수학식 (3) 및 (4)의 스펙트럼 및 통계적 크기는 시간에 따라 변할 수 있고 이와 같이 최적의 필터는 시간에 따라 변할 수 있다. 시간 의존성은 수학식 (4) 에 다음과 같이 포함될 수 있다:

(5)

당업자라면 이해하겠지만 적절한 시간 스케일에 걸쳐 (주파수(ω) 및 시간(t)에 있어서) 입력과 타겟 사이의 교차 상관 및 입력의 자동 상관에 각각 대응하는 통계적 크기(

및

)가 추정된다. 또한, 당업자라면 입력 신호, 타겟, 또는 둘 다가 변할 때에 시간의 경과에 따라 통계적 크기도 변할 수 있는 것을 이해할 것이다. 일부 실시형태에서, 적응형 필터(602)는 이전 처리 시간(t-1) 동안 그것의 필터 설정과 시간(t) 동안 적응 제어 블록(606)에 의해 제공되는 최적 필터의 조합에 따라 처리 시간(t)에서 적응되는데, 예를 들면 다음과 같다:

(6)

여기서 α는 적절하게 선택된 망각 인자이다.

도 7은 본 발명의 제2 실시형태에 따른 도 4에 도시한 적응적 처리 모듈(404)의 블록도이다. 도 7을 참조하면, 적응적 처리 모듈(404)은 라인(402)을 통해 입력 신호(

)를 수신하며, 이 신호는 청각 디바이스의 외부 포팅된 마이크로폰(예컨대, 도 2에 도시한 개인용 청각 디바이스(200)의 마이크로폰(202))에 의해 수신된 신호의 디지털 형태에 대응한다. 입력 신호(

)는 적응형 필터(702)에 입력으로서 제공된다. 적응형 필터(702)의 전달 함수는

로 명시된다.

신호(

)는 라인(710)을 통해 적응 제어 모듈(706)에 입력으로서 제공된다. 신호(

)는 청취자의 외이도 내의 사운드를 모니터링하는 내부 마이크로폰(예컨대, 도 2에 도시한 개인용 청각 디바이스(200)의 내부에서 포팅된 마이크로폰(208))에 의해 수신되고 변환된 신호에 대응한다. 타겟 데이터(

)는 라인(410)을 통해 적응 제어 모듈(706)에 제공된다. 적응 제어 모듈(706)은 라인(708)을 통해 적응형 필터(702)에 제어 데이터를 제공하는데, 이 필터는 예를 들어 적응 제어 모듈(706)에 대한 입력 중 하나 이상에 따라 결정된 업데이트된 필터이다.

일부 실시형태에서, 적응 제어 모듈(706)은 제곱 오차 메트릭에 따라 최적 필터를 결정하며, 이 예는 다음과 같다:

(7)

여기서, 통계적 크기(

)는 입력(

) 및

와 같이 산출된 누출 신호(

) 사이의 교차 상관에 대응한다. 당업자라면 시간 의존성이 수학식 (5)와 같이 수학식 (7)에 통합될 수 있고, 그래서, 다음과 같다:

(8)

도 8은 본 발명의 제1 실시형태 세트를 따른 흐름도이다. 방법은 외부 마이크로폰에서 음향 신호를 수신함으로써 시작된다(박스 802). 예를 들어, 이 외부 마이크로폰은 도 1에 도시한 개인용 청각 디바이스(100)의 외부 포팅된 마이크로폰(102)일 수 있다. 다음으로, 음향 신호는 외부 마이크로폰에 의해 전기적 형태로 변환된 다음, 예컨대 아날로그-디지털 컨터버(304)에 의해 디지털 형태로 컨버팅된다(박스 804). 아날로그-디지털 컨버터에 의해 생성되는 디지털 입력 신호는 예컨대 프로세서(306)에 의해 수신된다(박스 806).

디지털 입력 신호의 피처가 예컨대 피처 결정 모듈(502)에서 결정된다(박스 808). 피처 결정 모듈(502)은 프로세서(306)의 컴포넌트인 타겟 결정 모듈(408)의 컴포넌트이다. 다음으로, 예컨대 도 5에 도시한 피처 매핑 모듈(504)에서, 결정된 신호 피처에 의해 적어도 부분적으로 타겟 데이터가 결정된다(블록 810). 피처 매핑 모듈(504)은 프로세서(306)의 컴포넌트인 타겟 결정 모듈(408)의 컴포넌트이다.

프로세스는 예컨대 도 6에 도시한 누출 모듈(604)에서, 외부 음향 신호의 청취자의 외이도에의 누출 추정치를 결정함으로써 계속된다(블록 812). 누출 모듈(604)은 프로세서(306)의 컴포넌트인 적응적 처리 모듈(404)의 컴포넌트이다. 박스 806에서 프로세서에 의해 수신된 디지털 입력 신호, 박스 810에서 결정된 타겟 데이터, 및 박스 814에서 결정된 누출 추정치가 적응 제어 모듈(606)과 같은 적응 제어 모듈에 제공된다(박스 814). 적응 제어 모듈(606)은 프로세서(306)의 컴포넌트인 적응적 처리 모듈(404)의 컴포넌트이다.

프로세스는 적응형 필터를 업데이트함으로써 계속된다(박스 816). 일부 실시형태에서, 적응 제어 모듈(606)은 예컨대 수학식 (5)에 따라 업데이트된 적응형 필터를 산출하고, 업데이터된 적응형 필터를 라인(608)을 통해 적응형 필터(602)에 제공한다. 다음으로, 적응형 필터가 디지털 입력 신호에 적용되어 디지털 출력 신호를 생성한다(박스 818). 예를 들어, 적응적 처리 모듈(404)에서, 적응형 필터(602)가 라인(402) 상의 입력 신호에 적용되어 라인(406) 상에 출력 신호를 생성한다. 마지막으로, 디지털 출력 신호가 아날로그 형태로 컨버팅된다(박스 820). 예를 들어, 이것은 디지털-아날로그 컨버터(308)에 의해 행해질 수 있다. 그런 다음 아날로그 신호는 예컨대 개인용 청각 디바이스(100)의 내부 포팅된 라우드스피커(106)에 의해 음향 형태로 변환된다.

도 9는 본 발명의 제2 실시형태 세트를 따른 흐름도이다. 프로세스는 외부 마이크로폰, 예컨대 도 2에 도시한 개인용 청각 디바이스(200)의 외부 포팅된 마이크로폰(202)에서 음향 신호를 수신함으로써 시작된다. 다음으로, 음향 신호는 외부 마이크로폰에 의해 전기적 형태로 변환된 다음, 예컨대 아날로그-디지털 컨터버(304)에 의해 디지털 형태로 컨버팅된다(박스 904). 아날로그-디지털 컨버터에 의해 생성되는 디지털 입력 신호는 예컨대 도 3에 도시한 프로세서(306)에 의해 수신된다(박스 906).

프로세스는 예컨대 도 5에 도시한 피처 결정 모듈(502)에서, 디지털 입력 신호의 피처를 결정함으로써 계속된다(박스 908). 피처 결정 모듈(502)은 프로세서(306)의 컴포넌트인 타겟 결정 모듈(408)의 컴포넌트이다. 예컨대 도 5에 도시한 피처 매핑 모듈(504)에서, 결정된 신호 피처에 의해 적어도 부분적으로 타겟 데이터가 결정된다(블록 910). 피처 매핑 모듈(504)은 프로세서(306)의 컴포넌트인 타겟 결정 모듈(408)의 컴포넌트이다. 다음으로, 음향 신호가 내부 마이크로폰, 예컨대 개인용 청각 디바이스(200)의 내부 포팅된 마이크로폰(208)에서 수신되고, 내부 마이크로폰에 의해 전기적 형태로 변환된 다음 아날로그-디지털 컨버터에 의해 디지털 형태로 컨버팅된다(박스 912). 이 신호는 청취자의 외이도에서 사운드를 모니터링하는 역할을 한다는 점에서 모니터링 신호라고 칭해질 수 있다.

박스 912에서 결정된 디지털 모니터링 신호 및 박스 910에서 결정된 타겟 데이터는 적응 제어 모듈, 예컨대 도 7에 도시한 적응 제어 모듈(706)에 제공된다(박스 914). 적응 제어 모듈(706)은 프로세서(306)의 컴포넌트인 적응적 처리 모듈(404)의 컴포넌트이다. 그런 다음 타겟 데이터는 라인(410)을 통해 적응 제어 모듈(906)에 제공되고, 디지털 모니터링 신호는 라인(710)을 통해 적응 제어 모듈(706)에 제공된다. 그리고 적응형 필터가 업데이트된다(박스 916). 일부 실시형태에서, 적응 제어 모듈(706)은 예컨대 수학식 (8)에 따라 업데이트된 적응형 필터를 산출하고, 업데이터된 적응형 필터를 라인(708)을 통해 적응형 필터(702)에 제공한다. 다음으로 적응형 필터가 디지털 입력 신호에 적용되어 디지털 출력 신호를 생성한다(박스 918). 예를 들어, 적응적 처리 모듈(404)에서, 적응형 필터(702)가 라인(402) 상의 입력 신호에 적용되어 라인(406) 상에 출력 신호를 생성한다. 마지막으로, 디지털 출력 신호가 아날로그 형태로 컨버팅된다(박스 920). 예를 들어, 이것은 디지털-아날로그 컨버터(308)에 의해 수행될 수 있다. 그런 다음 아날로그 신호는 예컨대 개인용 청각 디바이스(200)의 내부 포팅된 라우드스피커(206)에 의해 음향 형태로 변환된다.

대안의 실시형태 및 예시적인 동작 환경

본 명세서에 기재된 것 외의 다수의 다른 변형도 본 명세서로부터 명백할 것이다. 예를 들어, 실시형태에 따라, 여기에 설명한 방법 및 알고리즘 중 임의의 것의 소정의 동작, 이벤트 또는 기능은 상이한 순서로 수행될 수 있고, 추가, 병합, 또는 생략될 수도 있다(설명한 동작 또는 이벤트 전부가 방법과 알고리즘의 실행에 필수적이지는 않다). 또한, 소정의 실시형태에 있어서, 동작 또는 이벤트는 멀티스레드 프로세싱, 인터럽트 프로세싱, 또는 다중 프로세서 또는 프로세서 코어를 통해, 또는 순차적이지 않는 다른 병렬 아키텍처를 통해 동시에, 수행될 수 있다. 또한, 상이한 태스크 또는 프로세스는 함께 작동할 수 있는 상이한 시스템 및 컴퓨팅 시스템에 의해 수행될 수 있다.

본 명세서에 개시한 실시형태와 관련하여 설명한 다양한 예시적인 논리 블록, 모듈, 방법 및 알고리즘 프로세스 및 시퀀스는 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 상호교환가능성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈 및 프로세스 동작이 일반적으로 그 기능의 관점에서 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 종속된다. 기술한 기능은 각각의 특정 애플리케이션에 대해 다양한 방법으로 구현될 수 있지만, 이러한 구현 결정이 본 명세서의의 범위를 벗어나는 것으로 해석되어서는 안 된다.

여기에 개시한 실시형태와 관련하여 설명한 다양한 예시적인 논리 블록 및 모듈은, 범용 프로세서, 프로세싱 디바이스, 하나 이상의 프로세싱 디바이스를 구비한 컴퓨팅 디바이스, 디지털 신호 프로세서(DSP), 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 다른 프로그래머블 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트, 또는 여기에 설명한 기능을 수행하도록 설계된 이들의 임의의 조합을 포함할 수 있다. 범용 프로세서 및 프로세싱 디바이스는 마이크로 프로세서일 수 있지만, 대안적으로, 프로세서는 컨트롤러, 마이크로컨트롤러. 또는 스테이트 머신, 이들의 조합 등일 수 있다. 프로세서는 또한 컴퓨팅 디바이스의 조합으로서, 예컨대 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 기타 그러한 구성으로서 구현될 수도 있다.

여기에 설명한 시스템 및 방법의 실시형태들은 다양한 유형의 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성 내에서 동작 가능하다. 일반적으로, 컴퓨팅 환경은, 몇몇을 거론하여 하나 이상의 마이크로프로세서를 기반으로 한 컴퓨터 시스템, 메인프레임 컴퓨터, 디지털 신호 프로세서, 휴대용 컴퓨팅 디바이스, 휴대용 컴퓨팅 디바이스, 개인용 오거나이저, 디바이스 컨트롤러, 어플라이언스 내의 연산 엔진, 모바일폰, 데스크탑 컴퓨터, 모바일 컴퓨터, 태블릿 컴퓨터, 스마트폰, 및 임베디드 컴퓨터를 포함하나 이들에 한정되는 않는 임의 유형의 컴퓨터 시스템을 포함할 수 있다.

그러한 컴퓨팅 디바이스는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 컴퓨팅 디바이스, 랩탑 또는 모바일 컴퓨터, 셀룰러 폰 및 개인 휴대 정보 단말기(PDA) 등의 통신 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 PC, 미니컴퓨터, 메인 프레임 컴퓨터, 오디오 또는 비디오 미디어 플레이어 등을 포함하나 이들에 한정되지 않는 적어도 일부의 최소한의 연산 능력을 가진 디바이스에서 통상 발견될 수 있다. 일부 실시형태에서, 컴퓨팅 디바이스는 하나 이상의 프로세서를 포함할 것이다. 각각의 프로세서는 DSP(digital signal processor), VLIW(very long instruction word), 또는 기타 마이크로-컨트롤러 등의 전문적인 마이크로프로세서일 수도 있고, 멀티코어 중앙 처리 장치(CPU) 내의 전문적인 그래픽 프로세싱 유닛(GPU) 기반 코어를 비롯한, 하나 이상의 프로세싱 코어를 갖는 CPU일 수도 있다.

본 명세서에 개시한 실시형태와 관련하여 설명한 방법, 프로세스, 또는 알고리즘의 프로세스 액션 또는 동작은 하드웨어로, 프로세서에 의해 실행되는 소프트웨어로, 또는 이들의 임의의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 컴퓨팅 디바이스에 의해 액세스될 수 있는 컴퓨터 판독 가능 매체에 포함될 수 있다. 컴퓨터 판독 가능 매체는 착탈식, 고정식, 또는 이들의 조합일 수 있는 휘발성 및 비휘발성 매체를 모두 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 또는 컴퓨터 실행 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터 등의 정보를 저장하는데 사용된다. 제한이 아닌 예를 들면, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다.　

컴퓨터 저장 매체는, BD(Bluray disc), DVD(digital versatile disc), CD(compact disc), 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광학 디스크, 솔리드 스테이트 메모리 디바이스, RAM 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 플래시 메모리 또는 기타 메모리 기술, 자기 카세트, 자기 테이프, 자기 디스크 스토리지, 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 하나 이상의 컴퓨팅 디바이스에 의해 액세스될 수 있는 기타 디바이스 등의, 컴퓨터 또는 머신 판독 가능 매체를 포함하나, 이들에 한정되지는 않는다.

소프트웨어는 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 임의의 다른 형태의 비일시적 컴퓨터 판독 가능 저장 매체, 미디어, 또는 당업계에 공지된 물리적 컴퓨터 스토리지에 상주할 수 있다. 예시적인 저장 매체는 프로세서에 결합되어 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC(application specific integrated circuit) 내에 상주할 수 있다. ASIC은 사용자 단말 내에 존재할 수 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말에서 개별 컴포넌트로서 존재할 수 있다.

본 명세서에서 사용하는 "비일시적(non-transitory)"이라는 표현은 "오래가는(enduring) 또는 계속 유지되는 상태(long-lived)"를 의미한다. "비일시적 컴퓨터 판독 가능 매체"라는 표현은 일시적인 전파 신호를 제외한, 임의의 그리고 모든 컴퓨터 판독 가능 매체를 포함한다. 이것은, 한정이 아니라 예를 들면, 레지스터 메모리, 프로세서 캐시 및 RAM(random-access memory) 등의 비일시적 컴퓨터 판독 가능 매체를 포함한다.

"음향 신호(audio signal)"라는 표현은 물리적인 사운드를 나타내는 신호이다.

또한, 컴퓨터 판독 가능 또는 컴퓨터 실행 가능 명령어, 데이터 구조, 프로그램 모듈 등과 같은 정보의 보유(retention)는 하나 이상의 피변조 데이터 신호, 전자기파(예컨대, 반송파), 또는 다른 전송 메커니즘 또는 통신 프로토콜을 인코딩하기 위해 다양한 통신 매체를 사용하여 달성될 수 있고, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. 일반적으로, 이들 통신 매체는 신호 내의 정보 또는 명령어를 인코딩하는 방식으로 하나 이상의 특성이 설정되거나 변경된 신호를 지칭한다. 예를 들어, 통신 매체는 하나 이상의 피변조 데이터 신호를 전달하는 유선 네트워크 또는 직접 유선 접속 등의 유선 매체, 및 음향, 무선 주파수(RF), 적외선, 레이저, 및 하나 이상의 피변조 데이터 신호 또는 전자기파를 송신하거나,수신하거나, 또는 송신 및 수신하기 위한 기타 무선 매체 등의 무선 매체를 포함한다.　 전술한 것들의 임의의 조합도 컴퓨터 판독 가능 매체의 범주 내에 포함된다.

또한, 여기에 설명한 시스템과 방법, 또는 이들의 부분의 다양한 실시형태들의 일부 또는 전부를 구현하는, 소프트웨어, 프로그램, 컴퓨터 프로그램 제품 중 하나 또는 임의의 조합은, 컴퓨터 실행 가능 명령어 또는 기타 데이터 구조의 형태로, 컴퓨터 또는 머신 판독 가능/매체 또는 저장 디바이스 및 통신 매체의 임의의 원하는 조합으로부터 저장, 수신, 송신, 또는 판독될 수 있다.

여기에 설명한 시스템 및 방법의 실시형태들은 컴퓨팅 디바이스에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행 가능 명령어의 일반적 맥락에서도 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 타입을 구현하는, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 여기에 설명하는 실시형태는 하나 이상의 원격 프로세싱 디바이스에 의해 태스크가 수행되는 분산형 컴퓨팅 환경에서 또는 하나 이상의 통신 네트워크를 통해 링크되어 있는 하나 이상의 디바이스들의 클라우드 내에서 실시될 수도 있다. 분산형 컴퓨팅 환경에서는, 프로그램 모듈이 메모리 스토리지 디바이스를 포함한 로컬 및 원격 저장 디바이스 둘 다에 위치할 수 있다. 또, 전술한 명령어는 프로세스를 포함할 수도 또는 포함하지 않을 수도 있는 하드웨어로직 회로로서, 일부 또는 전체가 구현될 수도 있다.

달리 명시하지 않는 한, 또는 문맥에서 사용된 것과 달리 이해되지 않는 한, 여러 가지 중에서도 본문에서 사용되는 조건 언어, 예컨대 "할 수 있는", "할 수도 있는", "하기도 하는", "예컨대" 등은 일반적으로, 다른 실시형태는 포함하지 않는, 소정의 특징, 요소 및/또는 상태를 소정의 실시형태가 포함하는 것을 시사하기 위해 의도된 것이다. 따라서, 그러한 조건 언어는 일반적으로, 하나 이상의 실시형태에 대해 특징, 요소 및/또는 상태가 어떤 방식으로든 요구되는 것, 또는 또는 하나 이상의 실시형태가 저자 입력(author input) 또는 프롬프팅의 유무에 관계 없이, 이들 특징, 요소 및/또는 상태가 임의의 특정 실시형태에 포함되거나 수행되어야 하는지를 결정하기 위한 논리를 반드시 포함하는 것을 암시하는 것을 의도하지 않는다. "포함하는", "내포하는", "갖는" 등의 용어는 동의어로서, 제한없는 방식으로 포괄적으로 사용되며, 추가 요소, 특징, 동작, 연산 등을 배제하지 않는다. 또한, "또는"이라는 표현은 (배타적인 의미가 아니라) 포괄적인 의미로 사용되어, 예를 들어, 요소의 목록을 연결하는데 사용될 경우, "또는"이라는 표현은 그 목록 내의 요소 중 하나, 일부, 또는 전부를 의미한다.

앞의 상세한 설명은 다양한 실시형태에 적용되는 신규한 특징들을 도시하고, 설명하고, 지적하였지만, 본 개시내용의 범주로부터 벗어나지 않고서, 예시하는 디바이스 또는 알고리즘의 형태 및 상세에 있어서의 다양한 생략, 대체 및 변형이 이루어질 수 있음을 이해할 것이다. 알고 있겠지만, 여기에 설명하는 본 발명의 특정 실시형태는, 일부 특징이 다른 것들과 별도로 사용될 수 있거나 실시될 수 있기 때문에, 여기에 나타내는 모든 특징 및 이점을 제공하지 않는 형태로 구현될 수도 있다.

Claims

인커밍 오디오 신호(incoming audio signal)를 처리하기 위한 방법에 있어서,
상기 인커밍 오디오 신호에 능동적 이퀄라이제이션(active equalization)을 적용하여 이퀄라이징된 오디오 신호를 획득하는 단계;
상기 이퀄라이징된 오디오 신호를 타겟 이퀄라이제이션으로 튜닝하여 출력 오디오 신호를 획득하는 단계; 및
재생을 위해 상기 출력 오디오 신호를 청취자에게 렌더링하는 단계를 포함하는, 방법.
제1항에 있어서, 아티스트의 레코딩에 대한 지식에 기초하여 상기 타겟 이퀄라이제이션을 결정하는 단계를 더 포함하는, 방법.
제2항에 있어서, 상기 아티스트의 레코딩을 포함한 데이터베이스를 분석하기 위해 머신 러닝 기술을 사용하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 이퀄라이징된 오디오 신호를 상기 타겟 이퀄라이제이션으로 튜닝하기 위해 능동형 필터를 사용하는 단계를 더 포함하는, 방법.
인커밍 오디오 신호를 처리하기 위한 방법에 있어서,
상기 인커밍 오디오 신호의 오디오 특성을 능동적으로 모니터링하는 단계;
타겟 성능 기준을 포함하는 타겟 데이터를 제공하는 단계;
상기 인커밍 오디오 신호의 오디오 특성을 상기 타겟 성능 기준에 적응시켜 상기 인커밍 오디오 신호의 적응된 오디오 특성을 획득하는 단계; 및
상기 적응된 오디오 특성을 출력 신호에 렌더링하는 단계를 포함하는, 방법.
제5항에 있어서, 상기 적응된 오디오 특성을 개인용 청각 디바이스 상에서 상기 오디오 신호에 렌더링하는 단계를 더 포함하는, 방법.
제5항에 있어서, 상기 타겟 데이터는 청취자의 청력도(audiogram) 또는 측정된 청력 손실 곡선을 포함하는, 방법.
제7항에 있어서, 상기 인커밍 오디오 신호의 오디오 특성을 적응시키는 것은, 상기 청취자의 청력도 또는 측정된 청력 손실 곡선을 보상하는 것을 더 포함하는, 방법.
제5항에 있어서, 상기 인커밍 오디오 신호의 오디오 특성을 적응시키는 것은, 상기 적응된 오디오 특성을 획득하기 위해 대화 주파수 대역을 강조하는 것을 더 포함하는, 방법.
제5항에 있어서, 상기 인커밍 오디오 신호의 오디오 특성을 적응시키는 것은, 상기 타겟 성능 기준에 기초하여 적응형 필터를 업데이트하는 것을 더 포함하는, 방법.
제5항에 있어서,
상기 인커밍 오디오 신호에 있는 노래를 식별하여 식별된 노래를 획득하는 단계; 및
상기 식별된 노래에 기초하여 상기 타겟 데이터를 결정하는 단계를 더 포함하는, 방법.
제5항에 있어서,
상기 인커밍 오디오 신호에 있는 노래의 장르를 식별하여 식별된 장르를 획득하는 단계;
상기 식별된 장르에 기초하여 상기 타겟 데이터를 결정하는 단계를 더 포함하는, 방법.
제5항에 있어서,
상기 인커밍 오디오 신호에서 원치 않는 사운드의 오디오 특성을 식별하는 단계; 및
상기 원치 않는 사운드의 오디오 특성에 기초하여 상기 타겟 데이터를 결정하는 단계를 더 포함하는, 방법.
인커밍 오디오 신호를 처리하기 위한 히어러블 디바이스(hearable device)에 있어서,
프로세서; 및
명령어를 저장한 메모리를 포함하고,
상기 명령어는, 상기 프로세서에 의해 실행될 때에, 상기 히어러블 디바이스를:
상기 인커밍 오디오 신호의 오디오 특성을 능동적으로 모니터링하고;
타겟 성능 기준을 포함하는 타겟 데이터를 제공하고;
상기 인커밍 오디오 신호의 오디오 특성을 상기 타겟 성능 기준에 적응시켜 상기 인커밍 오디오 신호의 적응된 오디오 특성을 획득하고;
상기 적응된 오디오 특성을 출력 신호에 렌더링하도록,
구성하는, 히어러블 디바이스.