KR20240080841A - 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치 - Google Patents

믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치 Download PDF

Info

Publication number
KR20240080841A
KR20240080841A KR1020220164561A KR20220164561A KR20240080841A KR 20240080841 A KR20240080841 A KR 20240080841A KR 1020220164561 A KR1020220164561 A KR 1020220164561A KR 20220164561 A KR20220164561 A KR 20220164561A KR 20240080841 A KR20240080841 A KR 20240080841A
Authority
KR
South Korea
Prior art keywords
sound
mixing
mixing metadata
user terminal
signal
Prior art date
Application number
KR1020220164561A
Other languages
English (en)
Other versions
KR102676074B1 (ko
Inventor
허정권
Original Assignee
주식회사 캔딧
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 캔딧 filed Critical 주식회사 캔딧
Priority to KR1020220164561A priority Critical patent/KR102676074B1/ko
Publication of KR20240080841A publication Critical patent/KR20240080841A/ko
Application granted granted Critical
Publication of KR102676074B1 publication Critical patent/KR102676074B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/66—Digital/analogue converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법은 오디오 장치가 마이크를 통해 외부 소리를 입력받는 단계, 상기 오디오 장치가 사용자 단말로부터 음향 신호를 전달받는 단계, 상기 오디오 장치가 상기 사용자 단말로부터 믹싱 메타데이터를 전달받는 단계, 상기 오디오 장치가 상기 믹싱 메타데이터를 기준으로 상기 외부 소리와 상기 음향 신호를 믹싱하여 출력 신호를 생성하는 단계 및 상기 오디오 장치가 상기 출력 신호를 드라이버 유닛을 통해 출력하는 단계를 포함하되, 상기 믹싱 메타데이터는 상기 출력 신호 중 상기 외부 소리와 상기 음향 신호를 믹싱하는 비율을 나타낸다.

Description

믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치{TRANSPARENCY MODE PROVIDING METHOD USING MIXING METADATA AND AUDIO APPARATUS}
이하 설명하는 기술은 이어폰과 같은 오디오 장치에서 투명 모드 동작을 제어하는 기법에 관한 것이다.
최근 스마트폰과 같은 사용자 단말을 이용한 콘텐츠 서비스 시장이 급격하게 성장하고 있다. 스마트 기기 제조사도 스마트폰과 연동되는 다양한 무선 이어폰(헤드폰) 제품을 출시하고 있다. 이어폰을 사용하는 시간이 늘어나면서, 최신 이어폰은 이어폰을 착용한 상태에서 외부 소리를 들을 수 있는 동작 모드를 제공한다. 이어폰은 사용자의 제어에 따라 사용자 단말이 전달하는 음향 신호와 함께 외부 소리를 사용자에게 제공할 수 있다.
미국등록특허 US 10,034,092
이하 설명하는 기술은 사용자의 개입 없이 외부 소리와 음향 신호를 믹싱하여 출력하는 투명 모드를 제공하고자 한다. 이하 설명하는 기술은 외부 객체에서 음향 신호와 함께 전달되는 믹싱 메타데이터를 기준으로 외부 소리와 음향 신호를 믹싱하여 동적이며 인터랙티브한 투명 모드를 제공하고자 한다.
믹싱 메타데이터를 이용하여 투명 모드를 제공하는 오디오 장치는 외부 소리를 입력받는 마이크, 상기 마이크에서 출력되는 신호를 변환하는 ADC(Analog Digital Converter), 음향 신호 및 믹싱 메타데이터를 입력받는 입력 인터페이스, 상기 입력 인터페이스로부터 상기 음향 신호 및 상기 믹싱 메타데이터를 입력받고, 상기 ADC로부터 변환된 외부 소리를 입력받고, 상기 믹싱 메타데이터를 기준으로 상기 외부 소리와 상기 음향 신호를 믹싱하여 출력 신호를 생성하는 믹서(mixer), 상기 믹서의 출력 신호를 아날로그 신호로 변환하는 DAC(Digital Analog Converter), 상기 DAC 신호를 증폭하는 증폭기 및 상기 증폭기의 출력 신호를 출력하는 드라이버 유닛을 포함한다.
믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법은 오디오 장치가 마이크를 통해 외부 소리를 입력받는 단계, 상기 오디오 장치가 사용자 단말로부터 음향 신호를 전달받는 단계, 상기 오디오 장치가 상기 사용자 단말로부터 믹싱 메타데이터를 전달받는 단계, 상기 오디오 장치가 상기 믹싱 메타데이터를 기준으로 상기 외부 소리와 상기 음향 신호를 믹싱하여 출력 신호를 생성하는 단계 및 상기 오디오 장치가 상기 출력 신호를 드라이버 유닛을 통해 출력하는 단계를 포함하되, 상기 믹싱 메타데이터는 상기 출력 신호 중 상기 외부 소리와 상기 음향 신호를 믹싱하는 비율을 나타낸다.
이하 설명하는 기술은 콘텐츠 서비스 제공자 등의 주체가 이어폰의 투명 모드를 동적으로 제어할 수 있도록 한다. 따라서, 이하 설명하는 기술은 서비스 제공자가 투명 모드를 적극적으로 활용하여 새로운 경험의 사용자 서비스를 제공하게 한다.
도 1은 종래 투명 모드를 지원하는 오디오 장치에 대한 예이다.
도 2는 믹싱 메타데이터를 사용한 투명 모드 제공 시나리오에 대한 예이다.
도 3은 믹싱 메타데이터를 사용하여 투명 모드를 제어하는 오디오 장치에 대한 예이다.
도 4는 믹싱 메타데이터를 포함하는 오디오 패킷에 대한 예이다.
도 5는 투명 모드 기반의 음향 서비스 제공 과정에 대한 예이다.
도 6은 투명 모드 기반의 음향 서비스 제공 과정에 대한 다른 예이다.
도 7은 투명 모드 기반의 음향 서비스 제공 과정에 대한 또 다른 예이다.
도 8은 믹싱 메타데이터를 이용하여 투명 모드 기반 서비스를 제어하는 과정에 대한 예이다.
도 9는 믹싱 메타데이터를 이용하여 음원 서비스를 제공하는 과정에 대한 예이다.
도 10은 믹싱 메타데이터를 이용하여 영화 서비스를 제공하는 과정에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 이어폰 또는 헤드폰과 같은 오디오 장치에서의 신호 처리 기술에 관한 것이다. 이어폰 및 헤드폰은 각각 물리적인 형태가 다르지만 입력되는 음향 신호를 스피커(드라이버 유닛)로 출력하는 기술적 구성은 유사한 장치이다. 이어폰 및 헤드폰은 유선 또는 무선으로 음향 신호를 입력 내지 수신하고, 해당 음향 신호를 아날로그 신호로 변환하여 드라이버 유닛으로 출력하는 구성을 공통적으로 포함한다. 이하 이어폰 및 헤드폰은 오디오 장치라고 명명한다. 따라서, 이하 오디오 장치는 사용자 머리 또는 귀에 착용하는 형태의 장치이고, 외부에서 입력되는 음향 신호를 아날로그 신호로 변환하고 증폭하여 사용자 귀에 전달하는 장치를 의미한다.
이하 설명하는 기술은 오디오 장치에서의 투명 모드(transparency mode)에 관한 것이다. 오디오 장치는 일반적으로 사용자의 귀를 덮거나 막는 형태로 착용된다. 따라서, 사용자는 오디오 장치를 통해 음향 신호를 듣는 동안 외부 소리를 듣기 어렵다. 투명 모드는 오디오 장치가 음향 신호와 함께 외부 소리도 사용자에게 제공하기 위한 모드이다. 투명 모드는 제품 및 서비스에 따라 다른 이름으로 명명되기도 한다. 다만, 이하 설명에서는 오디오 장치가 외부(주변)의 소리를 음향 신호와 함께 제공하는 동작을 투명 모드 내지 투명 모드 동작이라고 명명한다.
도 1은 종래 투명 모드를 지원하는 오디오 장치(100)에 대한 예이다. 도 1은 이어폰 형태의 오디오 장치를 도시한 예이다. 도 1은 한쪽 귀에 착용하는 하나의 이어폰을 도시한다. 도 1은 오디오 장치 구성 중 투명 모드 관련 구성을 중심으로 도시한다. 오디오 장치(100)는 입력 장치(110), 마이크(120), 신호 처리부(130) 및 스피커(140)를 포함한다. 물론 오디오 장치(110)는 전력 공급 장치, 신호 입출력 인터페이스 장치, 하우징 등을 더 포함할 수 있다.
마이크(120)는 하나 이상의 마이크 유닛을 포함할 수 있다. 마이크(120)는 이어폰의 외부 소리를 입력받는다. 외부 소리는 주변 환경에 따라 다양한 소리일 수 있다.
신호 처리부(130)는 기본적으로 음향 신호를 일정하게 처리하여 아날로그 신호로 변환하고 증폭한다. 음향 신호는 오디오 소스에서 전달되는 신호를 말한다. 음향 신호는 유선 또는 무선으로 오디오 소스(예컨대, 사용자 단말)로부터 전달될 수 있다.
드라이버 유닛(140)은 아날로그 음향 신호를 출력한다.
입력 장치(110)는 사용자의 터치 또는 누름과 같은 인터페이스 명령을 입력받을 수 있다. 도 1에서 입력 장치(110)는 물리적으로 구현된 장치를 도시한다. 입력 장치(110)는 투명 모드 시작 또는 종료에 해당하는 명령을 입력받는다. 오디오 장치(100)가 음향 신호만 출력하는 상황에서 입력 장치(110)로부터 인터페이스 명령이 입력되면 투명 모드를 시작할 수 있다.
투명 모드에서 신호 처리부(130)는 마이크(120)를 통해 전달되는 외부 소리를 디지털 신호로 변환하고, 음향 신호와 믹싱(mixing)한 후 디지털 신호로 변환하여 최종 출력 신호를 생성한다. 즉, 최종 출력 신호는 외부 소리와 음향 신호가 합성된 신호이다. 신호 처리부(130)는 사전에 설정된 값에 따라 외부 소리와 음향 신호를 적절한 레벨로 조정하여 최종 출력 신호를 생성할 수 있다. 드라이버 유닛(140)이 최종 출력 신호를 출력하면 사용자는 음향 신호와 동시에 외부 소리도 듣게 된다.
이와 같이 종래 오디오 장치(100)는 사용자의 선택(명령)에 따라 투명 모드를 제공한다.
이하 설명하는 기술은 오디오 장치가 투명 모드 제공을 위한 메타 데이터를 이용하여 투명 모드를 제공한다. 메타 데이터는 오디오 장치가 외부 소리와 음향 신호를 믹싱하는데 사용된다. 따라서, 메타 데이터는 믹싱 계수를 포함할 수 있다. 이하 투명 모드 제어를 위한 메타 데이터를 믹싱 메타데이터라고 명명한다.
도 2는 믹싱 메타데이터를 사용한 투명 모드 제공 시나리오에 대한 예이다. 사용자 단말과 오디오 장치는 유선 또는 무선으로 음향 신호 및/또는 믹싱 메타데이터를 수신할 수 있다. 사용자 단말은 스마트폰, 음원 재생기, 음원 처리 장치 등 다양할 수 있다. 사용자 단말은 입력되는 또는 저장한 음원 데이터를 디지털 신호로 출력할 수 있다. 사용자 단말은 디지털 신호를 오디오 장치에 전달한다. 사용자 단말은 음원 데이터를 일정한 코덱에 따라 디코딩하여 디지털 신호로 변환할 수도 있다.
도 2(A)는 사용자 단말이 음향 신호와 믹싱 메타데이터를 제공하는 예이다. 도 2(A)에서 오디오 장치는 사용자 단말로부터 음향 신호와 믹싱 메타데이터를 수신하고, 오디오 장치가 수집하는 외부 소리와 음향 신호를 믹싱하여 출력한다. 오디오 장치는 수신한 믹싱 메타데이터를 기준으로 외부 소리와 음향 신호를 일정한 비율로 믹싱한다.
도 2(B)는 서비스 서버가 음향 신호와 믹싱 메타데이터를 제공하는 예이다. 서비스 서버는 음원 콘텐츠를 제공하는 구성이다. 서비스 서버는 음향 신호와 믹싱 메타데이터를 사용자 단말에 송신한다. 오디오 장치는 사용자 단말을 통해 음향 신호와 믹싱 메타데이터를 수신하고, 오디오 장치가 수집하는 외부 소리와 음향 신호를 믹싱하여 출력한다. 오디오 장치는 수신한 믹싱 메타데이터를 기준으로 외부 소리와 음향 신호를 일정한 비율로 믹싱한다.
도 2(C)는 서비스 서버가 믹싱 메타데이터를 제공하는 예이다. 도 2(C)에서 사용자 단말은 음원 신호를 저장하고, 일정한 음향 신호를 제공한다. 사용자 단말은 서비스 서버로부터 믹싱 메타데이터를 수신할 수 있다. 오디오 장치는 사용자 단말을 통해 음향 신호와 믹싱 메타데이터를 수신하고, 오디오 장치가 수집하는 외부 소리와 음향 신호를 믹싱하여 출력한다. 오디오 장치는 수신한 믹싱 메타데이터를 기준으로 외부 소리와 음향 신호를 일정한 비율로 믹싱한다.
도 2(D)는 서비스 서버가 믹싱 메타데이터 및 음향 신호를 제공하는 예이다. 도 2(D)에서 음향 신호를 제공하는 제1 서비스 서버와 믹싱 메타데이터를 제공하는 제2 서비스 서버가 별도로 존재한다. 즉, 제1 서비스 서버는 음원을 사용자 단말에 제공하는 장치이고, 제2 서비스 서버는 음원과는 별도로 투명 모드를 제어하기 위한 믹싱 메타데이터를 제공하는 장치이다. 사용자 단말은 제1 서비스 서버로부터 음향 신호를 수신하고, 제2 서비스 서버로부터 믹싱 메타데이터를 수신한다. 오디오 장치는 사용자 단말을 통해 음향 신호와 믹싱 메타데이터를 수신하고, 오디오 장치가 수집하는 외부 소리와 음향 신호를 믹싱하여 출력한다. 오디오 장치는 수신한 믹싱 메타데이터를 기준으로 외부 소리와 음향 신호를 일정한 비율로 믹싱한다.
도 3은 믹싱 메타데이터를 사용하여 투명 모드를 제어하는 오디오 장치(200)에 대한 예이다. 도 3은 설명의 편의를 위하여 일부 구성만을 도시한 예이다. 예컨대, 오디오 장치(200)는 전원 공급 장치, 무선 통신 모듈 등과 같은 구성을 더 포함할 수 있다. 도 3의 오디오 장치(200)는 하나의 이어폰과 같이 한쪽 장치를 예로 도시한다. 도 3에서 L은 스테레오 신호 중 왼쪽 채널(왼쪽에 착용하는 오디오 장치)에 전달되는 신호를 말한다. 오른쪽 채널에 대한 오디오 장치도 오른쪽 채널 신호를 입력받아 도 3과 동일한 동작을 수행할 수 있다.
오디오 장치(200)는 입력단(210), 마이크(220), ADC(Analog Digital Converter, 230), DSP(digital signal processor, 240), DAC(Digital Analog Converter, 250), 증폭기(amplifier, 260) 및 드라이버 유닛(270)을 포함한다.
입력단(210)은 소스 음향 신호(source audio) 입력받는 구성이다. 입력단(210)은 데이터 및 정보를 입력받는 입력 인터페이스 장치를 의미한다. 소스 음향 신호는 오디오 장치(200)에 최초 입력되는 음원 신호를 의미한다. 입력단(210)은 사용자 단말로부터 소스 음향 신호를 수신할 수 있다. 입력단(210)은 소스 음향 신호 L을 DSP(240)에 전달한다. 입력단(210)이 입력받는 신호는 기본적으로 디지털 신호라고 가정한다.
입력단(210)은 소스 음향 신호를 유선 또는 무선으로 입력받을 수 있다. 입력단(210)은 소스 오디오 신호를 무선으로 입력받을 수도 있다. 이 경우 입력단(210)은 무선 신호 수신을 위한 통신 모듈을 포함할 수 있다. 예컨대, 입력단(210)은 블루투스 모듈을 통해 사용자 단말로부터 소스 음향 신호를 수신할 수 있다.
또한, 입력단(210)은 믹싱 메타데이터 M을 유선 또는 무선으로 입력받을 수 있다. 입력단(210)은 사용자 단말로부터 믹싱 메타데이터를 수신할 수 있다.
마이크(220)는 오디오 장치의 주변에서 발생하는 외부 소리를 입력받는다. 마이크(220)는 아날로그 신호를 입력받아 아날로그 신호 SA를 출력할 수 있다. 이 경우, ADC(230)는 마이크(220)가 출력하는 아날로그 신호 SA를 입력받아 디지털 신호 S로 변환할 수 있다. 한편, 마이크(220)가 아날로그 신호를 디지털 신호로 변환하는 구성을 포함하는 디지털 마이크(MEMS MIC)일 수도 있다. 이 경우 ADC가 필요 없다.
DSP(240)는 오디오 신호를 일정하게 처리한다. DSP(240)는 오디오 신호 처리 장치라고 명명할 수도 있다. DSP(240)는 입력단(210)으로부터 소스 음향 신호 L을 수신하고, 마이크(220)를 통해 수집한 외부 소리 S를 입력받는다. 또한, DSP(240)는 입력단(210)으로부터 믹싱 메타데이터 M을 수신한다.
DSP(240)는 믹싱 메타데이터 M을 이용하여 소스 음향 신호 L과 외부 소리 S를 일정하게 믹싱한다. 즉, 이때 DSP(240)는 디지털 믹서(mixer)에 해당한다. DSP(240)는 믹싱 메타데이터 M에 포함된 믹싱 계수에 따라 소스 음향 신호 L과 외부 소리 S을 하나의 신호 S/LM로 합성한다. 이때 믹싱 메타데이터는 음향 신호 L과 외부 소리 S 각각에 대한 레벨을 정의할 수 있다. 나아가, DSP(240)는 오디오 신호에 대한 레벨 조절, 특정 대역 필터링, 노이즈 캔슬링, 크로스오버(cross over) 등과 같은 동작을 수행할 수도 있다.
한편, 오디오 장치는 소스 음향 신호 L과 외부 소리 S을 믹싱하는 별도의 믹서(mixer)를 포함할 수도 있다. 이 경우, 믹서가 믹싱 메타데이터 M에 포함된 믹싱 계수에 따라 소스 음향 신호 L과 외부 소리 S을 하나의 신호로 합성한다. 이후 필요에 따라 DSP(240)가 믹싱된 신호를 입력받아 일정한 후처리를 수행할 수 있다.
DSP(240)는 소스 음향 신호 L과 외부 소리 S가 믹싱된 S/LM을 DAC(250)로 전달한다. DAC(250)는 DSP(240)의 출력 신호를 아날로그 신호 S/LM A로 변환한다. 증폭기(140)는 변환된 아날로그 신호 S/LM A를 일정하게 증폭한다. 드라이버 유닛(270)은 증폭된 아날로그 신호 S/LM A'를 출력한다. 드라이버 유닛(151)은 복수의 유닛으로 구성될 수도 있다.
도 4는 믹싱 메타데이터를 포함하는 오디오 패킷에 대한 예이다. 도 4의 오디오 패킷은 사용자 단말 또는 오디오 장치가 수신하는 패킷일 수 있다.
도 4(A)는 하나의 믹싱 메타데이터 필드에 있는 데이터가 다수의 오디오 신호 구간(스트림)들에 대한 믹싱 정보를 포함하는 경우이다. 오디오 패킷은 헤더(header), 믹싱 메타데이터 필드 및 오디오 데이터 필드를 포함한다. 도 4(A)는 믹싱 메타데이터 필드를 별로도 도시하였지만, 믹싱 메타데이터 필드는 헤더에 정의된 하나의 필드일 수도 있다. 오디오 데이터 필드는 재생할 오디오 스트림을 저장한다. 믹싱 메타데이터는 다양한 방식으로 정의될 수 있다. 도 4(A)는 4가지 유형의 믹싱 메타데이터를 도시한다.
믹싱 메타데이터 (a)는 믹싱을 위한 비율 및 시간 구간을 포함한다. 비율은 일정한 전체 오디오 레벨을 기준으로 외부 신호와 음향 신호의 출력 비율을 정의한다. 시간 구간은 하나의 오디오 스트림이 출력되는 연속된 시간 구간 중 적어도 일부를 정의한다. 시간 구간은 투명 모드로 동작하는 시간을 말한다. 오디오 장치는 믹싱 메타데이터에 정의된 시간 구간에서 외부 신호와 음향 신호를 정의된 비율로 믹싱하여 출력하게 된다. 믹싱 메타데이터 (a)는 다수의 단위 정보를 포함할 수 있다. 하나의 단위 정보는 {비율, 시간 구간}으로 정의된다.
믹싱 메타데이터 (b)는 믹싱을 위한 비율, 시작점 및 종료점을 포함한다. 비율은 일정한 전체 오디오 레벨을 기준으로 외부 신호와 음향 신호의 출력 비율을 정의한다. 시작점은 투명 모드에 따른 신호 처리가 시작되는 시간을 정의한다. 종료점은 투명 모드에 따른 신호 처리가 종료되는 시간을 정의한다. 오디오 장치는 믹싱 메타데이터에 정의된 시간 구간(시작점 ~ 종료점)에서 외부 신호와 음향 신호를 정의된 비율로 믹싱하여 출력한다. 믹싱 메타데이터 (b)는 다수의 단위 정보를 포함할 수 있다. 하나의 단위 정보는 {비율, 시작점, 종료점}으로 정의된다.
믹싱 메타데이터 (c)는 믹싱을 위한 외부 신호 레벨, 음향 신호 레벨 및 시간 구간을 포함한다. 외부 신호 레벨은 투명 모드에서 외부 신호의 레벨을 정의한다. 음향 신호 레벨은 투명 모드에서 음향 신호의 레벨을 정의한다. 시간 구간은 하나의 오디오 스트림이 출력되는 연속된 시간 구간 중 적어도 일부를 정의한다. 시간 구간은 투명 모드로 동작하는 시간을 말한다. 오디오 장치는 믹싱 메타데이터에 정의된 시간 구간에서 외부 신호와 음향 신호를 각각 정의된 레벨로 출력될 수 있도록 믹싱하여 출력한다. 믹싱 메타데이터 (c)는 다수의 단위 정보를 포함할 수 있다. 하나의 단위 정보는 {외부 신호 레벨, 음향 신호 레벨, 시간 구간}으로 정의된다.
믹싱 메타데이터 (d)는 믹싱을 위한 외부 신호 레벨, 음향 신호 레벨, 시작점 및 종료점을 포함한다. 외부 신호 레벨은 투명 모드에서 외부 신호의 레벨을 정의한다. 음향 신호 레벨은 투명 모드에서 음향 신호의 레벨을 정의한다. 시작점은 투명 모드에 따른 신호 처리가 시작되는 시간을 정의한다. 종료점은 투명 모드에 따른 신호 처리가 종료되는 시간을 정의한다. 오디오 장치는 믹싱 메타데이터에 정의된 시간 구간(시작점 ~ 종료점)에서 외부 신호와 음향 신호를 각각 정의된 레벨로 출력될 수 있도록 믹싱하여 출력한다. 믹싱 메타데이터 (d)는 다수의 단위 정보를 포함할 수 있다. 하나의 단위 정보는 {외부 신호 레벨, 음향 신호 레벨, 시작점, 종료점}으로 정의된다.
도 4(B)는 하나의 믹싱 메타데이터 필드에 있는 데이터가 하나의 오디오 구간(스트림)에 대한 믹싱 정보를 포함하는 경우이다. 오디오 패킷은 헤더(header), 믹싱 메타데이터 필드 및 오디오 데이터 필드를 포함한다. 믹싱 메타데이터 필드는 메타 데이터를 저장한다. 오디오 데이터 필드는 재생할 오디오 스트림을 저장한다. 도 4(B)의 패킷은 다수의 오디오 스트림들을 저장할 수 있다. 도 4(B)에서 오디오 데이터 1 및 오디오 데이터 2는 서로 다른 2개의 오디오 스트림 각각을 저장한다. 하나의 오디오 스트림은 연속된 오디오 스트림이다. 믹싱 메타데이터 필드는 특정 오디오 스트림에 대한 믹싱 데이터를 저장한다. 예컨대, 믹싱 메타데이터 필드 1은 오디오 데이터 1에 대한 믹싱 메타데이터를 저장한다. 믹싱 메타데이터 필드 2는 오디오 데이터 2에 대한 믹싱 메타데이터를 저장한다. 즉, 도 4(B)는 믹싱 메타데이터 필드가 따라오는 오디오 데이터 필드에 저장된 오디오 데이터에 대한 믹싱 정보를 정의한다.
믹싱 메타데이터는 다양한 방식으로 정의될 수 있다. 도 4(B)는 4가지 유형의 믹싱 메타데이터를 도시한다. 설명의 편의를 위하여 믹싱 메타데이터 1과 오디오 데이터 1을 기준으로 설명한다.
믹싱 메타데이터 (e)는 믹싱을 위한 비율을 포함한다. 비율은 일정한 전체 오디오 레벨을 기준으로 외부 신호와 음향 신호의 출력 비율을 정의한다. 오디오 장치는 믹싱 메타데이터 필드에 따라오는 오디오 데이터 필드에 저장된 오디오 데이터 1에 대하여 외부 신호와 음향 신호를 정의된 비율로 믹싱하여 출력하게 된다.
믹싱 메타데이터 (f)는 믹싱을 위한 외부 신호 레벨 및 음향 신호 레벨을 포함한다. 외부 신호 레벨은 투명 모드에서 외부 신호의 레벨을 정의한다. 음향 신호 레벨은 투명 모드에서 음향 신호의 레벨을 정의한다. 오디오 장치는 믹싱 메타데이터 필드에 따라오는 오디오 데이터 필드에 저장된 오디오 데이터 1에 대하여 외부 신호와 음향 신호를 각각 정의된 레벨로 출력될 수 있도록 믹싱하여 출력한다.
전술한 투명 모드 기반의 서비스는 다양한 분야에서 활용될 수 있다.
예컨대, 투명 모드 기반의 서비스는 전시장에서 도스튼(docent) 서비스에 활용될 수 있다. 미술 전시장이나 공연장에 배경 음향이 재생되는 상황에서 사용자가 사용자 단말을 소지하고 특정 전시품에 접근한다고 가정한다. 사용자 단말은 오디오 장치에 도스튼을 위한 음성 데이터와 믹싱 메타데이터를 전달한다. 오디오 장치는 믹싱 메타데이터를 이용하여 외부 소리(배경 음향)과 음성 데이터를 믹싱하여 출력할 수 있다. 이 경우 투명 모드 기반의 서비스는 사용자의 위치에 따라 믹싱 데이터를 전달하여 맞춤형 투명 모드를 제공한다. 사용자 위치는 사용자 단말을 이용하여 GPS 또는 실내 위치 검출 기법으로 결정될 수 있다. 또는 사용자 단말이 특정 객체와 근접하면 특정 객체(송신 장치)가 송신하는 비콘을 수신하여 믹싱 데이터를 결정할 수도 있다.
도 5는 투명 모드 기반의 음향 서비스 제공 과정(300)에 대한 예이다.
사용자 단말은 전용 애플리케이션을 구동한다(301). 예컨대, 전용 애플리케이션은 도스튼 서비스를 제공하는 프로그램일 수 있다.
사용자 단말의 자신의 위치 정보를 서비스 서버에 전송한다(311). 위치 정보는 GPS에 따른 절대적 위치 또는 실내 측위 기법에 의한 상대적 위치일 수도 있다.경우에 따라서, 사용자 단말의 위치 정보는 다른 외부 객체가 서비스 서버에 전달할 수도 있다. 서비스 서버는 사용자 위치를 기준으로 결정되는 믹싱 메타데이터 1을 사용자 단말에 전송한다(312).
사용자 단말은 음향 데이터 1을 선택한다(321). 사용자 단말이 사전에 다양한 음향 데이터를 저장할 수 있다. 또는 경우에 따라서 사용자 단말이 서비스 서버나 다른 객체로부터 음향 데이터를 수신할 수도 있다. 사용자 단말은 자신의 위치 정보에 따라 음향 데이터 1을 선택할 수 있다. 사용자 단말은 선택한 음향 데이터 1과 믹싱 메타데이터 1을 오디오 장치에 전달한다(322). 사용자 단말은 유선 또는 무선 네트워크로 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 1을 기준으로 음향 신호 1과 외부 소리를 믹싱하여 출력한다(331).
이후 사용자가 위치를 이동한다고 가정하다. 사용자 단말의 자신의 위치 정보를 서비스 서버에 전송한다(341). 서비스 서버는 사용자 위치를 기준으로 결정되는 믹싱 메타데이터 2를 사용자 단말에 전송한다(342).
사용자 단말은 음향 데이터 2를 선택한다(351). 사용자 단말은 자신의 위치 정보에 따라 음향 데이터 2를 선택할 수 있다. 사용자 단말은 선택한 음향 데이터 2와 믹싱 메타데이터 2를 오디오 장치에 전달한다(352). 사용자 단말은 유선 또는 무선 네트워크로 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 2를 기준으로 음향 신호 1과 외부 소리를 믹싱하여 출력한다(361).
도 6은 투명 모드 기반의 음향 서비스 제공 과정(400)에 대한 예이다.
사용자 단말은 전용 애플리케이션을 구동한다(401). 예컨대, 전용 애플리케이션은 도스튼 서비스를 제공하는 프로그램일 수 있다.
사용자 단말은 주변 장치로부터 주변 정보를 수신한다(411). 주변 장치는 전시장의 특정 콘텐츠에 인접한 비콘 장치일 수 있다. 또는 주변 장치는 다른 사용자 단말일 수도 있다. 주변 정보는 특정 콘텐츠의 식별 정보 또는 위치 정보를 포함할 수 있다. 경우에 따라서 주변 정보는 믹싱 메타데이터를 포함할 수도 있다.
사용자 단말이 사전에 다양한 음향 데이터를 저장할 수 있다. 또는 경우에 따라서 사용자 단말이 서비스 서버나 다른 객체로부터 음향 데이터를 수신할 수도 있다. 사용자 단말은 주변 정보를 기준으로 음향 데이터 1을 선택한다(421). 또한 사용자 단말은 주변 정보를 기준으로 믹싱 메타데이터 1을 선택할 수도 있다(421). 만약, 사용자 단말이 주변 장치로부터 믹싱 메타데이터를 수신하는 경우, 믹싱 메타데이터를 선택하는 과정은 수행하지 않는다. 사용자 단말은 선택한 음향 데이터 1과 믹싱 메타데이터 1을 오디오 장치에 전달한다(422). 사용자 단말은 유선 또는 무선 네트워크로 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 1을 기준으로 음향 신호 1과 외부 소리를 믹싱하여 출력한다(431).
이후 사용자가 위치를 이동한다고 가정하다. 사용자 단말은 주변 장치로부터 주변 정보를 수신한다(441). 주변 정보는 특정 콘텐츠의 식별 정보 또는 위치 정보를 포함할 수 있다. 경우에 따라서 주변 정보는 믹싱 메타데이터를 포함할 수도 있다.
사용자 단말은 주변 정보를 기준으로 음향 데이터 2를 선택한다(451). 또한 사용자 단말은 주변 정보를 기준으로 믹싱 메타데이터 2를 선택할 수도 있다(451). 만약, 사용자 단말이 주변 장치로부터 믹싱 메타데이터를 수신하는 경우, 믹싱 메타데이터를 선택하는 과정은 수행하지 않는다. 사용자 단말은 선택한 음향 데이터 2와 믹싱 메타데이터 2를 오디오 장치에 전달한다(452). 사용자 단말은 유선 또는 무선 네트워크로 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 2를 기준으로 음향 신호 2와 외부 소리를 믹싱하여 출력한다(461).
도 7은 투명 모드 기반의 음향 서비스 제공 과정(500)에 대한 예이다.
사용자 단말은 전용 애플리케이션을 구동한다(501). 예컨대, 전용 애플리케이션은 도스튼 서비스를 제공하는 프로그램일 수 있다.
사용자 단말은 주변 장치로부터 주변 정보를 수신한다(511). 주변 장치는 전시장의 특정 콘텐츠에 인접한 비콘 장치일 수 있다. 또는 주변 장치는 다른 사용자 단말일 수도 있다. 주변 정보는 특정 콘텐츠의 식별 정보 또는 위치 정보를 포함할 수 있다.
사용자 단말은 주변 정보를 서비스 서버에 전달한다(521). 서비스 서버는 주변 정보를 기준으로 결정되는 믹싱 메타데이터 1을 사용자 단말에 전송한다(522).
사용자 단말이 사전에 다양한 음향 데이터를 저장할 수 있다. 또는 경우에 따라서 사용자 단말이 서비스 서버나 다른 객체로부터 음향 데이터를 수신할 수도 있다. 사용자 단말은 주변 정보를 기준으로 음향 데이터 1을 선택한다(531). 사용자 단말은 선택한 음향 데이터 1과 믹싱 메타데이터 1을 오디오 장치에 전달한다(532). 사용자 단말은 유선 또는 무선 네트워크로 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 1을 기준으로 음향 신호 1과 외부 소리를 믹싱하여 출력한다(541).
이후 사용자가 위치를 이동한다고 가정하다. 사용자 단말은 주변 장치로부터 주변 정보를 수신한다(551). 주변 장치는 전시장의 특정 콘텐츠에 인접한 비콘 장치일 수 있다. 또는 주변 장치는 다른 사용자 단말일 수도 있다. 주변 정보는 특정 콘텐츠의 식별 정보 또는 위치 정보를 포함할 수 있다.
사용자 단말은 주변 정보를 서비스 서버에 전달한다(561). 서비스 서버는 주변 정보를 기준으로 결정되는 믹싱 메타데이터 2를 사용자 단말에 전송한다(562).
사용자 단말은 주변 정보를 기준으로 음향 데이터 2를 선택한다(571). 사용자 단말은 선택한 음향 데이터 2와 믹싱 메타데이터 2를 오디오 장치에 전달한다(572). 사용자 단말은 유선 또는 무선 네트워크로 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 2를 기준으로 음향 신호 2와 외부 소리를 믹싱하여 출력한다(581).
한편, 투명 모드 기반의 서비스는 진행하고 있는 투명 모드 동작을 일정하게 제어하는 기능으로 활용될 수도 있다. 예컨대, 사용자가 특정 환경에서 투명 모드로 외부 소리를 듣는 상황에서 외부 소리를 줄이고 긴급한 음향 신호를 정확하게 듣게 할 수 있다. 사용자가 전시장, 공연장, 교육 기관 등에서 오디오 장치를 착용하면서 투명 모드로 외부 소리를 듣는 상황이라고 가정한다. 이때 서비스 서버 또는 이동통신시스템에서 안전과 관련된 알람을 사용자 단말에 전달할 수 있다. 이 경우 사용자 단말은 오디오 장치에 해당 알람과 함께 믹싱 메타데이터를 전달하여, 오디오 장치가 외부 소리를 줄이거나 차단하도록 할 수 있다.
도 8은 믹싱 메타데이터를 이용하여 투명 모드 기반 서비스를 제어하는 과정(600)에 대한 예이다.
오디오 장치는 사용자 단말로부터 음향 신호를 제공받으면서 투명 모드로 동작한다(601). 따라서, 현재 사용자는 음향 신호와 함께 외부 소리를 같이 듣고 있다.
재난 안내 서버가 알람 정보를 사용자 단말에 전달한다(611). 재난 안내 서버는 이동통신시스템 및/또는 인터넷을 통해 알람 정보를 사용자 단말에 전송할 수 있다. 알람 정보는 알람 데이터(텍스트 내지 음성 포함) 및 알람 식별자를 포함할 수 있다. 또는 알람 정보는 알람 데이터와 믹싱 메타데이터를 포함할 수도 있다.
사용자 단말은 알람 식별자를 기준으로 믹싱 메타데이터를 선택할 수 있다(621). 또는 사용자 단말은 알람 정보에 포함되어 있는 믹싱 메타데이터를 이용할 수도 있다.
사용자 단말은 알람 데이터 및 믹싱 메타데이터를 오디오 장치에 전달한다(622). 사용자 단말은 유선 또는 무선 네트워크를 통해 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터를 기준으로 알람 데이터와 외부 소리를 믹싱하여 출력한다(631). 이때 알람 데이터는 음성이나 음향 데이터에 해당한다. 예컨대, 오디오 장치는 이전 투명 모드에 비하여 외부 소리의 레벨을 줄이고 알람 데이터를 출력할 수 있다. 또는, 오디오 장치는 외부 소리를 출력하지 않고 알람 데이터만을 출력할 수도 있다. 이 경우 믹싱 메타데이터의 믹싱 계수는 0일 수 있다. 0은 외부 소리의 믹싱 정도를 의미한다.
다른 예로, 투명 모드 기반의 서비스는 다수의 음향을 조합하여 사용자에게 제공하는 서비스에 활용될 수 있다. 예컨대, 사용자가 일정한 음악을 들으면서 악기(예컨대, 기타)를 연주할 수 있다. 사용자는 오디오 장치를 착용한 상태에서 자신이 기타를 합주하는 형태로 오디오 데이터를 만들거나 연습을 할 수 있다. 사용자는 외부 스피커에서 출력되는 기본 음원(외부 소리)을 들으면서 자신이 연주한 기타 소리를 오디오 장치의 내부 출력으로 들어볼 수 있다.
도 9는 믹싱 메타데이터를 이용하여 음원 서비스를 제공하는 과정(700)에 대한 예이다.
기본 스피커는 계속 기본 음원을 출력한다(701).
사용자 음향 장치(악기)는 사용자 입력에 따라 일정한 음원을 생성한다. 사용자 음향 장치는 악기 음원 정보를 사용자 단말에 전달한다(711). 악기 음원 정보는 사용자 음향 장치가 생성한 음원을 포함한다. 나아가, 악기 음원 정보는 해당 음원의 소리 레벨을 포함할 수 있다.
사용자 단말은 스마트폰 또는 사용자 음향 장치와 연결된 음향 제어 장치일 수도 있다. 사용자 단말은 악기 음원 정보를 기준으로 믹싱 메타데이터 1을 선택한다(721). 사용자 단말은 악기 음원 정보에 포함된 음원의 소리 레벨에 따라 믹싱 메타데이터를 선택할 수 있다. 사용자 단말은 음원의 소리 레벨에 따라 동적으로 믹싱 메타데이터를 선택할 수 있다. 사용자 단말은 악기 음원 정보에 포함된 음향 데이터 1과 믹싱 메타데이터 1을 오디오 장치에 전달한다(722). 사용자 단말은 유선 또는 무선 네트워크를 통해 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 1을 기준으로 음향 신호 1과 외부 소리를 믹싱하여 출력한다(731).
이후 사용자 음향 장치(악기)는 사용자 입력에 따라 일정한 음원을 생성한다. 사용자 음향 장치는 악기 음원 정보를 사용자 단말에 전달한다(741).
사용자 단말은 악기 음원 정보를 기준으로 믹싱 메타데이터 2를 선택한다(751). 사용자 단말은 악기 음원 정보에 포함된 음원의 소리 레벨에 따라 믹싱 메타데이터를 선택할 수 있다. 사용자 단말은 음원의 소리 레벨에 따라 동적으로 믹싱 메타데이터를 선택할 수 있다. 사용자 단말은 악기 음원 정보에 포함된 음향 데이터 2와 믹싱 메타데이터 2를 오디오 장치에 전달한다(752). 사용자 단말은 유선 또는 무선 네트워크를 통해 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 2를 기준으로 음향 신호 2와 외부 소리를 믹싱하여 출력한다(761).
또 다른 실시예로, 투명 모드 기반의 서비스는 배리어 프리(Barrier Free) 영화와 같은 콘텐츠에 적용될 수 있다. 배리어 프리 영화는 시각장애인을 위하여 화면 해설 음성을 영화 사운드 트랙에 믹싱한 버전이다. 배리어 프리 영화는 전용 상영관에서 상영된다. 정상인도 배리어 프리 영화를 볼 수 있지만, 영화 콘텐츠의 내용 및 상황이 음성을 출력되어 영화 관람에 방해가 될 수 있다. 시각장애인이 일반 상영관에서 출력되는 외부 소리(영화 오리지널 사운드 트랙)와 함께 화면 해설 음성을 오디오 장치(헤드폰)을 통해 동시에 들을 수 있다. 상영관은 영화 내용에 따라 소리 크기 및 소리 방향을 달리 하여 현장감있는 음향을 출력한다. 따라서, 시각장애인도 전술한 투명 모드를 제공하는 오디오 장치를 이용하여 현장감있는 외부 음향과 함께 화면 해설 음성을 동시에 제공받을 수 있다.
도 10은 믹싱 메타데이터를 이용하여 영화 서비스를 제공하는 과정(800)에 대한 예이다.
상영관 스피커는 계속 기본 음향을 출력한다(801). 기본 음향은 영화 콘텐츠에 있는 오리지널 사운드 트랙이다.
사용자 단말은 전용 애플리케이션을 구동한다(811). 예컨대, 전용 애플리케이션은 배리어 프리 영화를 제공하는 서비스 프로그램일 수 있다.
해설 음성 제공 장치는 해설 음성을 제공하는 서버 또는 상영관 현장에 설치된 음원 제공 장치일 수 있다. 해설 음성 제공 장치는 무선통신 네트워크를 통해 일정한 음원 및 데이터를 사용자 단말에 송신할 수 있다. 해설 음성 제공 장치는 영화 콘텐츠 내용에 따른 해설 음원 정보를 제공한다(821). 해설 음성 제공 장치는 해설 음원 정보와 함께 믹싱 메타데이터 1을 제공할 수 있다(821).
경우에 따라 사용자 단말은 해설 음원 정보를 기준으로 믹싱 메타데이터 1을 선택할 수도 있다(822).
사용자 단말은 해설 음원 정보에 포함된 음성 데이터 1과 믹싱 메타데이터 1을 오디오 장치에 전달한다(823). 사용자 단말은 유선 또는 무선 네트워크를 통해 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 1을 기준으로 음성 데이터 1과 외부 소리를 믹싱하여 출력한다(831).
이후 해설 음성 제공 장치는 영화 진행에 따라 다른 해설 음성 정보를 제공한다(841). 해설 음성 제공 장치는 해설 음원 정보와 함께 믹싱 메타데이터 2를 제공할 수 있다(841).
경우에 따라 사용자 단말은 해설 음원 정보를 기준으로 믹싱 메타데이터 2를 선택할 수도 있다(851).
사용자 단말은 해설 음원 정보에 포함된 음성 데이터 2와 믹싱 메타데이터 2를 오디오 장치에 전달한다(852). 사용자 단말은 유선 또는 무선 네트워크를 통해 데이터를 오디오 장치에 전달할 수 있다.
오디오 장치는 수신한 믹싱 메타데이터 2를 기준으로 음성 데이터 2와 외부 소리를 믹싱하여 출력한다(861).
또한, 상술한 바와 같은 오디오 신호 처리 방법 내지 투명 모드 제어 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (9)

  1. 외부 소리를 입력받는 마이크;
    상기 마이크에서 출력되는 신호를 변환하는 ADC(Analog Digital Converter);
    음향 신호 및 믹싱 메타데이터를 입력받는 입력 인터페이스;
    상기 입력 인터페이스로부터 상기 음향 신호 및 상기 믹싱 메타데이터를 입력받고, 상기 ADC로부터 변환된 외부 소리를 입력받고, 상기 믹싱 메타데이터를 기준으로 상기 외부 소리와 상기 음향 신호를 믹싱하여 출력 신호를 생성하는 믹서(mixer);
    상기 믹서의 출력 신호를 아날로그 신호로 변환하는 DAC(Digital Analog Converter);
    상기 DAC 신호를 증폭하는 증폭기; 및
    상기 증폭기의 출력 신호를 출력하는 드라이버 유닛을 포함하는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 오디오 장치.
  2. 제1항에 있어서,
    상기 믹싱 메타데이터는 상기 사용자 단말의 위치 또는 상기 사용자 단말과 외부 객체 사이의 거리에 따라 결정되는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  3. 제1항에 있어서,
    상기 믹싱 메타데이터는 서비스 서버 또는 상기 사용자 단말에 근접한 송신 장치로부터 전달되는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  4. 제1항에 있어서,
    상기 믹싱 메타데이터는 상기 음향 신호 중 일정 시간 구간에 대한 정보 및 상기 시간 구간의 음향 신호에 대한 상기 비율을 포함하는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  5. 오디오 장치가 마이크를 통해 외부 소리를 입력받는 단계;
    상기 오디오 장치가 사용자 단말로부터 음향 신호를 전달받는 단계;
    상기 오디오 장치가 상기 사용자 단말로부터 믹싱 메타데이터를 전달받는 단계;
    상기 오디오 장치가 상기 믹싱 메타데이터를 기준으로 상기 외부 소리와 상기 음향 신호를 믹싱하여 출력 신호를 생성하는 단계; 및
    상기 오디오 장치가 상기 출력 신호를 드라이버 유닛을 통해 출력하는 단계를 포함하되, 상기 믹싱 메타데이터는 상기 출력 신호 중 상기 외부 소리와 상기 음향 신호를 믹싱하는 비율을 나타내는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  6. 제5항에 있어서,
    상기 믹싱 메타데이터는 상기 사용자 단말의 위치 또는 상기 사용자 단말과 외부 객체 사이의 거리에 따라 결정되는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  7. 제5항에 있어서,
    상기 믹싱 메타데이터는 서비스 서버 또는 상기 사용자 단말에 근접한 송신 장치로부터 전달되는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  8. 제5항에 있어서,
    상기 믹싱 메타데이터는 상기 음향 신호 중 일정 시간 구간에 대한 정보 및 상기 시간 구간의 음향 신호에 대한 상기 비율을 포함하는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
  9. 오디오 장치가 마이크를 통해 외부 소리를 입력받는 단계;
    상기 오디오 장치가 사용자 단말로부터 음향 신호를 전달받는 단계;
    상기 오디오 장치가 상기 외부 소리와 상기 음향 신호를 사전에 설정된 계수에 따라 믹싱하여 드라이버 유닛을 통해 출력하는 단계;
    상기 오디오 장치가 상기 사용자 단말로부터 새로운 음향 신호 및 믹싱 메타데이터를 전달받는 단계; 및
    상기 오디오 장치가 상기 믹싱 메타데이터를 기준으로 상기 외부 소리와 상기 새로운 음향 신호를 믹싱하여 출력하는 단계를 포함하되, 상기 믹싱 메타데이터는 상기 출력 신호 중 상기 외부 소리와 상기 새로운 음향 신호를 믹싱하는 비율을 나타내는 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법.
KR1020220164561A 2022-11-30 2022-11-30 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치 KR102676074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220164561A KR102676074B1 (ko) 2022-11-30 2022-11-30 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164561A KR102676074B1 (ko) 2022-11-30 2022-11-30 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치

Publications (2)

Publication Number Publication Date
KR20240080841A true KR20240080841A (ko) 2024-06-07
KR102676074B1 KR102676074B1 (ko) 2024-06-18

Family

ID=91480223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164561A KR102676074B1 (ko) 2022-11-30 2022-11-30 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치

Country Status (1)

Country Link
KR (1) KR102676074B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040060711A (ko) * 2003-09-03 2004-07-06 삼성전자주식회사 오디오 스트림 믹싱 방법
KR20110099725A (ko) * 2008-12-12 2011-09-08 콸콤 인코포레이티드 무선 헤드셋에서의 동시 다중 소스 오디오 출력
US10034092B1 (en) 2016-09-22 2018-07-24 Apple Inc. Spatial headphone transparency
WO2019026678A1 (ja) * 2017-08-02 2019-02-07 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040060711A (ko) * 2003-09-03 2004-07-06 삼성전자주식회사 오디오 스트림 믹싱 방법
KR20110099725A (ko) * 2008-12-12 2011-09-08 콸콤 인코포레이티드 무선 헤드셋에서의 동시 다중 소스 오디오 출력
US10034092B1 (en) 2016-09-22 2018-07-24 Apple Inc. Spatial headphone transparency
WO2019026678A1 (ja) * 2017-08-02 2019-02-07 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
KR102676074B1 (ko) 2024-06-18

Similar Documents

Publication Publication Date Title
KR101844388B1 (ko) 개인용 오디오의 전달을 위한 시스템들 및 방법들
US11075609B2 (en) Transforming audio content for subjective fidelity
CA2992510C (en) Synchronising an audio signal
JP2013501969A (ja) 方法、システム及び機器
AU2016293318B2 (en) Personal audio mixer
EP3323251B1 (en) A method of augmenting an audio content
JP5909100B2 (ja) ラウドネスレンジ制御システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
KR102676074B1 (ko) 믹싱 메타데이터를 이용하여 투명 모드를 제공하는 방법 및 오디오 장치
US20190182557A1 (en) Method of presenting media
WO2008015733A1 (fr) Dispositif, procédé et programme de commande sonore
KR20160079339A (ko) 음향 서비스 제공 방법 및 시스템, 그리고 음향 전송 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant