KR20040034442A

KR20040034442A - 사용자의 선호도에 따른 오디오 신호 적응 변환 장치 및그 방법

Info

Publication number: KR20040034442A
Application number: KR1020030071344A
Authority: KR
Inventors: 서정일; 장대영; 강경옥; 김진웅; 안치득
Original assignee: 한국전자통신연구원
Priority date: 2002-10-15
Filing date: 2003-10-14
Publication date: 2004-04-28
Also published as: KR100626653B1; CN1717956A; CN1717956B

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야

오디오 신호의 적응 변환 장치 및 그 방법에 관한 것임.

2. 발명이 해결하고자 하는 기술적 과제

오디오컨텐츠를 소비하는 사용자 단말의 사용환경을 미리 기술(DESCRIPTION)한 정보를 이용하여, 사용환경에 부합하도록 오디오컨텐츠를 적응 변환시키는 오디오 적응 변환 장치 및 그 방법을 제공하는 것을 목적으로 함.

3. 발명의 해결방법의 요지

오디오 신호를 소비하는 사용자 단말로부터 오디오 사용환경정보를 수집하여 기술하고 관리하는 오디오 사용환경정보 관리수단 및 상기 오디오 사용환경정보에 부합하는 오디오 신호가 상기 사용자 단말로 출력되도록, 상기 오디오 신호를 적응변환시키는 오디오 적응변환 수단을 포함하되, 상기 오디오 사용환경정보는 상기 오디오 신호에 대한 사용자의 음장 선호도를 기술하는 사용자특성정보를 포함함.

4. 발명의 중요한 용도

본 발명은 MPEG-21 표준에 따른 오디오시스템에 적용될 수 있음.

Description

사용자의 선호도에 따른 오디오 신호 적응 변환 장치 및 그 방법{Apparatus and Method of Adapting Audio Signal According to User's Preference}

본 발명은 오디오 신호의 적응 변환 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자 선호도에 부합하도록 오디오 신호를 적응 변환(ADAPTATION)시키는 장치 및 그 방법에 관한 것이다.

MPEG은 MPEG-21의 새로운 표준 작업 항목(STANDARD WORKING ITEM)인 디지털 아이템 적응 변환(DIGITAL ITEM ADAPTATION, DIA)을 제시하였다. 디지털 아이템(DIGITAL ITEM, DI)은 표준화된 표현, 식별 및 메타데이터를 갖는 구조화된 디지털 객체(STRUCTURED DIGITAL OBJECT WITH A STANDARD REPRESENTATION, IDENTIFICATION AND META-DATA)를 의미하며, DIA는 DI가 리소스 적응 변환 엔진(RESOURCE ADAPTATION ENGINE) 또는 기술자 적응 변환 엔진(DESCRIPTOR ADAPTATION ENGINE)에서 처리되어 적응 변환된(ADAPTED) DI 를 생성하는 프로세스를 의미한다.

여기서 리소스(RESOURCE)는 비디오 또는 오디오, 이미지 또는 텍스트 항목과 같이 개별적으로 식별가능한 항목을 의미하며, 물리적인 객체를 의미할 수도 있다. 기술자(DESCRIPTOR)는 DI 내의 항목 또는 컴포넌트에 관련된 정보를 의미한다.

또한 사용자는 DI의 생산자, 권리자, 분배자 및 소비자 등을 모두 포함한다. 미디어 리소스(MEDIA RESOURCE)는 직접적으로 디지털 표현이 가능한 컨텐츠를 의미한다. 본 명세서에서 컨텐츠라는 용어는 DI, 미디어 리소스 및 리소스와 동일한 의미로 사용된다.

종래기술에 따르면, 오디오컨텐츠를 소비하는 사용 환경(USAGEENVIRONMENT), 즉 사용자 특성, 사용자 주변환경 및 사용자 단말 능력에 대한 정보를 이용하여 하나의 오디오컨텐츠를 각기 다른 사용 환경에 부합할 수 있도록 적응 변환처리를 할 수 있는 단일소스 복수사용(Single-Source Multi-Use) 환경을 제공할 수 없다는 문제점이 있다.

"단일소스(Single Source)"는 멀티미디어 소스에서 생성된 한 개의 컨텐츠를 의미하고, "복수사용(Multi-Use)"은 다양한 사용환경의 사용자 단말들이 "단일소스(Single Source)"를 각각의 사용환경에 맞게 소비함을 의미한다.

단일소스 복수사용 환경의 장점은 다양한 사용 환경에 부합하도록 하나의 컨텐츠를 재가공 함으로써, 상이한 사용 환경에 적응 변환 되어진 다양한 형태의 컨텐츠를 제공할 수 있으며, 나아가 다양한 사용 환경에 적응 변환된 단일소스를 사용자 단말로 제공함에 있어, 네트워크 대역폭을 효율적으로 사용하거나 감소시킬 수 있다는 것이다.

따라서, 컨텐츠 제공자 입장에서는 다양한 사용 환경에 오디오 신호를 부합시키기 위하여 복수의 컨텐츠를 제작하거나 전송하는 과정에서 발생하는 불필요한 비용을 절감할 수 있으며, 컨텐츠 소비자 입장에서는 자신이 위치한 환경의 공간적 제약을 극복하고 동시에 사용자 자신의 청력 특성 및 선호도를 최대한 만족시킬 수 있는 최적의 오디오컨텐츠를 소비할 수 있게 된다.

그러나, 종래기술에 따르면, 단일소스 복수사용 환경을 지원할 수 있는 범용적 멀티미디어 액세스(UNIVERSAL MULTIMEDIA ACCESS, UMA) 환경에서도 단일소스복수사용 환경의 장점을 활용하지 못한다.

즉 멀티미디어 소스는 사용자 특성, 사용자 주변환경 및 사용자 단말능력과 같은 사용 환경을 고려하지 않고 일률적으로 오디오컨텐츠를 전송하고, WINDOWS MEDIA PLAYER, MP3 PLAYER, REAL PLAYER 등과 같은 오디오 플레이어 어플리케이션이 탑재된 사용자 단말은 소비 멀티미디어 소스로부터 수신한 형식 그대로 오디오컨텐츠를 소비하기 때문에 단일소스 복수사용 환경에 부합하지 아니한다.

이러한 종래기술의 문제점을 극복하고 단일소스 복수사용 환경을 지원하기 위해, 멀티미디어 소스가 다양한 사용 환경을 모두 고려하여 멀티미디어 컨텐츠를 제공하게 되면, 컨텐츠의 생성 및 전송에 있어서 많은 부담이 존재한다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 것으로서, 오디오컨텐츠를 소비하는 사용자 단말의 사용환경을 미리 기술(DESCRIPTION)한 정보를 이용하여, 사용환경에 부합하도록 오디오컨텐츠를 적응 변환시키는 오디오 적응 변환 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명이 속한 기술 분야에서 통상의 지식을 가진 자는 본 명세서의 도면, 발명의 상세한 설명 및 특허청구범위로부터 본 발명의 다른 목적 및 장점을 쉽게 인식할 수 있다.

도 1은 본 발명의 일실시예에 따른 오디오 적응 변환 장치가 포함된 사용자 단말을 개략적으로 나타내는 블록도,

도 2는 도 1의 오디오 적응 변환 장치로서 구현 가능한 일실시예를 개략적으로 나타내는 사용자 단말의 블록도,

도 3은 도 1의 오디오 적응 변환 장치에서 수행되는 오디오 적응 변환 프로세스를 설명하기 위한 흐름도,

도 4는 도 3의 적응 변환 프로세스를 설명하기 위한 흐름도,

도 5는 오디오컨텐츠와 임펄스 응답의 컨벌루션을 통해 사용자 선호의 음장 특성이 구현되는 것을 설명하기 위한 도면,

도 6은 지각 파라미터의 세부 기술자의 내용을 설명하기 위한 도면이다.

상기와 같은 목적을 달성하기 위한 본 발명은 단일소스 복수사용을 위한 오디오 신호 적응 변환 장치에 있어서, 오디오 신호를 소비하는 사용자 단말로부터 오디오 사용환경정보를 수집하여 기술하고 관리하는 오디오 사용환경정보 관리수단; 및 상기 오디오 사용환경정보에 부합하는 오디오 신호가 상기 사용자 단말로 출력되도록, 상기 오디오 신호를 적응변환시키는 오디오 적응변환 수단을 포함하되, 상기 오디오 사용환경정보는 상기 오디오 신호에 대한 사용자의 음장 선호도를 기술하는 사용자특성정보를 포함한다.

또한, 상기와 같은 목적을 달성하기 위한 본 발명은 단일소스 복수사용을 위한 오디오 신호 적응 변환 방법에 있어서, 오디오 신호를 소비하는 사용자 단말로부터 오디오 사용환경정보를 수집하여 기술하고 관리하는 제1단계; 및 상기 오디오 사용환경정보에 부합하는 오디오 신호가 상기 사용자 단말로 출력되도록, 상기 오디오 신호를 적응 변환시키는 제2단계를 포함하되, 상기 오디오 사용환경정보는 상기 오디오 신호에 대한 사용자의 음장 선호도를 기술하는 사용자특성정보를 포함한다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 오디오 적응 변환 장치를 개략적으로 나타내는 블록도이다. 도 1에 도시된 바와 같이 본 발명의 일실시예에 따른 오디오적응변환장치(100)는 오디오적응변환수단(103) 및 오디오사용환경정보관리수단(107)을 포함한다. 오디오적응변환수단(103) 및 오디오사용환경정보관리수단(107) 각각은 상호 독립적으로 오디오처리시스템에 탑재될 수 있다.

오디오처리시스템은 랩탑 컴퓨터, 노트북 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, 메인프레임 또는 다른 형태의 컴퓨터를 포함한다. 개인휴대정보단말기(PERSONAL DIGITAL ASSISTANT, PDA), 이동통신 모바일 스테이션과 같은 다른 형태의 데이터 처리 또는 신호 처리 시스템도 오디오처리시스템에 포함된다.

오디오처리시스템은 네트워크 경로를 구성하는 모든 노드, 즉 멀티미디어 소스 노드 시스템, 멀티미디어 중계 노드 시스템 및 최종 사용자 단말(END USER TERMINAL) 중에서 임의의 노드 시스템일 수 있다.

최종 사용자 단말은 WINDOWS MEDIA PLAYER, MP3 PLAYER 및 REAL PLAYER 등과 같은 오디오 플레이어가 탑재되어 있다.

예를 들어, 오디오적응변환장치(100)가 멀티미디어 소스 노드 시스템에 탑재되어 동작하는 경우, 오디오컨텐츠를 소비하는 사용 환경을 미리 기술한 정보를 이용하여 사용 환경에 부합하도록 오디오컨텐츠를 적응 변환시키기 위해서는 사용 환경에 대한 정보를 최종 사용자 단말로부터 수신하고, 수신된 사용 환경에 기초하여 적응 변환된 컨텐츠를 최종 사용자 단말로 전송한다.

본 발명에 따른 오디오적응변환장치(100)가 오디오 데이터를 처리하는 프로세스, 예를 들어 오디오 인코딩 프로세스에 대하여,ISO(International Standardization Organization)/IEC(International Electrotechnical Commission)의 기술위원회(Technical Committee)의 ISO/IEC 표준문서는 본 발명의 바람직한 실시예의 각 구성요소의 기능과 동작을 설명하는데 도움이 되는 범위에서 본 명세서의 일부로서 포함될 수 있다.

오디오데이터소스수단(101)은 멀티미디어 소스로부터 생성된 오디오 데이터를 수신한다. 오디오데이터소스수단(101)은 멀티미디어 소스 노드 시스템에 포함될 수도 있고, 멀티미디어 소스 노드 시스템으로부터 유/무선 네트워크를 통해 전송된 오디오 데이터를 수신하는 멀티미디어 중계 노드 시스템 또는 최종 사용자 단말에 포함될 수도 있다.

오디오적응변환수단(103)은 오디오데이터소스수단(101)으로부터 오디오 데이터를 수신하고, 오디오사용환경정보관리수단(107)이 사용 환경 즉 사용자 특성, 사용자 주변환경 및 사용자 단말 능력을 미리 기술한 정보를 이용하여, 사용 환경에 부합하도록 오디오데이터를 적응 변환시킨다.

여기서, 도면에 도시된 오디오적응변환수단(103)의 기능이 반드시 어느 한 노드 시스템에만 포함되어야 하는 것은 아니고 네트워크 경로를 구성하는 노드 시스템에 분산될 수 있다.

예를 들어, 네트워크 대역폭과 관련되지 않은 오디오 볼륨 조절 기능을 갖는 오디오적응변환수단(103)은 최종 사용자 단말에 포함되는 반면, 네트워크 대역폭과 관련되는, 시간영역에서의 특정 오디오 신호 강도 즉 오디오 레벨 조절 기능을 갖는 오디오적응변환수단(103)은 멀티미디어 소스 노드 시스템에 포함될 수 있다.

오디오사용환경정보관리수단(107)은 사용자, 사용자 단말 및 주변환경으로부터 정보를 수집하여 사용 환경 정보를 미리 기술하고 관리한다.

오디오적응변환수단(103)이 수행하는 기능에 관련된 사용 환경 정보도 오디오적응변환수단(103)의 경우와 마찬가지로 네트워크 경로를 구성하는 노드 시스템에 분산될 수 있다.

오디오데이터출력수단(105)은 오디오적응변환수단(103)에 의해 적응 변환된 오디오데이터를 출력한다. 출력된 오디오데이터는 최종 사용자 단말의 오디오 플레이어로 전송될 수도 있고, 유/무선 네트워크를 통해 멀티미디어 중계 노드 시스템 또는 최종 사용자 단말로 전송될 수도 있다.

도 2는 도 1의 오디오 적응 변환 장치로서 구현 가능한 일실시예를 개략적으로 나타내는 블록도이다. 도 2에 도시된 바와 같이, 오디오데이터소스수단(101)은 오디오메타데이터(201) 및 오디오컨텐츠(203)를 포함할 수 있다.

오디오데이터소스수단(101)은 멀티미디어 소스로부터 생성된 오디오컨텐츠 및 메타데이터를 수집하여 저장한다. 여기서 오디오컨텐츠(203)는 여러 가지 상이한 부호화 방식(MP3, AC-3, AAC, WMA, RA, CELP 등)으로 저장되거나 스트리밍 형태로 전송되는 다양한 오디오 포맷을 포함한다.

오디오메타데이터(201)는 오디오컨텐츠의 부호화 방식, 샘플링 레이트(Sampling Rate), 채널 수(예를 들어, 모노, 스테레오, 5.1 채널 등), 비트 레이트(Bit Rate) 등과 같은, 대응되는 오디오컨텐츠에 관련된 정보로서 XML(eXtensible Markup Language) 스키마(schema)에 의해 정의되고 기술될 수 있다.

오디오사용환경정보관리수단(107)은 사용자특성정보관리부(207), 사용자특성정보입력부(217), 사용자주변환경정보관리부(209), 사용자주변환경정보입력부(219), 오디오단말능력정보관리부(211) 및 오디오단말능력정보입력부(221)를 포함할 수 있다.

사용자특성정보관리부(207)는 사용자특성정보입력부(217)를 통해 사용자 단말로부터 청각특성, 선호 음량, 선호 주파수 스펙트럼상의 이퀄라이징(Equalizing) 패턴 등과 같은 사용자 특성정보를 수신하고 관리한다.

특히, 본 발명에 따라 사용자 선호의 음장 정보를 수신하고 관리한다.

입력된 사용자 특성정보는 예를 들어 XML 형식의 기계판독 가능한 언어로 관리된다.

사용자주변환경정보관리부(209)는 사용자주변환경정보입력부(219)를 통해 오디오컨텐츠가 소비되는 주변환경(NATURAL ENVIRONMENT)정보를 입력받아 관리한다. 입력된 주변환경정보는 예를 들어 XML 형식의 기계판독 가능한 언어로 관리된다.

사용자주변환경정보입력부(219)는 특정 장소에서 수집, 분석 및 처리되거나 사전에 마련된 잡음환경분류표에 의해 정의될 수 있는 잡음환경 특성 정보를 사용자주변환경정보관리부(209)로 전송한다.

오디오단말능력정보관리부(211)는 오디오단말능력정보입력부(221)를 통해 단말 능력정보를 수신하고 관리한다. 입력된 단말 능력정보는 예를 들어 XML 형식의 기계판독 가능한 언어로 관리된다.

오디오단말능력정보입력부(221)는 사용자 단말에 미리 설정되어 있거나, 사용자에 의해 입력되는 단말 능력 정보를 오디오단말능력정보관리부(211)로 전송할 수 있다.

오디오적응변환수단(103)은 오디오메타데이터 적응변환처리부(213) 및 오디오컨텐츠 적응변환처리부(215)를 포함할 수 있다.

오디오컨텐츠 적응 변환처리부(215)는 사용자주변환경정보관리부(209)에서 관리되는 사용자 주변환경정보를 파싱(Parsing)한 후 잡음환경에 강인할 수 있도록 잡음 마스킹(Noise-Masking) 등의 오디오 신호처리를 통해 오디오컨텐츠가 주변환경에 적응하도록 변환처리(transcoding)한다.

유사하게, 오디오컨텐츠 적응 변환처리부(215)는 사용자 특성정보관리부(217) 및 오디오단말능력정보관리부(211)에서 관리되는 사용자 특성정보 및 오디오단말 능력정보를 파싱(Parsing) 한 후 오디오컨텐츠가 사용자 특성 및 단말능력에 부합하도록 오디오 신호를 적응 변환시킨다.

오디오메타데이터 적응 변환처리부(213)는 오디오컨텐츠 적응 변환과정에서 필요한 메타데이터를 제공하며, 오디오컨텐츠 적응 변환처리 결과에 따라 대응하는 오디오메타데이터 정보의 내용을 적응 변환시킨다.

도 3은 도 1의 오디오 적응 변환 장치에서 수행되는 오디오 적응 변환 프로세스를 설명하기 위한 흐름도이다. 도 3에 도시된 바와 같이, 본 발명에 따른 프로세스는 오디오사용환경정보관리수단(107)이 사용자, 단말 및 주변환경으로부터 오디오 사용 환경 정보를 수집하여 사용자 특성, 사용자 주변환경 및 사용자 단말 능력 정보를 미리 기술하는 것으로 시작한다(S301).

다음으로 오디오데이터소스수단(101)이 오디오 데이터를 수신하면(S303), 오디오적응변환수단(103)은 단계 S301에서 기술한 사용 환경 정보를 이용하여, 단계 S303에서 수신한 오디오 데이터를 사용 환경 즉 사용자 특성, 사용자 주변환경 및 사용자 단말 능력에 부합하도록 오디오컨텐츠를 적응 변환시킨다(S305).

오디오데이터출력수단(105)은 단계 S305에서 적응 변환된 오디오데이터를 출력한다(S307).

도 4는 도 3의 적응 변환 프로세스(S305)를 설명하기 위한 흐름도이다. 도 4에 도시된 바와 같이, 오디오적응변환수단(103)은 오디오데이터소스수단(101)이 수신한 오디오컨텐츠 및 오디오메타데이터를 확인하여(S401) 적응 변환의 필요가 있는 오디오컨텐츠를 사용자 특성, 사용자 주변환경 및 사용자 단말 능력에 부합하도록 적응 변환시키고(S403), 단계 S403의 오디오컨텐츠 적응 변환처리 결과에 따라, 대응하는 오디오메타데이터 정보의 내용을 적응 변환시킨다(S405).

이하에서는 본 발명에 따라 오디오사용환경정보관리수단(107)에서 관리되는 기술 정보 구조가 개시된다.

본 발명에 따라 오디오컨텐츠를 소비하는 사용자 특성, 사용자 주변환경 및 사용자 단말 능력의 사용 환경을 미리 기술한 정보를 이용하여, 사용 환경에 부합하도록 오디오컨텐츠를 적응 변환시키기 위해서는 사용자특성(USER CHARACTERISTICS), 단말능력(TERMINAL CAPABILITIES) 및 주변환경특성(NATURAL ENVIRONMENT CHARACTERISTICS)에 대한 정보가 관리되어야 한다.

특히, 사용자특성에 대한 정보는 사용자의 오디오 표시 선호도(Audio Presentation Preference)를 기술하는 "AudioPresentationPreference" 기술자들을 포함한다.

지금까지 MPEG-21에 논의된 "AudioPresentationPreference" 기술자들은 "AudioPower", "Mute", "FrequencyEqualizer", "Period", "Level", "PresetEqualizer", "AudibleFrequencyRange" 및 "AudibleLevelRange" 이다.

"AudioPower" 기술자는 음향의 세기(Loudness of Audio)에 대한 사용자의 선호도를 설명하기 위한 것으로 0부터 1까지의 정규화된 퍼센트 규격(normalized percentage scale)으로 기술된다.

"Mute" 기술자는 디지털 기기의 오디오 부분의 묵음에 대한 선호도를 설명한다.

"FrequencyEqualizer" 기술자는 주파수 영역과 감쇄값을 이용한 특유한 이퀄라이징 개념에 대한 선호도를 설명한다.

"Period" 기술자는 "FrequencyEqualizer" 기술자의 특질로 헤르츠(Hz)로 표시되는 이퀄라이징 범위의 최저 주파수에서 최고 주파수(the lower and the upper corner frequency)를 정의한다.

"Level" 기술자는 "FrequencyEqualizer" 기술자의 특질로 -15에서 15까지의 데시벨(dB)로 표시되는 주파수 영역의 증폭 또는 감쇄값을 정의한다.

"PresetEqualizer" 기술자는 이퀄라이저 프리셋의 언어적 기술을 통한 특유의 이퀄라이징 개념에 대한 선호도를 의미한다. 상기 프리셋은 째즈(Jazz), 록(Rock), 클래식(Classical) 및 팝(pop) 등으로 제시된다.

"AudibleFrequencyRange" 기술자는 사용자의 특유한 주파수 영역에 대한 선호도를 기술한다. 이것은 최저 주파수에서 최고 주파수(the lower and the upper corner frequency)까지를 헤르쯔(Hz)로 표시한다.

"AudibleLevelRange" 기술자는 사용자의 특유한 레벨 범위에 대한 선호도를 기술한다. 그 최고값과 최저값은 0 에서 1 사이의 값으로 주어진다.

한편, 상술한 "AudioPresentaionPreference" 기술자만으로는 음장(soundfield)에 대한 사용자 선호도를 반영할 수 없다. 따라서, 음장에 대한사용자 선호 정보를 기술할 수 있는 기술자가 필요하다.

따라서, 본 발명에서는 특정 장소의 음장에 대한 선호도를 임펄스 응답(impulse response)과 지각 파라미터(perceptual parameter)로 기술하는 것을 제안한다.

홀이나 교회와 같은 음장을 모사(simulation)하기 위하여 한 개 이상의 마이크로폰으로 해당 장소의 임펄스 응답(impulse response)을 획득하고, 상기 임펄스 응답을 해당 오디오컨텐츠와 컨벌루션(convolution)시키면 홀이나 교회 특성의 음장을 표현할 수 있다.

도 5는 오디오컨텐츠와 임펄스 응답의 컨벌루션을 통해 사용자 선호의 음장 특성이 구현되는 것을 설명하기 위한 도면이다.

도시된 바와 같이, 오디오적응변환수단(103)은 임펄스 응답과 오디오컨텐츠를 컨벌루션시켜, 상기 오디오컨텐츠에 사용자 음장 특성을 반영시킨다.

임펄스 응답을 이용하면 소비 컨텐츠에 대해서 가장 정확한 음장을 기술할 수 있고, 지각 파라미터는 소리의 따뜻함(SourceWarmth), 소리의 무게감(Heavyness) 등 사용자가 지각하는 오디오 신호의 느낌을 표현할 수 있다.

도 1의 오디오사용환경정보관리수단(107)에서 관리하는 사용환경의 기술 정보 구조로서, 예시적으로 XML 스키마 정의에 따라 사용자 선호의 음장을 표현한 구문(syntax)은 다음과 같다.

<element name="SoundFieldGenerator">

<sequence>

<element name="ImpulseResponse" minOccurs="0">

<complexType>

<sequence maxOccurs="unbounded">

<element name="time" type="float"/>

<element name="amplitude" type="float"/>

</sequence>

</complexType>

</element>

<element name="PerceptualParameters" minOccurs="0">

<sequence>

<element name="SourcePresence" type="float"/>

<element name="SourceWarmth" type="float"/>

<element name="SourceBrilliance" type="float"/>

<element name="RoomPresence" type="float"/>

<element name="RunningReverberance" type="float"/>

<element name="Envelopment" type="float"/>

<element name="LateReverberance" type="float"/>

<element name="Heavyness" type="float"/>

<element name="Liveness" type="float"/>

<element name="RefDistance" type="float"/>

<element name="FreqLow" type="float"/>

<element name="FreqHigh" type="float"/>

<element name="Timelimit1" type="float"/>

<element name="Timelimit2" type="float"/>

<element name="Timelimit3" type="float"/> </sequence>

</element>

"ImpulseResponse" 기술자와 "Perceptual Parameter" 기술자는 각각 임펄스 응답과 지각 파라미터를 기술한다. 오디오적응변환수단(103)은 "ImpulseResponse" 기술자와 "Perceptual Parameter" 기술자에 근거하여 사용자가 선호하는 음장 특성에 부합하도록 오디오 데이터를 적응 변환시킨다.

상술한 XML 코드에서 보는 바와 같이 임펄스 응답은 연속된 시간값(time)과 진폭값(amplitude)을 가지고 표현할 수 있다.

이와 달리, 기술자의 데이터양을 고려하여 임펄스 응답 특성 정보를 갖는 URI 주소를 기술하여 대체할 수 있다.

또한, URI 주소로부터 획득되는 임펄스 응답 특성과 함께 "SamPlingFrequency", "BitsPerSample", "NumOfChannel" 등의 기술자를 추가하여사용자의 음장 선호도를 반영할 수 있다.

지각 파라미터는 사용자가 선호하는 장면을 기술하기 위한 MPEG-4 Advanced AudioBIFS의 "PerceptualParameters" 기술자를 이용한다. 각 기술자에 대한 자세한 내용은 "ISO/IEC 14496-1:1999"를 참조할 수 있다.

상술한 XML 코드에서 보는 바와 같이 "PerceptualParameters" 기술자는 "SourcePresence", "SourceWarmth", "SourceBrilliance", "RoomPresence", "RunningReverberance", "Envelopment", "LateReverberance", "Heavyness", "Liveness", "RefDistance", "FreqLow", "FreqHigh", "Timelimit1", "Timelimit2" 및 "Timelimit3" 등의 세부적인 기술자를 포함한다.

"SourcePresence" 기술자는 직접음(direct sound)과 초기 공간 효과(early room effect)의 에너지를 dB로 기술한다.

"SourceWarmth" 기술자는 낮은 주파수에서 상대 초기 에너지(relative early energy)를 dB로 기술한다.

"SourceBrilliance" 기술자는 높은 주파수에서 상대 초기 에너지(relative early effect)에너지를 dB로 기술한다.

"RoomPresence" 기술자는 후기 공간 효과(late room effect)의 에너지를 dB로 기술한다.

"RunningReverberance" 기술자는 상대 초기 감쇄 시간(relative early decaytime)을 ms(millesecond)로 기술한다.

"Envelopement" 기술자는 직접음(direct sound)에 관한 초기 공간 효과(early room effect)의 에너지를 dB로 기술한다.

"LateReverberance" 기술자는 후기 감쇄 시간(late decay time)을 ms로 기술한다.

"Heavyness" 기술자는 낮은 주파수에서 상대 감쇄 시간(relative decay time)을 기술한다.

"Liveness" 기술자는 높은 주파수에서 상대 감쇄 시간(relative decay time)을 기술한다.

"RefDistance" 기술자는 지각 파라미터(PerceptualParameters)를 정의하는 기준 거리(reference distance)를 m(meter)로 기술한다.

"FreqLow" 기술자는 도 6에서 보는 바와 같이 낮은 주파수(low fequency)의 한계를 Hz로 기술한다.

"FreqHigh" 기술자는 도 6에서 보는 바와 같이 높은 주파수(high frequency)의 한계를 Hz로 기술한다.

"Timelimit1" 기술자는 도 6에서 보는 바와 같이 제1순간의 한계(l₁)를 ms로 기술한다.

"Timelimit2" 기술자는 도 6에서 보는 바와 같이 제2순간의 한계(l₂)를 ms로 기술한다.

"Timelimit3" 기술자는 도 6에서 보는 바와 같이 제3순간의 한계(l₃)를 ms로 기술한다.

임펄스 응답의 경우와 마찬가지로 오디오적응변환수단(103)은 상기 지각 파라미터(PerceptualParameters)에 근거하여 사용자 선호의 음장 특성을 오디오컨텐츠에 반영한다.

상술한 임펄스 응답 특성 및 지각 파라미터와 함께 3차원 음향을 위한 "AuditoriumParameters" 기술자를 추가할 수 있다.

컨텐츠를 소비하는 공간은 사용자마다 다를 수 있기 때문에 사용자 선호 음장 특성이 동일할 지라도 재생되는 컨텐츠는 다른 음장 특성을 가질 수 있다.

따라서, 오디오적응변환수단(103)은 "AuditoriumParameters" 기술자에 근거하여 사용자 음향 환경에 따른 역효과를 제거한다.

도 1의 오디오사용환경정보관리수단(107)에서 관리하는 사용환경의 기술 정보 구조로서, 예시적으로 XML 스키마 정의에 따라 사용자 음향 환경을 표현한 구문(syntax)은 다음과 같다.

<element name="AuditoriumParameters" minOccurs="0">

<sequence>

<element name="ReverberationTime" type="float" minOccurs="0"/>

<element name="InitialDecayTime" type="float" minOccurs="0"/>

<element name="RDRatio" type="float" minOccurs="0"/>

<element name="Clarity" type="float" minOccurs="0"/>

<element name="IACC" type="float" minOccurs="0"/>

</sequence>

</element>

"AuditoriumParameters" 기술자는 사용자가 청취하는 공간의 음향학적 환경을 표현하기 위하여 "ReverberationTime", "InitialDecayTime", "RDRatio", "Clarity" 및 "IACC" 등의 기술자를 이용한다.

"ReverberationTime" 기술자는 잔향시간을 표현하는 인자로 사운드 레벨이 60 데시벨(dB) 만큼 감쇄하는데 걸리는 시간을 ms 단위로 기술한다. 잔향시간은 RT 또는 T60으로 표현하기도 하며 실내 음향 특성을 나타내는 가장 기본적인 물리량이다.

"InitialDecayTime" 기술자는 초기 지연시간을 표현하는 인자로 직접음과 초기 반사음간의 시간차를 ms 단위로 기술한다. 초기 지연시간은 홀의 친밀감(imtimacy)을 나타내는 물리량이며 IDT라 부르기도 한다.

"RDRatio" 기술자는 직접음과 50ms 이후의 잔향음과의 에너지비를 % 단위로 기술한다. "RDRatio" 기술자는 단음과 잔향 파형을 나타내는 정보량으로서 회화의 명료도를 나타내는 물리량이며 D50이라 부르기도 한다.

"Clarity" 기술자는 직접음과 80ms 이후의 잔향음과 에너지비를 %단위로 기술한다. "Clarity" 기술자는 음악의 명료도를 나타내는 기본적인 물리량이며 C80이라 부르기도 한다.

"IACC" 기술자는 왼쪽귀와 오른쪽귀에서 취득한 임펄스 응답의 상호 상관 함수(internal crosscorrelation function)를 -1ms에서 1ms 범위에서 구했을 때 최대가 되는 값을 -1에서 1까지의 값으로 기술한다. "IACC" 기술자는 청취자의 두 귀에 도달하는 음의 유사도를 나타내며 음의 확산감을 나타내는 물리량이다.

상기 기술자들은 사용자의 음향학적 환경의 특징을 대표할 수 있는 값들이다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 명백하다 할 것이다.

상술한 바와 같이, 본 발명에 따르면 사용자 선호의 음장 정보와 사용자 음향 환경정보를 이용하여 하나의 오디오컨텐츠를 각기 다른 사용 환경과 다양한 사용자의 특성과 취향에 부합할 수 있도록 적응, 변환처리를 할 수 있는 단일소스 복수사용 환경을 제공할 수 있다.

Claims

단일소스 복수사용을 위한 오디오 신호 적응 변환 장치에 있어서,

오디오 신호를 소비하는 사용자 단말로부터 오디오 사용환경정보를 수집하여 기술하고 관리하는 오디오 사용환경정보 관리수단; 및

상기 오디오 사용환경정보에 부합하는 오디오 신호가 상기 사용자 단말로 출력되도록, 상기 오디오 신호를 적응변환시키는 오디오 적응변환 수단

을 포함하되,

상기 오디오 사용환경정보는

상기 오디오 신호에 대한 사용자의 음장 선호도를 기술하는 사용자특성정보를 포함하는

오디오 신호 적응 변환 장치.
제 1 항에 있어서,

상기 사용자특성정보는

임펄스 응답(impulse response)에 대한 선호도를 포함하고,

상기 오디오 적응변환 수단은

상기 임펄스 응답에 대한 선호도에 기초하여 오디오 신호의 음장 특성을 변화시켜 사용자 단말로 전송되도록 오디오 신호를 적응 변환시키는

오디오 신호 적응 변환 장치.
제 2 항에 있어서,

상기 임펄스 응답(impulse response)은

시간(time)과 진폭(amplitude)으로 기술되는

오디오 신호 적응 변환 장치.
제 1 항에 있어서,

상기 사용자특성정보는

상기 오디오 신호의 지각 파라미터(perceptual parameter)에 대한 선호도를 포함하고,

상기 오디오 적응변환 수단은

상기 지각 파라미터에 대한 선호도에 기초하여 오디오 신호의 음장 특성을 변화시켜 사용자 단말로 전송되도록 오디오 신호를 적응 변환시키는

오디오 신호 적응 변환 장치.
제 1 항에 있어서,

상기 사용자특성정보는

사용자가 청취하는 공간의 음향 환경 정보를 포함하고,

상기 오디오 적응변환 수단은

상기 음향 환경 정보에 기초하여 오디오 신호의 음장 특성 중 사용자 음향 환경에 따른 역효과를 제거하여 사용자 단말로 전송되도록 오디오 신호를 적응 변환시키는

오디오 신호 적응 변환 장치.
제 5 항에 있어서,

상기 음향 환경 정보는

상기 공간의 잔향시간 정보를 포함하는

오디오 신호 적응 변환 장치.
제 5 항에 있어서,

상기 음향 환경 정보는

상기 공간의 초기 지연시간 정보를 포함하는

오디오 신호 적응 변환 장치.
제 5 항에 있어서,

상기 음향 환경 정보는

상기 공간의 직접음과 소정 시간 이후의 잔향음과의 에너지비 정보를 포함하는

오디오 신호 적응 변환 장치.
제 5 항에 있어서,

상기 음향 환경 정보는

음의 확산감을 나타내는 물리량으로서 사용자의 두 귀에 도달하는 음의 유사도 정보를 포함하는

오디오 신호 적응 변환 장치.
단일소스 복수사용을 위한 오디오 신호 적응 변환 방법에 있어서,

오디오 신호를 소비하는 사용자 단말로부터 오디오 사용환경정보를 수집하여 기술하고 관리하는 제1단계; 및

상기 오디오 사용환경정보에 부합하는 오디오 신호가 상기 사용자 단말로 출력되도록, 상기 오디오 신호를 적응 변환시키는 제2단계

를 포함하되,

상기 오디오 사용환경정보는

상기 오디오 신호에 대한 사용자의 음장 선호도를 기술하는 사용자특성정보를 포함하는

오디오 신호 적응 변환 방법.
제 10 항에 있어서,

상기 사용자특성정보는

임펄스 응답(impulse reponse)에 대한 선호도를 포함하고,

상기 제2단계는

상기 임펄스 응답에 대한 선호도에 기초하여 오디오 신호의 음장 특성을 변화시켜 사용자 단말로 전송되도록 오디오 신호를 적응 변환시키는

오디오 신호 적응 변환 방법.
제 11 항에 있어서,

상기 임펄스 응답(impulse response)은

시간(time)과 진폭(amplitude)으로 기술되는

오디오 신호 적응 변환 방법.
제 10 항에 있어서,

상기 사용자특성정보는

상기 오디오 신호의 지각 파라미터(perceptual parameter)에 대한 선호도를 포함하고,

상기 제2단계는

상기 지각 파라미터에 대한 선호도에 기초하여 오디오 신호의 음장 특성을 변화시켜 사용자 단말로 전송되도록 오디오 신호를 적응 변환시키는

오디오 신호 적응 변환 방법.
제 10 항에 있어서,

상기 사용자특성정보는

사용자가 청취하는 공간의 음향 환경 정보를 포함하고,

상기 제2단계는

상기 음향 환경 정보에 기초하여 오디오 신호의 음장 특성 중 사용자 음향 환경에 따른 역효과를 제거하여 사용자 단말로 전송되도록 오디오 신호를 적응 변환시키는

오디오 신호 적응 변환 방법.
제 14 항에 있어서,

상기 음향 환경 정보는

상기 공간의 잔향시간 정보를 포함하는

오디오 신호 적응 변환 방법.
제 14 항에 있어서,

상기 음향 환경 정보는

상기 공간의 초기 지연시간 정보를 포함하는

오디오 신호 적응 변환 방법.
제 14 항에 있어서,

상기 음향 환경 정보는

상기 공간의 직접음과 소정 시간 이후의 잔향음과의 에너지비 정보를 포함하는

오디오 신호 적응 변환 방법.
제 14 항에 있어서,

상기 음향 환경 정보는

음의 확산감을 나타내는 물리량으로서 사용자의 두 귀에 도달하는 음의 유사도 정보를 포함하는 오디오 신호 적응 변환 방법.