KR20060019096A - 허밍 기반의 음원 질의/검색 시스템 및 그 방법 - Google Patents

허밍 기반의 음원 질의/검색 시스템 및 그 방법 Download PDF

Info

Publication number
KR20060019096A
KR20060019096A KR1020040067575A KR20040067575A KR20060019096A KR 20060019096 A KR20060019096 A KR 20060019096A KR 1020040067575 A KR1020040067575 A KR 1020040067575A KR 20040067575 A KR20040067575 A KR 20040067575A KR 20060019096 A KR20060019096 A KR 20060019096A
Authority
KR
South Korea
Prior art keywords
information
sound source
humming
metadata
symbol
Prior art date
Application number
KR1020040067575A
Other languages
English (en)
Inventor
허성필
한평희
원성기
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020040067575A priority Critical patent/KR20060019096A/ko
Publication of KR20060019096A publication Critical patent/KR20060019096A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 허밍 기반의 음원 질의/검색 시스템 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 개인마다 다른 음정과 템포의 수용, 가창실수, 네트워크의 부하 등을 고려해, 원격 사용자의 허밍(humming)을 검색 키(key)로 하여 서버에 저장된 오디오 정보(음원 정보)로부터 사용자가 찾고자 하는 해당 음원을 검색하여 제공할 수 있는 허밍 기반의 음원 검색 시스템 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 음원 질의/검색 시스템에 있어서, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받기 위한 허밍질의 입력수단; 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하기 위한 구간검출수단; 상기 구간검출수단에서 검출된 음표의 음고, 음장의 특징 정보를 추출하기 위한 특징량 추출수단; 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하기 위한 심볼 멜로디 표현수단; 각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하기 위한 메타데이터 생성수단; 상기 메타데이터 정보를 저장하고 있는 메타데이 터 저장수단; 상기 심볼 멜로디 표현수단으로부터 상기 심볼 멜로디 시퀀스를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 저장수단에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하기 위한 유사도 계산수단; 상기 유사도 계산수단에서 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 저장수단에서 추출하기 위한 거리기반 분류수단; 및 상기 거리기반 분류수단으로부터의 검색결과를 출력하기 위한 검색결과 출력수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 음원 질의/검색 등에 이용됨.
허밍, 오디오, 음원, 질의, 검색, 메타데이터, 유사도

Description

허밍 기반의 음원 질의/검색 시스템 및 그 방법{Hummed-based audio source query/retrieval system and method}
도 1 은 본 발명에 따른 허밍 기반의 음원 질의/검색 시스템의 일실시예 구성도,
도 2 는 본 발명에 이용되는 메타데이터 DB의 응용 레코드 구성 예시도,
도 3 은 본 발명에 이용되는 음장(Duration, IOI) 특성 예시도,
도 4 는 본 발명의 실시예에 따른 음원 DB의 악곡 예시도,
도 5 는 본 발명에 이용되는 DP 매칭 예시도,
도 6 은 본 발명에 따른 허밍 기반의 음원 질의/검색 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명
10 : 허밍 질의 입력부 20 : 멜로디 추출기
21 : 구간 검출기 22 : 특징량 추출기
23 : 심볼 멜로디 표현기 30 : 검색결과 출력부
40 : 검색엔진 41 : 멜로디 유사도 계산기
42 : 거리기반 분류기 50 : 메타데이터 생성기
60 : 음원 DB 70 : 메타데이터 DB
본 발명은 허밍 기반의 음원 질의/검색 시스템 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 원격 사용자의 허밍(humming)을 검색 키(key)로 하여 서버에 저장된 오디오 정보(음원 정보)로부터 사용자가 찾고자 하는 해당 음원을 검색하여 제공할 수 있는 허밍 기반의 음원 질의/검색 시스템 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
최근, 인터넷, 무선 네트워크, 초고속 네트워크 등의 발달과 더불어, 디지털 멀티미디어 컨텐츠(오디오, 비디오, 이미지, 뮤직 비디오 등)의 사용량이 급증하고 있고, 교육, 오락, 과학 등 많은 분야에서 다양한 컨텐츠가 개발 및 제작되어 멀티미디어 데이터베이스, 디지털 TV, 인터넷 방송, 뮤직비디오 등의 응용에서 활용되고 있다. 이러한 멀티미디어 정보의 대두는 현대 생활에 많은 영향을 주고 있으며, 특히 인간의 사고 및 미디어의 활용 방법에 커다란 변화를 주고 있다.
이와 같이 방대한 양의 멀티미디어 컨텐츠를 효율적으로 사용 및 관리하기 위해서는 정보 검색(Information Retrieval) 시스템이 필요하게 된다.
그러나, 이러한 멀티미디어 정보 검색 방법은 주로 텍스트와 이미지를 중심으로 발달되어 왔으나, 최근 동영상과 오디오 정보에 대한 검색 요구가 증가되고 있는 상황이다. 특히, 인터넷이 보편화되고 오디오의 암호화와 복호화 기술이 발달됨에 따라 인터넷을 이용하여 음악을 제공하는 서비스가 늘어나고 있다. 소위 주문형 음악(MOD : Music On Demand) 혹은 주문형 오디오(AOD : Audio On Demand)로 불리는 이들 인터넷 사이트들은 방대한 분량의 음원(악곡)을 저장하고 사용자의 요구에 따라 선택적으로 음악을 제공하고 있다.
이러한 오디오 정보 검색(Audio Information Retrieval) 방법으로는 크게 텍스트 기반 검색(Text-based Retrieval)과 내용 기반 검색(Contents-based Retrieval)으로 분류할 수가 있다.
상기 텍스트 기반 검색은 곡명, 가수명, 가사, 작곡가, 연주가 이름 등 악곡의 특징을 나타내는 서지적인 정보를 키워드로 사용하여 검색하는 방법이다.
한편, 상기 내용 기반에 의한 검색은 음악의 연주 내용 등을 검색키로 사용하는 것으로, 사용되는 입력정보로써 유저(users)의 허밍을 입력키로 한 QBH(Query-by-Humming) 방법이 있다. 본 발명은 악곡에 대한 주선율인 멜로디를 노래 부름으로써, 이것을 검색의 단서로 하여 사용자가 원하는 오디오 정보(음원 정보)를 검색하는 기술이다.
그럼, 허밍 질의에 의한 오디어 검색 방법의 도입 배경을 살펴보기로 한다.
일반적으로, 사용자는 서비스 제공자가 특정 기준을 사용하여 미리 분류하여 정리한 웹 페이지를 선택적으로 따라 가면서 원하는 노래를 찾거나 때로는 노래 제 목의 일부를 문자열 형태로 입력하여 검색함으로써 원하는 노래를 찾기도 한다. 하지만, 이러한 사전 분류에 의한 검색 방법이나 노래 제목에 의한 검색 방법은 사용자가 찾고자 하는 노래의 제목을 미리 알고 있을 경우에나 가능하다. 또한, 검색 대상이 되는 음악 자료의 양이 방대해 짐에 따라 음악 자료를 분류하기가 곤란해지고 복잡해 질 뿐만 아니라, 제목 기반 검색 기법의 한계성에 부딪치게 된다.
수많은 대중가요를 접하다 보면, 현대인은 누구나 때로는 노래 제목이나 가사는 잘 기억이 나지 않지만, 한 두 소절의 가락이나 리듬을 기억하는 경우가 허다 하다. 예를 들면, 몇몇 가락이 머리를 맴돌지만 제목이 생각나지 않는 경우가 빈번히 일어난다. 이러한 경우, 기존의 제목에 의한 음악 자료 검색 방법이나 사전 분류에 의한 검색 방법은 거의 도움이 되지 않는다. 정말로 필요한 것은 내용에 기반을 둔 음악 자료의 검색 방법일 것이다.
내용 기반이라 함은, 전술한 바와 같이 노래 제목이나 가사가 아닌 노래 자체, 즉 멜로디에 의한 검색을 말한다. 디지털 신호 처리나 음악 자료의 표현과 저장 기법 및 컴퓨터 하드웨어 기술의 발달로, 이러한 내용 기반 음악 자료 검색 방법이 가능해졌다. 일예로, 음악 자료 도서관에서는 종종 한두 소절을 직접 노래로 부르거나 아니면 흥얼거림으로써 특정 음악 자료를 찾아 달라는 요청이 많이 들어 오고 있다고 한다. 하지만, 방대한 양의 레코드 자료를 소장하고 있다는 점을 감안하면, 특정 음악을 검색하는 것은 엄청난 일이 될 것이다.
전자 도서관이 발전됨에 따라 이와 같은 방대한 자료의 검색이 인터넷을 통해 가능해 짐을 고려할 때, 멜로디에 기반한 효과적인 음악 자료 검색 방법은 필수 적이라 하겠다. 이러한 내용 기반의 음악 자료 검색을 통해서, 사용자는 몇몇 소절을 부르거나 흥얼거리기만 하면, 동일한 가락을 포함한 모든 곡들을 조회하고 찾을 수 있게 된다. 따라서, 이와 같은 검색 방법은 음악 취미가나 전문가에게 모두 도움을 준다.
내용 기반 음악 자료 검색 기법은 미래 전자 음악 도서관 등에서 빠져서는 안될 아주 중요한 구성요소가 될 것이다. 전문 음악가는 특정 작곡가의 음악을 분석할 수도 있을 것이다. 예를 들면, 반복되는 주제나 자주 나타나는 멜로디를 찾고 분석할 수 있다.
물론, 종래에도 내용 기반의 오디오 검색 방법이 존재하지 않은 것은 아니지만, 실제 클라이언트-서버 환경에서 고효율(high efficiency), 고속도(high speed)의 오디오 검색 서비스를 허밍에 의해 제공하기 위해서 특히 고려되어야 할 사항으로는, 개인마다 다른 음정과 템포의 수용, 허밍시 모호한 기억에 기인하는 음표의 삽입이나 탈락과 같은 가창 실수(singing error) 등의 해결이 필요하다. 또 다른 고려 사항으로, 허밍한 음향신호를 서버측에 그대로 전송하게 되면 전송데이터 사이즈가 방대하여, 많은 사용자들이 동시에 서버쪽에 검색을 요청하게 되는 경우 네트워크에 걸리는 트래픽의 증가 및 서버측의 과도한 계산량 등을 고려하여 전송 데이터의 사이즈가 중요한 요소가 된다. 따라서, 보다 효율적이고 효과적인 멜로디 추출법이 요구된다 하겠다.
허밍을 이용한 오디오 정보 검색 시스템에 대한 본격적인 연구는 1990년대에 시작되었으나 최근 들어 보다 활발히 이루어지고 있는 상황이다. 예를 들면 Query- by-Humming, MiDiLib, MELDEX, SuperMBox, SoundCompus 등과 같은 시스템들이 해당된다.
효율적인 오디오 검색 시스템을 구현하기 위해서 고려되어야 할 사항으로는, 전술한 바와 같이 개인마다 다른 음정과 템포의 수용, 허밍시 모호한 기억에 기인하는 음표의 삽입이나 탈락과 같은 가창 실수 등이 있다. 이와는 별도로 허밍 질의(hummed query)가 완벽하더라도 입력 허밍 신호를 멜로디 매칭에 이용되는 음악 표기로 정확히 변환하기가 어렵다는 점을 고려해야 한다.
비록, 종래에도 멜로디 표현과 매칭을 위한 다양한 방법이 여러 각도로 시도되었지만, 성능면에서는 아직 만족할만한 결과를 얻지 못하고 있다. 또한, 구현된 검색시스템을 인터넷 환경에서 운용하기 위해서는 네트워크의 부하를 고려한 전송데이터 크기를 줄이려는 노력이 필요하다. 이와 같은 다양하고 광범위한 문제를 해결하기 위해, 네트워크 자원에 효율적이고 이용자의 오류에 강한 효과적인 멜로디 표현 방법이 필요할 뿐만 아니라, 멜로디 추출에 있어 보다 효과적인 정보 추출 방법이 요구된다.
따라서, 개인마다 다른 음정과 템포의 수용, 가창실수, 네트워크의 부하 등을 고려하여, 허밍 질의로부터 주선율인 멜로디를 효율적으로 표현하고 해당 음원을 효과적으로 검색하여 제공할 수 있는 방안이 절실히 요구된다.
본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, 개인마다 다른 음정 과 템포의 수용, 가창실수, 네트워크의 부하 등을 고려해, 원격 사용자의 허밍(humming)을 검색 키(key)로 하여 서버에 저장된 오디오 정보(음원 정보)로부터 사용자가 찾고자 하는 해당 음원을 검색하여 제공할 수 있는 허밍 기반의 음원 검색 시스템 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 클라이언트의 음원 질의 시스템에 있어서, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받기 위한 허밍질의 입력수단; 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하기 위한 구간검출수단; 상기 구간검출수단에서 검출된 음표의 음고, 음장의 특징 정보를 추출하기 위한 특징량 추출수단; 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하여 서버로 전송하는 심볼 멜로디 표현수단; 및 상기 서버로부터의 "동적 프로그래밍(DP) 매칭을 이용한 '심볼 멜로디 시퀀스'와 '데이터베이스에 저장되어 있는 각 음원의 특징량'과의 유사도 측정 결과에 따른 메타데이터 정보"(검색결과)를 출력하기 위한 검색결과 출력수단을 포함하여 이루어 진 것을 특징으로 한다.
그리고, 본 발명은 서버의 음원 검색 시스템에 있어서, 각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하기 위한 메타데이터 생성수단; 상기 메타데이터 정보를 저장하고 있는 메타데이터 저장수단; 클라이언트로부터 "사용자의 허밍질의신호에서 각 음표간 상대화 값을 취한 심볼 멜로디 시퀀스"를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 저장수단에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하기 위한 유사도 계산수단; 및 상기 유사도 계산수단에서 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 저장수단에서 추출하여 상기 클라이언트로 전송하는 거리기반 분류수단을 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 음원 질의/검색 시스템에 있어서, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받기 위한 허밍질의 입력수단; 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하기 위한 구간검출수단; 상기 구간검출수단에서 검출된 음표의 음고, 음장의 특징 정보를 추출하기 위한 특징량 추출수단; 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하기 위한 심볼 멜로디 표현수단; 각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하기 위한 메타데이터 생성수단; 상기 메타데이터 정보를 저장하고 있는 메타데이터 저장수단; 상기 심볼 멜로디 표현수단으로부터 상기 심볼 멜로디 시퀀스를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 저장수단에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하기 위한 유사도 계산수단; 상기 유사도 계산수단에서 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 저장수단에서 추출하기 위한 거리기반 분류수단; 및 상기 거리기반 분류수단으로부터의 검색결과를 출력하기 위한 검색결과 출력수단을 포함하여 이루어진 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명은, 음원 질의/검색 시스템에 적용되는 음원 질의 방법에 있어서, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받는 허밍질의 입력단계; 상기 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하는 구간검출단계; 상기 검출된 음표의 음고, 음장의 특징 정보를 추출하는 특징량 추출단계; 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하여 서버로 전송하는 심볼 멜로디 표현단계; 및 상기 서버로부터의 "동적 프로그래밍(DP) 매칭을 이용한 '심볼 멜로디 시퀀스'와 '데이터베이스에 저장되어 있는 각 음원의 특징량'과의 유사도 측정 결과에 따른 메타데이터 정보"(검색결과)를 출력하는 검색결과 출력단계를 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은 음원 질의/검색 시스템에 적용되는 음원 검색 방법에 있어서, 각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하여 메타데이터 DB에 저장하는 메타데이터 생성 및 저장 단계; 클라이언트로부터 "사용자의 허밍질의신호에서 각 음표간 상대화 값을 취한 심볼 멜로디 시퀀스"를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 DB에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하는 유사도 계산단계; 및 상기 계 산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 DB에서 추출하여 상기 클라이언트로 전송하는 거리기반 분류 및 결과 전송 단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은 음원 질의/검색 시스템에 적용되는 음원 질의/검색 방법에 있어서, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받는 허밍질의 입력단계; 상기 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하는 구간검출단계; 상기 검출된 음표의 음고, 음장의 특징 정보를 추출하는 특징량 추출단계; 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하는 심볼 멜로디 표현단계; 상기 심볼 멜로디 시퀀스를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 각 오디오 정보(음원 정보)의 메타데이터 정보(각 음원의 특징량)와의 유사도를 계산하는 유사도 계산단계; 및 상기 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 출력하는 거리기반 분류 및 검색결과 출력 단계를 포함하여 이루어진 것을 특징으로 한다.
다른 한편, 상기 목적을 달성하기 위한 본 발명은, 허밍 기반의 음원 질의를 위하여, 프로세서를 구비한 음원 질의 시스템에, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받는 허밍질의 입력기능; 상기 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하는 구간검출기능; 상기 검출된 음표의 음고, 음장의 특징 정보를 추출하는 특징량 추출기능; 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하여 서버로 전송하는 심볼 멜로디 표현기능; 및 상기 서버로부터의 "동적 프로그래밍(DP) 매칭을 이용한 '심볼 멜로 디 시퀀스'와 '데이터베이스에 저장되어 있는 각 음원의 특징량'과의 유사도 측정 결과에 따른 메타데이터 정보"(검색결과)를 출력하는 검색결과 출력기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
그리고, 본 발명은 허밍 기반의 음원 검색을 위하여, 프로세서를 구비한 음원 검색 시스템에, 각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하여 메타데이터 DB에 저장하는 메타데이터 생성 및 저장 기능; 클라이언트로부터 "사용자의 허밍질의신호에서 각 음표간 상대화 값을 취한 심볼 멜로디 시퀀스"를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 DB에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하는 유사도 계산기능; 및 상기 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 DB에서 추출하여 상기 클라이언트로 전송하는 거리기반 분류 및 결과 전송 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
인터넷, 무선 네트워크, 초고속 네트워크 등의 발달과 더불어, 멀티미디어 컨텐츠는 교육, 오락, 과학 등 많은 분야에서 개발 및 제작되어 멀티미디어 데이터베이스, 디지털 TV, 인터넷 방송, 뮤직비디오 등의 응용에서 활용되고 있는 바, 본 발명은 이러한 멀티미디어 데이터베이스 중에서 사용자가 원하는 오디오 정보(음원 정보)를 허밍을 이용해 검색하여 사용하는 기술분야에 널리 활용될 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또 한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 허밍 기반의 음원 질의/검색 시스템의 일실시예 구성도로서, 클라이언트-서버 환경에서 허밍 질의에 대한 오디오 정보(음원 정보)를 검색하는 예를 나타낸다.
도 1에 도시된 바와 같이, 본 발명에 따른 허밍 기반의 음원 질의/검색 시스템은, 사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받기 위한 허밍질의 입력부(10)와, 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하기 위한 구간 검출기(21)와, 구간 검출기(21)에서 검출된 음표의 음고(Pitch), 음장(IOI)의 특징 정보를 추출하기 위한 특징량 추출기(22)와, 각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하기 위한 심볼 멜로디 표현기(23)와, 각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하기 위한 메타데이터 생성기(50)와, 메타데이터 정보를 저장하고 있는 메타데이터 데이터베이스(70)와, 심볼 멜로디 표현기(23)로부터 심볼 멜로디 시퀀스를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 심볼 멜로디 시퀀스와 메타데이터 데이터베이스(70)에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하기 위한 멜로디 유사도 계산기(41)와, 멜로디 유사도 계산기(41)에서 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 메타데이터 데이터베이스(70)에서 추출하기 위한 거리기반 분류기 (42)와, 거리기반 분류기(42)로부터의 검색결과를 출력하기 위한 검색결과 출력부(30)를 포함한다.
서버는 악보, 피아노, 전자악기, MP3, 음악CD 등을 통해 각종 오디오 정보(음원 정보)의 데이터베이스(60)를 구축하고 있고, 또한 주선율인 멜로디 정보를 추출하여 메타데이터의 형태로 상대음고차, 상대음장비 계열의 메타데이터 DB(70)를 생성ㆍ구축하고 있다. 따라서, 메타데이터 DB(70)에는 도 2에 도시된 바와 같이 각 오디오(음원)에 대한 메타데이터가 저장되어 있는데, 심볼 멜로디 시퀀스(메타데이터), 오디오명, 파일명, 파일 사이즈, 재생시간 등의 각종 정보가 기록되어 있다.
본 발명에 따른 음원 질의/검색 시스템은 클라이언트-서버 형태의 구조로서, 그 핵심이 되는 멜로디 추출기(20)는 구간 검출기(21), 특징량 추출기(22), 심볼 멜로디 표현기(23)로 이루어져 있고, 검색엔진(40)은 멜로디 유사도 계산기(41), 거리기반 분류기(42)로 이루어져 있다. 또한, 음원 DB(60) 및 메타데이터 DB(70)는 하나 또는 분리의 DB로 구성 가능하다.
클라이언트측은 서버측과 인터넷(WEB), 무선인터넷(WAP), 랜(LAN), 고정형 무선랜(Wireless LAN), 이동형 무선랜(휴대 인터넷) 등의 정보통신망을 통해서 연결되어 있다.
허밍 질의/검색 과정을 개략적으로 살펴보면, 먼저 사용자가 자신이 검색하고자 하는 악곡의 멜로디를 자유롭게 허밍하면, 클라이언트의 멜로디 추출기(20)는 입력된 허밍으로부터 음표 (note)를 검출한 후 검색에 필요한 특징량을 추출한다. 그리고, 상대화된 특징값인 심볼 멜로디 시퀀스를 생성한다.
이후, 서버측의 검색엔진(40)은 DP(dynamic programming) 매칭을 이용하여 입력 허밍과 데이터베이스의 악곡(음원)과의 유사성(similarity)을 측정한다. 이때, 검색 결과로서의 오디오 정보 리스트(음원 정보 리스트)를 유사도가 높은 순서로 정렬된 곡명/유사도 값/매칭된 부분 등 오디오에 관한 각종 정보를 사용자에게 제시해 준다.
그러면, 사용자는 검색 결과로 제시되는 목록으로부터 원하는 곡명을 선택하여 감상하거나 다운로드 등과 같은 종속동작을 할 수도 있다.
그럼, 본 발명에 따른 허밍 질의/검색 시스템의 각 구성요소들의 기능을 보다 상세하게 살펴보기로 한다.
허밍 질의로서의 멜로디 입력은 사용자가 마이크를 통해, 자유로운 음고, 자유로운 템포로 자신이 기억하는 악곡의 일부분을 노래 부름으로써 이루어진다. 허밍 방법은 휘파람 또는 무성음이고 파열음으로 시작하고 모음인 유성음으로 구성된 음절형태(예를 들면, 타타타, 차차차 등)로 하나의 음표를 노래하는 방법을 사용한다. 이 방법의 장점은 전체 시스템에 있어 안정된 선율 정보의 추출이 용이하고, 사용자에게도 무리없는 멜로디 입력 방법이라는 점이다.
구간 검출기(21)는 입력 허밍 신호로부터 한 음표의 시작점(onset)과 끝점(offset)의 경계를 식별하는 역할을 한다.
기존에 주로 사용되던 진폭에 기초한 구간 검출 방법은 한 음표의 구간 검출에 적절한 문턱치(threshold value)를 설정하여 이벤트 검출을 수행하는 방법이다. 그러나, 이 방법은 하나의 음표가 둘 또는 세 개의 음표로 분리되어 검출될 가능성 이 있고, 반대로 복수의 음표가 하나로 통합되어서 판단될 가능성도 높다. 따라서, 구간 검출의 오류가 오디오 검색 시스템의 성능에 심각한 악영향을 줄 소지가 있다.
구간 검출에 사용되는 특성인 음장은 도 3과 같이 "Duration"과 IOI(Inter Onset Interval)로 정의할 수 있다. 여기서, Duration은 어떤 음표의 시작 시간과 그 음표의 종료시간의 차를 의미한다. 한편, IOI 또는 스팬(span)은 어떤 음표의 시작시간에 대해 그 다음 음표의 시작 시간의 차를 의미한다.
본 발명에서는 음장의 특징량으로 IOI를 사용한다. 대부분의 경우 사용자가 노래를 부를 때 대체로 긴 음표(예를 들면, 2분 음표 이상)에 대해서 실제 음장 길이만큼 정확하게 노래를 부르지 않고 스타카토(staccato) 형태로 끊어서 노래를 부르는 경우가 많으므로, IOI를 사용하는 것이 Duration을 사용하는 것 보다 좋은 검색 결과를 보인다. 또한, 허밍의 마지막 음표의 경우 IOI에 대한 정보가 없으므로 사용을 하지 않는 것이 좋은 결과를 보인다.
특징량 추출기(22)는 음고(pitch), 음장(IOI)의 동정(identification)을 통해 특징량을 추출한다. 이때, 음장 정보는 상기의 구간 검출 과정에서 구한다. 또한, 음고는 검출된 음표에서 진폭이 안정된 구간에 대해 켑스트럼 분석을 통해 기본 주파수(fundamental frequency)를 추출함으로써 구한다.
심볼 멜로디 표현기(23)는 동정(identification)된 음고(pitch), 음장(IOI)의 계열(sequence)을 각각의 상대음고차(deltaPitch), 상대음장비(IOIratio)로 변환하여 심볼 멜로디 표현 시퀀스를 만들고, 이를 서버 쪽에 전송한다. 이때, 상대 음고차(deltaPitch)는 반음(semitone)의 차가 100 센트가 되도록 정규화하고, 상대음장비(IOIratio)는 바로 이전의 음장과의 비를 백분율(%)로 표현한다. 이때, 음향신호를 그대로 전송하지 않고 검색에 필요한 정보만을 심볼 멜로디 시퀀스로 변환하여 서버측에 전송하는 이유는 필요한 트래픽의 양을 최소화하기 위함이다.
서버는 음원(오디오) DB(60) 및 메타데이터 DB(70)를 가지고 있으며, 악곡의 검색처리를 수행한다. 이때, 검색에는 DP 매칭을 이용하여 클라이언트로부터 입력된 시계열과 메타데이터 DB(70)에 보관된 각 악곡 계열과의 유사성을 유클리드 거리나 절대 차이값의 합으로 구한다. 그리고, 매칭 결과 입력 계열과 가장 거리가 가까운 계열을 가진 곡부터 정답의 후보로써 클라이언트에 결과로 전송한다.
음원 데이터베이스(60)의 동일한 곡을 허밍할지라도 사용자의 허밍에 대해서 다음과 같은 점을 고려해야 한다. 첫 번째로, 개인차로 인해 사용자가 허밍을 할 때 음의 높이와 빠르기가 실제 데이터베이스에 포함된 참조 패턴과 다를 수 있다. 두 번째로, 사용자의 모호한 기억으로 인해, 허밍시 음표의 삽입 및 탈락 등이 발생된다.
따라서, 첫 번째 문제를 해결하기 위해서는 허밍 데이터의 정규화(normalization)가 필요하다. 일반적인 멜로디 표현 방법은 연속되는 노트에 상대적인 스팬 비(IOIratio)와 상대적인 피치차(deltaPitch)를 이용하여 데이터를 정규화한다. 또한, 두 번째 문제에 대해서는 DP 매칭 알고리즘을 사용함으로써 해결할 수 있다.
DP 매칭의 상세 예로서, 입력 음향신호로부터 특징량 추출기(22)에서 다음과 같은 시계열의 값을 얻었다고 가정한다.
- 허밍음장시계열 : {245, 123, 247, 250, 249, 124, 125, 510} [단위: ms] - 허밍음고시계열 : {260, 292, 331, 393, 392, 348, 330, 261} [단위: Hz]

동정(identification)된 음장, 음고의 시계열에 대해 심볼 멜로디 표현기(23)에서는 다음과 같이 상대화를 수행한다.
- 허밍상대음장비(IOIratio) : {50.2 200.8 101.2 99.2 49.8 100.8 408.0} [단위: %] - 허밍상대음고차(deltaPitch) : {198 201 297 2 -203 -98 -394} [단위: cent]

음원 데이터베이스(60)의 어떠한 곡이 도 4와 같은 음표의 조합으로 구성되어 있을 때, 이를 시계열로 나타내면 다음과 같다.
- DB곡 음장시계열 : {4분음표, 8분음표, 4분음표, 4분음표, 4분음표, 8분음표, 8분음표, 2분음표} - DB곡 음고시계열 : { 도 레 미 솔 솔 파 미 도 }

메타데이터 DB(70)의 상대화된 값은 다음과 같다.
- DB곡 상대음장비(IOIratio) : {50 200 100 100 50 100 400} [단위: %] - DB곡 상대음고차(deltaPitch) : {200 200 300 0 -200 -100 -400} [단위: cent]

검색엔진(40)에서는 입력 허밍의 상대화값과 DB곡의 상대화값에 대해서 DP 매칭을 이용하여 유사도를 계산하여 검색 결과를 출력한다.
이를 일반화하여 수학적인 식으로 표현하면 다음과 같다.
음원 데이터베이스(60)내에 음표의 길이가 I인 어떤 악곡의 시계열 R과 입력 허밍의 음표 길이가 J인 시계열 Q에 대해 어떤 점 i, j에 있어서의 DP 매칭 매트릭스 g(i, j)는 도 5와 같이 구해진다.
데이터베이스의 원소 Q와 R의 거리 코스트를 d라고 두고, 만일 음표의 길이가 I인 데이터베이스의 시계열 R = {i 0 , i 1 , i 2 ,……, i I-1 }과 음표의 길이가 J인 입력 허밍의 시계열 Q = {j 0 , j 1 , j 2 ,……, j J-1 }는 상대음장비와 상대음고차의 세트로 구성되어져 있다면, 두개의 시계열 i와 j에 대한 유사도 d(i, j)=|i-j|는 반복적으로 계산이 가능하고, 이러한 가정에 의해 유사도에 대한 거리 계산은 하기의 [수학식 1]에 의해서 구할 수 있다.
Figure 112004038410004-PAT00001
상기의 허밍 질의에 의한 검색 과정을 도 6을 참조하여 보다 상세하게 살펴보면 다음과 같다.
먼저, 사용자가 허밍 질의하면(601), 클라이언트측의 멜로디 추출기(20)에서 이에 대한 심볼 멜로디 시퀀스를 추출하여(602~604), 인터넷 등의 정보통신망을 통해 서버측의 검색엔진(40)으로 전달한다.
즉, 클라이언트측에서, 사용자로부터 입력된 허밍 질의는 구간 검출기(21)를 통해 하나의 음표(note) 구간으로 자동 검출된다(602). 이때, 검출된 음표로부터 특징량 추출기(22)에서는 음표의 구성요소인 음고(pitch)와 음장(span) 정보를 추출한다(603). 이후에, 심볼 멜로디 표현기(23)에서는 실제 허밍한 악곡이 데이터베이스의 악곡에 대해 템포(tempo)와 음조(tonality)가 다르므로 음표간에 상대화(normalization) 값을 취하여, 정보량이 컴팩트한 심볼 멜로디 시퀀스를 생성하여 (604) 서버측으로 전송한다.
이후, 네트워크를 통해 전송된 심볼 멜로디 시퀀스와 메타데이터 DB(70)의 메타데이터 정보는 검색엔진(40)의 유사도 측정을 통해(605), 유사도가 높은 오디오를 검색의 결과로 하여(606) 인터넷 등의 정보통신망을 통해 클라이언트로 전송된다(607).
즉, 서버측에서, 멜로디 유사도 계산기(41)는 음원 DB(오디오 DB)(60)의 오디오 파일(음원 파일)을 메타데이터 생성기(50)를 통하여 메타데이터 DB(70)에 도 2의 메타데이터 형태로 기록하여 둔다. 그리고, 멜로디 유사도 계산기(41)는 입력된 심볼 멜로디 시퀀스와 메타데이터 DB(70)에 있는 각 오디오의 특징량과의 유사도를 계산한다(605). 이때, 유사도는 DP 매칭을 이용하여 두 벡터 사이의 거리를 측정하는 유클리디언(Euclidian) 거리나 절대 차이값의 합(sum of absolute difference) 등의 방법을 사용한다.
이후, 거리기반 분류기(42)에서는 계산된 거리 정보들을 가장 거리값이 작은 순서로 정렬(sorting)하여(606), 해당하는 메타데이터 정보를 메타데이터 DB(70)에서 추출하여 검색결과 정보로서 인터넷을 통해 클라이언트측으로 전달한다(607).
그러면, 사용자는 검색된 결과 리스트의 링크로부터 오디오(음원)를 다운로드받아 감상할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 음원(오디오) 정보를 인터넷 등의 정보통신망을 통해 허밍을 이용하여 간편하고 효율적으로 검색할 수 있어, 내용 기반 오디오 검색 등의 응용에 효율적으로 사용할 수 있는 효과가 있다.

Claims (14)

  1. 클라이언트의 음원 질의 시스템에 있어서,
    사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받기 위한 허밍질의 입력수단;
    입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하기 위한 구간검출수단;
    상기 구간검출수단에서 검출된 음표의 음고, 음장의 특징 정보를 추출하기 위한 특징량 추출수단;
    각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하여 서버로 전송하는 심볼 멜로디 표현수단; 및
    상기 서버로부터의 "동적 프로그래밍(DP) 매칭을 이용한 '심볼 멜로디 시퀀스'와 '데이터베이스에 저장되어 있는 각 음원의 특징량'과의 유사도 측정 결과에 따른 메타데이터 정보"(검색결과)를 출력하기 위한 검색결과 출력수단
    을 포함하는 허밍 기반의 음원 질의 시스템.
  2. 제 1 항에 있어서,
    상기 구간검출수단에 사용되는 특성 음장은,
    소정 음표의 시작 시간과 그 음표의 종료 시간의 차인 Duration과 소정 음표 의 시작시간에 대해 그 다음 음표의 시작 시간의 차인 IOI(Inter Onset Interval)를 사용하는 것을 특징으로 하는 허밍 기반의 음원 질의 시스템.
  3. 제 2 항에 있어서,
    상기 특징량 추출수단은,
    음고(Pitch), 음장(IOI)의 동정(identification)을 통해 특징량을 추출하되, 음장 정보는 상기 구간검출수단에서 구하고, 음고 정보는 검출된 음표에서 진폭이 안정된 구간에 대해 켑스트럼 분석을 통해 기본 주파수를 추출함으로써 구하는 것을 특징으로 하는 허밍 기반의 음원 질의 시스템.
  4. 제 1 항에 있어서,
    상기 심볼 멜로디 표현수단은,
    동정(identification)된 음고(pitch), 음장(IOI)의 계열(sequence)을 각각의 상대음고차(deltaPitch), 상대음장비(IOIratio)로 변환하여 심볼 멜로디 표현 시퀀스를 생성하는 것을 특징으로 하는 허밍 기반의 음원 질의 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 서버는,
    DP 매칭을 이용하여 상기 음원 질의 시스템으로부터 입력된 시계열과 메타데이터 DB에 보관된 각 악곡 계열과의 유사성을 유클리드 거리나 절대 차이값의 합으로 구하여, 매칭 결과로서 입력 계열과 가장 거리가 가까운 계열을 가진 곡부터 정답의 후보로써 상기 음원 질의 시스템으로 전송하는 것을 특징으로 하는 허밍 기반의 음원 질의 시스템.
  6. 서버의 음원 검색 시스템에 있어서,
    각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하기 위한 메타데이터 생성수단;
    상기 메타데이터 정보를 저장하고 있는 메타데이터 저장수단;
    클라이언트로부터 "사용자의 허밍질의신호에서 각 음표간 상대화 값을 취한 심볼 멜로디 시퀀스"를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 저장수단에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하기 위한 유사도 계산수단; 및
    상기 유사도 계산수단에서 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 저장수단에서 추출하여 상기 클라이언트로 전송하는 거리기반 분류수단
    을 포함하는 허밍 기반의 음원 검색 시스템.
  7. 제 6 항에 있어서,
    상기 유사도 계산수단은,
    DP 매칭을 이용하여 두 벡터 사이의 거리를 측정하는 유클리디언(Euclidian) 거리나 절대 차이값의 합(sum of absolute difference)을 사용하여, 입력된 심볼 멜로디 시퀀스와 상기 메타데이터 저장수단에 있는 각 음원의 특징량과의 유사도를 계산하는 것을 특징으로 하는 허밍 기반의 음원 검색 시스템.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 거리기반 분류수단은,
    계산된 거리 정보들을 가장 거리값이 작은 순서로 정렬(sorting)하여, 해당하는 메타데이터 정보를 상기 메타데이터 저장수단에서 추출하여 검색결과 정보로서 상기 클라이언트로 전달하는 것을 특징으로 하는 허밍 기반의 음원 검색 방법.
  9. 음원 질의/검색 시스템에 있어서,
    사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받기 위한 허밍질의 입력수단;
    입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하기 위 한 구간검출수단;
    상기 구간검출수단에서 검출된 음표의 음고, 음장의 특징 정보를 추출하기 위한 특징량 추출수단;
    각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하기 위한 심볼 멜로디 표현수단;
    각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하기 위한 메타데이터 생성수단;
    상기 메타데이터 정보를 저장하고 있는 메타데이터 저장수단;
    상기 심볼 멜로디 표현수단으로부터 상기 심볼 멜로디 시퀀스를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 저장수단에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하기 위한 유사도 계산수단;
    상기 유사도 계산수단에서 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 저장수단에서 추출하기 위한 거리기반 분류수단; 및
    상기 거리기반 분류수단으로부터의 검색결과를 출력하기 위한 검색결과 출력수단
    을 포함하는 허밍 기반의 음원 질의/검색 시스템.
  10. 음원 질의/검색 시스템에 적용되는 음원 질의 방법에 있어서,
    사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받는 허밍질의 입력단계;
    상기 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하는 구간검출단계;
    상기 검출된 음표의 음고, 음장의 특징 정보를 추출하는 특징량 추출단계;
    각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하여 서버로 전송하는 심볼 멜로디 표현단계; 및
    상기 서버로부터의 "동적 프로그래밍(DP) 매칭을 이용한 '심볼 멜로디 시퀀스'와 '데이터베이스에 저장되어 있는 각 음원의 특징량'과의 유사도 측정 결과에 따른 메타데이터 정보"(검색결과)를 출력하는 검색결과 출력단계
    를 포함하는 허밍 기반의 음원 질의 방법.
  11. 음원 질의/검색 시스템에 적용되는 음원 검색 방법에 있어서,
    각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하여 메타데이터 DB에 저장하는 메타데이터 생성 및 저장 단계;
    클라이언트로부터 "사용자의 허밍질의신호에서 각 음표간 상대화 값을 취한 심볼 멜로디 시퀀스"를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 DB에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하는 유사도 계산단계; 및
    상기 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 DB에서 추출하여 상기 클라이언트로 전송하는 거리기반 분류 및 결과 전송 단계
    를 포함하는 허밍 기반의 음원 검색 방법.
  12. 음원 질의/검색 시스템에 적용되는 음원 질의/검색 방법에 있어서,
    사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받는 허밍질의 입력단계;
    상기 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하는 구간검출단계;
    상기 검출된 음표의 음고, 음장의 특징 정보를 추출하는 특징량 추출단계;
    각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하는 심볼 멜로디 표현단계;
    상기 심볼 멜로디 시퀀스를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 각 오디오 정보(음원 정보)의 메타데이터 정보(각 음원의 특징량)와의 유사도를 계산하는 유사도 계산단계; 및
    상기 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 출력하는 거리기반 분류 및 검색결과 출력 단계
    를 포함하는 허밍 기반의 음원 질의/검색 방법.
  13. 허밍 기반의 음원 질의를 위하여, 프로세서를 구비한 음원 질의 시스템에,
    사용자로부터 검색하고자 하는 악곡의 일부분을 허밍(humming)으로 입력받는 허밍질의 입력기능;
    상기 입력된 허밍질의신호로부터 한 음표의 시작점과 끝점의 경계를 식별하는 구간검출기능;
    상기 검출된 음표의 음고, 음장의 특징 정보를 추출하는 특징량 추출기능;
    각 음표간에 상대화 값을 취하여 심볼 멜로디 시퀀스를 생성하여 서버로 전송하는 심볼 멜로디 표현기능; 및
    상기 서버로부터의 "동적 프로그래밍(DP) 매칭을 이용한 '심볼 멜로디 시퀀스'와 '데이터베이스에 저장되어 있는 각 음원의 특징량'과의 유사도 측정 결과에 따른 메타데이터 정보"(검색결과)를 출력하는 검색결과 출력기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 허밍 기반의 음원 검색을 위하여, 프로세서를 구비한 음원 검색 시스템에,
    각 오디오 정보(음원 정보)의 메타데이터 정보를 생성하여 메타데이터 DB에 저장하는 메타데이터 생성 및 저장 기능;
    클라이언트로부터 "사용자의 허밍질의신호에서 각 음표간 상대화 값을 취한 심볼 멜로디 시퀀스"를 입력받아, 동적 프로그래밍(DP) 매칭을 이용하여 상기 심볼 멜로디 시퀀스와 상기 메타데이터 DB에 저장되어 있는 각 음원의 특징량과의 유사도를 계산하는 유사도 계산기능; 및
    상기 계산된 거리 정보들을 정렬하여, 해당 메타데이터 정보를 상기 메타데이터 DB에서 추출하여 상기 클라이언트로 전송하는 거리기반 분류 및 결과 전송 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040067575A 2004-08-26 2004-08-26 허밍 기반의 음원 질의/검색 시스템 및 그 방법 KR20060019096A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040067575A KR20060019096A (ko) 2004-08-26 2004-08-26 허밍 기반의 음원 질의/검색 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040067575A KR20060019096A (ko) 2004-08-26 2004-08-26 허밍 기반의 음원 질의/검색 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20060019096A true KR20060019096A (ko) 2006-03-03

Family

ID=37126535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040067575A KR20060019096A (ko) 2004-08-26 2004-08-26 허밍 기반의 음원 질의/검색 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20060019096A (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774708B1 (ko) * 2006-07-18 2007-11-08 한국정보통신대학교 산학협력단 실시간 음악 인식을 통한 사용자 선호 멜로디 구간의벨소리 및/또는 컬러링 생성 시스템 및 방법
KR100838208B1 (ko) * 2006-11-30 2008-06-19 건국대학교 산학협력단 메타데이터를 제공하기 위한 방법 및 멀티미디어 콘텐츠제공 서버와, 이를 이용하여 파일을 관리하는 방법 및웹하드 서버
WO2008106666A2 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Query by humming for ringtone search and download
KR100929980B1 (ko) * 2007-10-22 2009-12-04 에스케이텔레콤 주식회사 입력 패턴을 이용한 음원 검색시스템 및 방법
KR100969870B1 (ko) * 2010-02-01 2010-07-13 전자부품연구원 오디오 입력데이터 특성에 따른 가변 가중치 기반 음원 검색 시스템
KR100978914B1 (ko) * 2009-12-30 2010-08-31 전자부품연구원 Ｓｖｒ 기반 복 수의 매칭 알고리즘을 결합한 음원 검색 시스템 및 방법
KR100978913B1 (ko) * 2009-12-30 2010-08-31 전자부품연구원 Ｓｖｍ기반 복 수의 매칭 알고리즘을 결합한 음원 검색 시스템 및 방법
WO2012064947A2 (en) 2010-11-12 2012-05-18 Google Inc. Syndication including melody recognition and opt out
KR20120115926A (ko) * 2011-04-11 2012-10-19 삼성전자주식회사 음원 검색을 위한 방법 및 장치
KR101361033B1 (ko) * 2012-03-22 2014-02-11 서강대학교산학협력단 사운드 신호를 기반으로 한 반주제공방법 및 이를 이용한 반주제공장치
US8948891B2 (en) 2009-08-12 2015-02-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding multi-channel audio signal by using semantic information
CN108735231A (zh) * 2018-04-27 2018-11-02 大连民族大学 主旋律音高序列估计方法
CN113724739A (zh) * 2021-09-01 2021-11-30 腾讯音乐娱乐科技（深圳）有限公司 检索音频和训练声学模型的方法、终端及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774708B1 (ko) * 2006-07-18 2007-11-08 한국정보통신대학교 산학협력단 실시간 음악 인식을 통한 사용자 선호 멜로디 구간의벨소리 및/또는 컬러링 생성 시스템 및 방법
KR100838208B1 (ko) * 2006-11-30 2008-06-19 건국대학교 산학협력단 메타데이터를 제공하기 위한 방법 및 멀티미디어 콘텐츠제공 서버와, 이를 이용하여 파일을 관리하는 방법 및웹하드 서버
US8116746B2 (en) 2007-03-01 2012-02-14 Microsoft Corporation Technologies for finding ringtones that match a user's hummed rendition
WO2008106666A2 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Query by humming for ringtone search and download
WO2008106666A3 (en) * 2007-03-01 2008-10-23 Microsoft Corp Query by humming for ringtone search and download
US9396257B2 (en) 2007-03-01 2016-07-19 Microsoft Technology Licensing, Llc Query by humming for ringtone search and download
KR100929980B1 (ko) * 2007-10-22 2009-12-04 에스케이텔레콤 주식회사 입력 패턴을 이용한 음원 검색시스템 및 방법
US8948891B2 (en) 2009-08-12 2015-02-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding multi-channel audio signal by using semantic information
KR100978913B1 (ko) * 2009-12-30 2010-08-31 전자부품연구원 Ｓｖｍ기반 복 수의 매칭 알고리즘을 결합한 음원 검색 시스템 및 방법
KR100978914B1 (ko) * 2009-12-30 2010-08-31 전자부품연구원 Ｓｖｒ 기반 복 수의 매칭 알고리즘을 결합한 음원 검색 시스템 및 방법
KR100969870B1 (ko) * 2010-02-01 2010-07-13 전자부품연구원 오디오 입력데이터 특성에 따른 가변 가중치 기반 음원 검색 시스템
WO2012064947A2 (en) 2010-11-12 2012-05-18 Google Inc. Syndication including melody recognition and opt out
EP2638516B1 (en) * 2010-11-12 2024-03-13 Google LLC Syndication including melody recognition and opt out
KR20120115926A (ko) * 2011-04-11 2012-10-19 삼성전자주식회사 음원 검색을 위한 방법 및 장치
KR101361033B1 (ko) * 2012-03-22 2014-02-11 서강대학교산학협력단 사운드 신호를 기반으로 한 반주제공방법 및 이를 이용한 반주제공장치
CN108735231A (zh) * 2018-04-27 2018-11-02 大连民族大学 主旋律音高序列估计方法
CN108735231B (zh) * 2018-04-27 2021-11-12 大连民族大学 主旋律音高序列估计方法
CN113724739A (zh) * 2021-09-01 2021-11-30 腾讯音乐娱乐科技（深圳）有限公司 检索音频和训练声学模型的方法、终端及存储介质
CN113724739B (zh) * 2021-09-01 2024-06-11 腾讯音乐娱乐科技（深圳）有限公司 检索音频和训练声学模型的方法、终端及存储介质

Similar Documents

Publication Publication Date Title
Casey et al. Content-based music information retrieval: Current directions and future challenges
Serra et al. Audio cover song identification and similarity: background, approaches, evaluation, and beyond
Typke et al. A survey of music information retrieval systems
Dannenberg et al. A comparative evaluation of search techniques for query‐by‐humming using the MUSART testbed
US20060065102A1 (en) Summarizing digital audio data
US6307139B1 (en) Search index for a music file
Whitman Learning the meaning of music
KR100615522B1 (ko) 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법
Welsh et al. Querying large collections of music for similarity
Casey et al. The importance of sequences in musical similarity
AU2006288921A1 (en) Music analysis
Pachet Knowledge management and musical metadata
Ong Structural analysis and segmentation of music signals
Rocamora et al. Query by humming: Automatically building the database from music recordings
KR20060019096A (ko) 허밍 기반의 음원 질의/검색 시스템 및 그 방법
KR100512143B1 (ko) 멜로디 기반 음악 검색방법과 장치
Goto et al. Recent studies on music information processing
Lee et al. Korean traditional music genre classification using sample and MIDI phrases
Gurjar et al. Comparative Analysis of Music Similarity Measures in Music Information Retrieval Systems.
Mayer et al. Multimodal aspects of music retrieval: Audio, song lyrics–and beyond?
Yesiler et al. Audio-based musical version identification: Elements and challenges
Alfaro-Paredes et al. Query by humming for song identification using voice isolation
Müller et al. Content-based audio retrieval
Yeh et al. Popular music representation: chorus detection & emotion recognition
Ong Towards automatic music structural analysis: identifying characteristic within-song excerpts in popular music

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application