KR20120021174A - 감정 모델을 이용한 음악 검색 장치 및 방법 - Google Patents

감정 모델을 이용한 음악 검색 장치 및 방법 Download PDF

Info

Publication number
KR20120021174A
KR20120021174A KR1020110053785A KR20110053785A KR20120021174A KR 20120021174 A KR20120021174 A KR 20120021174A KR 1020110053785 A KR1020110053785 A KR 1020110053785A KR 20110053785 A KR20110053785 A KR 20110053785A KR 20120021174 A KR20120021174 A KR 20120021174A
Authority
KR
South Korea
Prior art keywords
emotion
music
model
coefficient
types
Prior art date
Application number
KR1020110053785A
Other languages
English (en)
Other versions
KR101593961B1 (ko
Inventor
이승재
김정현
김성민
서영호
서용석
박지현
이상광
이정호
윤영석
유원영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/220,838 priority Critical patent/US8489606B2/en
Publication of KR20120021174A publication Critical patent/KR20120021174A/ko
Application granted granted Critical
Publication of KR101593961B1 publication Critical patent/KR101593961B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

감정 모델을 이용한 음악 검색 장치는 다수의 음악들에 대한 음원 데이터와 각 음악의 AV 계수를 저장하는 음악 데이터베이스, 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하고, AV 계수 평면에 대한 복수 개의 그룹들 각각의 확률 분포를 이용하여 감정 분류 모델을 생성하는 감정 모델 생성부, 그리고 음악 검색 요청이 수신되면 사용자로부터 입력된 정보를 이용하여 감정 유형을 식별하고, 감정 분류 모델을 이용하여 식별된 감정 유형에 대응되는 AV 계수를 지정하기 위한 AV 계수 범위를 검출하며, 음악 데이터베이스에서 AV 계수 범위에 대응되는 음악을 검색하는 음악 검색부를 포함한다.

Description

감정 모델을 이용한 음악 검색 장치 및 방법{APPARATUS AND METHOD FOR MUSIC SEARCH USING EMOTION MODEL}
본 발명은 감정 모델을 이용한 음악 검색 장치 및 방법에 관한 것이다. 보다 상세하게, 본 발명은 감정 유형들간의 유사도에 따라 생성된 감정 모델을 이용하여 음악을 검색하는 장치 및 방법에 관한 것이다.
정보량의 급격한 증가로 인해 정보를 검색, 분류 및 추천하는 기술에 대한 수요가 증가하고 있다. 특히, 음악과 같이 파일의 수는 수천, 수만 곡을 넘는 경우, 원하는 음악을 검색 및 추천하기 위한 기술이 요구된다.
종래에는 음악을 검색 및 추천하기 위해 장르 정보와 가수 정보를 이용하였다. 장르는 음악을 그 형식이나 특징을 통해 분류하는 것으로 가장 널리 쓰이고 있다. 가수 정보는 가수의 음악적 성향을 중심으로 유사한 가수간의 분류를 통해 검색과 추천이 가능하다. 하지만, 이를 위해서는 장르에 대한 사전 정보가 필요하고, 가수를 기반으로 검색하기 위해서는 가수 이름, 유사한 음악적 성향의 가수 이름 혹은 해당 가수들이 부른 노래를 알아야 하는 불편함이 있다.
본 발명의 목적은, 감정 유형들간의 유사도에 따라 생성된 감정 모델을 이용하여 음악을 검색하기 위해 감정 모델을 이용한 음악 검색 장치 및 방법을 제공하는 것이다.
본 발명의 특징에 따른 감정 모델을 이용한 음악 검색 장치는 음악 데이터베이스, 감정 모델 생성부 및 음악 검색부를 포함한다. 음악 데이터베이스는 다수의 음악들에 대한 음원 데이터와, 각 음악의 AV 계수를 저장한다. 감정 모델 생성부는 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하고, AV 계수 평면에 대한 복수 개의 그룹들 각각의 확률 분포를 이용하여 감정 분류 모델을 생성한다. 음악 검색부는 음악 검색 요청이 수신되면 사용자로부터 입력된 정보를 이용하여 감정 유형을 식별하고, 감정 분류 모델을 이용하여 식별된 감정 유형에 대응되는 AV 계수를 지정하기 위한 AV 계수 범위를 검출하며, 음악 데이터베이스에서 AV 계수 범위에 대응되는 음악을 검색한다.
이때, 감정 모델 생성부는 서로 다른 감정 유형들간의 유사도를 이용하여 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한다.
또한, 감정 모델 생성부는 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도를 산출하여 산출된 유사도에 따라 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한다.
또한, 감정 모델 생성부는 서로 다른 감정 유형들 각각의 AV 계수를 이용하여 복수 개의 그룹들 각각의 확률 분포를 산출한다.
또한, 감정 모델 생성부는 AV 계수 평면에 대한 서로 다른 감정 유형들 각각의 확률 분포를 이용하여 복수 개의 그룹들 각각의 확률 분포를 산출한다.
또한, 음악 데이터베이스는 회귀 분석을 통해 각 음악의 AV 계수를 산출한다.
또한, 음악 검색부는 검색된 음악에 대한 음악 리스트를 생성한다.
본 발명의 특징에 따른 감정 모델을 이용한 음악 검색 방법은 음악 검색 요청에 따라 수신된 식별 정보에 대응되는 감정 유형을 식별하는 단계, 식별된 감정 유형을 포함하는 그룹을 감정 분류 모델에서 식별하는 단계, 식별된 그룹의 확률 분포에 따라 검색하고자 하는 음악의 AV 계수를 지정하기 위한 AV 계수 범위를 검출하는 단계, 데이터베이스에 저장된 음악들 각각의 AV 계수를 이용하여 AV 계수 범위에 대응되는 음악을 검색하는 단계, 그리고 검색된 음악에 대한 음악 리스트를 생성하는 단계를 포함한다.
이때, 감정 분류 모델에서 식별하는 단계는 식별된 감정 유형을 포함하는 그룹을 서로 다른 감정 유형들간의 유사도에 따라 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한 감정 분류 모델에서 식별한다.
또한, 감정 분류 모델은 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도에 따라 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하여 생성된다.
또한, 감정 유형을 식별하는 단계는 AV 좌표를 포함하는 식별 정보에 대응된다.
또한, 감정 유형을 식별하는 단계는 미리 정해진 예제 그림을 포함하는 식별 정보에 대응되는 감정 유형을 식별한다.
본 발명의 특징에 따르면, 감정 유형들간의 유사도에 따라 생성된 감정 분류 모델을 이용함으로써 사용자의 의도에 맞는 음악을 검색하여 사용자가 원하는 분위기의 음악을 추천해 줄 수 있는 효과가 있다.
또한, 본 발명의 특징에 따르면, AV 계수를 고려하여 생성된 감정 분류 모델을 이용하여 복합적인 감정 유형에 대응되는 음악을 검색하여 제공할 수 있는 효과가 있다.
또한, 본 발명의 특징에 따르면, AV 좌표 선택 또는 예제 그림들과 같은 간단한 인터페이스를 이용하여 간단한 입력을 통해 사용자에게 음악 검색 서비스를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 음악 검색 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 감정 분류 모델 생성 방법을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 감정 유형들에 대한 분포 행렬을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 AV 계수 평면을 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 감정 분류 모델의 특정 그룹에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 특정 감정 유형에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 감정 표현 모델을 표로 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 음악 검색 방법을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 사용자 인터페이스에서 제공하는 예제 그림을 도시한 도면이다.
도 10은 본 발명의 제1 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.
도 11은 본 발명의 제2 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.
본 발명을 첨부된 도면을 참고하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 고지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 해당 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이제, 도면을 참고하여 본 발명의 실시 예에 따른 감정 모델을 이용한 음악 검색 장치 및 방법에 대해 설명한다.
먼저, 도 1을 참고하여 본 발명의 실시 예에 따른 음악 검색 장치에 대해 설명한다.
도 1은 본 발명의 실시 예에 따른 음악 검색 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 음악 검색 장치(100)는 사용자로부터 음악 검색 요청이 수신되면 음악 검색 결과로 해당 요청에 대응되는 음악들에 대한 리스트를 제공하며, 사용자 인터페이스(110), 음악 검색부(130), 감정 모델 생성부(150) 및 음악 데이터베이스(database, DB)(170)를 포함한다.
사용자 인터페이스(110)는 사용자로부터 음악 검색 요청을 수신하고, 수신된 음악 검색 요청에 대응되는 음악들에 대한 음악 리스트를 사용자에게 제공한다. 여기서, 사용자 인터페이스(110)는 음악 검색 요청을 수신할 때 사용자로부터 감정 유형을 식별하기 위한 식별 정보를 입력 받을 수 있다. 이때, 사용자 인터페이스(110)는 미리 주어진 예제 그림을 통해 식별 정보를 입력 받을 수 있고, 감정의 긍정 또는 부정의 정도(Valence)를 감정의 강도(Arousal)로 표현하는 에이브이 좌표(Arousal-Valence coordinate, 이하에서는 'AV 좌표'라고도 함)를 식별 정보로 입력 받을 수 있으며, 음악 샘플을 식별 정보로 입력 받을 수 있다.
음악 검색부(130)는 사용자의 음악 검색 요청에 따라 입력된 식별 정보로부터 감정 유형을 식별하고, 감정 모델 생성부(150)와 연동하여 식별된 감정 유형에 대응되는 에이브이 계수(Arousal-Valence coefficient, 이하에서는 'AV 계수'라고도 함)를 검출하며, 음악 데이터베이스(170)에서 검출된 AV 계수에 대응되는 음악을 검색한다. 여기서, 음악 검색부(130)는 검색된 음악들에 대한 음악 리스트를 생성할 수 있다.
감정 모델 생성부(150)는 복수 개의 음악들로부터 인간이 느끼는 감정 유형들을 행렬로 표현한 분포 행렬을 이용하여 유사한 감정 유형을 그룹으로 분류한 감정 분류 모델을 생성하고, 생성된 감정 분류 모델을 이용하여 특정 감정 유형에 대응되는 AV 계수의 범위를 검출한다. 여기서, 감정 모델 생성부(150)는 검출된 AV 계수의 범위를 음악 검색부(130)에 제공할 수 있다.
음악 데이터베이스(170)는 다수의 음악들에 대한 음원 데이터와, 각 음악의 제목, 가수, 장르, 앨범명, 출시년도, 재생횟수, 해시값, AV 계수 및 오디오 핑거프린트(audio fingerprint) 등을 저장한다.
이때, 음악 데이터베이스(170)는 메시지 다이제스트 알고리즘 5(Message-Digest algorithm 5, MD5)와 같은 해시 함수를 이용하여 각 음악의 해시값을 산출할 수 있다.
또한, 음악 데이터베이스(170)는 각 음악에 대한 멜주파수 켑스트럴 계수(Mel-Frequency Cepstral Coefficient, 이하에서는 'MFCC'라고도 함), 옥타브 기반 스펙트럼 콘트라스트(Octave-based Spectral Contrast, 이하에서는 'OSC'라고도 함), 에너지, 템포(tempo) 등을 이용한 회귀 분석(regression analysis)을 통해 각 음악의 AV 계수를 산출할 수 있다.
또한, 음악 데이터베이스(170)는 각 음악에 대한 특징을 압축된 형태로 추출하여 각 음악의 오디오 핑거프린트를 생성할 수 있다.
여기서, 음악 데이터베이스(170)는 각 음악의 해시값 또는 오디오 핑거프린트를 이용하여 음원 데이터에서 해당 음악을 식별할 수 있다.
다음, 도 2를 참고하여 본 발명의 실시 예에 따른 감정 분류 모델을 생성하는 방법에 대해 설명한다.
도 2는 본 발명의 실시 예에 따른 감정 분류 모델 생성 방법을 도시한 도면이다.
도 2에 도시된 바와 같이, 먼저, 감정 모델 생성부(150)는 복수 개의 음악들로부터 인간이 느끼는 감정 유형들을 행렬로 표현한 분포 행렬로부터 감정 유형들 각각에 대한 칼럼 벡터(Column Vector)를 생성하여 감정 유형들에 각각 대응되는 칼럼 벡터들을 생성한다(S100).
다음, 감정 모델 생성부(150)는 두 벡터들 사이의 유사도를 나타내는 코사인 유사도(Cosine Similarity)를 측정하여 칼럼 벡터들간의 유사도를 산출한다(S110). 여기서, 감정 모델 생성부(150)는 칼럼 벡터들간의 유사도를 이용하여 칼럼 벡터들에 각각 대응되는 감정 유형들간의 유사도를 추정할 수 있다. 이때, 감정 모델 생성부(150)는 두 벡터들간 각도의 코사인을 계산하여 두 벡터들 사이의 코사인 유사도를 측정할 수 있다.
이후, 감정 모델 생성부(150)는 칼럼 벡터들간의 유사도에 따라 감정 유형들을 복수 개의 그룹들로 분류하여 복수 개의 그룹들을 생성한다(S120). 여기서, 감정 모델 생성부(150)는 칼럼 벡터들간의 유사도에 따라 유사한 감정 유형들을 동일한 그룹으로 분류할 수 있다.
다음, 감정 모델 생성부(150)는 각 감정 유형에 대응되는 AV 계수들을 이용하여 에이브이 계수 평면(Arousal-Valence coefficient plane, 이하에서는 'AV 계수 평면'이라고도 함)에 대한 복수 개의 그룹들 각각의 확률 분포를 산출한다(S130). 여기서, 감정 모델 생성부(150)는 AV 계수 평면에 대한 감정 유형들 각각의 확률 분포를 산출한 후, 감정 유형들 각각의 확률 분포를 이용하여 복수 개의 그룹들 각각의 확률 분포를 산출할 수 있다.
이후, 감정 모델 생성부(150)는 복수 개의 그룹들 각각의 확률 분포를 이용하여 유사한 감정 유형을 그룹으로 분류한 감정 분류 모델을 생성한다(S140).
다음, 도 3을 참고하여 본 발명의 실시 예에 따른 복수 개의 음악들로부터 인간이 느끼는 감정 유형들을 행렬로 표현한 분포 행렬에 대해 설명한다.
도 3은 본 발명의 실시 예에 따른 감정 유형들에 대한 분포 행렬을 도시한 도면이다.
도 3에 도시된 바와 같이, 분포 행렬(200)은 복수 개의 음악들(210)로부터 인간이 느끼는 복수 개의 감정 유형들(220)을 행렬로 표현한 행렬이다.
구체적으로, 분포 행렬(200)은 M 개의 음악들 즉, 제1 음악(S1), 제2 음악(S2), 제3 음악(S3), 제4 음악(S4), 제M-1 음악(SM-1) 및 제M 음악(SM)에 대해 N 개의 감정 유형들 즉, 제1 감정 유형(A1), 제2 감정 유형(A2), 제3 감정 유형(A3), 제N-1 감정 유형(AN-1) 및 제N 감정 유형(AN)의 검출 횟수를 나타낸다.
분포 행렬(200)은 제1 음악(S1)에 대해 제2 감정 유형(A2)이 1번 검출되고, 제3 감정 유형(A3)이 3번 검출된 경우이다.
분포 행렬(200)은 제2 음악(S2)에 대해 제N 감정 유형(AN)이 2번 검출된 경우이다.
분포 행렬(200)은 제3 음악(S3)에 대해 제1 감정 유형(A1)이 1번 검출되고, 제2 감정 유형(A2)이 4번 검출되며, 제3 감정 유형(A3)이 7번 검출된 경우이다.
분포 행렬(200)은 제4 음악(S4)에 대해 제1 감정 유형(A1)이 12번 검출된 경우이다.
분포 행렬(200)은 제M-1 음악(SM-1)에 대해 제1 감정 유형(A1)이 4번 검출되고, 제N-1 감정 유형(AN-1)이 23번 검출된 경우이다.
분포 행렬(200)은 제M 음악(SM)에 대해 제N 감정 유형(AN)이 1번 검출된 경우이다.
다음, 도 4를 참고하여 본 발명의 실시 예에 따른 AV 계수 평면에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 AV 계수 평면을 도시한 도면이다.
도 4에 도시된 바와 같이, AV 계수 평면(300)은 좌표평면의 가로축이 감정의 긍정 또는 부정의 정도(Valence)를 나타내고, 세로축이 감정이 정도(Arousal)를 나타낸다.
AV 계수 평면(300)에서, AV 좌표는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
다음, 도 5를 참고하여 본 발명의 실시 예에 따른 감정 모델 생성부가 감정 분류 모델의 특정 그룹에 대한 확률 분포 모델을 생성하는 방법에 대해 설명한다.
도 5는 본 발명의 실시 예에 따른 감정 분류 모델의 특정 그룹에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.
도 5에 도시된 바와 같이, 감정 모델 생성부(150)는 특정 그룹에 대응되는 AV 계수들을 AV 계수 평면에 AV 좌표(410)로 표시하고, AV 계수 평면에 표시된 다수의 AV 좌표(410)를 이용하여 해당 그룹에 대한 확률 분포 모델(400)을 모델링할 수 있다. 예를 들어, 확률 분포 모델(400)은 '신나는', '경쾌한', '흥겨운', '즐거운' 등과 같은 감정 유형들을 포함하는 그룹을 모델링한 것에 해당할 수 있다.
여기서, 감정 모델 생성부(150)는 AV 계수 평면에 표시된 다수의 AV 좌표(410)를 확률 밀도 함수(Probability Density Function)로 나타내어 해당 그룹에 대한 확률 분포 모델(400)을 생성할 수 있다.
이때, 확률 분포 모델(400)은 확률 분포값에 따라 복수 개의 영역으로 구분될 수 있으며, 확률 분포 모델(400)의 중심 영역으로 갈수록 확률 분포값이 높을 수 있다.
또한, AV 좌표(410)는 AV 계수 평면에서 감정의 긍정 또는 부정의 정도(Valence)를 나타내는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 감정의 정도(Arousal)를 나타내는 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
다음, 도 6을 참고하여 본 발명의 실시 예에 따른 감정 모델 생성부가 특정 그룹의 감정 유형들에 대한 확률 분포 모델을 생성하는 방법에 대해 설명한다.
도 6은 본 발명의 실시 예에 따른 특정 감정 유형에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.
도 6에 도시된 바와 같이, 감정 모델 생성부(150)는 특정 그룹의 제1 감정 유형에 대응되는 AV 계수들을 AV 계수 평면에 제1 AV 좌표(511)로 표시하고, AV 계수 평면에 표시된 다수의 제1 AV 좌표(511)를 이용하여 제1 감정 유형에 대한 제1 확률 분포 모델(510)을 모델링할 수 있다. 예를 들어, 제1 확률 분포 모델(510)은 '경쾌한'에 대응되는 제1 감정 유형을 모델링한 것에 해당할 수 있다.
여기서, 감정 모델 생성부(150)는 AV 계수 평면에 표시된 다수의 제1 AV 좌표(511)를 확률 밀도 함수(probability density function)로 나타내어 제1 감정 유형에 대한 제1 확률 분포 모델(510)을 생성할 수 있다.
이때, 제1 확률 분포 모델(510)은 확률 분포값에 따라 복수 개의 영역으로 구분될 수 있으며, 제1 확률 분포 모델(510)의 중심 영역으로 갈수록 확률 분포값이 높을 수 있다.
또한, 제1 AV 좌표(511)는 AV 계수 평면에서 감정의 긍정 또는 부정의 정도(Valence)를 나타내는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 감정의 정도(Arousal)를 나타내는 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
감정 모델 생성부(150)는 특정 그룹의 제2 감정 유형에 대응되는 AV 계수들을 AV 계수 평면에 제2 AV 좌표(521)로 표시하고, AV 계수 평면에 표시된 다수의 제2 AV 좌표(521)를 이용하여 제2 감정 유형에 대한 제2 확률 분포 모델(520)을 모델링할 수 있다. 예를 들어, 제2 확률 분포 모델(520)은 '신나는'에 대응되는 제2 감정 유형을 모델링한 것에 해당할 수 있다.
여기서, 감정 모델 생성부(150)는 AV 계수 평면에 표시된 다수의 제2 AV 좌표(521)를 확률 밀도 함수(probability density function)로 나타내어 제2 감정 유형에 대한 제2 확률 분포 모델(520)을 생성할 수 있다.
이때, 제2 확률 분포 모델(520)은 확률 분포값에 따라 복수 개의 영역으로 구분될 수 있으며, 제2 확률 분포 모델(520)의 중심 영역으로 갈수록 확률 분포값이 높을 수 있다.
또한, 제2 AV 좌표(521)는 AV 계수 평면에서 감정의 긍정 또는 부정의 정도(Valence)를 나타내는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 감정의 정도(Arousal)를 나타내는 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
다음, 도 7을 참고하여 본 발명의 실시 예에 따른 유사한 감정 유형을 그룹으로 분류한 감정 분류 모델에 대해 설명한다.
도 7은 본 발명의 실시 예에 따른 감정 표현 모델을 표로 나타낸 도면이다.
도 7에 도시된 바와 같이, 감정 표현 모델(600)은 유사한 감정 유형들을 동일한 그룹으로 분류하여 생성되는 복수 개의 그룹들을 포함한다. 예를 들어, 감정 표현 모델(600)은 K 개의 그룹들 즉, 제1 그룹(G1), 제2 그룹(G2) 및 제K 그룹(GK)을 포함할 수 있다.
감정 표현 모델(600)은 그룹별로 복수 개의 감정 유형들을 포함한다. 예를 들어, 제1 그룹(G1)은 제1 감정 유형(A1), 제6 감정 유형(A6) 및 제12 감정 유형(A12)을 포함할 수 있고, 제2 그룹(G2)은 제7 감정 유형(A7), 제14 감정 유형(A14), 제4 감정 유형(A4), 제36 감정 유형(A36) 및 제38 감정 유형(A38)을 포함할 수 있으며, 제K 그룹(GK)은 제23 감정 유형(A23) 및 제N-3 감정 유형(AN-3)을 포함할 수 있다.
감정 표현 모델(600)은 그룹별로 포함된 감정 유형의 검출 횟수를 포함한다. 예를 들어, 제1 그룹(G1)은 제1 감정 유형(A1)이 20번 검출되고, 제6 감정 유형(A6)이 3번 검출되며, 제12 감정 유형(A12)이 14번 검출될 수 있다. 또한, 제2 그룹(G2)은 제7 감정 유형(A7)이 4번 검출되고, 제14 감정 유형(A14)이 12번 검출되고, 제4 감정 유형(A4)이 78번 검출되고, 제36 감정 유형(A36)이 43번 검출되며, 제38 감정 유형(A38)이 12번 검출될 수 있다. 또한, 제K 그룹(GK)은 제23 감정 유형(A23)이 97번 검출되고, 제N-3 감정 유형(AN-3)이 12번 검출될 수 있다.
감정 표현 모델(600)은 복수 개의 그룹들에 각각 대응되는 복수 개의 그룹 확률 분포들을 포함한다. 예를 들어, 제1 그룹(G1)은 제1 그룹 확률 분포(pdf(G1))를 가질 수 있고, 제2 그룹(G2)은 제2 그룹 확률 분포(pdf(G2))를 가질 수 있으며, 제K 그룹은 제K 그룹 확률 분포(pdf(GK))를 가질 수 있다.
감정 표현 모델(600)은 각 그룹에 포함된 감정 유형 별 확률 분포를 포함한다. 예를 들어, 제1 그룹(G1)의 제1 감정 유형(A1)은 제1 확률 분포(pdf(A1))를 가질 수 있고, 제6 감정 유형(A6)은 제6 확률 분포(pdf(A6))를 가질 수 있으며, 제12 감정 유형(A12)은 제12 확률 분포(pdf(A12))를 가질 수 있다.
또한, 제2 그룹(G2)의 제7 감정 유형(A7)은 제7 확률 분포(pdf(A7))를 가질 수 있고, 제14 감정 유형(A14)은 제14 확률 분포(pdf(A14))를 가질 수 있고, 제4 감정 유형(A4)은 제4 확률 분포(pdf(A4))를 가질 수 있고, 제36 감정 유형(A36)은 제36 확률 분포(pdf(A36))를 가질 수 있으며, 제38 감정 유형(A38)은 제38 확률 분포(pdf(A38))를 가질 수 있다.
또한, 제K 그룹(GK)의 제23 감정 유형(A23)은 제23 확률 분포(pdf(A23))를 가질 수 있으며, 제N-3 감정 유형(AN-3)은 제N-3 확률 분포(pdf(AN-3))를 가질 수 있다.
다음, 도 8을 참고하여 본 발명의 실시 예에 따른 음악 검색 방법에 대해 설명한다.
도 8은 본 발명의 실시 예에 따른 음악 검색 방법을 도시한 도면이다.
도 8에 도시된 바와 같이, 먼저, 사용자 인터페이스(110)는 사용자로부터 감정 유형을 식별하기 위한 식별 정보와 함께 음악 검색 요청을 수신한다(S200). 여기서, 사용자는 특정 감정 유형에 대응되는 음악을 제공받기 위해 AV 계수 평면에서 AV 좌표를 지정하거나, 미리 주어진 예제 그림들에서 하나 이상을 선택하여 식별 정보를 입력할 수 있다.
다음, 음악 검색부(130)는 수신된 식별 정보에 대응되는 감정 유형을 식별한다(S210). 여기서, 음악 검색부(130)는 식별 정보로 AV 좌표가 입력되면 해당 AV 계수 평면에서 미리 정해진 영역별 감정 유형에 따라 해당 AV 좌표에 대응되는 감정 유형을 식별할 수 있고, 특정 예제 그림이 선택되면 선택된 예제 그림에 따라 미리 정해진 감정 유형을 식별할 수 있다.
이후, 음악 검색부(130)는 감정 모델 생성부(150)에 저장된 감정 분류 모델에서 식별된 감정 유형을 포함하는 그룹을 식별하여 식별된 그룹의 확률 분포에 따라 검색하고자 하는 음악의 AV 계수를 지정하기 위한 AV 계수 범위를 검출한다(S220).
다음, 음악 검색부(130)는 음악 데이터베이스(170)에 저장된 음악들 각각의 AV 계수를 이용하여 검출된 AV 계수 범위에 대응되는 음악을 검색한다(S230).
이후, 음악 검색부(130)는 검색된 음악에 대한 음악 리스트를 생성한다(S240).
다음, 사용자 인터페이스(110)는 생성된 음악 리스트를 사용자에게 제공한다(S250).
다음, 도 9 내지 도 11을 참고하여 본 발명의 실시 예에 따른 사용자가 사용자 인터페이스에서 제공하는 예제 그림을 통해 식별 정보를 입력하는 방법에 대해 설명한다.
도 9는 본 발명의 실시 예에 따른 사용자 인터페이스에서 제공하는 예제 그림을 도시한 도면이다.
도 9에 도시된 바와 같이, 사용자 인터페이스(110)는 서로 다른 감정 유형에 대응되는 예제 그림들을 포함하는 시각적 인터페이스(700)를 사용자에게 제공할 수 있다.
즉, 사용자는 시각적 인터페이스(700)를 통해 예제 그림들 중 하나 이상을 선택함으로써 특정 감정 유형에 대응되는 음악의 검색을 요청할 수 있다.
도 10은 본 발명의 제1 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.
도 10에 도시된 바와 같이, 사용자는 터치 스크린(800)에 직접 예제 그림(810)을 그려 감정 유형을 식별하기 위한 식별 정보를 입력할 수 있다. 예를 들어, 예제 그림(810)은 '사랑스러운'과 같은 감정 유형에 대응될 수 있다.
여기서, 사용자 인터페이스(110)는 예제 그림(810)의 크기에 따라 감정의 정도(Arousal)를 판단할 수 있다.
도 11은 본 발명의 제2 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.
도 11에 도시된 바와 같이, 사용자는 터치 스크린(900)에 복수 개의 예제 그림들(910, 920)을 그려 감정 유형을 식별하기 위한 식별 정보를 입력할 수 있다. 예를 들어, 제1 예제 그림(910)은 '인기곡'에 대응될 수 있고, 제2 예제 그림(920)은 '사랑스러운'과 같은 감정 유형에 대응될 수 있다.
여기서, 사용자는 예제 그림을 변경할 수 있고, 변경시에는 기존 감정 표현을 유지하거나 사용자가 입력을 통해 추가 또는 변경할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 음악 검색 장치
110: 사용자 인터페이스
130: 음악 검색부
150: 감정 모델 생성부
170: 음악 데이터베이스
200: 분포 행렬
300: AV 계수 평면
400: 확률 분포 모델
410: AV 좌표
510: 제1 확률 분포 모델
511: 제1 AV 좌표
520: 제2 확률 분포 모델
521: 제2 AV 좌표
600: 감정 표현 모델
700: 시각적 인터페이스
800, 900: 터치 스크린
810: 예제 그림
910: 제1 예제 그림
920: 제2 예제 그림

Claims (12)

  1. 다수의 음악들에 대한 음원 데이터와, 각 음악의 AV 계수를 저장하는 음악 데이터베이스;
    서로 다른 감정 유형들을 복수 개의 그룹들로 분류하고, AV 계수 평면에 대한 상기 복수 개의 그룹들 각각의 확률 분포를 이용하여 감정 분류 모델을 생성하는 감정 모델 생성부; 및
    음악 검색 요청이 수신되면 사용자로부터 입력된 정보를 이용하여 감정 유형을 식별하고, 상기 감정 분류 모델을 이용하여 식별된 감정 유형에 대응되는 AV 계수를 지정하기 위한 AV 계수 범위를 검출하며, 상기 음악 데이터베이스에서 상기 AV 계수 범위에 대응되는 음악을 검색하는 음악 검색부를 포함하는 감정 모델을 이용한 음악 검색 장치.
  2. 청구항 1에 있어서,
    상기 감정 모델 생성부는
    상기 서로 다른 감정 유형들간의 유사도를 이용하여 상기 서로 다른 감정 유형들을 상기 복수 개의 그룹들로 분류하는 감정 모델을 이용한 음악 검색 장치.
  3. 청구항 2에 있어서,
    상기 감정 모델 생성부는
    상기 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도를 산출하여 산출된 유사도에 따라 상기 서로 다른 감정 유형들을 상기 복수 개의 그룹들로 분류하는 감정 모델을 이용한 음악 검색 장치.
  4. 청구항 1에 있어서,
    상기 감정 모델 생성부는
    상기 서로 다른 감정 유형들 각각의 AV 계수를 이용하여 상기 복수 개의 그룹들 각각의 확률 분포를 산출하는 감정 모델을 이용한 음악 검색 장치.
  5. 청구항 4에 있어서,
    상기 감정 모델 생성부는
    상기 AV 계수 평면에 대한 상기 서로 다른 감정 유형들 각각의 확률 분포를 이용하여 상기 복수 개의 그룹들 각각의 확률 분포를 산출하는 감정 모델을 이용한 음악 검색 장치.
  6. 청구항 1에 있어서,
    상기 음악 데이터베이스는
    회귀 분석을 통해 상기 각 음악의 AV 계수를 산출하는 감정 모델을 이용한 음악 검색 장치.
  7. 청구항 1에 있어서,
    상기 음악 검색부는
    검색된 음악에 대한 음악 리스트를 생성하는 감정 모델을 이용한 음악 검색 장치.
  8. 음악 검색 요청에 따라 수신된 식별 정보에 대응되는 감정 유형을 식별하는 단계;
    식별된 감정 유형을 포함하는 그룹을 감정 분류 모델에서 식별하는 단계;
    식별된 그룹의 확률 분포에 따라 검색하고자 하는 음악의 AV 계수를 지정하기 위한 AV 계수 범위를 검출하는 단계;
    데이터베이스에 저장된 음악들 각각의 AV 계수를 이용하여 상기 AV 계수 범위에 대응되는 음악을 검색하는 단계; 및
    검색된 음악에 대한 음악 리스트를 생성하는 단계를 포함하는 감정 모델을 이용한 음악 검색 방법.
  9. 청구항 8에 있어서,
    상기 감정 분류 모델에서 식별하는 단계는
    상기 식별된 감정 유형을 포함하는 그룹을 서로 다른 감정 유형들간의 유사도에 따라 상기 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한 상기 감정 분류 모델에서 식별하는 감정 모델을 이용한 음악 검색 방법.
  10. 청구항 9에 있어서,
    상기 감정 분류 모델은
    상기 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도에 따라 상기 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하여 생성되는 감정 모델을 이용한 음악 검색 방법.
  11. 청구항 8에 있어서,
    상기 감정 유형을 식별하는 단계는
    AV 좌표를 포함하는 상기 식별 정보에 대응되는 감정 유형을 식별하는 감정 모델을 이용한 음악 검색 방법.
  12. 청구항 8에 있어서,
    상기 감정 유형을 식별하는 단계는
    미리 정해진 예제 그림을 포함하는 상기 식별 정보에 대응되는 감정 유형을 식별하는 감정 모델을 이용한 음악 검색 방법.
KR1020110053785A 2010-08-31 2011-06-03 감정 모델을 이용한 음악 검색 장치 및 방법 KR101593961B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/220,838 US8489606B2 (en) 2010-08-31 2011-08-30 Music search apparatus and method using emotion model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100084965 2010-08-31
KR20100084965 2010-08-31

Publications (2)

Publication Number Publication Date
KR20120021174A true KR20120021174A (ko) 2012-03-08
KR101593961B1 KR101593961B1 (ko) 2016-02-15

Family

ID=46129610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110053785A KR101593961B1 (ko) 2010-08-31 2011-06-03 감정 모델을 이용한 음악 검색 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101593961B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125983A1 (ko) * 2014-02-18 2015-08-27 한양대학교 에리카산학협력단 기분에 기초한 음악 서비스 시스템 및 방법
US9183840B2 (en) 2012-07-11 2015-11-10 Electronics And Telecommunications Research Institute Apparatus and method for measuring quality of audio
WO2017131272A1 (ko) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 음악 감정 분석 시스템 및 이를 이용한 감정 분석 방법
US9990413B2 (en) 2014-12-09 2018-06-05 Hyundai Motor Company Method and device for generating music playlist
CN108648767A (zh) * 2018-04-08 2018-10-12 中国传媒大学 一种流行歌曲情感综合与分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101170208B1 (ko) * 2008-08-26 2012-07-31 금오공과대학교 산학협력단 음악추천 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183840B2 (en) 2012-07-11 2015-11-10 Electronics And Telecommunications Research Institute Apparatus and method for measuring quality of audio
WO2015125983A1 (ko) * 2014-02-18 2015-08-27 한양대학교 에리카산학협력단 기분에 기초한 음악 서비스 시스템 및 방법
US9990413B2 (en) 2014-12-09 2018-06-05 Hyundai Motor Company Method and device for generating music playlist
WO2017131272A1 (ko) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 음악 감정 분석 시스템 및 이를 이용한 감정 분석 방법
CN108648767A (zh) * 2018-04-08 2018-10-12 中国传媒大学 一种流行歌曲情感综合与分类方法
CN108648767B (zh) * 2018-04-08 2021-11-05 中国传媒大学 一种流行歌曲情感综合与分类方法

Also Published As

Publication number Publication date
KR101593961B1 (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
US8489606B2 (en) Music search apparatus and method using emotion model
US11461388B2 (en) Generating a playlist
Cheng et al. On effective location-aware music recommendation
US8170702B2 (en) Method for classifying audio data
US7805389B2 (en) Information processing apparatus and method, program and recording medium
US9317568B2 (en) Popularity of content items
US20100274782A1 (en) Generating metadata for association with a collection of content items
US9576050B1 (en) Generating a playlist based on input acoustic information
EP1895505A1 (en) Method and device for musical mood detection
KR20130059237A (ko) 음악의 감정 정보를 이용한 추천음악 검색 방법 및 장치
KR101637282B1 (ko) 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치
CN109920409B (zh) 一种声音检索方法、装置、***及存储介质
KR20090033750A (ko) 콘텐츠 플레이 리스트 추천 방법 및 장치
Wang et al. Towards time-varying music auto-tagging based on cal500 expansion
KR20120021174A (ko) 감정 모델을 이용한 음악 검색 장치 및 방법
Benetos et al. Characterisation of acoustic scenes using a temporally-constrained shift-invariant model
Hyung et al. Utilizing context-relevant keywords extracted from a large collection of user-generated documents for music discovery
Yang et al. Mr. Emo: Music retrieval in the emotion plane
Gurjar et al. Comparative Analysis of Music Similarity Measures in Music Information Retrieval Systems.
JP5344756B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109802987B (zh) 用于显示装置的内容推送方法、推送装置和显示设备
Lee et al. Smoodi: Mood-based music recommendation player
KR101520572B1 (ko) 음악에 대한 복합 의미 인식 방법 및 그 장치
Yang et al. Improving Musical Concept Detection by Ordinal Regression and Context Fusion.
Sarkar et al. Emotion based categorization of music using low level features and agglomerative clustering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 5