KR100715949B1 - 고속 음악 무드 분류 방법 및 그 장치 - Google Patents
고속 음악 무드 분류 방법 및 그 장치 Download PDFInfo
- Publication number
- KR100715949B1 KR100715949B1 KR1020050107957A KR20050107957A KR100715949B1 KR 100715949 B1 KR100715949 B1 KR 100715949B1 KR 1020050107957 A KR1020050107957 A KR 1020050107957A KR 20050107957 A KR20050107957 A KR 20050107957A KR 100715949 B1 KR100715949 B1 KR 100715949B1
- Authority
- KR
- South Korea
- Prior art keywords
- music
- mood
- music file
- mdct
- tempo
- Prior art date
Links
- 230000036651 mood Effects 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
- G10H2250/221—Cosine transform; DCT [discrete cosine transform], e.g. for use in lossy audio compression such as MP3
- G10H2250/225—MDCT [Modified discrete cosine transform], i.e. based on a DCT of overlapping data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
본 발명은 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색 특성 및 템포 특성을 추출하고 추출된 음색 특성 및 템포 특성을 기초로 하여 음악 파일에 대한 무드를 분류하는 방법 및 그 장치에 관한 것이다. 본 발명은 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 단계와, 상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 단계 및 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드를 분류하는 단계를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법을 제공한다. 본 발명에 의하면, 압축 영역에서 음악 파일의 음색 특성 및 템포 특성을 추출하여 고속으로 정확하게 음악 무드를 분류할 수 있다.
음악, 무드, 음색, 템포, 추출, 분류
Description
도 1은 본 발명의 일실시예에 따른 고속 음악 무드 분류 장치의 구성을 나타내는 도면이다.
도 2는 본 발명에 따른 고속 음악 무드 분류 장치에 있어서, 음악 무드를 분류하는 일례를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 고속 음악 무드 분류 방법의 흐름을 나타내는 도면이다.
도 4는 본 발명에 따른 고속 음악 무드 분류 방법에 있어서, 음색 특성을 추출하는 과정의 일례를 나타내는 도면이다.
도 5는 본 발명에 따른 고속 음악 무드 분류 방법에 있어서, 템포 특성을 추출하는 과정의 일례를 나타내는 도면이다.
도 6은 본 발명에 따른 고속 음악 무드 분류 방법에 있어서, 무드 분류 신뢰도를 나타내는 도면이다.
도 7은 본 발명에 따른 고속 음악 무드 분류 방법에 있어서, 재생 리스트에 음악 파일을 디스플레이하는 일례를 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 고속 음악 무드 분류 장치
110: 음색 추출부
120: 템포 추출부
130: 무드 분류부
131: 제1 분류부
132: 제2 분류부
본 발명은 고속 음악 무드 분류 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색 특성 및 템포 특성을 추출하고, 추출된 음색 특성 및 템포 특성을 기초로 하여 음악 파일에 대한 무드를 고속으로 분류하는 방법 및 그 장치에 관한 것이다.
종래 음악 자동 무드 검출 방법은 비압축 영역에서 spectral shape feature, spectral contrast feature인 음색 특성(timbre feature)와 intensity feature, average strength, average regularity, average temp와 같은 리듬 특성(Rhythm feature)을 추출하여 음악 파일의 무드를 분류하는데 사용한다. 또한, 종래 음악 자동 무드 검출 방법은 GMM(Gaussian Mixture Model)을 사용한 계층적 구조(hierarchical structure)를 이용하여 무드를 contentment, depression, exuberance, anxious과 같이 4개의 무드로 분류한다. 하지만, 종래 음악 자동 무드 검출 방법은 압축된 음악 파일에 대한 압축을 해제한 비압축 영역에서 음악의 특성을 추출해야 하므로 추출 속도가 늦은 문제점이 있다. 또한, 종래 음악 자동 무드 검출 방법은 장르와 관계없이 단순히 정의된 무드 클래스를 모델화하여 음악의 무드를 분류하기 때문에 분류 오류가 많이 발생되는 문제점도 있다.
한편, 종래 음악 추천 시스템은 차 네비게이션(navigation)의 하드 디스크 드라이버(HDD: Hard Disk Driver)에 저장되어 있는 대용량의 음악 파일들을 사용자가 자신의 취향에 맞게 분류하도록 한다. 즉, 종래 음악 추천 시스템은 예를 들어 249곡을 저장하고, 사용자가 지정한 무드별로 10곡씩 음악을 제시하고, 사용자가 각 곡마다 적합/비적합(fit/unfit)으로 피드백을 해주어야만 bright, exciting, quiet, sad, healing 등으로 분류된 무드별 선곡을 수행할 수 있다. 하지만, 종래 음악 추천 시스템도 역시 압축된 음악 파일에 대한 압축을 해제한 비압축 영역에서 음악의 특성을 추출해야 하므로 그 추출 속도가 늦은 문제점이 있다. 또한, 종래 음악 추천 시스템은 사용자가 원하는 곡이 85퍼센트 정도로 선곡되기 위해서 사용자가 18회 이상의 피드백을 해주어야 하는 번거로움이 있다.
이와 같이, 종래 음악 무드 분류 방법은 timber, tempo, intensity 등과 같은 음악 파일의 특성을 비압축 영역에서 추출하기 위해 MP3 등과 같은 압축된 음악 파일을 PCM 데이터로 변환하는 디코딩 과정이 필요하므로 그만큼 처리 속도가 느려지는 문제점이 있다.
또한, 종래 음악 무드 분류 방법은 장르와 상관없이 정의된 무드 클래스를 사용하므로 분류 오류가 많이 발생되는 문제점이 있다.
게다가, 종래의 음악 무드 분류 방법 및 장치에서는 다수의 음악파일에 대해 무드 분류한 결과를 디스플레이하는 방법에 대해서는 간과하였다. 즉, 종래 음악 무드 분류 방법은 예를 들어, 1,000여 곡의 음악파일을 무드 분류하고, 사용자가 신나는 곡을 듣고자 하는 경우 신나는 곡을 선택했을 시, 신나는 곡들의 순서가 매번 같은 순으로 나열된다면, 사용자 입장에서 장치의 단순성을 느끼게 하는 요인으로 작용되는 문제점이 있다.
따라서, 이러한 단순성을 해결하는 방법으로서 나열되는 순서를 랜덤하게 하는 방법과, 장치의 신뢰성 즉, 무드 분류 결과의 신뢰성을 높게 인식될 수 있도록 분류의 신뢰도가 높은 음악파일을 순으로 나열하는 음악 무드 분류 방법이 절실히 요청되어 오고 있다.
본 발명은 상기와 같은 종래기술을 개선하기 위해 안출된 것으로서, 압축 영역에서 음악 파일의 음색 특성 및 템포 특성을 고속으로 추출하여 음악 무드를 분류하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 장르와 연동하여 1차적으로 음악의 카레고리를 세분하고 혼동이 높은 카테고리에 대해서 재분류하여 보다 정확하게 음악 무드를 분류하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 음악 무드 분류 결과를 무드 분류 신뢰도가 높은 음악 순으로 표시하는 방법 및 그 장치에 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 단계와, 상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 단계 및 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드를 분류하는 단계를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법을 제공한다.
본 발명에 따른 고속 음악 무드 분류 장치는 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 음색 추출부와, 상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 템포 추출부 및 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드를 분류하는 무드 분류부를 포함한다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 고속 음악 무드 분류 방법 및 그 장치를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 고속 음악 무드 분류 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 고속 음악 무드 분류 장치(100)는 음색 추출부(110), 템포 추출부(120) 및 무드 분류부(130)를 포함한다.
음색 추출부(110)는 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색 특성(timbre feature)을 추출한다. 즉, 음색 추출부(110)는 예를 들어 MP3(MPEG Audio Layer-3) 방식으로 압축된 음악 파일을 부분적으로 디코딩하여 MDCT 계수를 추출하고, 상기 추출된 MDCT 계수 중에서 소정 MDCT 계수를 선택하고, 상기 선택된 MDCT 계수들로부터 음색 특성을 추출할 수 있다.
템포 추출부(120)는 상기 음악 파일의 압축 영역으로부터 MDCT 기반의 템포 특성(tempo feature)을 추출한다. 즉, 템포 추출부(120)는 MP3 방식으로 압축된 음악 파일을 부분적으로 디코딩하여 MDCT 계수를 추출하고, 상기 추출된 MDCT 계수 중에서 소정 MDCT 계수를 선택하고, 상기 선택된 MDCT 계수들로부터 DFT를 수행하여 MDCT 변조 스펙트럼을 추출하고, 상기 추출된 MDCT 변조 스펙트럼의 서브 밴드(sub-band)를 분할하고, 상기 분할된 서브 밴드로부터 에너지를 추출하여 상기 음악 파일의 템포 특성으로 사용할 수 있다.
이와 같이, 본 발명에 따른 고속 음악 무드 분류 장치(100)는 음악 파일의 압축 영역으로부터 음색 특성 및 템포 특성을 추출하므로 종래 비압축 영역에서 특성을 추출하는 것에 비해 처리 속도를 향상시킬 수 있다.
무드 분류부(130)는 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드를 분류한다. 즉, 무드 분류부(130)는 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드를 예를 들어 calm, sad, pleasant, exciting 중 어느 하나로 분류할 수 있다.
무드 분류부(130)는 음악 파일에 대한 무드 분류 성능을 향상시키기 위해 음악 장르와 연관하여 제1 분류부(131) 및 제2 분류부(132)의 2개 계층으로 구성된 다.
제1 분류부(131)는 상기 추출된 음색 특성을 기초로 하여 상기 음악 파일에 대한 장르를 분류한다. 즉, 제1 분류부(131)는 상기 추출된 음색 특성을 기초로 하여 1차적으로 음악 파일에 대한 장르를 도 2에 도시된 것과 같이 7개의 클래스(sad, calm in classic, calm in pop, exciting, pleasant in pop, pleasant in classical, pleasant in jazz) 중 어느 하나로 분류할 수 있다.
제1 분류부(131)는 도 2에 도시된 것과 같이 음악 파일의 음색 특성이 calm인 경우 상기 음악 파일을 Calm in classic(201)과 Calm in pop(202)으로 장르를 구분하고, 상기 음악 파일의 음색 특성이 Sad(203)와 Exciting(204)인 경우 그대로 장르로 사용할 수 있다. 또한, 제1 분류부(131)는 상기 음악 파일의 음색 특성이 Pleasant의 경우 Pleasant in pop(205), Pleasant in classic(206), Pleasant in jazz(207)의 세가지 장르에 따라 모델을 형성하고, 상기 모델에 의해 1차적으로 무드를 분류할 수 있다.
제1 분류부(131)는 상기 음악 파일에 대한 장르가 Clam in classical(201) 또는 clam in pop(202)인 경우 상기 음악 파일에 대한 무드를 Clam으로 분류할 수 있다.
또한, 제1 분류부(131)는 상기 음악 파일에 대한 장르가 Sad(203)인 경우 상기 음악 파일에 대한 무드를 Sad로 분류하고, 상기 음악 파일에 대한 장르가 exciting(204)인 경우 상기 음악 파일에 대한 무드를 Exciting으로 분류할 수 있다.
또한, 제1 분류부(131)는 상기 음악 파일에 대한 장르가 Pleasant in pop(205)인 경우 상기 음악 파일에 대한 무드를 Pleasant로 분류할 수 있다.
제2 분류부(132)는 상기 장르 분류 결과에 대한 혼동이 소정 기준 값보다 높은 경우, 상기 추출된 템포 특성을 기초로 하여 상기 음악 파일에 대한 카테고리를 재분류한다. 상기 기준 값은 상기 장르 분류 결과에 대한 혼동 발생 여부를 판단하기 위한 값으로서 사전에 분석된 장르 분류 결과에 따라 상기 장르 분류의 혼동이 발생되기 직전 값으로 구해진다. 즉, 제2 분류부(132)는 상기 장르 분류 결과에 대한 혼동이 상기 기준 값보다 높은 경우, 상기 장르 분류 결과에 대한 혼동이 발생된 것이므로 상기 추출된 템포 특성을 기초로 하여 상기 음악 파일에 대한 장르의 카테고리를 재분류한다.
제2 분류부(132)는 상기 장르 분류 결과가 혼동이 높은 장르인 Pleasant in classical(206)인 경우 상기 추출된 템포 특성에 따라 상기 음악 파일에 대한 카테고리를 Calm(211)과 Pleasant in classical(212)로 재분류할 수 있다.
제2 분류부(132)는 상기 재분류된 음악 파일에 대한 카테고리가 Calm(211)인 경우 상기 음악 파일의 무드를 Calm으로 분류할 수 있다. 또한, 제2 분류부(132)는 상기 재분류된 음악 파일에 대한 카테고리가 Pleasant in classical(212)인 경우 상기 음악 파일의 무드를 Pleasant로 분류할 수 있다.
제2 분류부(132)는 상기 장르 분류 결과가 혼동이 높은 장르인 Pleasant in jazz(207)인 경우 상기 추출된 템포 특성에 따라 상기 음악 파일에 대한 카테고리를 Sad(221)와 Pleasant in jazz(222)로 재분류할 수 있다.
제2 분류부(132)는 상기 재분류된 음악 파일에 대한 카테고리가 Sad(221)인 경우 상기 음악 파일의 무드를 Sad로 분류할 수 있다. 또한, 제2 분류부(132)는 상기 재분류된 음악 파일에 대한 카테고리가 Pleasant in jazz(222)인 경우 상기 음악 파일의 무드를 Pleasant로 분류할 수 있다.
무드 분류부(130)는 제1 분류부(131)에서 1차적으로 분류된 음악 파일에 대 한 무드 분류 결과 및 제2 분류부(132)에서 2차적으로 분류된 음악 파일에 대한 무드 분류 결과를 결합하여 4개의 무드 클래스(exciting, pleasant, calm, sad)로 통합할 수 있다.
이와 같이, 본 발명은 음색 특성을 기초로 하여 1차적으로 무드를 분류하고, 템포 특성을 기초로 하여 2차적으로 무드를 분류함으로써 음악 파일에 대한 무드 분류 성능을 향상시킬 수 있다.
한편, 본 발명에 따른 고속 음악 분류 장치는 상기 음악 파일의 무드 분류 결과를 디스플레이하기 위한 디스플레이부(도면에 도시되어 있지 않음)를 더 포함할 수 있다. 상기 디스플레이부는 상기 음악 파일의 무드 분류 신뢰도가 도 6에 도시된 것과 같이 높은 순으로 상기 분류된 음악 파일을 재생 리스트(play list)에 디스플레이할 수 있다. 이와 같이, 본 발명은 음악 파일에 대한 무드 분류 시 각 무드로 결정될 확률 값을 이용하여 도 7에 도시된 것과 같이 무드 결과 신뢰도가 높은 순으로 음악 파일을 디스플레이함으로써 사용자에게 보다 신뢰도가 높은 재생 리스트를 제공할 수 있다.
한편, 본 발명에 따른 고속 음악 분류 장치는 상기 음악 파일의 무드 분류에 대한 재생 리스트에서 상기 음악 파일들의 순서를 랜덤(random)하게 디스플레이할 수도 있다. 이와 같이, 본 발명은 무드 분류 결과를 디스플레이할 때 항상 같은 순서대로 음악 파일들을 정렬하는 경우 사용자가 상기 무드 분류 결과를 단순하게 느끼는 단점을 보안하기 위해 무드 분류 결과를 랜덤하게 디스플레이함으로써 사용자에게 보다 다양한 재생 리스트를 제공할 수도 있다.
도 3은 본 발명의 일실시예에 따른 고속 음악 무드 분류 방법의 흐름을 나타내는 도면이다.
단계(310)에서 고속 음악 무드 분류 장치는 음악 파일의 압축 영역으로부터 MDCT 기반의 음색 특성을 추출한다. 본 발명에 따른 단계(310)에서 MDCT 기반의 음색 특성을 추출하는 과정은 도 4를 참조하여 하기에서 보다 상세하게 설명하기로 한다.
도 4는 본 발명에 따른 고속 음악 무드 분류 방법에 있어서, 음색 특성을 추출하는 과정의 일례를 나타내는 도면이다.
도 4를 참조하면, 단계(410)에서 고속 음악 무드 분류 장치는 소정 압축 방식으로 압축된 음악 파일을 부분적으로 디코딩하여 576개의 MDCT 계수 Si(n)를 추출한다. 여기서, n은 MDCT의 프레임 인덱스를 나타내고, i(0~575)는 MDCT의 서브 밴드 인덱스(sub-band index)를 나타낸다.
단계(420)에서 고속 음악 무드 분류 장치는 576개의 MDCT 서브 밴드들 중에서 소정 MDCT 계수 Sk(n)을 선택한다. 여기서, Sk(n)은 상기 선택된 MDCT 계수를 나타내고, k(<i)은 선택된 MDCT 서브 밴드 인덱스를 나타낸다.
단계(430)에서 고속 음악 모드 분류 장치는 상기 선택된 각 MDCT 계수들로부터 25개의 음색 특성(feature)을 추출한다. 상기 추출되는 음색 특성은 대표적으로 스펙트럼의 중심(spectral centroid), 대역폭(bandwidth), 롤오프(rolloff), 플럭스(flux), 스펙트럼의 서브 밴드 피크(spectral sub-band peak), 밸리 (valley), 평균(average) 등이 있다.
수학식 1은 상기 중심(centroid)와 연관된 수식이다.
수학식 2는 상기 대역폭(bandwidth)와 연관된 수식이다.
수학식 3은 상기 롤오프(rolloff)와 연관된 수식이다.
수학식 4는 상기 플럭스(flux)와 연관된 수식이다.
수학식 5는 상기 서브 밴드 피크(sub-band peak)와 연관된 수식이다.
수학식 6은 상기 밸리(valley)와 연관된 수식이다.
수학식 7은 상기 평균(average)와 연관된 수식이다.
단계(320)에서 상기 고속 음악 무드 분류 장치는 상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포 특성을 추출한다. 본 발명에 따른 단계(320)에서 MDCT 기반의 템포 특성을 추출하는 과정은 도 5를 참조하여 하기에서 보다 상세하기 설명하기로 한다.
도 5는 본 발명에 따른 고속 음악 무드 분류 방법에 있어서, 템포 특성을 추출하는 과정의 일례를 나타내는 도면이다.
도 5를 참조하면, 단계(510)에서 상기 고속 음악 무드 분류 장치는 소정 압축 방식으로 압축된 음악 파일을 부분적으로 디코딩하여 576개의 MDCT 계수 Si(n)를 추출한다. 여기서, n은 MDCT의 프레임 인덱스를 나타내고, i(0~575)는 MDCT의 서브 밴드 인덱스(sub-band index)를 나타낸다.
단계(520)에서 상기 고속 음악 무드 분류 장치는 상기 576개의 MDCT 서브 밴드들 중에서 잡음 환경에 강인한 MDCT 계수 Sk(n)을 선택한다. 여기서, Sk(n)은 상기 선택된 MDCT 계수를 나타내고, k(<i)은 선택된 MDCT 서브 밴드 인덱스를 나타낸다.
단계(530)에서 상기 고속 음악 무드 분류 장치는 상기 선택된 MDCT 계수들로부터 DFT(Discrete Fourier Transformation)을 수행하여 MDCT 변조 스펙트럼(Modulation Spectrum: MS)을 추출한다.
여기서, q는 변조 주파수(modulation frequency)이고, modulation resolution은 DFT 길이 N에 의존한다.
시간 이동(Time shift)를 사용하여 DFT가 수행된 MDCT 변조 스펙트럼은 수학식 10과 같이 3개의 변수를 가진 4차원의 형태로 표현될 수 있다.
여기서, t는 시간 인덱스(time index)(shift of MDCT-MS on time)를 의미한다.
단계(540)에서 상기 고속 음악 무드 분류 장치는 상기 추출된 MDCT 변조 스펙트럼을 N개의 서브 밴드로 분할하고, 상기 분할된 서브 밴드로부터 에너지를 추출하여 MDCT-MS 기반의 템포 특성으로 사용한다.
단계(330)에서 상기 고속 음악 무드 분류 장치는 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일의 무드를 분류한다.
단계(330)에서 상기 고속 음악 무드 분류 장치는 상기 추출된 음색 특성을 기초로 하여 상기 음악 파일에 대한 장르를 분류하고, 상기 장르 분류 결과에 대한 혼동(confusion)이 소정 기준 값보다 높은 경우 상기 장르의 음악 파일에 대한 카테고리를 재분류할 수 있다.
즉, 단계(330)에서 상기 고속 음악 무드 분류 장치는 상기 장르 분류 결과 에 대한 혼동이 소정 기준 값보다 높은 경우, 상기 추출된 템포 특성을 기초로 하여 상기 장르의 음악 파일에 대한 카테고리를 재분류할 수 있다.
단계(330)에서 상기 고속 음악 무드 분류 장치는 상기 추출된 음색 특성을 기초로 하여 1차적으로 4가지의 음악 파일을 무드에 따른 7개의 클래스(예를 들어 sad, exciting, calm in classic, calm in pop, pleasant in pop, pleasant in classic, pleasant in jazz) 중 어느 하나로 분류할 수 있다.
단계(330)에서 상기 고속 음악 무드 분류 장치는 1차적인 무드 분류 결과에 대한 혼동이 높은 클래스(예를 들어 pleasant in classic, pleasant in jazz)에 대해 상기 추출된 템포 특성을 기초로 하여 2차적으로 재분류할 수 있다.
즉, 단계(330)에서 상기 고속 음악 무드 분류 장치는 pleasant in classic 장르로 분류된 음악 파일에 대한 카테고리를 상기 추출된 템포 특성에 따라 calm 및 pleasant in classic으로 재분류하고, pleasant in classic 장르로 분류된 음악 파일에 대한 카테고리를 상기 추출된 템포 특성에 따라 sad 및 pleasant in classic으로 재분류할 수 있다.
또한, 단계(330)에서 상기 고속 음악 무드 분류 장치는 상기 재분류된 음악 파일에 대한 카테고리를 K개의 무드로 병합한다. 즉, 고속 음악 무드 분류 장치는 상기 추출된 음색 특성에 따라 1차적으로 분류된 무드 분류 결과 및 상기 추출된 템포 특성에 따라 2차적으로 분류된 무드 분류 결과를 결합하여 예를 들어 4개의 무드 클래스(exciting, pleasant, calm, sad)로 병합할 수 있다.
한편, 단계(330)에서 상기 고속 음악 무드 분류 장치는 GMM(Gaussian Mixture model)을 사용하여 상기 음악 파일을 세분화된 카테고리로 분류할 수 있다.
단계(330)에서 상기 고속 음악 무드 분류 장치는 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일의 무드를 예를 들어 sad, calm, exciting 또는 pleasant 중 어느 하나로 분류할 수 있다.
단계(340)에서 상기 고속 음악 무드 분류 장치는 상기 분류된 무드 분류 결과를 디스플레이한다.
이 경우, 단계(340)에서 상기 고속 음악 무드 분류 장치는 상기 분류된 음악 파일을 상기 음악 파일의 무드 분류 신뢰도에 따라 디스플레이할 수 있다. 즉, 단계(340)에서 상기 고속 음악 분류 장치는 상기 분류된 음악 파일을 도 6에 도시된 것과 같이 상기 음악 파일의 무드 분류 신뢰도가 높은 순으로 정렬하고, 상기 정렬된 순서에 따라 상기 분류된 음악 파일을 재생 리스트(play list)에 도 7에 도시된 것과 같이 디스플레이할 수 있다. 여기서, 상기 무드 분류 신뢰도는 GMM(Gaussian Mixture Model)의 결과 중 최대 가능도(maximum likelihood) 값을 사용할 수 있다.
이와 같이, 본 발명은 음악 무드 분류 결과를 무드 분류 신뢰도가 높은 음악 순으로 디스플레이함으로써 사용자에게 음악 무드 분류의 신뢰성을 향상시킬 수 있다.
본 발명에 따른 고속 음악 무드 분류 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 압축 영역에서 음악 파일의 음색 특성 및 템포 특성을 추출하여 고속으로 음악 무드를 분류하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 장르와 연동하여 1차적으로 음악의 카레고리를 세분하고 혼동의 가능성이 높은 카테고리에 대해서 2차적으로 재분류함으로써 보다 정확하게 음악 무드를 분류하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 음악 무드 분류 결과를 무드 분류 신뢰도가 높은 음악 순으로 디스플레이함으로써 사용자에게 음악 무드 분류의 신뢰성을 향상시킬 수 있다.
Claims (16)
- 고속 음악 무드 분류 방법에 있어서,음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 단계;상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 단계;상기 추출된 음색 특성을 기초로 하여 상기 음악 파일에 대한 장르를 분류하는 단계; 및상기 장르 분류 결과에 대한 혼동(confusion)이 소정 기준 값보다 높은 경우 상기 장르의 음악 파일에 대한 카테고리(category)를 재분류하는 단계를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 삭제
- 제1항에 있어서,상기 장르의 음악 파일에 대한 카테고리를 재분류하는 상기 단계는,상기 추출된 템포 특성을 기초로 하여 상기 장르의 음악 파일에 대한 카테고리를 재분류하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제3항에 있어서,상기 재분류된 음악 파일에 대한 카테고리를 K개의 음악 무드로 병합하는 단계를 더 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항에 있어서,상기 음악 파일에 대한 장르를 분류하는 상기 단계는,상기 음악 파일에 대한 장르를 sad, exciting, calm in classic, calm in pop, pleasant in pop, pleasant in classical, 또는 pleasant in jazz 중 어느 하나로 분류하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제5항에 있어서,상기 장르의 음악 파일에 대한 카테고리(category)를 재분류하는 상기 단계는,상기 pleasant in classical 장르로 분류된 음악 파일에 대한 카테고리를 상기 추출된 템포 특성에 따라 calm 및 pleasant in classical으로 재분류하고,상기 pleasant in jazz 장르로 분류된 음악 파일에 대한 카테고리를 상기 추출된 템포 특성에 따라 sad 및 pleasant in jazz로 재분류하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항에 있어서,상기 분류된 음악 파일을 상기 음악 파일의 무드 분류 신뢰도에 따라 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제7항에 있어서,상기 무드 분류 신뢰도는 GMM의 결과 중 최대 가능도(maximum likelihood) 값을 사용하고,상기 분류된 음악 파일을 상기 음악 파일의 무드 분류 신뢰도에 따라 디스플레이하는 상기 단계는,상기 분류된 음악 파일을 상기 음악 파일의 무드 분류 신뢰도가 높은 순으로 정렬하는 단계; 및상기 정렬된 순서에 따라 상기 분류된 음악 파일을 재생 리스트(play list)에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항에 있어서,음악 파일의 압축 영역으로부터 MDCT 기반의 음색 특성을 추출하는 상기 단 계는,상기 음악 파일을 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계;상기 추출된 MDCT 계수들로부터 소정 개수의 서브 밴드(sub-band)의 MDCT 계수를 선택하는 단계; 및상기 선택된 MDCT 계수들로부터 스펙트럼의 중심(spectral centroid), 대역폭(bandwidth), 롤오프(rolloff), 플럭스(flux)를 추출하는 단계를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항에 있어서,상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 상기 단계는,상기 음악 파일을 부분적으로 디코딩하여 상기 MDCT 계수들을 추출하는 단계;상기 추출된 MDCT 계수로부터 소정 서브 밴드(sub-band)의 MDCT 계수를 선택하는 단계;상기 선택된 MDCT 계수로부터 DFT(Discrete Fourier Transformation)를 수행하여 MDCT 변조 스펙트럼(Modulation Spectrum)을 추출하는 단계;상기 추출된 MDCT 변조 스펙트럼을 N개의 서브-밴드로 분할하는 단계; 및상기 분할된 서브 밴드에서 서브 밴드 피크(peak), 밸리(valley), 평균(average)을 추출하는 단계를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항에 있어서,음악 파일의 무드를 분류하는 상기 단계는,GMM(Gaussian Mixture Model)을 사용하여 상기 음악 파일을 세분화된 카테고리로 분류하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항에 있어서,음악 파일의 무드를 분류하는 상기 단계는,상기 음악 파일의 무드를 sad, calm, exciting 또는 pleasant 중 어느 하나로 분류하는 것을 특징으로 하는 고속 음악 무드 분류 방법.
- 제1항, 제3항 내지 제12항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
- 고속 음악 무드 분류 장치에 있어서,음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 음색 추출부;상기 음악 파일의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 템포 추출부;상기 추출된 음색 특성을 기초로 하여 상기 음악 파일에 대한 장르를 분류하는 제1 분류부; 및상기 분류된 장르에 대한 혼동(confusion)이 소정 기준 값보다 높은 경우, 상기 추출된 템포 특성을 기초로 하여 상기 음악 파일에 대한 카테고리를 재분류하는 제2 분류부를 포함하는 것을 특징으로 하는 고속 음악 무드 분류 장치.
- 삭제
- 제14항에 있어서,상기 음악 파일의 무드 분류 결과를 무드 분류 신뢰도가 높은 음악 파일 순서대로 디스플레이하는 디스플레이부를 더 포함하는 것을 특징으로 하는 고속 음악 무드 분류 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050107957A KR100715949B1 (ko) | 2005-11-11 | 2005-11-11 | 고속 음악 무드 분류 방법 및 그 장치 |
US11/519,028 US7582823B2 (en) | 2005-11-11 | 2006-09-12 | Method and apparatus for classifying mood of music at high speed |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050107957A KR100715949B1 (ko) | 2005-11-11 | 2005-11-11 | 고속 음악 무드 분류 방법 및 그 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100715949B1 true KR100715949B1 (ko) | 2007-05-08 |
Family
ID=38039407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050107957A KR100715949B1 (ko) | 2005-11-11 | 2005-11-11 | 고속 음악 무드 분류 방법 및 그 장치 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7582823B2 (ko) |
KR (1) | KR100715949B1 (ko) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406436B1 (en) * | 2001-03-22 | 2008-07-29 | Richard Reisman | Method and apparatus for collecting, aggregating and providing post-sale market data for an item |
US8732221B2 (en) * | 2003-12-10 | 2014-05-20 | Magix Software Gmbh | System and method of multimedia content editing |
KR100715949B1 (ko) * | 2005-11-11 | 2007-05-08 | 삼성전자주식회사 | 고속 음악 무드 분류 방법 및 그 장치 |
KR100717387B1 (ko) * | 2006-01-26 | 2007-05-11 | 삼성전자주식회사 | 유사곡 검색 방법 및 그 장치 |
KR100749045B1 (ko) * | 2006-01-26 | 2007-08-13 | 삼성전자주식회사 | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 |
EP1895505A1 (en) * | 2006-09-04 | 2008-03-05 | Sony Deutschland GmbH | Method and device for musical mood detection |
JP2010509669A (ja) * | 2006-11-14 | 2010-03-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツアイテムを分類するための方法及び装置 |
US7667125B2 (en) * | 2007-02-01 | 2010-02-23 | Museami, Inc. | Music transcription |
KR100852196B1 (ko) * | 2007-02-12 | 2008-08-13 | 삼성전자주식회사 | 음악 재생 시스템 및 그 방법 |
WO2008101130A2 (en) | 2007-02-14 | 2008-08-21 | Museami, Inc. | Music-based search engine |
US9653088B2 (en) * | 2007-06-13 | 2017-05-16 | Qualcomm Incorporated | Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding |
US20090198732A1 (en) * | 2008-01-31 | 2009-08-06 | Realnetworks, Inc. | Method and system for deep metadata population of media content |
US8494257B2 (en) | 2008-02-13 | 2013-07-23 | Museami, Inc. | Music score deconstruction |
US7919707B2 (en) * | 2008-06-06 | 2011-04-05 | Avid Technology, Inc. | Musical sound identification |
JP5282548B2 (ja) | 2008-12-05 | 2013-09-04 | ソニー株式会社 | 情報処理装置、音素材の切り出し方法、及びプログラム |
US8233999B2 (en) * | 2009-08-28 | 2012-07-31 | Magix Ag | System and method for interactive visualization of music properties |
US8327268B2 (en) * | 2009-11-10 | 2012-12-04 | Magix Ag | System and method for dynamic visual presentation of digital audio content |
CN103959375B (zh) | 2011-11-30 | 2016-11-09 | 杜比国际公司 | 增强的从音频编解码器的色度提取 |
US10496250B2 (en) | 2011-12-19 | 2019-12-03 | Bellevue Investments Gmbh & Co, Kgaa | System and method for implementing an intelligent automatic music jam session |
US9158760B2 (en) * | 2012-12-21 | 2015-10-13 | The Nielsen Company (Us), Llc | Audio decoding with supplemental semantic audio recognition and report generation |
US9183849B2 (en) | 2012-12-21 | 2015-11-10 | The Nielsen Company (Us), Llc | Audio matching with semantic audio recognition and report generation |
US9195649B2 (en) | 2012-12-21 | 2015-11-24 | The Nielsen Company (Us), Llc | Audio processing techniques for semantic audio recognition and report generation |
CA2898572C (en) * | 2013-01-29 | 2019-07-02 | Martin Dietz | Concept for coding mode switching compensation |
US10623480B2 (en) | 2013-03-14 | 2020-04-14 | Aperture Investments, Llc | Music categorization using rhythm, texture and pitch |
US10061476B2 (en) | 2013-03-14 | 2018-08-28 | Aperture Investments, Llc | Systems and methods for identifying, searching, organizing, selecting and distributing content based on mood |
US9875304B2 (en) | 2013-03-14 | 2018-01-23 | Aperture Investments, Llc | Music selection and organization using audio fingerprints |
US10225328B2 (en) | 2013-03-14 | 2019-03-05 | Aperture Investments, Llc | Music selection and organization using audio fingerprints |
US11271993B2 (en) | 2013-03-14 | 2022-03-08 | Aperture Investments, Llc | Streaming music categorization using rhythm, texture and pitch |
US10242097B2 (en) | 2013-03-14 | 2019-03-26 | Aperture Investments, Llc | Music selection and organization using rhythm, texture and pitch |
US9639871B2 (en) | 2013-03-14 | 2017-05-02 | Apperture Investments, Llc | Methods and apparatuses for assigning moods to content and searching for moods to select content |
US20220147562A1 (en) | 2014-03-27 | 2022-05-12 | Aperture Investments, Llc | Music streaming, playlist creation and streaming architecture |
US9721551B2 (en) | 2015-09-29 | 2017-08-01 | Amper Music, Inc. | Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions |
US10854180B2 (en) | 2015-09-29 | 2020-12-01 | Amper Music, Inc. | Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine |
CN107506488A (zh) * | 2017-09-21 | 2017-12-22 | 程丹秋 | 一种智能音乐推荐*** |
US10186247B1 (en) * | 2018-03-13 | 2019-01-22 | The Nielsen Company (Us), Llc | Methods and apparatus to extract a pitch-independent timbre attribute from a media signal |
CN110674339B (zh) * | 2019-09-18 | 2021-04-16 | 北京工业大学 | 一种基于多模态融合的中文歌曲情感分类方法 |
US10964299B1 (en) | 2019-10-15 | 2021-03-30 | Shutterstock, Inc. | Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions |
US11037538B2 (en) | 2019-10-15 | 2021-06-15 | Shutterstock, Inc. | Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system |
US11024275B2 (en) | 2019-10-15 | 2021-06-01 | Shutterstock, Inc. | Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004326113A (ja) * | 2003-04-25 | 2004-11-18 | Texas Instruments Inc | 類似する圧縮オーディオ・ファイルの自動分類および識別のための装置および方法 |
US20050100868A1 (en) | 2003-08-19 | 2005-05-12 | Naimul Karim | Hardenable dental article and method of manufacturing the same |
KR100615522B1 (ko) | 2005-02-11 | 2006-08-25 | 한국정보통신대학교 산학협력단 | 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5616876A (en) * | 1995-04-19 | 1997-04-01 | Microsoft Corporation | System and methods for selecting music on the basis of subjective content |
US6201176B1 (en) * | 1998-05-07 | 2001-03-13 | Canon Kabushiki Kaisha | System and method for querying a music database |
US20050038819A1 (en) * | 2000-04-21 | 2005-02-17 | Hicken Wendell T. | Music Recommendation system and method |
US7022905B1 (en) * | 1999-10-18 | 2006-04-04 | Microsoft Corporation | Classification of information and use of classifications in searching and retrieval of information |
AU2001270953A1 (en) * | 2000-06-29 | 2002-01-08 | Musicgenome.Com Inc. | System and method for prediction of musical preferences |
US6545209B1 (en) * | 2000-07-05 | 2003-04-08 | Microsoft Corporation | Music content characteristic identification and matching |
US7206775B2 (en) * | 2000-07-06 | 2007-04-17 | Microsoft Corporation | System and methods for the automatic transmission of new, high affinity media |
US6657117B2 (en) * | 2000-07-14 | 2003-12-02 | Microsoft Corporation | System and methods for providing automatic classification of media entities according to tempo properties |
US7065416B2 (en) * | 2001-08-29 | 2006-06-20 | Microsoft Corporation | System and methods for providing automatic classification of media entities according to melodic movement properties |
US6813600B1 (en) * | 2000-09-07 | 2004-11-02 | Lucent Technologies Inc. | Preclassification of audio material in digital audio compression applications |
US7031980B2 (en) * | 2000-11-02 | 2006-04-18 | Hewlett-Packard Development Company, L.P. | Music similarity function based on signal analysis |
US7069208B2 (en) * | 2001-01-24 | 2006-06-27 | Nokia, Corp. | System and method for concealment of data loss in digital audio transmission |
US6964023B2 (en) * | 2001-02-05 | 2005-11-08 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
US6993532B1 (en) * | 2001-05-30 | 2006-01-31 | Microsoft Corporation | Auto playlist generator |
JP3560936B2 (ja) * | 2001-06-05 | 2004-09-02 | オープンインタフェース株式会社 | 感性データ算出方法および感性データ算出装置 |
US6658383B2 (en) * | 2001-06-26 | 2003-12-02 | Microsoft Corporation | Method for coding speech and music signals |
EP1425745A2 (en) * | 2001-08-27 | 2004-06-09 | Gracenote, Inc. | Playlist generation, delivery and navigation |
DE10148351B4 (de) * | 2001-09-29 | 2007-06-21 | Grundig Multimedia B.V. | Verfahren und Vorrichtung zur Auswahl eines Klangalgorithmus |
US6987221B2 (en) * | 2002-05-30 | 2006-01-17 | Microsoft Corporation | Auto playlist generation with multiple seed songs |
EP1378912A3 (en) * | 2002-07-02 | 2005-10-05 | Matsushita Electric Industrial Co., Ltd. | Music search system |
WO2004075093A2 (en) * | 2003-02-14 | 2004-09-02 | University Of Rochester | Music feature extraction using wavelet coefficient histograms |
US20040194612A1 (en) * | 2003-04-04 | 2004-10-07 | International Business Machines Corporation | Method, system and program product for automatically categorizing computer audio files |
US20040237759A1 (en) * | 2003-05-30 | 2004-12-02 | Bill David S. | Personalizing content |
US7379875B2 (en) * | 2003-10-24 | 2008-05-27 | Microsoft Corporation | Systems and methods for generating audio thumbnails |
US20050091066A1 (en) * | 2003-10-28 | 2005-04-28 | Manoj Singhal | Classification of speech and music using zero crossing |
US20050096898A1 (en) * | 2003-10-29 | 2005-05-05 | Manoj Singhal | Classification of speech and music using sub-band energy |
JP4199097B2 (ja) * | 2003-11-21 | 2008-12-17 | パイオニア株式会社 | 楽曲自動分類装置及び方法 |
US7022907B2 (en) * | 2004-03-25 | 2006-04-04 | Microsoft Corporation | Automatic music mood detection |
US7302451B2 (en) * | 2004-05-07 | 2007-11-27 | Mitsubishi Electric Research Laboratories, Inc. | Feature identification of events in multimedia |
US7227074B2 (en) * | 2004-09-24 | 2007-06-05 | Microsoft Corporation | Transport control for initiating play of dynamically rendered audio content |
US7777125B2 (en) * | 2004-11-19 | 2010-08-17 | Microsoft Corporation | Constructing a table of music similarity vectors from a music similarity graph |
US7672916B2 (en) * | 2005-08-16 | 2010-03-02 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for music classification |
KR100715949B1 (ko) * | 2005-11-11 | 2007-05-08 | 삼성전자주식회사 | 고속 음악 무드 분류 방법 및 그 장치 |
KR100725018B1 (ko) * | 2005-11-24 | 2007-06-07 | 삼성전자주식회사 | 음악 내용 자동 요약 방법 및 그 장치 |
US7396990B2 (en) * | 2005-12-09 | 2008-07-08 | Microsoft Corporation | Automatic music mood detection |
KR100772386B1 (ko) * | 2005-12-10 | 2007-11-01 | 삼성전자주식회사 | 음악 파일 분류 방법 및 그 시스템 |
KR100749045B1 (ko) * | 2006-01-26 | 2007-08-13 | 삼성전자주식회사 | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 |
KR100717387B1 (ko) * | 2006-01-26 | 2007-05-11 | 삼성전자주식회사 | 유사곡 검색 방법 및 그 장치 |
-
2005
- 2005-11-11 KR KR1020050107957A patent/KR100715949B1/ko not_active IP Right Cessation
-
2006
- 2006-09-12 US US11/519,028 patent/US7582823B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004326113A (ja) * | 2003-04-25 | 2004-11-18 | Texas Instruments Inc | 類似する圧縮オーディオ・ファイルの自動分類および識別のための装置および方法 |
US20050100868A1 (en) | 2003-08-19 | 2005-05-12 | Naimul Karim | Hardenable dental article and method of manufacturing the same |
KR100615522B1 (ko) | 2005-02-11 | 2006-08-25 | 한국정보통신대학교 산학협력단 | 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법 |
Non-Patent Citations (3)
Title |
---|
IEEE 논문(1999.03.15) |
IEEE 논문(2000.06.05) |
IEEE 논문(2004.03.17) |
Also Published As
Publication number | Publication date |
---|---|
US7582823B2 (en) | 2009-09-01 |
US20070107584A1 (en) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100715949B1 (ko) | 고속 음악 무드 분류 방법 및 그 장치 | |
KR100717387B1 (ko) | 유사곡 검색 방법 및 그 장치 | |
KR100749045B1 (ko) | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 | |
KR100852196B1 (ko) | 음악 재생 시스템 및 그 방법 | |
JP5112300B2 (ja) | コンテンツ項目の特性を決定する方法および電子装置 | |
ES2382974T3 (es) | Procedimiento y dispositivo para generar una huella digital y procedimiento y dispositivo para identificar una señal de audio | |
JP4067969B2 (ja) | 信号を特徴付ける方法および装置、および、索引信号を生成する方法および装置 | |
TWI484473B (zh) | 用於從編碼位元串流擷取音訊訊號之節奏資訊、及估算音訊訊號之知覺顯著節奏的方法及系統 | |
US7022907B2 (en) | Automatic music mood detection | |
US20090306797A1 (en) | Music analysis | |
JP2004530153A6 (ja) | 信号を特徴付ける方法および装置、および、索引信号を生成する方法および装置 | |
JP2004326113A (ja) | 類似する圧縮オーディオ・ファイルの自動分類および識別のための装置および方法 | |
JP2004233965A (ja) | 音楽音響データ中のサビ区間を検出する方法及び装置並びに該方法を実行するためのプログラム | |
Pachet et al. | Exploring billions of audio features | |
Bergstra et al. | Scalable Genre and Tag Prediction with Spectral Covariance. | |
Harb et al. | A query by example music retrieval algorithm | |
KR101092228B1 (ko) | 음원 분류를 위한 악기 인식 시스템 및 방법 | |
Ghosal et al. | Perceptual feature-based song genre classification using RANSAC | |
Kos et al. | Online speech/music segmentation based on the variance mean of filter bank energy | |
Mitri et al. | Automatic music classification problems | |
Roy et al. | Analytical features for the classification of percussive sounds: the case of the Pandeiro | |
Al-Maathidi | Optimal feature selection and machine learning for high-level audio classification-a random forests approach | |
Wegener et al. | On the robustness of audio features for musical instrument classification | |
Shakibhamedan et al. | Persian musical instrument recognition system | |
Chen | Automatic classification of electronic music and speech/music audio content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130429 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140429 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150429 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160428 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20170427 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |